16 langues, 2026, Bruxelles lance EU MMLU pour noter les IA génératives, ce que les modèles doivent affronter en Europe

La Direction générale de la traduction de la Commission européenne a publié, le 22 juillet 2026, EU MMLU, un jeu d’évaluation destiné à mesurer les performances des grands modèles de langage dans 16 langues. L’initiative vise un point sensible du marché de l’intelligence artificielle, la capacité des systèmes à répondre avec le même niveau de qualité en français, en polonais, en grec, en irlandais ou en slovène. Pour Bruxelles, l’enjeu dépasse la comparaison technique entre modèles. Il touche à l’accès équitable aux services numériques, aux administrations et aux outils professionnels dans une Union européenne où la diversité linguistique reste une contrainte centrale.

La DG Traduction publie EU MMLU en 16 langues

Le nouveau jeu de données EU MMLU a été publié par la DG Traduction, service de la Commission européenne chargé du multilinguisme institutionnel. Il reprend la logique du Massive Multitask Language Understanding, référence internationale utilisée pour tester les grands modèles de langage sur des questions couvrant plusieurs domaines de connaissance. La version européenne adapte cette méthode à un contexte où l’anglais ne peut pas servir d’unique étalon.

La première version couvre le croate, le tchèque, le néerlandais, le français, l’allemand, le grec, le hongrois, l’irlandais, l’italien, le lituanien, le polonais, le portugais, le roumain, le slovaque, le slovène et l’anglais comme langue de référence. Cette sélection donne à Bruxelles un outil concret pour mesurer les écarts entre langues très utilisées dans les modèles et langues moins représentées dans les jeux d’entraînement publics.

Le principe consiste à soumettre les modèles à des questions comparables dans plusieurs langues, avec un niveau de qualité contrôlé. Un modèle qui obtient de bons scores en anglais, mais chute fortement en lituanien ou en irlandais, devient plus facile à identifier. Pour les institutions européennes, cette mesure compte autant que la vitesse de réponse ou la taille du modèle. Un assistant capable de résumer un dossier juridique en anglais doit aussi traiter correctement une demande administrative en roumain ou en grec.

La Commission précise que d’autres langues suivront. Cette extension sera observée de près par les fournisseurs d’IA, car les évaluations multilingues gagnent du poids dans les appels d’offres publics, les audits internes et les comparaisons commerciales. Avec 16 langues officielles déjà disponibles, l’Union pose une première base technique pour tester les modèles dans des conditions plus proches de ses usages réels.

OpenAI, Google et Mistral AI face au même test

Le lancement d’EU MMLU intervient dans un marché où les fournisseurs de modèles à usage général cherchent à démontrer leur solidité sur tous les usages. OpenAI, Google, Anthropic, Meta, xAI, DeepSeek ou Mistral AI publient régulièrement des scores de performance, souvent fondés sur des bancs d’essai internationaux. Le problème, pour Bruxelles, tient à la place dominante de l’anglais dans ces comparaisons.

Un modèle peut afficher un excellent niveau général tout en montrant des faiblesses dans des langues moins présentes dans les données d’entraînement. Cette différence n’est pas théorique. Elle peut modifier la qualité d’une traduction administrative, la compréhension d’une question médicale ou la réponse fournie à une PME qui utilise un outil d’IA pour préparer un dossier de marché public. EU MMLU donne aux acheteurs et aux régulateurs un moyen de vérifier ces écarts avec une méthode commune.

Pour les entreprises européennes, le sujet concerne aussi la concurrence. Mistral AI, présenté comme le principal acteur européen des modèles avancés, sera évalué sur le même terrain que les groupes américains ou chinois. Un bon résultat en français, allemand, italien ou polonais peut devenir un argument commercial. À l’inverse, un écart marqué entre langues peut fragiliser le discours d’un fournisseur qui promet une IA adaptée au marché européen.

Les éditeurs ne sont pas légalement sanctionnés sur la base d’EU MMLU à ce stade. Le jeu de données crée néanmoins une référence publique, exploitable par les administrations, les chercheurs et les entreprises clientes. Dans un secteur où les annonces commerciales reposent parfois sur des moyennes globales difficiles à comparer, un banc d’essai multilingue européen apporte une lecture plus fine des performances réelles.

Seize langues européennes révèlent les écarts de performance

La valeur d’EU MMLU tient à sa capacité à rendre visibles des écarts souvent masqués par les moyennes. Les grands modèles de langage sont fréquemment entraînés sur des volumes massifs de textes en anglais, puis sur des corpus plus réduits dans d’autres langues. Cette répartition influence les réponses, la précision grammaticale, la compréhension des références locales et la qualité des raisonnements spécialisés.

Dans un cadre européen, ces écarts peuvent produire des effets concrets. Un étudiant slovaque qui interroge un assistant sur une notion de droit public, une administration portugaise qui automatise le tri de courriers ou une entreprise croate qui prépare une documentation technique n’ont pas intérêt à dépendre d’un outil performant uniquement en anglais. Le multilinguisme n’est pas un supplément de confort, mais une condition d’accès égal aux outils numériques.

Les langues moins dotées en ressources numériques constituent le principal test. L’irlandais, le lituanien, le slovène ou le slovaque disposent de corpus plus limités que l’anglais, le français ou l’allemand. Un banc d’essai conçu à Bruxelles peut mettre en évidence les difficultés de compréhension, les réponses trop littérales ou les approximations culturelles. Ces résultats peuvent ensuite orienter les travaux des équipes de recherche et les achats de données linguistiques.

La question concerne aussi la confiance des utilisateurs. Une réponse correcte en apparence, mais erronée dans une langue donnée, peut être plus dangereuse qu’un refus clair de répondre. Dans la santé, le droit, l’éducation ou les démarches administratives, les erreurs liées à la langue peuvent avoir des conséquences directes. En intégrant des critères de qualité communs, la Commission européenne cherche à pousser les modèles vers une performance moins concentrée sur quelques grandes langues.

Bruxelles relie EU MMLU aux pouvoirs de l’AI Act

Le calendrier donne une portée particulière à cette publication. Depuis le 2 août 2026, la Commission européenne dispose de pouvoirs renforcés sur les fournisseurs de modèles d’IA à usage général, désignés dans le débat européen par l’acronyme GPAI. Bruxelles peut demander des informations, examiner la documentation technique et, en cas de manquement grave, prononcer des sanctions pouvant atteindre 15 millions d’euros ou 3 % du chiffre d’affaires mondial.

EU MMLU ne remplace pas les obligations juridiques prévues par l’AI Act. Les fournisseurs restent soumis à des exigences de documentation, de transparence sur les données d’entraînement et de respect du droit d’auteur. Le nouveau banc d’essai s’inscrit dans une autre fonction, produire des éléments mesurables sur la qualité linguistique des modèles. Cette articulation entre droit et évaluation technique illustre la méthode européenne en 2026, moins centrée sur les seules déclarations des entreprises.

Pour les régulateurs, l’intérêt réside dans la comparaison. Si plusieurs modèles sont testés avec les mêmes questions, dans les mêmes langues, les écarts deviennent plus lisibles. Les autorités peuvent mieux comprendre les risques liés à l’usage d’un assistant généraliste dans un service public, une école ou une entreprise. Les acheteurs publics peuvent aussi demander des garanties plus précises avant de déployer un outil à grande échelle.

Cette dynamique place les fournisseurs face à une exigence nouvelle de preuve. Dire qu’un modèle est multilingue ne suffira plus dans les marchés où la qualité des réponses en hongrois, en grec ou en roumain devient vérifiable. Les prochaines versions d’EU MMLU, avec davantage de langues et possiblement de nouveaux domaines de test, seront suivies par les laboratoires d’IA comme par les administrations nationales chargées de déployer ces technologies.