{"id":2959,"date":"2026-02-25T06:00:30","date_gmt":"2026-02-25T06:00:30","guid":{"rendered":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/2026\/02\/25\/les-evaluations-des-modeles-traversent-une-crise-de-credibilite\/"},"modified":"2026-02-25T06:00:30","modified_gmt":"2026-02-25T06:00:30","slug":"les-evaluations-des-modeles-traversent-une-crise-de-credibilite","status":"publish","type":"post","link":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/2026\/02\/25\/les-evaluations-des-modeles-traversent-une-crise-de-credibilite\/","title":{"rendered":"les \u00e9valuations des mod\u00e8les traversent une crise de cr\u00e9dibilit\u00e9"},"content":{"rendered":"<p>les \u00e9valuations des mod\u00e8les traversent une crise de cr\u00e9dibilit\u00e9<\/p>\n<div>\n<p>\u00c0 chaque sortie de mod\u00e8le, OpenAI, Google ou Anthropic brandissent des tableaux de scores pour prouver leur sup\u00e9riorit\u00e9. Mais ces \u00e9valuations sont de plus en plus contest\u00e9es par la communaut\u00e9 scientifique, entre contamination des donn\u00e9es, gaming des classements et saturation des tests\u2026 \u00c9tat des lieux d\u2019une crise de cr\u00e9dibilit\u00e9 dans cette industrie en construction.<\/p>\n<h2 id=\"post-200002-titre-1\">La course aux scores, moteur marketing de l\u2019IA<\/h2>\n<p>Le rituel est d\u00e9sormais bien rod\u00e9. \u00c0 chaque lancement de mod\u00e8le, les labs d\u2019intelligence artificielle publient un ou des tableaux comparatifs cens\u00e9s d\u00e9montrer leurs performances sur une batterie de benchmarks : MMLU pour le raisonnement g\u00e9n\u00e9ral, SWE-bench pour le code, GPQA pour les sciences, LMArena (devenue sobrement Arena) pour les pr\u00e9f\u00e9rences utilisateurs. Ces acronymes sont devenus le langage commun de la comp\u00e9tition entre OpenAI, Google, Anthropic, Meta, xAI et consorts. Chaque dixi\u00e8me de point gagn\u00e9 fait l\u2019objet d\u2019un paragraphe d\u00e9di\u00e9, chaque premi\u00e8re place est revendiqu\u00e9e comme une victoire technologique.<\/p>\n<p>Ces scores ne sont pas qu\u2019un argument marketing. Ils orientent les d\u00e9cisions d\u2019investissement, influencent les choix technologiques des entreprises et p\u00e8sent m\u00eame dans la r\u00e9gulation. L\u2019AI Act europ\u00e9en fait r\u00e9f\u00e9rence aux benchmarks comme outil pour d\u00e9terminer si un mod\u00e8le pr\u00e9sente un <em>\u00ab\u00a0risque syst\u00e9mique\u00a0\u00bb<\/em>. Comme le soulignait Anka Reuel, chercheuse \u00e0 Stanford, dans le <em>MIT Technology Review<\/em> : <em>\u00ab\u00a0On cr\u00e9e potentiellement un faux sentiment de s\u00e9curit\u00e9 avec les benchmarks s\u2019ils ne sont pas bien con\u00e7us, surtout pour les cas d\u2019usage \u00e0 haut risque. On peut avoir l\u2019impression qu\u2019un mod\u00e8le est s\u00fbr, alors que ce n\u2019est pas le cas.\u00a0\u00bb<\/em> Reste que la fiabilit\u00e9 de ces \u00e9valuations est aujourd\u2019hui s\u00e9rieusement remise en question.<\/p>\n<h2 id=\"post-200002-titre-2\">Des tests de plus en plus faciles \u00e0 contourner<\/h2>\n<p>Les probl\u00e8mes identifi\u00e9s par la communaut\u00e9 scientifique sont multiples, mais trois m\u00e9canismes principaux minent la cr\u00e9dibilit\u00e9 des benchmarks actuels.<\/p>\n<h3>La contamination des donn\u00e9es d\u2019entra\u00eenement<\/h3>\n<p>C\u2019est le probl\u00e8me le plus document\u00e9. Tout r\u00e9cemment, OpenAI a annonc\u00e9 cesser de publier ses r\u00e9sultats sur SWE-bench Verified, un benchmark de r\u00e9f\u00e9rence en codage que le lab avait lui-m\u00eame cr\u00e9\u00e9 en 2024. En cause, l\u2019entra\u00eenement des mod\u00e8les a eu lieu sur les donn\u00e9es du test. L\u2019\u00e9quipe d\u2019OpenAI a d\u00e9montr\u00e9 que GPT-5.2, Claude Opus 4.5 et Gemini 3 Flash Preview \u00e9taient tous capables de reproduire de m\u00e9moire les correctifs humains originaux utilis\u00e9s comme r\u00e9f\u00e9rence. L\u2019un des exemples les plus frappants montre GPT-5.2 recrachant quasi mot pour mot un patch de code Django, simplement \u00e0 partir de l\u2019identifiant de la t\u00e2che. OpenAI en conclut que les progr\u00e8s sur ce benchmark <em>\u00ab\u00a0ne refl\u00e8tent plus des am\u00e9liorations r\u00e9elles dans les capacit\u00e9s de d\u00e9veloppement logiciel des mod\u00e8les, mais plut\u00f4t leur degr\u00e9 d\u2019exposition au benchmark pendant l\u2019entra\u00eenement\u00a0\u00bb<\/em>.<\/p>\n<h3>Le \u00ab\u00a0gaming\u00a0\u00bb des classements<\/h3>\n<p>En avril 2025, une \u00e9tude men\u00e9e par Cohere, Stanford, MIT et l\u2019Allen Institute for AI, sur les classements de la LMArena illustre un autre type de d\u00e9rive. Les chercheurs ont mis en lumi\u00e8re les pratiques de certains labs, dont Meta, OpenAI et Google, qui b\u00e9n\u00e9ficiaient d\u2019un acc\u00e8s privil\u00e9gi\u00e9 \u00e0 la plateforme cens\u00e9e classer \u00e0 l\u2019aveugle selon les pr\u00e9f\u00e9rences des utilisateurs les diff\u00e9rents mod\u00e8les d\u2019IA. Meta aurait ainsi test\u00e9 27 variantes priv\u00e9es de ses mod\u00e8les avant le lancement de Llama 4, pour ne publier que le score du meilleur. Quelques jours plus t\u00f4t, des chercheurs avaient d\u00e9j\u00e0 remarqu\u00e9 que la version de Maverick (Llama 4) soumise au classement \u00e9tait une version <em>\u00ab\u00a0optimis\u00e9e pour la conversationnalit\u00e9\u00a0\u00bb<\/em>, diff\u00e9rente de celle mise \u00e0 disposition des d\u00e9veloppeurs. Ben Dickson, journaliste sp\u00e9cialis\u00e9 IA, r\u00e9sumait le probl\u00e8me sur <em>TechTalks<\/em> en invoquant la loi de Goodhart : <em>\u00ab\u00a0Quand une mesure devient un objectif, elle cesse d\u2019\u00eatre une bonne mesure.\u00a0\u00bb<\/em><\/p>\n<blockquote>\n<p>Les d\u00e9veloppeurs de ces mod\u00e8les ont tendance \u00e0 optimiser leurs performances en fonction de ces benchmarks sp\u00e9cifiques, explique dans MIT Technology Review Anna Ivanova, professeure de psychologie au Georgia Institute of Technology et directrice de son laboratoire Langage, Intelligence et Pens\u00e9e (LIT).<\/p>\n<\/blockquote>\n<h3>La saturation rapide des tests<\/h3>\n<p>Il existe un dernier probl\u00e8me structurel. Les benchmarks deviennent obsol\u00e8tes \u00e0 une vitesse in\u00e9dite. MMLU, longtemps consid\u00e9r\u00e9 comme la r\u00e9f\u00e9rence en raisonnement g\u00e9n\u00e9ral, voit d\u00e9sormais les mod\u00e8les <em>frontier<\/em> (d\u2019avant-garde, ndlr) d\u00e9passer des scores de 90 % de r\u00e9ussite. Selon le rapport annuel 2025 de Stanford HAI, les scores sur des benchmarks comme MMMU, GPQA et SWE-bench ont bondi de 18,8, 48,9 et 67,3 points de pourcentage seulement un an apr\u00e8s leur introduction. M\u00eame Humanity\u2019s Last Exam (HLE), un benchmark con\u00e7u pour \u00eatre <em>\u00ab\u00a0le dernier examen acad\u00e9mique\u00a0\u00bb<\/em> avec 2 500 questions de niveau doctorat, voit d\u00e9j\u00e0 ses scores progresser rapidement, de maigres pourcents \u00e0 pr\u00e8s de 30 % en quelques mois seulement.<\/p>\n<h2 id=\"post-200002-titre-3\">Ce que mesurent vraiment les benchmarks (et ce qu\u2019ils ne mesurent pas)<\/h2>\n<p>Au-del\u00e0 des failles techniques, c\u2019est la pertinence m\u00eame de ces \u00e9valuations qui est interrog\u00e9e. En novembre 2025, une \u00e9tude de l\u2019Oxford Internet Institute portant sur 445 benchmarks majeurs a conclu que ces tests surestiment r\u00e9guli\u00e8rement les performances des mod\u00e8les et manquent de rigueur scientifique. L\u2019un des co-auteurs, Andrew Bean, r\u00e9sumait ainsi le probl\u00e8me \u00e0 <em>NBC News<\/em> : <em>\u00ab\u00a0Il faut vraiment prendre avec un grain de sel les affirmations du type \u00ab\u00a0un mod\u00e8le atteint un niveau d\u2019intelligence de doctorat\u00a0\u00bb. Nous ne sommes pas certains que ces mesures soient faites de mani\u00e8re particuli\u00e8rement rigoureuse.\u00a0\u00bb<\/em><\/p>\n<p>Le d\u00e9calage entre les scores et la r\u00e9alit\u00e9 terrain est parfois saisissant. Sur SWE-bench Verified, les meilleurs mod\u00e8les affichent environ 80 % de r\u00e9ussite sur des t\u00e2ches de codage. Sur SWE-Lancer, qui \u00e9value les m\u00eames mod\u00e8les sur de vraies missions freelance, le taux de r\u00e9ussite tombe \u00e0 26,2 %. Comme le notait David Widder, chercheur \u00e0 Cornell, dans <em>TechCrunch<\/em>, nombre de comp\u00e9tences \u00e9valu\u00e9es par les benchmarks courants, qu\u2019il s\u2019agisse de r\u00e9soudre des probl\u00e8mes de math\u00e9matiques de niveau doctoral ou de d\u00e9tecter un anachronisme dans une phrase, ne seront jamais pertinentes pour la majorit\u00e9 des utilisateurs.<\/p>\n<blockquote>\n<p>Avec la perception croissante des syst\u00e8mes comme \u00e9tant \u00e0 usage g\u00e9n\u00e9ral, cette approche devient moins pertinente, juge David Widder.<\/p>\n<\/blockquote>\n<h2 id=\"post-200002-titre-4\">Vers de nouvelles m\u00e9thodes d\u2019\u00e9valuation ?<\/h2>\n<p>Face \u00e0 ces constats, plusieurs pistes \u00e9mergent. OpenAI recommande d\u00e9sormais SWE-bench Pro, une version renforc\u00e9e et moins contamin\u00e9e du benchmark pour le code. Les performances y chutent drastiquement, avec les meilleurs mod\u00e8les qui plafonnent autour de 23 %, contre 80 % sur la version Verified. Le lab investit \u00e9galement dans GDPVal, un syst\u00e8me d\u2019\u00e9valuation o\u00f9 les t\u00e2ches sont r\u00e9dig\u00e9es par des experts et not\u00e9es par des \u00e9valuateurs humains. Une approche certes plus co\u00fbteuse, mais moins vuln\u00e9rable au \u00ab\u00a0gaming\u00a0\u00bb.<\/p>\n<p>Du c\u00f4t\u00e9 de l\u2019\u00e9cosyst\u00e8me open source, Hugging Face a lanc\u00e9 YourBench, un outil permettant aux entreprises de cr\u00e9er leurs propres benchmarks \u00e0 partir de leurs documents internes. L\u2019id\u00e9e est de permettre d\u2019\u00e9valuer les mod\u00e8les sur des t\u00e2ches r\u00e9ellement pertinentes pour leur activit\u00e9, plut\u00f4t que sur des examens acad\u00e9miques g\u00e9n\u00e9riques. Car pour les professionnels, le vrai benchmark reste leurs propres cas d\u2019usage, le constat sur la pertinence des benchmarks actuels \u00e9tant de plus en plus partag\u00e9 dans l\u2019industrie. Les tableaux de scores comparatifs publi\u00e9s \u00e0 chaque lancement de mod\u00e8le m\u00e9ritent donc, au minimum, d\u2019\u00eatre examin\u00e9s avec un regard critique. Surtout quand concepteurs du benchmark et \u00e9diteurs du mod\u00e8le se confondent.<\/p>\n<\/p><\/div>\n<p>www.blogdumoderateur.com<br \/>\nAbdel khalik Abdel khalik<br \/>\nhttps:\/\/abdelkhalik.khamallah.fr<\/p>\n","protected":false},"excerpt":{"rendered":"<p>les \u00e9valuations des mod\u00e8les traversent une crise de cr\u00e9dibilit\u00e9 \u00c0 chaque sortie de mod\u00e8le, OpenAI, Google ou Anthropic brandissent des tableaux de scores pour prouver leur sup\u00e9riorit\u00e9. Mais ces \u00e9valuations sont de plus en plus contest\u00e9es par la communaut\u00e9 scientifique, entre contamination des donn\u00e9es, gaming des classements et saturation des tests\u2026 \u00c9tat des lieux d\u2019une&#8230;<\/p>\n","protected":false},"author":11,"featured_media":2960,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[273],"tags":[1411,1410,286,70,1408,313,63,590,1409,102],"class_list":["post-2959","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-abdel-khamallah-culture-web","tag-credibilite","tag-crise","tag-culture-web","tag-des","tag-evaluations","tag-ia","tag-les","tag-modeles","tag-traversent","tag-une"],"_links":{"self":[{"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/posts\/2959","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/comments?post=2959"}],"version-history":[{"count":0,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/posts\/2959\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/media\/2960"}],"wp:attachment":[{"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/media?parent=2959"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/categories?post=2959"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/tags?post=2959"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}