{"id":2063,"date":"2025-03-04T10:03:12","date_gmt":"2025-03-04T10:03:12","guid":{"rendered":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/2025\/03\/04\/le-nouvel-outil-pour-evaluer-les-modeles-dia\/"},"modified":"2025-03-05T22:20:12","modified_gmt":"2025-03-05T22:20:12","slug":"le-nouvel-outil-pour-evaluer-les-modeles-dia","status":"publish","type":"post","link":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/2025\/03\/04\/le-nouvel-outil-pour-evaluer-les-modeles-dia\/","title":{"rendered":"le nouvel outil pour \u00e9valuer les mod\u00e8les d\u2019IA"},"content":{"rendered":"<p>le nouvel outil pour \u00e9valuer les mod\u00e8les d\u2019IA<\/p>\n<div>\n<p>Des chercheurs du Hao AI Lab de l\u2019Universit\u00e9 de Californie \u00e0 San Diego ont int\u00e9gr\u00e9 l\u2019intelligence artificielle dans les jeux Super Mario Bros. pour que les mod\u00e8les de langage puissent jouer en direct au c\u00e9l\u00e8bre jeu vid\u00e9o. Leur but ? \u00c9valuer l\u2019IA dans des situations o\u00f9 l\u2019adaptabilit\u00e9 et la r\u00e9solution de probl\u00e8mes sont primordiales. Ce test a longtemps \u00e9t\u00e9 r\u00e9alis\u00e9 sur le jeu Pok\u00e9mon, qui \u00e9tait r\u00e9put\u00e9 pour \u00eatre une r\u00e9f\u00e9rence difficile pour l\u2019IA.<\/p>\n<h2>Comment le test d\u2019IA sur Super Mario s\u2019est-il d\u00e9roul\u00e9 ?<\/h2>\n<p>L\u2019exp\u00e9rience n\u2019a pas \u00e9t\u00e9 r\u00e9alis\u00e9e sur le jeu original de 1985 Super Mario Bros., mais sur un \u00e9mulateur qui incluait GamingAgent via GitHub. Cette configuration a permis de donner des instructions de base et des images du jeu \u00e0 l\u2019IA, qui a ensuite pu g\u00e9n\u00e9rer des entr\u00e9es dans le code Python pour contr\u00f4ler Mario.<\/p>\n<p>Les mod\u00e8les de langage devaient ainsi apprendre \u00e0 jouer et planifier des man\u0153uvres complexes ou des strat\u00e9gies de jeu pour aller le plus loin possible dans les niveaux. GamingAgent, qui a \u00e9t\u00e9 d\u00e9velopp\u00e9 en interne par Hao IA Lab, a aussi fourni des instructions \u00e0 l\u2019IA comme : <em>\u00ab\u00a0Quand un obstacle ou un ennemi approche, sautez pour l\u2019esquiver.\u00a0\u00bb<\/em><\/p>\n<blockquote class=\"twitter-tweet\" data-media-max-width=\"560\">\n<p dir=\"ltr\" lang=\"en\">Claude-3.7 was tested on Pok\u00e9mon Red, but what about more real-time games like Super Mario \ud83c\udf44\ud83c\udf1f?<\/p>\n<p>We threw AI gaming agents into LIVE Super Mario games and found Claude-3.7 outperformed other models with simple heuristics. \ud83e\udd2f<\/p>\n<p>Claude-3.5 is also strong, but less capable of\u2026 <a href=\"https:\/\/t.co\/bqZVblwqX3\" target=\"_blank\">pic.twitter.com\/bqZVblwqX3<\/a><\/p>\n<p>\u2014 Hao AI Lab (@haoailab) <a href=\"https:\/\/twitter.com\/haoailab\/status\/1895557913621795076?ref_src=twsrc%5Etfw\" target=\"_blank\" rel=\"noopener\">February 28, 2025<\/a><\/p>\n<\/blockquote>\n<div class=\"hw-cc-tpc-notice\">\n<div class=\"boxed-s p-4\">\n<p class=\"h3bis mb-1\">Pour afficher ce contenu issu des r\u00e9seaux sociaux, vous devez accepter les cookies et traceurs publicitaires.<\/p>\n<p>Ces cookies et traceurs permettent \u00e0 nos partenaires de vous proposer des publicit\u00e9s et des contenus personnalis\u00e9s en fonction de votre navigation, de votre profil et de vos centres d\u2019int\u00e9r\u00eat.<span data-hw-cc-btn-toggle-modal=\"\" class=\"e-link\">Plus d\u2019infos.<\/span><\/p>\n<p>\n\t\t\t\t<span data-hw-cc-btn-accept=\"\" class=\"btn mb-0 me-0\">Accepter<\/span>\n\t\t\t<\/p>\n<\/div>\n<\/div>\n<h2>Quelle IA est la plus performante sur Super Mario ?<\/h2>\n<p>Comme on peut le voir dans la vid\u00e9o des r\u00e9sultats du test (voir ci-dessus), aucun mod\u00e8le de langage ne parvient \u00e0 terminer le premier niveau de Super Mario Bros. avec ses trois vies. Cependant, certains obtiennent des performances impressionnantes, tandis que d\u2019autres peinent \u00e0 avancer de quelques pixels.<\/p>\n<p>Le nouveau mod\u00e8le d\u2019Anthropic, Claude 3.7 Sonnet, est celui qui r\u00e9alise la meilleure performance en \u00e9chouant \u00e0 seulement quelques encablures de la fin du niveau. Il arrive devant Claude 3.5. En revanche, Gemini 1.5-Pro de Google ou GPT-4o d\u2019OpenAI, eux, ont eu de grosses difficult\u00e9s \u00e0 avancer dans le monde virtuel du c\u00e9l\u00e8bre plombier. Le Hao IA Lab affirme que les mod\u00e8les de raisonnement, comme o1 d\u2019OpenAI, qui proc\u00e8dent \u00e9tape par \u00e9tape pour trouver la meilleure solution, manquent d\u2019anticipation et de spontan\u00e9it\u00e9. Selon eux, ces mod\u00e8les obtiennent de moins bons r\u00e9sultats que des IA \u00ab\u00a0non raisonn\u00e9es\u00a0\u00bb, comme Claude 3.7, qui se rapproche de la pens\u00e9e d\u2019un humain.<\/p>\n<\/p><\/div>\n<p><script async src=\"\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><br \/>\nwww.blogdumoderateur.com<br \/>\nKhamallah Abdel khalik <\/p>\n<blockquote class=\"wp-embedded-content\" data-secret=\"arqKKNBbEt\"><p><a href=\"https:\/\/le-publicitaire.fr\/\">Agence cr\u00e9ation de site internet<\/a><\/p><\/blockquote>\n<p><iframe loading=\"lazy\" class=\"wp-embedded-content\" sandbox=\"allow-scripts\" security=\"restricted\" style=\"position: absolute; visibility: hidden;\" title=\"\u00ab\u00a0Agence cr\u00e9ation de site internet\u00a0\u00bb &#8212; Le Publicitaire Agence Digitale\" src=\"https:\/\/le-publicitaire.fr\/embed\/#?secret=FwqfAaenBz#?secret=arqKKNBbEt\" data-secret=\"arqKKNBbEt\" width=\"600\" height=\"338\" frameborder=\"0\" marginwidth=\"0\" marginheight=\"0\" scrolling=\"no\"><\/iframe><\/p>\n","protected":false},"excerpt":{"rendered":"<p>le nouvel outil pour \u00e9valuer les mod\u00e8les d\u2019IA Des chercheurs du Hao AI Lab de l\u2019Universit\u00e9 de Californie \u00e0 San Diego ont int\u00e9gr\u00e9 l\u2019intelligence artificielle dans les jeux Super Mario Bros. pour que les mod\u00e8les de langage puissent jouer en direct au c\u00e9l\u00e8bre jeu vid\u00e9o. Leur but ? \u00c9valuer l\u2019IA dans des situations o\u00f9 l\u2019adaptabilit\u00e9&#8230;<\/p>\n","protected":false},"author":1,"featured_media":2064,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[273],"tags":[286,591,589,307,313,63,590,587,588,92],"class_list":["post-2063","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-abdel-khamallah-culture-web","tag-culture-web","tag-dia","tag-evaluer","tag-fun","tag-ia","tag-les","tag-modeles","tag-nouvel","tag-outil","tag-pour"],"_links":{"self":[{"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/posts\/2063","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/comments?post=2063"}],"version-history":[{"count":1,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/posts\/2063\/revisions"}],"predecessor-version":[{"id":2080,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/posts\/2063\/revisions\/2080"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/media\/2064"}],"wp:attachment":[{"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/media?parent=2063"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/categories?post=2063"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/tags?post=2063"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}