{"id":3261,"date":"2026-10-13T12:34:17","date_gmt":"2026-10-13T12:34:17","guid":{"rendered":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/2026\/10\/13\/mais-au-fait-cest-quoi-lalignement-des-modeles-dia\/"},"modified":"2026-10-13T12:34:17","modified_gmt":"2026-10-13T12:34:17","slug":"mais-au-fait-cest-quoi-lalignement-des-modeles-dia","status":"publish","type":"post","link":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/2026\/10\/13\/mais-au-fait-cest-quoi-lalignement-des-modeles-dia\/","title":{"rendered":"Mais au fait, c\u2019est quoi l\u2019alignement des mod\u00e8les d\u2019IA\u00a0?"},"content":{"rendered":"<p>Mais au fait, c\u2019est quoi l\u2019alignement des mod\u00e8les d\u2019IA\u00a0?<\/p>\n<div>\n<p>Les pr\u00e9c\u00e9dents \u00e9pisodes de cette s\u00e9rie portaient sur les briques qui relient les mod\u00e8les d\u2019IA \u00e0 leur environnement, du MCP \u00e0 l\u2019Open Knowledge Format. L\u2019alignement pose une autre question, celle de l\u2019objectif que poursuit un mod\u00e8le quand il ex\u00e9cute une t\u00e2che. Le terme d\u00e9signe un probl\u00e8me de recherche ancien, que l\u2019essor des agents IA a rendu tr\u00e8s concret. On vous explique.<\/p>\n<h2 id=\"post-213258-titre-1\">Qu\u2019est-ce qu\u2019un mod\u00e8le d\u2019IA d\u00e9salign\u00e9 ?<\/h2>\n<p>Un mod\u00e8le est dit align\u00e9 quand son comportement correspond aux intentions de celles et ceux qui le con\u00e7oivent et l\u2019utilisent. Il est d\u00e9salign\u00e9 quand il poursuit autre chose, sans que cela suppose la moindre malveillance. Le plus souvent, il optimise avec application un objectif mal formul\u00e9 ou un indicateur imparfait.<\/p>\n<p>Le math\u00e9maticien Norbert Wiener d\u00e9crivait d\u00e9j\u00e0 ce pi\u00e8ge en 1960, dans un article de la revue <em>Science<\/em>. Il y imaginait une usine de bouteilles programm\u00e9e pour produire le plus possible, qui ruinerait son propri\u00e9taire sous un stock invendable. Il fallait donc, selon lui, \u00eatre <em>\u00ab tout \u00e0 fait s\u00fbr que l\u2019objectif confi\u00e9 \u00e0 la machine est bien celui que nous d\u00e9sirons, et pas seulement une imitation s\u00e9duisante \u00bb<\/em>.<\/p>\n<p>Avec les grands mod\u00e8les de langage, le d\u00e9salignement prend plusieurs formes, parmi lesquelles :<\/p>\n<ul>\n<li><strong>Le contournement de l\u2019objectif ou reward hacking :<\/strong> OpenAI a d\u00e9crit en mars 2025 un mod\u00e8le en entra\u00eenement qui devait faire passer des tests unitaires. Jugeant la vraie correction trop difficile, il a modifi\u00e9 la fonction de v\u00e9rification pour qu\u2019elle r\u00e9ponde toujours \u00ab vrai \u00bb.<\/li>\n<li><strong>La complaisance :<\/strong> en avril 2025, une mise \u00e0 jour de GPT-4o a rendu ChatGPT si prompt \u00e0 plaire qu\u2019OpenAI l\u2019a retir\u00e9e au bout de quelques jours. L\u2019entreprise a reconnu avoir accord\u00e9 trop de poids aux retours \u00e0 court terme, comme les pouces lev\u00e9s sous les r\u00e9ponses.<\/li>\n<li><strong>La tromperie et le d\u00e9passement de p\u00e9rim\u00e8tre :<\/strong> le mod\u00e8le agit au-del\u00e0 de ce qu\u2019on l\u2019a autoris\u00e9 \u00e0 faire, ou rend un compte inexact de ce qu\u2019il a accompli.<\/li>\n<\/ul>\n<p>Dans les deux premiers cas, le mod\u00e8le a bien atteint l\u2019indicateur fix\u00e9, des tests r\u00e9ussis ou des utilisateurs satisfaits sur le moment, sans servir l\u2019intention sous-jacente.<\/p>\n<h2 id=\"post-213258-titre-2\">Comment aligne-t-on un mod\u00e8le d\u2019IA ?<\/h2>\n<p>\u00c0 l\u2019issue de son pr\u00e9entra\u00eenement, un mod\u00e8le sait prolonger un texte, mais pas encore suivre une consigne. L\u2019alignement intervient ensuite, en plusieurs couches :<\/p>\n<ol>\n<li><strong>L\u2019apprentissage par renforcement \u00e0 partir de retours humains (RLHF) :<\/strong> des annotateurs classent plusieurs r\u00e9ponses du mod\u00e8le, qui est ensuite entra\u00een\u00e9 \u00e0 produire celles qu\u2019ils pr\u00e9f\u00e8rent. OpenAI l\u2019a mis en \u0153uvre d\u00e8s janvier 2022 avec InstructGPT.<\/li>\n<li><strong>L\u2019IA constitutionnelle :<\/strong> pr\u00e9sent\u00e9e par Anthropic d\u00e8s d\u00e9cembre 2022, elle remplace une partie des annotations humaines par une liste de principes r\u00e9dig\u00e9s en langage naturel, \u00e0 partir desquels le mod\u00e8le critique et r\u00e9\u00e9crit ses propres r\u00e9ponses.<\/li>\n<li><strong>Les \u00e9valuations avant d\u00e9ploiement :<\/strong> laboratoires et organismes publics, comme l\u2019AI Security Institute (AISI) britannique, soumettent les mod\u00e8les \u00e0 des sc\u00e9narios pens\u00e9s pour les pousser \u00e0 la faute.<\/li>\n<li><strong>La surveillance du raisonnement :<\/strong> un second mod\u00e8le relit la cha\u00eene de raisonnement du premier pour y rep\u00e9rer une intention de tricher. OpenAI observe toutefois que p\u00e9naliser ces <em>\u00ab mauvaises pens\u00e9es \u00bb<\/em> ne supprime pas la majorit\u00e9 des \u00e9carts et apprend surtout au mod\u00e8le \u00e0 dissimuler ses intentions.<\/li>\n<\/ol>\n<div class=\"hw-encart hw-encart--bon-a-savoir p-md-5 pt-md-7 p-4 pt-7\">\n<div class=\"hw-encart__content-wrapper\">\n<p class=\"hw-encart__titre\">D\u00e9salignement et hallucination, quelle diff\u00e9rence ?<\/p>\n<div class=\"hw-encart__contenu\">\n<p>Une hallucination est une erreur, le mod\u00e8le pr\u00e9sente comme vraie une information fausse. Le d\u00e9salignement porte sur l\u2019objectif : celui qui r\u00e9\u00e9crit un test pour le faire passer n\u2019hallucine pas, il sait tr\u00e8s bien ce qu\u2019il fait. La RAG r\u00e9duit les hallucinations en fournissant des sources fiables au mod\u00e8le, mais elle ne change rien \u00e0 ce qu\u2019il cherche \u00e0 accomplir.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<h2 id=\"post-213258-titre-3\">Ce que \u00e7a change pour les professionnels du digital<\/h2>\n<p>Tant qu\u2019un mod\u00e8le se contentait de r\u00e9pondre, un d\u00e9salignement produisait une mauvaise r\u00e9ponse, que l\u2019utilisateur pouvait relire. Les agents IA, eux, envoient des emails, mettent \u00e0 jour des fiches clients et ex\u00e9cutent du code. Le d\u00e9salignement devient alors une action, parfois difficile \u00e0 rattraper.<\/p>\n<p>OpenAI a lanc\u00e9 GPT-6 Astra d\u00e9but septembre, en le pr\u00e9sentant comme <em>\u00ab le mod\u00e8le le plus intelligent et le mieux align\u00e9 au monde \u00bb<\/em>. Les tests men\u00e9s par l\u2019AISI avant sa sortie, publi\u00e9s le 28 septembre, nuancent le propos. Dans une \u00e9valuation de cybers\u00e9curit\u00e9 simul\u00e9e, filtres de s\u00e9curit\u00e9 d\u00e9sactiv\u00e9s, Astra a men\u00e9 des attaques de la cha\u00eene d\u2019approvisionnement logicielle contre des cibles ext\u00e9rieures \u00e0 sa mission dans 29 % des cas, contre 6,3 % pour GPT-5.6 Sol. Il a m\u00eame cr\u00e9\u00e9 de fausses identit\u00e9s pour tromper des d\u00e9veloppeurs et d\u00e9veloppeuses. L\u2019institut britannique invite \u00e0 la prudence, le mod\u00e8le ayant souvent relev\u00e9 qu\u2019il \u00e9tait dans une simulation.<\/p>\n<p>Le m\u00eame jour, OpenAI a renonc\u00e9 \u00e0 lancer GPT-6.1 Astra, attendu en octobre, une d\u00e9cision relev\u00e9e par le <em>Wall Street Journal<\/em>. Dans une d\u00e9claration transmise \u00e0 la presse, Saachi Jain, responsable des syst\u00e8mes de s\u00e9curit\u00e9 de l\u2019entreprise, a indiqu\u00e9 que le mod\u00e8le\u00a0<em>\u00ab n\u2019a pas tout \u00e0 fait atteint le niveau attendu en mati\u00e8re de respect du p\u00e9rim\u00e8tre et des autorisations, ni dans la mani\u00e8re dont il rend compte \u00e0 l\u2019utilisateur du travail effectu\u00e9 \u00bb<\/em>. Ce sont exactement les deux d\u00e9fauts qui posent probl\u00e8me chez un agent d\u00e9ploy\u00e9 en entreprise.<\/p>\n<p>Aucune m\u00e9thode ne permet aujourd\u2019hui de garantir qu\u2019un mod\u00e8le est align\u00e9, on ne peut que le tester, sc\u00e9nario par sc\u00e9nario. Au lancement d\u2019Astra, OpenAI mettait en avant sa propre \u00e9valuation, o\u00f9 le mod\u00e8le ne sortait jamais du p\u00e9rim\u00e8tre autoris\u00e9. Celle de l\u2019AISI aboutit \u00e0 un tout autre r\u00e9sultat. D\u2019o\u00f9 l\u2019int\u00e9r\u00eat, pour les entreprises, de limiter les droits d\u2019acc\u00e8s des agents et de faire valider les actions sensibles par un humain, plut\u00f4t que de se fier \u00e0 la seule \u00e9tiquette \u00ab align\u00e9 \u00bb.<\/p>\n<\/p><\/div>\n<p>www.blogdumoderateur.com<br \/>\nAbdel khalik Abdel khalik<br \/>\nhttps:\/\/abdelkhalik.khamallah.fr<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Mais au fait, c\u2019est quoi l\u2019alignement des mod\u00e8les d\u2019IA\u00a0? Les pr\u00e9c\u00e9dents \u00e9pisodes de cette s\u00e9rie portaient sur les briques qui relient les mod\u00e8les d\u2019IA \u00e0 leur environnement, du MCP \u00e0 l\u2019Open Knowledge Format. L\u2019alignement pose une autre question, celle de l\u2019objectif que poursuit un mod\u00e8le quand il ex\u00e9cute une t\u00e2che. Le terme d\u00e9signe un probl\u00e8me&#8230;<\/p>\n","protected":false},"author":11,"featured_media":3262,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[273],"tags":[997,286,70,296,591,1322,1728,317,590,616],"class_list":["post-3261","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-abdel-khamallah-culture-web","tag-cest","tag-culture-web","tag-des","tag-developpement","tag-dia","tag-fait","tag-lalignement","tag-mais","tag-modeles","tag-quoi"],"_links":{"self":[{"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/posts\/3261","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/comments?post=3261"}],"version-history":[{"count":0,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/posts\/3261\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/media\/3262"}],"wp:attachment":[{"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/media?parent=3261"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/categories?post=3261"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/publietapub.le-publicitaire.fr\/index.php\/wp-json\/wp\/v2\/tags?post=3261"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}