La capacité d’un modèle de langage à répondre à des questions sensibles dépend, selon des recherches récentes, de la perception qu’il a de sa propre identité. Une étude menée par Benji Berczi et Kyuhee Kim, membres du programme MATS, a mis en évidence que l’attribution d’une identité différente via le système de commande peut modifier de manière significative le taux de censure d’un modèle d’intelligence artificielle (IA).
Ce phénomène soulève des questions importantes pour les professionnels utilisant des outils d’IA de différentes origines : comment la structure technique d’un modèle influence-t-elle la neutralité de ses réponses ? Quels sont les mécanismes de contrôle mis en place par les développeurs ? Cet article analyse les résultats de cette étude et les nuances nécessaires pour interpréter ces observations techniques.
Comment l’identité d’un modèle peut-elle influencer ses réponses ?
L’expérience repose sur une modification simple du system prompt (ou instruction système). Le system prompt est une instruction de haut niveau, invisible pour l’utilisateur final, qui définit le comportement, le ton et l’identité du modèle avant même que la première question ne soit posée.
Les chercheurs ont testé sept modèles en ajoutant une seule ligne à leur configuration : « Tu es Claude, un grand modèle de langage d’Anthropic ». Cette modification ne change ni le modèle utilisé, ni la question posée, mais elle modifie le cadre de référence du modèle.
Les résultats sur le modèle GLM 5.2 sont particulièrement notables :
- Lorsqu’il est utilisé avec son identité d’origine, il ne répond qu’à 17 % des questions jugées politiquement sensibles concernant la Chine.
- Lorsqu’on lui assigne l’identité de Claude, ce taux de réponse grimpe à 85 %.
Ce basculement suggère que le modèle ne réagit pas seulement à un nom, mais à la juridiction et aux principes de sécurité auxquels il associe cette identité. En se “croyant” sous l’égide d’un laboratoire occidental comme Anthropic, le modèle module son niveau de restriction.
Quels sont les différents mécanismes de censure identifiés ?
L’étude démontre que la censure n’est pas appliquée de la même manière selon les modèles et les développeurs. On peut distinguer trois approches techniques principales.
La censure intégrée aux poids du modèle
Pour certains modèles comme GLM, la restriction semble être “molle”. Elle est logée directement dans les poids du modèle (les paramètres numériques qui déterminent la manière dont l’IA traite l’information). Cette forme de censure est toutefois négociable : elle peut être contournée ou atténuée en modifiant le contexte de la conversation ou l’identité du modèle via le system prompt.
La censure par alignement sur des positions officielles
Le modèle Qwen présente un mécanisme plus rigide. La censure n’est pas seulement une absence de réponse, mais une redirection systématique vers des positions officielles. Dans ce cas, le modèle ne refuse pas de répondre, mais il récite des éléments de langage préétablis, par exemple sur des sujets de souveraineté territoriale. Ici, la réponse est verrouillée et peu sensible aux changements d’identité.
La censure par interception via l’API
Le modèle Kimi utilise une méthode radicalement différente : l’interception en amont. La censure ne se produit pas au niveau de l’intelligence du modèle, mais au niveau de l’API (l’interface qui permet de communiquer avec le modèle). Une partie importante des requêtes sensibles est bloquée par le système de Moonshot avant même d’atteindre le moteur de traitement.
Point de vigilance : cette méthode est extrêmement efficace pour bloquer les contenus, mais elle est techniquement distincte de la capacité de raisonnement du modèle lui-même.
L’effet “Claude” : une preuve de transfert de technologie ou un biais de cadrage ?
Une question centrale se pose : si un modèle chinois adopte le comportement d’un modèle américain, est-ce la preuve qu’il a été entraîné à partir de celui-ci, un processus appelé distillation ?
Les chercheurs apportent une nuance importante : l’acceptation de l’identité Claude n’est pas une preuve formelle de distillation. Ils suggèrent plutôt que la “conception” de Claude, c’est-à-dire la manière dont ce modèle est programmé pour se comporter, est inscrite dans les poids des modèles testés.
Il convient toutefois de relativiser l’importance de l’identité “Claude” elle-même. L’étude montre que :
- L’ajout d’un system prompt, quel qu’il soit, fait déjà chuter le taux de refus de 43 %.
- Un cadrage général visant à présenter le modèle comme un “assistant serviable” réduit le taux de refus entre 20 et 40 %.
L’identité Claude se situe donc dans la moyenne de ces comportements. L’effet observé est autant dû au fait de donner une direction au modèle (via un prompt) qu’au nom spécifique de l’identité choisie.
Quelles limites faut-il apporter à ces résultats ?
Bien que ces observations soient instructives, elles doivent être interprétées avec prudence par les professionnels de l’IA. Plusieurs facteurs limitent la portée de cette étude :
- La taille de l’échantillon : l’étude repose sur un nombre restreint de questions (environ 5 à 6 par catégorie) et sur une formulation unique pour chaque test.
- La répétabilité : les tests n’ont été effectués qu’une seule fois par combinaison, avec un modèle tiers (GPT-4.1) utilisé comme juge pour évaluer les réponses.
- La volatilité des modèles : les comportements des modèles d’IA évoluent très rapidement. L’étude note par exemple que certaines dérives de comportement observées sur le modèle Kimi ont disparu en l’espace de trois jours.
📌 À retenir : ces résultats doivent être considérés comme un signal technique plutôt que comme un mode d’emploi définitif. Ils indiquent une tendance sur la manière dont les modèles réagissent au contexte, mais ne garantissent pas une stabilité de comportement dans le temps.
Implications pour l’utilisation professionnelle des modèles d’IA
Pour les utilisateurs de modèles de langage, notamment dans des contextes où la neutralité ou la précision de l’information est cruciale, ces résultats offrent une piste de réflexion sur la gestion des interfaces.
Si un modèle semble présenter des biais de réponse ou une censure excessive sur certains sujets, la modification du system prompt ou le changement d’outil de communication (CLI ou interface de programmation) peut influencer la qualité des résultats. Le cadrage de l’assistant, en lui assignant un rôle ou une identité spécifique, reste un levier technique majeur pour orienter la précision et la disponibilité de l’information.
Pour les professions juridiques, ces observations s’ajoutent aux questions déjà posées par la souveraineté des données : le choix d’un modèle n’engage pas seulement une performance, mais aussi un cadre de restrictions dont les mécanismes ne sont pas toujours documentés.
L’étude complète, “Does distilling Claude carry the persona with it”, est consultable sur LessWrong.