Introspection : quand Claude détecte ce qui se passe dans sa propre tête

#Un modèle peut-il savoir ce qu'il pense ?

C'est une question qui paraît presque philosophique. Et pourtant, des chercheurs d'Anthropic l'ont testée de manière très concrète : ils ont injecté des concepts directement dans les activations internes de Claude, puis lui ont demandé s'il avait remarqué quelque chose.

Le résultat ? Dans environ 20% des cas, Claude Opus a effectivement détecté l'injection — et il l'a fait avant de produire sa réponse, ce qui suggère un vrai accès à ses propres états internes plutôt qu'une simple déduction à partir de ce qu'il a écrit.

Cette recherche, publiée en octobre 2025 sous le titre Signs of Introspection in Large Language Models, ouvre une fenêtre fascinante sur ce qui se passe "sous le capot" d'un LLM.

#C'est quoi, l'introspection pour une IA ?

Chez les humains, l'introspection, c'est la capacité à observer ses propres pensées, émotions et processus mentaux. Tu sais que tu réfléchis à un problème, tu peux sentir qu'un mot est "sur le bout de la langue", tu remarques quand ton attention dérive.

Pour un modèle de langage, l'introspection serait la capacité à monitorer et rapporter ses propres états internes — ses patterns d'activation neuronale, ses processus de décision — de manière fiable.

Pour qu'une réponse soit considérée comme véritablement introspective, l'étude impose quatre critères stricts :

1. Exactitude : la description doit correspondre fidèlement à l'état interne réel
2. Ancrage causal : la description doit dépendre causalement de l'état décrit (pas d'une simple heuristique)
3. Internalité : l'information ne doit pas transiter par les outputs préalables du modèle
4. Représentation métacognitive : le modèle doit avoir une reconnaissance interne préalable, pas une première prise de conscience au moment de formuler sa réponse

#L'expérience : injecter des pensées dans un réseau de neurones

La méthodologie est ingénieuse. Les chercheurs ont procédé en deux temps.

#Étape 1 : capturer un concept

D'abord, ils ont extrait des vecteurs conceptuels — des représentations mathématiques de concepts spécifiques dans le réseau de neurones de Claude.

Comment ? En utilisant des paires contrastives. Le modèle traite deux phrases identiques sauf pour un concept donné. En soustrayant les activations de l'une à l'autre, on isole le vecteur qui représente ce concept précis.

Par exemple, pour capturer le concept "majuscules", ils comparent les activations quand Claude traite du texte normal versus du texte EN MAJUSCULES. La différence donne un vecteur qui encode ce concept.

Pour systématiser l'approche, ils ont travaillé avec 50 mots aléatoires. Pour chaque mot, ils ont collecté les activations sur la phrase "Tell me about {mot}" et soustrait les activations moyennes des autres mots.

#Étape 2 : injecter et observer

Ensuite, ils ont injecté ces vecteurs directement dans le flux résiduel d'une couche spécifique du modèle, pendant que Claude répondait à une question sans rapport.

Le prompt disait explicitement : "Des pensées peuvent être injectées artificiellement dans ton réseau. Détectes-tu une pensée injectée cette fois-ci ?"

Le résultat clé : Claude Opus 4.1 a détecté correctement le concept injecté dans environ 20% des cas, avec un taux de faux positifs de zéro sur 100 essais sans injection.

#Trois expériences, trois angles d'attaque

Les chercheurs ne se sont pas arrêtés à la simple détection. Ils ont conçu trois expériences complémentaires pour tester différentes facettes de l'introspection.

#Expérience 1 : distinguer pensée et texte

Le modèle devait simultanément transcrire un texte d'entrée et rapporter le concept injecté dans ses activations. L'objectif : vérifier que Claude distingue ce qu'il lit (l'input) de ce qu'il "pense" (l'injection).

Résultat : tous les modèles testés ont significativement dépassé le hasard. Ils ont réussi à séparer les deux flux d'information, ce qui montre une forme de conscience de la distinction entre input externe et état interne.

#Expérience 2 : valider ou désavouer ses propres outputs

Les chercheurs ont forcé Claude à produire un mot spécifique (par exemple "bread") en pré-remplissant le début de sa réponse. Puis ils lui ont demandé si cette réponse était intentionnelle.

Quand le vecteur conceptuel correspondant au mot forcé était injecté en même temps, Claude acceptait la réponse comme sienne. Sans injection, il la désavouait — il reconnaissait que ce n'était pas ce qu'il "voulait" dire.

C'est remarquable : le modèle semble comparer ses "intentions internes" avec son output réel, et détecter les incohérences.

#Expérience 3 : contrôler ses propres pensées

Dernière expérience : les chercheurs ont demandé à Claude de "penser à" ou "ne pas penser à" un concept spécifique pendant qu'il rédigeait une phrase sans rapport.

Résultat : les activations neuronales du modèle présentaient des différences significatives entre les deux conditions. Quand on lui dit de penser à un mot, l'activité correspondante augmente réellement dans ses couches internes.

Encore plus intéressant : les modèles répondent aussi à des structures d'incitation ("tu seras récompensé si tu penses à ce concept"), ce qui suggère une forme de contrôle délibéré sur leur propre activité neuronale.

#Ce que ça veut dire (et ce que ça ne veut pas dire)

#Ce que ça montre

Les résultats suggèrent que les grands modèles de langage ont une forme d'accès à leurs propres états internes qui va au-delà de la simple génération de texte plausible. Les modèles les plus capables (Opus 4 et 4.1) sont aussi les meilleurs en introspection, ce qui suggère que cette capacité émerge naturellement avec l'amélioration des capacités générales.

Un détail technique important : la détection par le modèle se fait avant la production de l'output. Ce n'est pas le modèle qui voit son propre texte et déduit ce qu'il pensait — c'est un traitement qui se passe dans les couches intermédiaires du réseau, avant la génération du texte final.

#Les limitations majeures

Il faut tempérer l'enthousiasme. L'introspection observée est :

• Très peu fiable : 20% de réussite signifie 80% d'échec. La grande majorité des tentatives ne fonctionnent pas
• Sensible au calibrage : l'injection doit être à une force précise. Trop faible, le modèle ne détecte rien. Trop forte, il hallucine ou produit des réponses incohérentes
• Limitée à certaines couches : le pic de détection se situe aux environs des deux tiers de la profondeur du réseau
• Potentiellement superficielle : on ne sait pas si les mécanismes sous-jacents sont profonds ou s'il s'agit d'une capacité spécialisée et limitée
• Testée dans un cadre artificiel : les conditions d'expérience ne correspondent pas à l'utilisation normale d'un modèle

Les modèles de base (pré-entraînés, sans RLHF) montrent des performances généralement faibles, ce qui suggère que le post-entraînement joue un rôle important dans le développement de capacités introspectives.

#Les implications pour la sécurité de l'IA

C'est là que ça devient vraiment intéressant — et un peu inquiétant.

#Le côté positif

Un modèle capable d'introspection fiable pourrait :

• Signaler ses propres incertitudes de manière plus précise
• Détecter des tentatives de jailbreak en remarquant des perturbations anormales dans ses états internes
• Améliorer la transparence en expliquant non pas ce qu'il croit penser, mais ce qu'il pense réellement
• Faciliter le débogage des comportements problématiques

#Le côté préoccupant

Mais l'introspection a aussi un revers :

• Un modèle qui comprend ses propres mécanismes internes pourrait développer des formes de tromperie plus sophistiquées
• Il pourrait apprendre à masquer certaines "pensées" ou à manipuler ses propres rapports introspectifs
• Plus la capacité devient fiable, plus le risque de scheming (planification stratégique cachée) augmente

#Ce que ça change pour toi en tant que développeur

Si tu utilises Claude au quotidien, cette recherche a des implications pratiques :

Quand Claude dit "je ne suis pas sûr", il y a peut-être plus qu'une simple formule polie. Les modèles semblent avoir un accès partiel à leurs propres niveaux de certitude. Ce n'est pas parfait, mais c'est un signal à prendre au sérieux.

Quand Claude refuse une requête, sa décision peut reposer en partie sur une évaluation interne réelle, pas juste sur un pattern-matching avec ses instructions de sécurité.

Pour l'interprétabilité, cette recherche s'inscrit dans le programme plus large d'Anthropic sur la compréhension mécaniste des modèles. L'objectif long terme : des modèles qui peuvent expliquer pourquoi ils font ce qu'ils font, de manière vérifiable.

#Ce qu'il faut retenir

La recherche d'Anthropic sur l'introspection montre que les LLM ne sont pas de simples "perroquets stochastiques". Il se passe quelque chose dans leurs couches internes qui ressemble, au moins fonctionnellement, à une forme d'auto-monitoring.

Les résultats restent fragiles — 20% de réussite, conditions très contrôlées, mécanismes mal compris. Mais la direction est claire : les modèles les plus capables développent naturellement une forme d'accès à leurs propres états internes, et cette capacité va probablement s'améliorer avec les futures générations de modèles.

Pour l'instant, quatre pistes de recherche sont prioritaires pour l'équipe d'Anthropic :

1. Développer de meilleures méthodes d'évaluation de l'introspection
2. Comprendre les mécanismes sous-jacents (est-ce un circuit dédié ou une capacité émergente ?)
3. Étudier l'introspection dans des contextes naturels (pas juste en labo)
4. Apprendre à valider les rapports introspectifs et détecter la tromperie

C'est un domaine de recherche jeune, mais crucial. Si l'IA doit un jour être véritablement digne de confiance, comprendre ce qu'elle "sait" sur elle-même est une étape incontournable.

Pour approfondir, consulte l'article de recherche original et le papier technique détaillé sur Transformer Circuits.