Comment fonctionne un LLM (bonus 1) : la chaîne de raisonnement

Quand on demande à un assistant un problème à plusieurs étapes, il écrit souvent les étapes avant la réponse. Ce bonus, qui prolonge le sixième épisode, « De la prédiction à la conversation », décrit cette technique : la chaîne de raisonnement. Le réflexe « demander une justification », proposé dans le sixième épisode, en est le point de départ.

Prenons une commande simple : 4 cahiers à 3 €, une remise de 10 % sur le total, un billet de 20 €. Quelle est la monnaie ? La réponse peut arriver seule, ou précédée des calculs intermédiaires. Les deux sorties ne se lisent pas de la même façon.

1. Ce que c’est

Une chaîne de raisonnement (chain of thought, « chaîne de pensée », chez Wei et al.) est une suite d’étapes intermédiaires, écrites avant la réponse finale. Ces étapes ne passent pas par un canal à part : ce sont du texte, produit token après token, comme la réponse. Certains modèles produisent en plus un raisonnement caché, que l’interface ne montre pas.

Un calcul sans étapes et le même calcul avec étapes donnent la même réponse, mais pas le même texte. La figure ci-dessous montre les deux sorties pour la commande de l’introduction.

Le premier épisode a posé la prédiction du token suivant, tiré selon des probabilités. Une étape écrite suit la même logique. La différence est ailleurs : une fois écrite, elle devient une entrée pour la suite. Le cinquième épisode, « Le Transformer en entier », a montré que chaque token est recalculé à partir des précédents. Une étape écrite entre donc dans ce calcul.

2. D’où vient la technique

Wei et al. (2022) ajoutent au prompt quelques exemples où la réponse est précédée de ses étapes. Sur des problèmes d’arithmétique et de raisonnement en plusieurs étapes, cette consigne améliore les performances de grands modèles, sur les tâches testées (arXiv 2201.11903, publié, 2022). Les gains varient selon la tâche et le modèle : aucun pourcentage n’est repris ici.

Des modèles plus récents sont entraînés pour produire ces étapes. DeepSeek-AI (2025) décrit des modèles dont le raisonnement est appris par apprentissage par renforcement (arXiv 2501.12948 ; Nature 645, 633-638, 2025). Il faut lire cela pour ce qu’il dit : on a entraîné ces modèles à produire des étapes qui améliorent la réponse, sur les tâches testées.

Parler d’une activité intérieure serait trompeur : elle n’est pas visible dans les sorties. Ce qui se vérifie, c’est le texte produit et les tâches sur lesquelles il aide.

3. Pourquoi cela aide

Trois arguments, qui relèvent du mécanisme et non d’une mesure :

• Le modèle produit davantage de tokens avant la réponse. Chaque token est produit par un calcul, et les étapes écrites lui donnent des points d’appui.
• Chaque étape écrite devient une entrée pour la suivante. Le calcul s’appuie sur ce qui est déjà écrit.
• Un résultat intermédiaire faux peut être repéré, si l’on relit le texte produit. Rien ne l’y oblige.

Exemple : 17 × 24 se décompose en 17 × 20 + 17 × 4. Chaque ligne se vérifie séparément : 17 × 20 = 340 ; 17 × 4 = 68 ; 340 + 68 = 408. Un calcul sans étapes ne donne pas cette prise : il faut tout garder en tête. Ce qui précède ne chiffre aucun gain. Davantage de tokens ne garantit pas davantage de justesse.

Un parallèle avec le raisonnement humain

Décomposer. Un élève calcule 17 × 24 en posant 17 × 20, puis 17 × 4, puis en additionnant (exemple imaginaire). Chaque étape écrite sert de point d’appui à la suivante. Limite : l’élève décompose parce qu’il vise un résultat et sait vérifier ; le modèle produit un texte qui ressemble à une décomposition.

Le brouillon. La monnaie à rendre sur 20 € après une remise, posée ligne à ligne sur une feuille, tient lieu de mémoire de travail. Limite : la mémoire de l’élève persiste. Le modèle n’a accès qu’à sa fenêtre de contexte, c’est-à-dire au texte qu’il peut lire d’un coup. Ce qui en sort ne lui est plus lisible, et son brouillon est sa propre sortie.

La relecture. L’élève relit « 70 − 8 = 52 » et repère l’erreur. Limite : pour le modèle, relire est encore produire du texte ; il peut aussi confirmer l’erreur.

Ce sont des images pour présenter le mécanisme, pas une description de ce qui se passe dans le modèle.

4. Un exemple calculé : réponse directe ou étapes

Reprenons la commande de l’introduction, étape par étape :

Sans étapes visibles, le lecteur doit tout garder en tête. Une erreur sur la remise, par exemple 10 € au lieu de 1,20 €, donne une monnaie fausse sans signe apparent. Avec les étapes, chaque ligne se relit. Il est plus difficile de vérifier un calcul qui n’en montre aucune, ce qui ne veut pas dire que la réponse directe est toujours fausse.

5. Ce que la chaîne ne garantit pas

Une chaîne de raisonnement n’est pas une preuve, pour deux raisons distinctes. La première porte sur la justesse : la réponse est-elle correcte ? Une étape peut être fausse, et la suite se construit alors sur cette erreur.

La seconde porte sur la fidélité : l’explication reflète-t-elle le calcul réellement effectué ? Turpin et al. (2023) montrent que ces explications peuvent omettre un facteur qui a réellement pesé sur la réponse. Un biais ajouté au prompt peut changer la réponse sans apparaître dans l’explication (arXiv 2305.04388, NeurIPS 2023).

Justesse d’abord : une chaîne peut être cohérente d’un bout à l’autre, et fausse quand même. C’est le cas de l’exemple suivant.

Exemple : « 5 × 14 = 70 ; 70 − 8 = 52 ; donc 52. » Le texte est cohérent : chaque ligne suit la précédente. Mais 70 − 8 vaut 62. La conclusion « 52 » est donc fausse, alors que tout le texte qui la précède est cohérent avec l’erreur. La cohérence interne ne prouve pas la justesse.

6. Lire une chaîne de raisonnement

La grille de l’épisode 6 s’applique directement. D’abord, vérifier chaque étape : refaire le calcul, un par un. Ensuite, comparer avec un calcul externe, une calculatrice ou une source primaire. Enfin, poser la question autrement, avec une donnée changée, et voir si la réponse suit.

Ces gestes s’appliquent à la chaîne entière. Une chaîne bien écrite n’est pas une chaîne vraie : c’est le contrôle, pas la forme du texte, qui donne une raison de croire la réponse.

7. Exercices et corrigés

Exercice 1 (décomposition). Calculez 17 × 24 en décomposant 24 = 20 + 4, puis en décomposant 17 = 10 + 7. Comparez les deux chemins. Corrigé : 17 × 20 = 340 ; 17 × 4 = 68 ; 340 + 68 = 408. Par l’autre voie : 10 × 24 = 240 ; 7 × 24 = 168 ; 240 + 168 = 408. Les deux chemins donnent 408 : deux décompositions, deux contrôles indépendants.

Exercice 2 (relire une chaîne). Une réponse écrit : « 5 × 14 = 70 ; 70 − 8 = 52 ; donc 52. » Trouvez l’étape fausse et la bonne réponse. Expliquez pourquoi la cohérence du texte ne suffit pas à valider la réponse. Corrigé : l’étape fausse est « 70 − 8 = 52 ». La bonne valeur est 70 − 8 = 62. La conclusion « donc 52 » est cohérente avec l’erreur : une chaîne peut être cohérente et fausse. Il faut contrôler chaque étape avec un calcul indépendant.

8. Repères : de 2022 à 2025

2022. Wei et al. montrent qu’ajouter à la consigne quelques exemples avec leurs étapes améliore les résultats sur des problèmes d’arithmétique, pour de grands modèles et les tâches testées (arXiv 2201.11903).

2022. Kojima et al. montrent qu’une consigne courte, « Let’s think step by step », suffit parfois à faire écrire les étapes, sans exemple (arXiv 2205.11916).

2022. Wang et al. échantillonnent plusieurs chaînes et retiennent une réponse : la réponse la plus fréquente parmi plusieurs chaînes est souvent la bonne (arXiv 2203.11171).

Septembre 2024. OpenAI annonce o1, un modèle entraîné par renforcement à produire une chaîne de raisonnement avant sa réponse (annonce d’OpenAI). Les étapes brutes ne sont pas montrées dans l’interface.

Janvier 2025. DeepSeek-R1 (arXiv 2501.12948) décrit un raisonnement appris par apprentissage par renforcement. Publié dans Nature en 2025.

2025. Plusieurs modèles offrent une réflexion étendue, activable selon les usages ; par exemple Claude 3.7 Sonnet, annoncé le 24 février 2025 (annonce d’Anthropic).

Ce qui reste ouvert. La fidélité des explications (Turpin et al., 2023), la généralisation hors des problèmes d’entraînement, et le coût : une réponse plus longue consomme davantage de tokens, et les fournisseurs facturent selon leurs propres règles.

9. Pour finir

Rien, dans le mécanisme décrit ici, ne garantit que les étapes écrites soient justes : le modèle produit du texte, token après token. Les étapes peuvent aider, à condition de les relire et de les contrôler avec un calcul indépendant.

Le récapitulatif de la série figure dans le sixième épisode, à la section 9. Bonus suivant : le mélange d’experts, ou pourquoi le nombre de paramètres annoncé pour un modèle ne dit pas toujours combien servent à chaque mot.

Mini-glossaire

• Chaîne de raisonnement : suite d’étapes intermédiaires écrite avant la réponse finale.
• Étape intermédiaire : résultat partiel, écrit dans le texte, qui sert à la suite.
• Réponse directe : réponse sans étapes visibles.
• Apprentissage par renforcement : méthode où le modèle génère, reçoit un score, et ajuste ses paramètres. Voir l’épisode 6, section 3.
• Token : unité de texte manipulée par le modèle. Voir l’épisode 1.
• Fidélité : l’explication écrite reflète-t-elle le calcul réellement effectué ? Ne pas confondre avec la justesse.
• Justesse : la réponse finale est-elle correcte ?

Références

• Wei et al., « Chain-of-Thought Prompting Elicits Reasoning in Large Language Models », arXiv 2201.11903, 2022 (lien), en anglais.
• DeepSeek-AI, « DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning », arXiv 2501.12948 (lien), publié dans Nature 645, 633-638 (2025), en anglais.
• Turpin, Michael, Perez, Bowman, « Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting », arXiv 2305.04388, NeurIPS 2023 (lien), en anglais.
• Kojima, Gu, Reid, Matsuo, Iwasawa, « Large Language Models are Zero-Shot Reasoners », arXiv 2205.11916, 2022 (lien), en anglais.
• Wang, Wei, Schuurmans, Le, Chi, Narang, Chowdhery, Zhou, « Self-Consistency Improves Chain of Thought Reasoning in Language Models », arXiv 2203.11171, 2022 (lien), en anglais.
• OpenAI, « Learning to Reason with LLMs », 12 septembre 2024 (lien), en anglais.
• Anthropic, « Claude 3.7 Sonnet », 24 février 2025 (lien), en anglais.