Comment fonctionne un LLM (6/6) : de la prédiction à la conversation

Un modèle de langage, sorti de son entraînement initial, ne dialogue pas encore. Il a appris à prolonger un texte : à partir d’un début, il produit une suite plausible. Les assistants que l’on utilise aujourd’hui sont le résultat d’étapes de réglage supplémentaires, qui orientent ce modèle vers des réponses aux demandes.

Prenons la question « Quelle est la capitale de l’Italie ? » donnée à un modèle de base. Il peut répondre par une autre question, ou prolonger une liste de quiz (exemple illustratif : la suite dépend du modèle et de ses données). Ce n’est pas une réponse au sens où nous l’entendons : c’est une continuation plausible du texte.

Le mot « assistant » suggère une intention. Il vaut mieux parler d’un modèle réglé pour répondre aux demandes, par des méthodes qui se décrivent précisément. Ce sixième et dernier épisode de la série principale les décrit, puis regarde ce qu’on en fait et ce qui reste limité.

Le cinquième épisode, « Le Transformer en entier », a décrit l’architecture qui enchaîne ces calculs. Ici, on quitte le moteur pour voir comment on l’oriente, et où il s’arrête.

1. Un modèle de base ne fait que prédire

Le pré-entraînement optimise une seule chose : la probabilité du token suivant, sur de très grands corpus. Le modèle de base devient alors un bon prolongateur de textes. Il a rencontré des recettes, des forums, des articles et des listes : il continue dans le style des textes vus.

Exemple illustratif : la phrase « Pour réparer une fuite, il faut » peut être suivie d’une recette, d’un message de forum, d’une liste de mots-clés, ou d’un paragraphe qui parle de plomberie sans répondre. Rien, dans cette étape, ne demande de répondre utilement.

Une même entrée peut ainsi déclencher des suites très différentes, produites par la boucle qui ajoute un token après l’autre (figure 2 de l’épisode 1). Un modèle de base n’est pas un assistant mal réglé : il a été entraîné pour une autre tâche.

2. Le réglage par instructions : des démonstrations humaines

La première étape de réglage poursuit l’entraînement sur des paires : une consigne, et une réponse écrite par un annotateur, c’est-à-dire une personne qui suit des consignes d’écriture. La mesure reste la même que pour le pré-entraînement, la perte. Ce qui change, ce sont les textes vus : des dialogues de ce type, et non plus du texte quelconque.

Ouyang et al. (2022) décrivent cette étape en premier : des démonstrations écrites par des humains, puis un réglage supervisé de GPT-3 sur ces démonstrations (arXiv 2203.02155, publié).

Exemple fictif : la consigne « Résume en une phrase : [texte] » est suivie d’un résumé écrit par un annotateur. Le modèle voit des milliers de paires de ce genre, et les suites qu’il privilégie changent en conséquence.

Ce réglage n’installe pas un nouveau moteur : le calcul reste celui des épisodes précédents, seules les suites privilégiées changent.

3. Le réglage par retours humains : comparer, puis récompenser

Les annotateurs ne se contentent pas d’écrire. Pour une même consigne, le modèle produit plusieurs réponses, et un humain choisit la meilleure. Ces comparaisons servent à entraîner un modèle de récompense, qui attribue un score à une réponse et apprend à prédire le choix humain. Le modèle de langage est ensuite réglé pour obtenir des scores élevés, par apprentissage par renforcement.

Christiano et al. (2017) ont montré qu’on peut apprendre une récompense à partir de préférences humaines entre deux segments de comportement (arXiv 1706.03741, publié). Ouyang et al. appliquent ce principe aux réponses de modèles de langage.

Exemple fictif : deux réponses, A et B, à la même consigne. A répond précisément, B reste vague. L’annotateur choisit A. Le modèle de récompense doit donc donner à A un score supérieur à celui de B. Ensuite, le modèle génère de nouvelles réponses, reçoit des scores, et ajuste ses paramètres.

Dans Ouyang et al., les sorties d’InstructGPT, de 1,3 milliard de paramètres, sont préférées à celles de GPT-3, de 175 milliards, selon les évaluations des auteurs (arXiv 2203.02155, publié). Sur ces évaluations, un modèle bien plus petit, réglé ainsi, est préféré à un modèle bien plus grand, sans ce réglage. Ce chiffre ne dit pas que le petit modèle est plus juste en général.

Ces préférences sont des choix d’annotateurs suivant des consignes. Elles reflètent un jugement précis, à une date et pour un cadre donné.

4. Des principes écrits : l’IA constitutionnelle

Bai et al. (2022, Anthropic) remplacent une partie des comparaisons humaines par des jugements d’un modèle, guidés par une liste de principes écrits (arXiv 2212.08073, publié). Le modèle juge laquelle de deux réponses respecte le mieux un principe, et ces jugements servent à entraîner le modèle de récompense.

Principe fictif : « Préférer la réponse qui admet son incertitude à celle qui affirme sans source. » Le modèle juge deux réponses selon ce principe. La liste est rédigée par l’entreprise ; les jugements, eux, sont produits par le modèle.

5. La température, revisitée

À l’épisode 1, la température a été présentée comme le réglage qui rend le tirage plus prévisible ou plus varié. Concrètement, les scores du modèle sont divisés par la température avant le calcul des probabilités. Une température basse accentue les écarts ; une température haute les atténue.

Exemple illustratif, calculé à la main. Quatre mots reçoivent des scores fictifs à T = 1 : canapé 2, tapis 1, lit 0, sol −1. Chaque score devient une exponentielle, puis on divise par la somme des quatre. À T = 1 : e² = 7,389 ; e¹ = 2,718 ; e⁰ = 1 ; e⁻¹ = 0,368 ; somme 11,475. Donc P(canapé) = 7,389 / 11,475 ≈ 0,644.

Lecture : à T = 0,5, le canapé passe de 0,644 à 0,865, et le sol tombe à 0,002. À T = 2, le canapé tombe à 0,455, et le sol monte de 0,032 à 0,102. Les écarts se resserrent ou se creusent, sans que le classement des mots change.

La température change le tirage, pas les connaissances acquises pendant l’entraînement. Son effet sur la justesse des réponses n’est donc pas chiffré ici.

Deux exercices, et un rappel sur la perte

Exercice 1. Scores : canapé 3, tapis 2, lit 1, sol 0. Calculez P(canapé) à T = 1, puis à T = 0,5. Corrigé : à T = 1, e³ = 20,086 ; e² = 7,389 ; e¹ = 2,718 ; 1 ; somme 31,193 ; P ≈ 20,086 / 31,193 ≈ 0,644. À T = 0,5, les scores deviennent 6, 4, 2, 0 ; e⁶ = 403,429 ; e⁴ = 54,598 ; e² = 7,389 ; 1 ; somme 466,416 ; P ≈ 403,429 / 466,416 ≈ 0,865. Diviser par 0,5 double les scores et accentue l’écart.

Rappel sur la perte. La perte vaut −ln(probabilité du token attendu). Pour « canapé » à 0,644 (tableau ci-dessus) : −ln(0,644) ≈ 0,44. À 0,38, valeur de la Figure 4 de l’épisode 1 : −ln(0,38) ≈ 0,97.

Exercice 2. Le modèle donne 0,20 au token attendu, puis 0,50 après réglage. Quelles sont les pertes, et de combien baissent-elles ? Corrigé : −ln(0,20) ≈ 1,61 ; −ln(0,50) ≈ 0,69 ; baisse ≈ 0,92. La perte baisse quand la probabilité du bon token augmente.

6. Pourquoi un modèle hallucine

Une hallucination désigne ici un contenu faux, présenté avec la même assurance qu’un contenu juste. Le mot suggère un état mental, et il n’y en a pas. Le modèle produit une suite probable ; son fonctionnement de base ne vérifie pas cette suite contre les faits.

Plusieurs causes se combinent. D’abord, le modèle optimise la vraisemblance d’un texte, pas sa vérité : une réponse fausse mais plausible peut avoir une probabilité élevée. Ensuite, les données sont imparfaites. Kandpal et al. (2022), déjà cité à l’épisode 1, montrent que la précision sur un fait augmente avec le nombre de documents qui en parlent (arXiv 2211.08411, publié). Enfin, le tirage ne vérifie rien : il choisit le token suivant, sans aller chercher une source.

Exemple fictif : « Quel est le titre du livre de [auteur fictif] publié en [année] ? » Le modèle peut produire un titre et un éditeur plausibles, sans qu’aucun livre de ce nom n’existe. La réponse a la forme attendue, pas la base.

Les références bibliographiques sont un cas typique. Leur format (auteurs, année, revue, identifiant) est très régulier : le modèle le reproduit, et peut inventer un identifiant qui n’existe pas. Un identifiant bien formé n’est pas une preuve.

Ji et al. (2023), dans une enquête sur les hallucinations en génération de texte, proposent une classification de ces erreurs (arXiv 2202.03629, publié). Son détail n’est pas repris ici.

7. Ce que le modèle ne sait pas de lui-même

Trois limites distinctes se confondent souvent.

Date de coupure. Les données d’entraînement s’arrêtent à une date. Le modèle ne connaît pas les événements postérieurs, sauf si on les lui fournit dans la conversation ou par un outil.

Mémoire. Par défaut, le modèle ne garde aucun souvenir des conversations précédentes. Les produits qui ajoutent une mémoire le font par un dispositif extérieur au modèle. Leur fonctionnement dépend du produit.

Accès au monde. Sans outil (recherche, calcul, base de données), il ne consulte rien : il répond à partir de ses paramètres.

Un outil ne donne pas la vérité : il donne une source, qu’il faut encore lire. Un résultat de recherche peut être mal interprété, ou ne pas répondre à la question posée.

8. Grille de lecture : six réflexes

Voici une grille courte, applicable en moins d’une minute, pour lire une réponse d’IA sans la prendre pour une vérité. Elle ne mesure aucune fiabilité : ce sont des gestes de vérification.

Deux réflexes demandent une précision. Le cinquième : demander une justification, ou ce que le modèle ne sait pas, peut éclairer la réponse, mais une explication écrite n’est pas une preuve. Wei et al. (2022) montrent que faire expliciter un raisonnement pas à pas, la chaîne de raisonnement (bonus 1), améliore les performances sur certaines tâches ; ils ne montrent pas qu’elle garantit la justesse (arXiv 2201.11903, publié).

Le sixième : une réponse qui ne bouge pas quand la donnée change est suspecte. Ce test ne prouve pas la justesse, mais il peut révéler une réponse qui ne dépend pas des données fournies.

Exercice 3 (exemple fictif). Une réponse affirme : « Le Journal officiel publie chaque année 1 500 décrets, selon l’étude X de 2019. » Appliquez à cette réponse les six réflexes de la grille ci-dessus (figure 5), un par un. Corrigé : 1. Source : l’étude X est-elle citée avec une référence vérifiable ? Sinon, ne pas la tenir pour acquise. 2. Date : 2019, et le chiffre peut avoir changé depuis. 3. Chiffre : à vérifier dans une source primaire, comme le Journal officiel ou Légifrance, et non auprès d’une autre IA. 4. Cohérence : comparer avec les années voisines. 5. Justification : demander la référence exacte de l’étude. 6. Contre-exemple : reposer la question pour une autre année, et voir si la réponse change.

9. Récapitulatif de la série

Chaque épisode pose une notion, reprise dans le suivant :

• 1/6 : C’est quoi, au juste ? : un LLM attribue une probabilité à chaque token possible, en tire un au hasard, et ses paramètres sont réglés pendant l’entraînement pour réduire une perte.
• 2/6 : Les vecteurs, quand le sens devient géométrie : chaque token devient un vecteur, et la proximité se mesure par une distance ou par un cosinus.
• 3/6 : L’attention : un vecteur est recalculé selon les autres tokens du texte.
• 4/6 : Du neurone artificiel aux réseaux : un neurone artificiel fait une somme pondérée puis une activation ; empilés en couches, ils forment un réseau.
• 5/6 : Le Transformer en entier : des blocs d’attention et de réseaux empilés, reliés par des connexions résiduelles.
• 6/6 : De la prédiction à la conversation : un réglage par instructions et des retours humains orientent le modèle de base vers des réponses ; la température règle le tirage, et une réponse plausible n’est pas pour autant vérifiée.

La série principale s’arrête ici. Sept bonus la prolongent. Six traitent chacun une question précise : la chaîne de raisonnement, le mélange d’experts, les petits modèles, la distillation, le code informatique et les cartes. Le septième, le bonus 5, « Et demain ? », porte la conclusion de l’ensemble : comprendre ou pas ?

Mini-glossaire

• Modèle de base : modèle sorti du pré-entraînement, qui sait prolonger un texte mais n’est pas encore réglé pour répondre aux demandes.
• Réglage par instructions : poursuite de l’entraînement sur des paires consigne / réponse écrites par des humains.
• Annotateur : personne qui écrit des réponses ou compare des réponses, en suivant des consignes.
• Modèle de récompense : modèle qui attribue un score à une réponse, appris à partir des choix humains.
• Apprentissage par renforcement : méthode où le modèle génère des réponses, reçoit un score, et ajuste ses paramètres pour obtenir des scores plus élevés.
• Hallucination : contenu faux, présenté avec la même assurance qu’un contenu juste. Le mot ne suppose aucune intention.
• Date de coupure : date au-delà de laquelle les données d’entraînement ne contiennent rien.
• Outil : fonction extérieure au modèle, comme une recherche, un calcul ou une base de données, que le système peut appeler.

Termes déjà posés, repris sans redéfinition : token, probabilité, paramètre, entraînement, perte, descente de gradient, rétropropagation, vecteur, cosinus, dimension, attention, neurone, couche, température.

Pour aller plus loin

• Ouyang et al., « Training language models to follow instructions with human feedback », 2022 (arXiv 2203.02155), en anglais.
• Christiano et al., « Deep Reinforcement Learning from Human Preferences », 2017 (arXiv 1706.03741), en anglais.
• Bai et al., « Constitutional AI: Harmlessness from AI Feedback », 2022 (arXiv 2212.08073), en anglais.
• Ji et al., « Survey of Hallucination in Natural Language Generation », ACM Computing Surveys, 2023 (arXiv 2202.03629), en anglais.
• Wei et al., « Chain-of-Thought Prompting Elicits Reasoning in Large Language Models », 2022 (arXiv 2201.11903), en anglais.
• Kandpal et al., « Large Language Models Struggle to Learn Long-Tail Knowledge », 2022 (arXiv 2211.08411), en anglais, déjà cité à l’épisode 1.