Comment fonctionne un LLM (bonus 4) : la distillation, ou apprendre d’un professeur

Un grand modèle de langage coûte cher : beaucoup de paramètres, beaucoup de calcul, beaucoup d’énergie. Un petit modèle est moins coûteux à faire tourner, mais il répond en général moins bien. Peut-on alors lui faire imiter un grand modèle, pour qu’il en retienne une partie du comportement ?

Le bonus 3, « Pourquoi des petits modèles », a montré pourquoi l’on vise des modèles plus petits, et ce qu’ils perdent. Ce bonus pose la question suivante : peut-on leur transmettre une partie d’un grand modèle ?

Cette technique s’appelle la distillation. Elle reprend des notions déjà posées : les probabilités des tokens (épisode 1), la température (épisodes 1 et 6), la perte. Ce bonus les utilise sans les redéfinir autrement.

Il s’appuie sur un exemple à quatre mots que le lecteur peut refaire à la calculatrice.

1. Un professeur, un élève

Dans un entraînement par distillation, le professeur est un grand modèle, déjà entraîné et coûteux à faire tourner. L’élève est un modèle plus petit, plus rapide et moins coûteux. Il n’apprend pas seulement à partir du texte d’origine : il apprend à reproduire les sorties du professeur. L’idée est décrite par Hinton, Vinyals et Dean en 2015 (prépublication arXiv 1503.02531).

Une image pour la fixer : une dictée corrigée par une professeure. Un élève qui ne reçoit que le corrigé retient une seule forme par mot. La professeure, elle, montre la répartition des réponses : la forme la plus probable, l’erreur la plus fréquente, et les formes presque impossibles.

Le professeur de distillation fait de même : pour chaque mot suivant, il donne une probabilité à tous les mots possibles. L’élève apprend à reproduire cette répartition.

2. Pourquoi la bonne réponse seule ne suffit pas

Dans l’entraînement classique du premier épisode, la cible est un token « one-hot » : probabilité 1 pour le mot attendu, 0 pour tous les autres. Pour « Le chat dort sur le… », la cible vaut 1 pour « coussin » et 0 pour « plaid », « fauteuil » et « parquet ». Cette cible ne dit rien des relations entre les mots.

Le professeur, lui, donne des probabilités à tous les mots. Il juge « plaid » et « fauteuil » plausibles, et « parquet » beaucoup moins.

Ces probabilités, appelées cibles douces (soft targets), contiennent une information que la cible one-hot n’a pas : quels mots sont presque possibles, et lesquels le sont à peine.

Geoffrey Hinton a donné à cette information le nom de « savoir sombre » (dark knowledge). Pour une même question, cette répartition donne à l’élève plus de signal que la seule bonne réponse.

3. La température, revisitée

Rappel : les scores du modèle sont divisés par la température T avant le calcul des probabilités. Une température basse accentue les écarts ; une température haute les atténue.

Dans la distillation, une température élevée rend lisibles les écarts faibles entre les mots. Hinton et al. entraînent l’élève sur les probabilités du professeur à température élevée, puis utilisent le modèle à T = 1.

Hinton et al. multiplient aussi la perte par T². Ce facteur garde des gradients de taille comparable quand T change ; ce n’est pas une règle générale. Les calculs de ce bonus ne l’utilisent pas.

4. Un exemple chiffré

Exemple fictif : le professeur reçoit, pour le mot suivant de « Le chat dort sur le… », des scores de coussin 4, plaid 2, fauteuil 1, parquet −1, à T = 1.

Chaque score devient une exponentielle ; on divise ensuite chacune par la somme des quatre. À T = 1 : e⁴ = 54,598 ; e² = 7,389 ; e¹ = 2,718 ; e⁻¹ = 0,368 ; somme 65,073. Donc P(coussin) = 54,598 / 65,073 ≈ 0,839.

À T = 2, les scores sont divisés par 2 : 2 ; 1 ; 0,5 ; −0,5. Les exponentielles deviennent 7,389 ; 2,718 ; 1,649 ; 0,607, de somme 12,363. Donc P(coussin) = 7,389 / 12,363 ≈ 0,598.

Lecture : à T = 2, le mot coussin baisse de 0,839 à 0,598, et le parquet monte de 0,006 à 0,049. Le classement des mots ne change pas ; ce qui change, c’est l’écart entre eux.

5. La perte de l’élève : entropie croisée

L’élève est entraîné à rapprocher ses probabilités q de celles du professeur p. La mesure s’appelle l’entropie croisée : L = −Σ pᵢ · ln(qᵢ), où la somme porte sur les quatre mots.

Quand p est one-hot (coussin = 1, les autres à 0), la somme se réduit à −ln(probabilité du bon token) : c’est la perte de l’épisode 1.

Entropie du professeur à T = 2 : H(p) ≈ 1,057. Deux élèves, mêmes mots, même température, avec des scores différents (fictifs) :

• Élève A, scores 3 ; 1,8 ; 0,6 ; −0,6. Ses probabilités à T = 2 sont 0,496 ; 0,272 ; 0,149 ; 0,082. Entropie croisée ≈ 1,081, soit un écart de 0,024 avec H(p).
• Élève B, scores 4 ; 0 ; 0 ; 0. Il donne un mot très probable, mais écrase les nuances : 0,711 pour coussin, 0,096 pour chacun des autres. Entropie croisée ≈ 1,145, soit un écart de 0,088.

Lecture : l’élève A reproduit mieux la distribution du professeur, qui ne donne pas 100 % à un seul mot. Pour une cible one-hot (coussin = 1), la perte de l’élève A vaut −ln(0,496) ≈ 0,701.

L’écart entre les deux distributions s’appelle la divergence de Kullback-Leibler : KL(p ‖ q) = Σ pᵢ · ln(pᵢ / qᵢ). Comme L = H(p) + KL(p ‖ q), et que H(p) ne dépend pas de l’élève, minimiser L revient à minimiser KL.

Pour l’élève A, KL = 1,081 − 1,057 = 0,024, c’est l’écart affiché plus haut.

6. Ce que la distillation apporte, et ce qu’elle n’apporte pas

Ce qu’elle apporte : l’élève reçoit davantage d’information par exemple qu’avec une cible one-hot. Il peut ainsi reproduire une partie du comportement du professeur à moindre coût.

Ce qu’elle n’apporte pas :

• L’élève ne « comprend » pas mieux : il imite des probabilités.
• Il hérite des erreurs du professeur. Un professeur qui se trompe avec assurance enseigne aussi cette assurance.
• Sa qualité dépend de la quantité et de la diversité des exemples que le professeur produit.

7. Usages publiés

DistilBERT (Sanh et al., 2019, arXiv 1910.01108) est une version distillée de BERT. Sa perte combine trois termes : la distillation des probabilités de BERT, la prédiction des mots masqués et l’alignement des représentations internes.

Selon le résumé de l’article, DistilBERT a environ 40 % de paramètres en moins, conserve environ 97 % de ses performances de compréhension du langage, et est environ 60 % plus rapide à l’inférence. Ces chiffres valent dans les conditions de test de l’article.

Gemma 2 (rapport technique de Google, 2024, arXiv 2408.00118) : selon le rapport, les modèles de 2 et de 9 milliards de paramètres sont entraînés par distillation à partir d’un modèle plus grand.

8. Distiller un modèle fermé : questions ouvertes

Si un modèle n’est accessible que par une API, l’élève ne reçoit que les textes générés, et non les probabilités complètes. Il apprend alors sur des mots tirés, comme à l’épisode 1, et non sur la répartition du professeur.

Ce cas pose des questions de conditions d’utilisation et de droit. Les conditions d’utilisation d’une API peuvent restreindre l’usage de ses sorties pour entraîner un autre modèle ; elles varient selon le fournisseur et doivent être lues au cas par cas.

Ces questions restent ouvertes. Aucun modèle commercial n’est présenté ici comme distillé.

9. Deux exercices

Exercice 1. Scores fictifs du professeur : coussin 3, plaid 2, fauteuil −1, parquet −2. Calculez P(coussin) à T = 1, puis à T = 2. Corrigé : à T = 1, e³ = 20,086 ; e² = 7,389 ; e⁻¹ = 0,368 ; e⁻² = 0,135 ; somme 27,978 ; P ≈ 0,718. À T = 2, les scores deviennent 1,5 ; 1 ; −0,5 ; −1 ; e^1,5 = 4,482 ; somme 8,174 ; P ≈ 0,548. La température haute réduit l’écart.

Exercice 2. Le professeur de l’exemple donne p = (0,598 ; 0,220 ; 0,133 ; 0,049) à T = 2. Un élève donne q = (0,50 ; 0,25 ; 0,15 ; 0,10). Calculez L = −Σ pᵢ · ln(qᵢ), puis l’écart avec H(p) ≈ 1,057. Corrigé : L ≈ 1,085 ; écart ≈ 0,028. L’élève est proche du professeur : il sous-estime coussin, et surestime les trois autres mots.

10. À retenir

• La distillation entraîne un petit modèle, l’élève, à reproduire les probabilités d’un grand modèle, le professeur.
• Les cibles douces disent quels mots sont presque possibles : c’est plus d’information qu’une seule bonne réponse.
• Une température élevée rend lisibles les petits écarts ; le classement des mots ne change pas.
• L’entropie croisée mesure l’écart entre l’élève et le professeur ; à cible one-hot, c’est la perte de l’épisode 1.
• L’élève hérite aussi des erreurs du professeur, et rien ne garantit qu’il l’égale.

Un élève qui imite son professeur reçoit la répartition de ses réponses, erreurs fréquentes comprises. Il ne reçoit pas le raisonnement qui les a produites.

Bonus suivant : « Et demain ? », qui trie ce qui est mesuré, annoncé ou espéré, et porte la conclusion de la série.

Mini-glossaire

• Distillation : entraînement d’un élève à reproduire les sorties d’un professeur.
• Professeur, élève : grand modèle déjà entraîné, et petit modèle qui apprend à l’imiter.
• Cible douce (soft target) : ensemble des probabilités produites par le professeur, pour tous les mots.
• Cible one-hot : cible où un seul mot vaut 1, les autres 0.
• Température (rappel) : diviseur des scores avant l’exponentielle. Basse, elle accentue les écarts ; haute, elle les atténue.
• Entropie croisée : mesure qui compare les probabilités de l’élève à celles du professeur ; à cible one-hot, c’est la perte de l’épisode 1.
• Pré-entraînement (rappel) : première phase, sur de très grands corpus, où le modèle apprend à prédire le token suivant.
• Kullback-Leibler : mesure de l’écart entre deux distributions de probabilités ; elle vaut l’entropie croisée moins l’entropie du professeur.

Pour aller plus loin

• Hinton, Vinyals, Dean, « Distilling the Knowledge in a Neural Network », 2015, prépublication arXiv 1503.02531, en anglais.
• Sanh et al., « DistilBERT, a distilled version of BERT », 2019 (arXiv 1910.01108), en anglais.
• Rapport technique Gemma 2, 2024 (arXiv 2408.00118), en anglais.