Comment fonctionne un LLM (bonus 5) : et demain ?

Les modèles de langage ont beaucoup changé depuis 2022. Ce bonus ne fait pas de prédiction : il regarde ce qui est publié, sépare ce qui est mesuré, ce qui est annoncé et ce qui est espéré, puis propose une méthode pour lire la prochaine annonce sans la confondre avec un résultat.

Les épisodes 1 à 6 ont posé le token, la probabilité, le vecteur, l’attention, le réseau, l’entraînement et le réglage. Le dernier, « De la prédiction à la conversation », a décrit comment un modèle de base est orienté pour répondre. Ce bonus réutilise ces notions sans les redéfinir.

Une mise en garde avant d’entrer dans le sujet : aucun chiffre de modèle fermé n’est donné. Les chiffres viennent d’articles, de rapports cités, ou d’une seule annonce d’entreprise, signalée comme telle : le chiffre de Google pour une requête à son service Gemini (section 11). Un chiffre pour un service n’est pas un chiffre de modèle. Chaque chiffre porte son statut.

Étiquettes utilisées : Fait publié (avec sa source) ; Tendance observée ; Annonce (communiqué, sans publication évaluée) ; Espérance (ce qui est souhaité, non démontré) ; Déduction (conclusion tirée d’un fait par un calcul ou un raisonnement, sans mesure directe) ; Précaution (mise en garde sur ce qu’un chiffre ou une phrase ne permet pas de dire) ; Question ouverte.

1. Ce qui ne change pas, et comment lire le tableau

Quelle que soit la technique citée plus bas, le modèle calcule une probabilité pour le token suivant, à partir du contexte, puis en tire un (épisode 1). Les sections 2 à 7 ne changent pas ce principe : elles changent la manière de calculer, de régler ou de compléter ce calcul.

Le tableau ci-dessous résume les sections 2 à 8 : chaque ligne correspond à une section. Trois colonnes séparent ce qui est établi par une source, ce qui est espéré, et ce qui reste ouvert.

Une cellule « — » signifie qu’aucune source citée dans ce bonus ne permet de conclure, ou qu’il n’y a pas d’espérance à formuler.

2. Moins cher, plus petit : l’efficacité

Fait publié (quantification) : GPTQ (Frantar et al., arXiv 2210.17323, ICLR 2023) réduit la précision des poids d’un modèle, après son entraînement, à 3 ou 4 bits par poids (méthode décrite dans l’article).

Déduction : des poids stockés sur moins de bits occupent moins de mémoire. La vitesse dépend du matériel et de l’implémentation ; rien n’est chiffré ici à ce sujet.

Fait publié (distillation) : Hinton, Vinyals et Dean (arXiv 1503.02531, 2015) proposent d’entraîner un petit modèle à imiter les probabilités d’un grand modèle. Tendance observée : la distillation appliquée aux modèles de langage actuels est un usage élargi de cette idée, qui ne se réduit pas à l’article de 2015.

Tendance observée, source primaire : selon la page d’Epoch AI sur les tendances des prix d’inférence (12 mars 2025), le prix pour atteindre le niveau de GPT-4 sur GPQA Diamond baisse d’environ 40 fois par an. Selon le seuil de performance retenu, la fourchette va de 9 à 900 fois par an. Les baisses les plus rapides ont eu lieu dans la dernière année ; la page indique que leur maintien reste incertain (epoch.ai).

Précaution. Une baisse du prix par token ne dit pas que la dépense totale baisse. Exemple fictif : si le prix unitaire est divisé par 10 et que le volume d’usage est multiplié par 20, la dépense totale est multipliée par 2 (20 ÷ 10 = 2). Le volume peut croître plus vite que le prix ne baisse ; ce n’est pas mesuré ici.

Espérance : des modèles plus petits suffiront pour davantage de tâches. Ceci est une espérance, non démontrée à ce jour.

Question ouverte : la baisse de coût se maintiendra-t-elle si les modèles produisent des réponses plus longues ?

3. Raisonner avant de répondre

Fait publié : Wei et al. (arXiv 2201.11903, 2022) montrent qu’expliciter des étapes intermédiaires améliore les résultats sur certaines tâches (arXiv 2201.11903). Le sixième épisode a posé ce point : cela ne garantit pas la justesse.

Fait publié : DeepSeek-AI (arXiv 2501.12948, 2025) montre qu’un comportement de raisonnement peut apparaître à partir d’un apprentissage par renforcement, avec ou sans données de départ annotées (arXiv 2501.12948). Les auteurs publient les poids de leurs modèles.

Déduction : un modèle qui écrit davantage de tokens avant sa réponse engage davantage de calcul, donc davantage de coût et de latence. Le raisonnement écrit a un prix.

Précaution : le raisonnement écrit n’est pas la trace du calcul interne du modèle. La conclusion de ce bonus y revient.

Question ouverte : le gain observé se transfère-t-il hors des domaines où la réponse est vérifiable, comme les mathématiques et le code ?

4. Plusieurs experts, une partie active

Dans un mélange d’experts (MoE), le réseau contient plusieurs sous-réseaux, les experts, et un routeur en choisit quelques-uns pour chaque token. Seule une partie des paramètres sert donc à chaque token. Les modèles denses, comme ceux décrits aux épisodes 4 et 5, n’ont pas d’experts : tous leurs paramètres servent à chaque token.

Fait publié : Mixtral (Jiang et al., arXiv 2401.04088, 2024) utilise 8 experts par couche, dont 2 sont choisis pour chaque token (arXiv 2401.04088). Le modèle compte environ 47 milliards de paramètres au total, dont environ 13 milliards actifs par token (résumé de l’article).

Fait publié : DeepSeek-AI (arXiv 2412.19437, 2024) décrit DeepSeek-V3, un modèle de mélange d’experts qui compte 671 milliards de paramètres au total, dont 37 milliards activés pour chaque token, selon le résumé de l’article (arXiv 2412.19437).

Précaution. Paramètres actifs ne veut pas dire coût total. Tous les experts doivent rester en mémoire, et le routage est un calcul de plus. Une heure GPU n’est pas un prix : aucun coût en euros ou en dollars n’est déduit ici.

Question ouverte : le mélange d’experts restera-t-il dominant, ou les architectures denses le rattraperont-elles ?

5. Des contextes plus longs

Fait publié : Liu et al. (arXiv 2307.03172, TACL 2024) observent une performance en forme de U : quand l’information utile est placée au milieu d’un long contexte, les modèles testés l’exploitent moins bien qu’au début ou à la fin (arXiv 2307.03172).

Précaution. Une taille de fenêtre annoncée ne dit pas quel usage le modèle fait réellement de ce contexte. Aucune taille de fenêtre de modèle fermé n’est citée ici.

Espérance : une meilleure utilisation du milieu d’un contexte. Elle n’est pas démontrée à ce jour.

Question ouverte : comment mesurer l’usage réel d’un long contexte sans écrire un benchmark maison ?

6. Voir et entendre : le multimodal

Un modèle multimodal accepte en entrée d’autres formes que le texte, comme l’image, et parfois le son ou la vidéo. Le mécanisme général, sans modèle précis : une image est découpée en morceaux, ou transformée par un encodeur en suite de vecteurs. Ces vecteurs sont placés dans la même suite que les tokens de texte ; une fois là, les couches d’attention (épisode 3) les traitent comme les autres vecteurs. C’est ce qui permet de répondre à une question sur une image, et c’est aussi ce qui laisse ouverte la question de ce que le modèle en comprend.

Fait publié : Dosovitskiy et al. (ViT, arXiv 2010.11929, ICLR 2021) découpent une image en carrés de 16 × 16 pixels, puis traitent ces carrés comme une suite de tokens dans un Transformer.

Fait publié : Radford et al. (CLIP, arXiv 2103.00020, 2021) entraînent un modèle à associer une image et sa légende, sur 400 millions de paires collectées sur Internet.

Précaution : ces deux articles décrivent des modèles de recherche. Les capacités audio ou vidéo des modèles fermés ne sont connues que par des annonces ; aucune n’est reprise ici.

Question ouverte : une modalité ajoutée donne-t-elle une compréhension, ou une correspondance statistique plus large ?

7. Un modèle qui appelle des outils : les agents

Fait publié : Schick et al. (Toolformer, arXiv 2302.04761, NeurIPS 2023) entraînent un modèle à décider quand appeler une API externe, comme une calculatrice ou un moteur de recherche, avec quels arguments, et à intégrer le résultat dans la suite du texte (arXiv 2302.04761). Le modèle de base de l’étude est GPT-J, de 6,7 milliards de paramètres.

Fait publié : Yao et al., ReAct (arXiv 2210.03629, ICLR 2023), alternent pensée, action et observation, sans réentraîner le modèle.

La boucle est illustrée à la figure 2.

Précaution. L’outil est exécuté par un programme, pas par le modèle. Une erreur peut venir de l’outil, de l’appel écrit par le modèle, ou de l’interprétation du résultat. Un résultat d’outil n’est pas une vérité : il faut le lire.

Précaution : le mot « agent » recouvre des systèmes très différents. Une annonce commerciale se compare aux démonstrations publiées, au cas par cas.

Question ouverte : quelle fiabilité sur des tâches longues, à plusieurs étapes, avec des effets réels ?

8. Les limites qui persistent

Hallucinations. Deux enquêtes publiées, Ji et al. (arXiv 2202.03629) et Huang et al. (arXiv 2311.05232), recensent ces erreurs. Ce bonus ne reprend que ce qu’elles disent du problème, sans méthode qui le règle.

Données. La disponibilité de textes de qualité est une question ouverte. Les corpus publiés au premier épisode donnent des ordres de grandeur, pas une limite connue.

Précaution. Un test public peut se retrouver dans les données d’entraînement. Aucun pourcentage de contamination ou de saturation n’est repris ici.

Question ouverte : comment évaluer ce qu’un modèle sait faire quand les tests sont publics et anciens ?

9. Des modèles distribués, pair à pair ?

Un modèle peut-il tourner sur des machines réparties, sans énorme mémoire locale, avec une latence plus longue ? Plusieurs choses différentes sont en jeu, à ne pas confondre.

Inférence distribuée (résultat de recherche). Des chercheurs ont fait tourner BLOOM-176B, un modèle de 176 milliards de paramètres, sur des machines réparties sur Internet, à environ une étape par seconde (Borzunov et al., Petals, arXiv 2209.01188). Il s’agit d’une démonstration sur un matériel donné, pas d’un service grand public établi. Un article ultérieur (NeurIPS 2023) annonce une génération interactive jusqu’à dix fois plus rapide que le déchargement en mémoire ; c’est une borne haute (arXiv 2312.08361).

Apprentissage fédéré (établi, pour de petits modèles). Il entraîne un modèle commun sans centraliser les données : seules les mises à jour circulent (McMahan et al., arXiv 1602.05629). Pour les grands modèles, la preuve est récente et limitée : INTELLECT-1, un modèle de 10 milliards de paramètres entraîné sur plusieurs continents, est un préprint (arXiv 2412.01152), dont les gains de communication sont annoncés par les auteurs.

Latence. Sur Internet, chaque étape de calcul passe par le réseau : c’est la latence, plus que le débit, qui ralentit la génération. Tendance observée, appuyée par Petals. Aucun ordre de grandeur n’est donné ici.

Mémoire. La quantification réduit la mémoire des poids (section 2) ; la distillation entraîne un petit modèle à imiter un grand (section 2). En revanche, ces méthodes ne réduisent pas le cache de contexte (déduction). Kwon et al. (PagedAttention, arXiv 2309.06180, SOSP 2023) décrivent le gaspillage de mémoire du cache dans les systèmes de service de l’époque ; le paging réduit ce gaspillage, pas la taille du cache.

Obstacles. Vérifier qu’un calcul distant est correct reste une question ouverte : un participant peut bâcler le calcul ou remplacer le modèle par un plus petit. La confidentialité, la sécurité et le coût de coordination ne sont pas traités ici.

Ce qui est établi : les résultats publiés ci-dessus. Ce qui est une tendance : la baisse du coût et l’intérêt pour les réseaux distribués. Ce qui est une espérance : des modèles décentralisés assez bons pour un usage courant. Aucune de ces trois choses n’est une prédiction chiffrée.

10. Watts et performance : combien consomme une réponse ?

La question revient souvent : combien consomme un modèle pour répondre ? Trois repères, avec leur statut :

• Le cerveau humain : environ 20 W pour tout le cerveau (ordre de grandeur courant).
• Une carte de calcul : jusqu’à 700 W pour une H100 (puissance retenue dans l’article Llama 3, arXiv 2407.21783), et environ 10 kW pour un serveur de 8 cartes (documentation NVIDIA du DGX H100).
• Une réponse : aucun chiffre de modèle n’est repris ici (la valeur annoncée par Google pour son service est en section 11). Une valeur par requête n’a de sens qu’avec son périmètre : matériel inactif, refroidissement, surcharge du centre de données compris ou non.

Ces chiffres ne se comparent pas directement. Un watt est une puissance, c’est-à-dire une énergie par seconde. Une performance se mesure en tâches résolues, en mots produits ou en calculs. Le rapport entre les deux, la performance par watt, dépend donc de la tâche et de la méthode de mesure : il faut toujours écrire ce qui est compté.

Exemple imaginaire. Une minute de cerveau au repos consomme 20 W × 60 s = 1 200 J. Une carte à pleine puissance pendant une minute consomme 42 000 J, soit 35 fois plus. Cela ne dit pas laquelle est « plus performante » : elles ne font pas le même travail.

Ce qui se suit dans le temps : l’énergie par réponse, à périmètre constant. La consommation d’un usage dépend du matériel, de la taille du modèle, de la longueur de la réponse et du centre de données. Aucune courbe fiable pour les modèles fermés n’est publiée ici.

11. Comparer les activités : énergie et unité

Comparer des activités demande une unité d’activité explicite : une requête, une tonne d’acier, un kilogramme d’aluminium, un kilomètre en voiture. L’intelligence n’est pas une unité : la comparaison porte sur ce qui est consommé et émis, pas sur la valeur de ce qui est produit.

Énergie des centres de données. Agence internationale de l’énergie, « Energy and AI » (10 avril 2025), scénario central : environ 415 TWh en 2024 et environ 945 TWh en 2030 (iea.org). Le chiffre de 2024 est une estimation, celui de 2030 une projection ; aucun n’est une mesure.

Cette échelle ne se confond pas avec l’estimation de l’épisode 1, qui concerne un seul entraînement. Ce sont deux échelles différentes.

Le tableau ci-dessous (figure 3) ne retient que les valeurs sourcées ou estimées, avec leur statut.

Précautions. L’énergie d’une activité se compare à une autre par unité d’activité, pas par total annuel : les 945 TWh de 2030 concernent tous les centres de données ; rapportés à un entraînement de l’épisode 1 (environ 21,6 GWh, estimé), ils représentent environ 44 000 entraînements. Une voiture électrique se compare à une thermique en énergie primaire, pas en énergie finale. Et toute énergie consommée finit en chaleur : ce qui distingue les activités, c’est le service rendu, pas la nature du déchet.

12. Comment suivre une annonce

Une annonce n’est pas un résultat. La grille suivante sert à lire un communiqué, une fiche de modèle ou un article de presse. Elle ne mesure aucune fiabilité : ce sont des gestes de vérification.

Si la réponse à la première question est non, le texte est une annonce. Les questions suivantes précisent ce qu’il faut examiner.

13. Conclusion : comprendre ou pas ?

La section « Pourquoi cela ressemble à de l’intelligence » du premier épisode laisse ouverte la question de savoir si ces modèles comprennent ce qu’ils disent. La réponse doit rester nuancée. Le modèle n’a pas de représentation qu’il vérifie et qui garantirait ses réponses. Il a en revanche des régularités internes utiles, dont les épisodes 2 à 5 décrivent le mécanisme, et des erreurs que cette même mécanique produit.

Pour juger une réponse, il n’est pas nécessaire de trancher le débat. On peut vérifier chaque chiffre, chaque source, chaque calcul. On vérifie mal le raisonnement interne du modèle, et une explication qu’il donne n’est pas forcément le calcul qu’il a réellement effectué. Le dire fait partie de la lecture.

Les chercheurs ne tranchent pas, et cette série ne tranche pas non plus. Ce qui reste ouvert, c’est la question de fond. Ce qui ne l’est pas : la nécessité de vérifier ce qu’une réponse affirme. Un conseil pour finir : relire la prochaine réponse d’IA avec les six réflexes de l’épisode 6, et la prochaine annonce avec les sept questions de la section 12, plutôt que de leur faire une confiance aveugle ou de les rejeter en bloc.

Deux bonus d’application prolongent la série : le code informatique (bonus 6) et la carte comme langage (bonus 7).

Références et statut

• Frantar et al., « GPTQ », arXiv 2210.17323, ICLR 2023.
• Hinton, Vinyals, Dean, « Distilling the Knowledge in a Neural Network », arXiv 1503.02531, 2015. Publié.
• Epoch AI, page sur les tendances des prix d’inférence, 12 mars 2025 (epoch.ai).
• Llama Team (Meta), « The Llama 3 Herd of Models », arXiv 2407.21783, 2024.
• NVIDIA, documentation du DGX H100 (8 GPU ; consommation maximale d’environ 10 kW).
• Wei et al., « Chain-of-Thought Prompting », arXiv 2201.11903, 2022. Publié, déjà cité au sixième épisode.
• DeepSeek-AI, « DeepSeek-R1 », arXiv 2501.12948, 2025. Publié.
• Jiang et al., « Mixtral of Experts », arXiv 2401.04088, 2024.
• DeepSeek-AI, « DeepSeek-V3 Technical Report », arXiv 2412.19437, 2024.
• Liu et al., « Lost in the Middle », arXiv 2307.03172, TACL 2024. Publié.
• Schick et al., « Toolformer », arXiv 2302.04761, NeurIPS 2023. Publié.
• Yao et al., « ReAct », arXiv 2210.03629, ICLR 2023. Publié.
• Ji et al., « Survey of Hallucination in Natural Language Generation », arXiv 2202.03629, 2022 ; Huang et al., « A Survey on Hallucination in Large Language Models », arXiv 2311.05232, 2023.
• Borzunov et al., « Petals », arXiv 2209.01188, 2022 ; et « Distributed Inference and Fine-tuning of Large Language Models Over The Internet », arXiv 2312.08361, NeurIPS 2023.
• McMahan et al., « Communication-Efficient Learning of Deep Networks from Decentralized Data », arXiv 1602.05629, AISTATS 2017.
• INTELLECT-1, préprint, arXiv 2412.01152.
• Kwon et al., « Efficient Memory Management for Large Language Model Serving with PagedAttention », arXiv 2309.06180, SOSP 2023.
• Agence internationale de l’énergie, « Energy and AI », 10 avril 2025 (iea.org).
• worldsteel Association, « Sustainability Indicators 2022 », 2022 (worldsteel.org) : résumé publié.
• EV Database, consommation électrique des véhicules électriques aux 100 km, source secondaire (ev-database.org).
• Dosovitskiy et al., « An Image is Worth 16×16 Words », arXiv 2010.11929, ICLR 2021.
• Radford et al., « Learning Transferable Visual Models From Natural Language Supervision » (CLIP), arXiv 2103.00020, 2021.
• Google, « Measuring the environmental impact of delivering AI at Google Scale », arXiv 2508.15734, août 2025 : annonce de l’entreprise, périmètre large, non vérifiée par des tiers ; chiffre pour un service, pas pour un modèle.