LLM et architecture Transformer

Section 10.1.3 : LLM et architecture Transformer

🎯 Objectif pédagogique

Comprendre comment fonctionnent les Large Language Models (LLM) et l'architecture Transformer qui les sous-tend. Vous serez capable d'expliquer le mécanisme d'attention, le processus de tokenisation, et les étapes d'entraînement d'un LLM moderne.

Qu'est-ce qu'un Large Language Model ?

Un Large Language Model (LLM) est un modèle de deep learning entraîné sur d'immenses corpus de texte pour comprendre et générer du langage humain. Le terme "large" fait référence à la fois à la taille du modèle (milliards de paramètres) et à la quantité de données d'entraînement (des milliers de milliards de tokens).

Pour mieux saisir la portée d'un LLM, imaginez un réseau de neurones artificiel constitué de milliards de "boutons de réglage" (les paramètres). Pendant l'entraînement, ces boutons sont ajustés progressivement — des trillions de fois — pour que le modèle devienne un expert du langage. Chaque paramètre encode une infime parcelle de connaissance : une relation syntaxique, une association sémantique, un pattern statistique du langage humain.

L'évolution de la taille des modèles

La tendance n'est plus simplement "plus gros = meilleur". Depuis 2024, l'accent s'est déplacé vers l'efficacité : comment obtenir les mêmes performances avec moins de paramètres actifs (MoE), moins de mémoire (MLA), et moins de coût d'entraînement (GRPO).

Le principe de base : prédire le prochain token

Le fonctionnement fondamental d'un LLM est étonnamment simple : prédire le token suivant. Étant donné une séquence de tokens, le modèle calcule une distribution de probabilités sur tous les tokens possibles et choisit le plus probable (ou échantillonne selon cette distribution).

Concrètement, si vous donnez au modèle la séquence "Le soleil se couche sur la", il évalue la probabilité de chaque token de son vocabulaire : "mer" (12%), "ville" (8%), "montagne" (6%), "plaine" (3%)... et sélectionne selon une stratégie d'échantillonnage contrôlée par les paramètres température et top-p :

• →Température = 0 : le modèle choisit toujours le token le plus probable → réponses déterministes, répétitives
• →Température = 0.7 : bon équilibre entre cohérence et créativité → usage standard
• →Température = 1.5 : réponses créatives mais potentiellement incohérentes → brainstorming

Le top-p (nucleus sampling) est complémentaire : plutôt que de considérer tous les tokens, on ne garde que les tokens dont la probabilité cumulée atteint p (ex: top-p = 0.9 → on garde les tokens qui représentent 90% de la masse de probabilité).

La tokenisation : découper le texte

Avant de traiter du texte, un LLM le découpe en tokens — des unités de base qui peuvent être des mots, des sous-mots, ou des caractères. La méthode la plus courante est le BPE (Byte Pair Encoding) :

• →"intelligence" → ["intelli", "gence"] (2 tokens)
• →"Chat" → ["Chat"] (1 token)
• →"GPT-4" → ["G", "PT", "-", "4"] (4 tokens)
• →Un emoji 🤖 → 1 token spécial
• →"anticonstitutionnellement" → ["anti", "constitu", "tion", "nelle", "ment"] (5 tokens)
• →"Hello world" → ["Hello", " world"] (2 tokens — notez l'espace inclus)

Pourquoi les tokens comptent pour vous : les API facturent par token (entrée + sortie). Un mot français moyen ≈ 1,3 tokens. Un email de 200 mots ≈ 260 tokens. Un document de 10 pages ≈ 3 500 tokens. Optimiser la longueur de vos prompts, c'est directement optimiser vos coûts.

GPT-5 utilise un vocabulaire d'environ 200 000 tokens. La fenêtre de contexte a considérablement évolué : 128 000 tokens pour GPT-4 Turbo, puis 1 million pour Gemini 3.1 Pro, et jusqu'à 10 millions de tokens pour Llama 4 Scout (Meta, avril 2025) — l'équivalent de plusieurs dizaines de livres analysés en une seule conversation.

L'architecture Transformer en détail

Le Transformer, introduit par Vaswani et al. dans le papier "Attention Is All You Need" (2017), se compose de blocs empilés, chacun contenant :

1. Embeddings : chaque token est converti en un vecteur numérique de grande dimension (par exemple 12 288 dimensions pour GPT-4). Ces vecteurs capturent le sens sémantique du token. Des mots proches sémantiquement ("roi" et "reine") auront des vecteurs proches dans cet espace.

L'espace d'embedding est fascinant : il encode des relations algébriques. L'exemple canonique : le vecteur(roi) - vecteur(homme) + vecteur(femme) ≈ vecteur(reine). Cela signifie que le modèle a appris les relations conceptuelles entre les mots, pas seulement leur co-occurrence statistique.

2. Encodage positionnel : le modèle ajoute une information de position à chaque token (le Transformer traite tous les tokens en parallèle, contrairement aux RNN qui les traitent séquentiellement). Les techniques modernes utilisent RoPE (Rotary Position Embedding) qui encode la position relative entre tokens plutôt qu'absolue, permettant une meilleure généralisation sur des séquences plus longues que celles vues à l'entraînement.

3. Le mécanisme d'attention (Self-Attention) : c'est le cœur du Transformer. Pour chaque token, le mécanisme calcule à quel point ce token devrait "prêter attention" à chaque autre token de la séquence.

Techniquement, chaque token est transformé en trois vecteurs : Query (Q — "que cherche ce token ?"), Key (K — "que contient ce token ?"), et Value (V — "quelle information transmettre ?"). Le score d'attention entre deux tokens = Q₁ · K₂ (produit scalaire). Plus le score est élevé, plus le token 1 "prête attention" au token 2.

Par exemple, dans la phrase "Le chat qui appartient à Marie a mangé sa croquette", pour résoudre "sa" → le mécanisme d'attention apprend à relier "sa" à "chat" ou "Marie" selon le contexte, en attribuant un score d'attention élevé au token pertinent.

4. Multi-Head Attention : au lieu d'un seul mécanisme d'attention, le Transformer en utilise plusieurs en parallèle (par exemple 96 "têtes" pour GPT-4, encore plus pour GPT-5). Chaque tête apprend à capturer un type de relation différent :

• →Tête syntaxique : sujet → verbe
• →Tête sémantique : adjectif → nom qualifié
• →Tête de coréférence : pronom → antécédent ("sa" → "chat")
• →Tête positionnelle : relations de proximité locale
• →Tête de pattern : structures récurrentes (listes, numérotation)

5. Multi-Head Latent Attention (MLA) : innovation introduite par DeepSeek V2 (2024), le MLA compresse les clés et valeurs d'attention via un espace latent, réduisant drastiquement la mémoire nécessaire tout en maintenant la qualité. Au lieu de stocker les vecteurs K et V complets pour chaque token passé (coûteux en mémoire), MLA les projette dans un espace de dimension réduite. Cette technique a réduit le coût d'inférence de DeepSeek de ~5× par rapport à une attention standard, sans perte de qualité mesurable.

6. Feed-Forward Network (FFN) : après l'attention, chaque token passe par un réseau de neurones indépendant (deux couches linéaires avec une activation non-linéaire). C'est ici que le modèle transforme l'information contextuelle collectée par l'attention en nouvelles représentations. Les FFN sont responsables de la majorité des "connaissances factuelles" du modèle — désactiver des neurones spécifiques dans le FFN peut faire "oublier" des faits au modèle.

7. Mixture of Experts (MoE) : plutôt que d'activer tous les paramètres pour chaque token, l'architecture MoE n'active qu'un sous-ensemble d'"experts" spécialisés. Llama 4 Maverick a 400 milliards de paramètres mais n'en active que ~17 milliards par token, combinant puissance et efficacité. DeepSeek V3 utilise la même approche avec des "experts partagés" toujours actifs et des "experts routés" activés selon le contexte.

Un routeur (petit réseau de neurones) décide quels 2-4 experts (sur 128-256 disponibles) activer pour chaque token. C'est comme un hôpital où chaque patient est orienté vers les spécialistes pertinents plutôt que de consulter tous les médecins.

Les 3 étapes d'entraînement d'un LLM moderne

Étape 1 : Pré-entraînement (le plus coûteux — ~95% du budget compute)

Le modèle apprend à prédire le prochain token sur un corpus massif : livres, articles scientifiques, sites web (Common Crawl), code (GitHub), Wikipedia, etc. C'est ici que le modèle "lit" l'équivalent de toute la connaissance humaine accessible en ligne.

Sources de données typiques et leur rôle :

Coût : pour un modèle frontier comme GPT-5, on estime un budget de 200 à 500 millions de dollars, des mois d'entraînement sur 10 000+ GPU NVIDIA H100/H200. La consommation électrique équivaut à celle d'une petite ville pendant plusieurs mois. DeepSeek a secoué l'industrie en démontrant qu'on pouvait entraîner un modèle compétitif pour ~5,6 millions de dollars grâce à des innovations architecturales (MLA, MoE efficace).

Étape 2 : Supervised Fine-Tuning (SFT)

Le modèle pré-entraîné est affiné sur des exemples de conversations de haute qualité rédigées par des humains. C'est ici que le modèle apprend à suivre des instructions, répondre aux questions, et adopter un format conversationnel.

Le processus SFT utilise typiquement 50 000 à 500 000 exemples de conversations soigneusement rédigées par des annotateurs humains qualifiés. Chaque exemple illustre le comportement souhaité : être utile, honnête, refuser les requêtes dangereuses, structurer les réponses, citer ses sources quand possible.

Étape 3 : Alignement par Renforcement

Deux approches principales coexistent début 2026 :

• →

  RLHF (Reinforcement Learning from Human Feedback) : des évaluateurs humains classent plusieurs réponses du modèle par qualité. Un modèle de récompense est entraîné, puis le LLM est affiné pour maximiser cette récompense. Utilisé par OpenAI (GPT-5), Anthropic (Claude 4.6). Le processus RLHF typique : générer 4-8 réponses pour chaque prompt → classement humain → entraîner le reward model → optimiser via PPO (Proximal Policy Optimization).

• →

  GRPO (Group Relative Policy Optimization) : innovation de DeepSeek, cette méthode élimine le besoin d'un modèle de récompense séparé en comparant les réponses du modèle entre elles. Avantage majeur : le reward signal est auto-contenu — le modèle apprend en comparant ses propres outputs sans évaluateurs humains ni modèle de récompense externe. Plus économique et utilisé pour entraîner DeepSeek-R1, qui a démontré des capacités de raisonnement émergentes remarquables.

• →

  DPO (Direct Preference Optimization) : une approche simplifiée du RLHF qui évite d'entraîner un reward model séparé. La fonction de récompense est implicite dans l'objectif d'optimisation. Utilisé par Meta pour Llama et par plusieurs équipes académiques.

Les phénomènes émergents des LLM

À mesure que les modèles grossissent, des capacités émergentes apparaissent — non explicitement programmées mais qui surgissent à une certaine échelle :

Chain-of-thought (raisonnement en chaîne) : les grands modèles peuvent, quand on leur demande de "réfléchir étape par étape", décomposer des problèmes complexes en sous-étapes logiques. Les modèles de raisonnement (o3, R1, Claude Opus 4.6 extended thinking) poussent ce phénomène à l'extrême avec des chaînes de pensée de milliers de tokens.

In-context learning : les LLM peuvent apprendre de nouveaux patterns simplement à partir d'exemples fournis dans le prompt (few-shot), sans modification de leurs poids. Un modèle qui n'a jamais vu un format de données spécifique peut le comprendre après 2-3 exemples dans le prompt.

Instruction following : la capacité de suivre des instructions complexes et multi-étapes apparaît autour de 10-100 milliards de paramètres et s'améliore considérablement avec l'échelle.

Self-correction : les modèles les plus récents peuvent détecter et corriger leurs erreurs lorsqu'on les invite à relire leur propre réponse — c'est le principe du "self-reflection" ou "critique" utilisé dans les architectures agentiques.

Les limites des LLM

Malgré leurs performances impressionnantes, les LLM ont des limites fondamentales — même si certaines sont progressivement repoussées :

Hallucinations : les LLM génèrent parfois des informations fausses mais plausibles. Les modèles de raisonnement (o3, Claude Opus 4.6, Gemini Deep Think) réduisent ce problème en "réfléchissant" avant de répondre, mais ne l'éliminent pas. Taux d'hallucination typique : 3-15% selon le domaine et le modèle.

Fenêtre de contexte : même si elle s'étend considérablement (128K pour GPT-4, 2M pour Gemini 3.1, 10M pour Llama 4 Scout), le modèle ne peut pas considérer plus d'information que sa fenêtre. Des techniques comme RAG (Retrieval-Augmented Generation) compensent en connectant le modèle à des bases de connaissances externes.

Raisonnement : les modèles classiques simulent le raisonnement via des raccourcis statistiques. Les nouveaux modèles "thinking" (o3, DeepSeek-R1, Claude Opus 4.6 en mode extended thinking) améliorent significativement le raisonnement multi-étapes, mais échouent encore sur des problèmes véritablement inédits ou des raisonnements nécessitant une compréhension causale profonde.

Coût et énergie : l'entraînement d'un modèle frontier coûte des centaines de millions de dollars et consomme l'équivalent énergétique d'une petite ville pendant des mois. L'inférence à grande échelle pose aussi des défis environnementaux. La tendance vers des modèles plus efficaces (MoE, distillation) est en partie motivée par ces contraintes.

Sécurité et alignement : s'assurer que les modèles agissent conformément aux intentions humaines reste un défi ouvert, particulièrement à mesure que les agents IA gagnent en autonomie. Le problème de l'alignement croît avec les capacités : plus un modèle est puissant, plus les conséquences d'un mauvais alignement sont graves.

Stérilité créative : les LLM excellent en reformulation et en combinaison d'idées existantes, mais créent rarement du véritablement nouveau. Leur output est une interpolation statistique de ce qui existe déjà dans les données d'entraînement — la "véritable" créativité reste un sujet de débat.

Exercice pratique : Explorer les paramètres d'un LLM

Durée : 15 minutes

1. →Ouvrez ChatGPT ou Claude et posez la même question 3 fois avec des températures différentes (si disponible via l'API ou les paramètres)
2. →Comparez les réponses : laquelle est la plus factuelle ? La plus créative ? La plus incohérente ?
3. →Comptez les tokens de votre prompt sur un outil comme tokenizer.chat ou tiktokenizer.vercel.app
4. →Testez la sensibilité au contexte : placez une instruction importante au début, au milieu, puis à la fin d'un long prompt. Le modèle la suit-il toujours ?