Embeddings vectoriels : Comment l'IA comprend le sens

Ce que Reddit a arrêté de croire sur les embeddings

L'espace des embeddings est devenu discrètement l'un des coins les plus sur-ingéniés de l'infrastructure IA. Si vous lisiez r/MachineLearning ou r/LocalLLaMA en 2023, un post sur deux portait sur le choix du "meilleur" modèle d'embedding sur le leaderboard MTEB. Trois ans plus tard, le ton a changé : le benchmark est truqué, le modèle top-leaderboard gagne rarement sur vos données, et un embedding OpenAI 1536 dimensions n'est pas mesurablement meilleur qu'un all-MiniLM-L6-v2 384 dim pour la plupart des tâches de récupération.

Le papier MTEB vaut le coup d'être parcouru pour comprendre ce que le benchmark mesure réellement — et ce qu'il ne mesure pas (votre vocabulaire de domaine, votre distribution de requêtes, vos tailles de chunks). Le leaderboard MTEB sur Hugging Face reste un bon point de départ, mais traitez-le comme un générateur de shortlist, pas comme un verdict.

Ce qui compte en pratique :

• →Accordez le modèle à la longueur de vos requêtes. Si vos utilisateurs tapent des requêtes de 3 mots, un modèle entraîné sur la récupération de documents longs sera moins bon qu'un modèle entraîné sur la récupération asymétrique court-vers-long.
• →Normalisez vos embeddings. La similarité cosinus sur des vecteurs non-normalisés est un bug courant qui divise discrètement la qualité de récupération par deux. La plupart des bibliothèques le font ; vérifiez la vôtre.
• →Le reranking bat les embeddings plus gros. Un petit embedding + un cross-encoder reranker (Cohere Rerank, bge-reranker) dépasse régulièrement le passage à un modèle d'embedding plus grand, pour une fraction du calcul.

Si vous évaluez, lancez une éval étiquetée de 100 requêtes sur vos propres données avant de choisir un modèle. Ça prend un après-midi et économise des mois de débogage.

Que sont les embeddings vectoriels ?

Un embedding vectoriel est une liste de nombres qui représente le sens d'un texte (ou d'images, d'audio, etc.) d'une manière que les ordinateurs peuvent traiter.

Du texte aux nombres

"J'adore la pizza" → [0.23, -0.45, 0.87, 0.12, ..., -0.33]
                      (typiquement 384 à 1536 nombres)

Ces nombres capturent le sens sémantique, pas seulement les caractères.

Sens similaire = Nombres similaires

"J'adore la pizza"       → [0.23, -0.45, 0.87, ...]
"La pizza c'est genial"  → [0.25, -0.42, 0.85, ...]  ← Très similaire !
"Je déteste les brocolis" → [-0.18, 0.32, -0.22, ...]  ← Très différent

Pourquoi les embeddings sont importants

Recherche traditionnelle (correspondance par mots-clés)

Recherche : "automobile"
Documents contenant "automobile" ✓
Documents contenant "voiture" ✗ (mot différent !)

Recherche sémantique (embeddings)

Recherche : "automobile"
"automobile" ✓ (même mot)
"voiture" ✓ (sens similaire)
"véhicule" ✓ (concept lié)
"Tesla Model 3" ✓ (c'est une voiture !)

Les embeddings permettent de chercher par sens, pas seulement par mots-clés.

Comment fonctionnent les embeddings (simplifié)

Le processus d'entraînement

Les modèles d'embedding apprennent à partir de milliards d'exemples textuels :

1. "Le chat est assis sur le tapis"
2. "Les chiens sont des animaux fidèles"
3. "Le machine learning utilise des algorithmes"
... des milliards d'autres

Le modèle apprend :
- "chat" et "chien" sont quelque peu liés (les deux sont des animaux)
- "tapis" et "moquette" sont très liés
- "chat" et "algorithme" n'ont aucun rapport

Le résultat : Une carte sémantique

Imaginez un vaste espace où chaque concept a une position :

Groupe Animaux :

• →chat → chaton, félin
• →chien → chiot

Groupe Mobilier :

• →tapis → moquette → carpette

Les mots ayant des sens similaires se regroupent.

Dimensions : Ce que signifient les nombres

Chaque nombre dans un embedding capture une facette du sens :

Dimension 1 : Peut-être "être vivant" vs "objet"
Dimension 42 : Peut-être sentiment "positif" vs "négatif"
Dimension 256 : Peut-être langage "formel" vs "familier"
...

Aucune dimension isolée n'a de signification claire, c'est la combinaison qui compte.

Pourquoi autant de dimensions ?

256 dimensions : Compréhension basique
768 dimensions : Bon pour la plupart des tâches
1536 dimensions : Capture sémantique riche

Plus de dimensions = compréhension plus nuancée, mais coût de stockage/calcul plus élevé.

Similarité : Mesurer la proximité

Similarité cosinus

La méthode standard pour comparer les embeddings :

Similarité("voiture", "automobile") = 0.94  (très similaire)
Similarité("voiture", "banane") = 0.12      (sans rapport)
Similarité("voiture", "véhicule") = 0.87    (lié)

Échelle : -1 (sens opposé) à 1 (sens identique)

Pourquoi le cosinus fonctionne

Il mesure l'angle entre les vecteurs, en ignorant la magnitude :

"J'aime vraiment vraiment les voitures" et "J'aime les voitures"
→ Même direction, longueur différente
→ Le cosinus les considère comme similaires

Les embeddings en action : Systèmes RAG

Le RAG (Retrieval-Augmented Generation) utilise les embeddings au cœur de son fonctionnement :

Étape 1 : Convertir vos documents en embeddings

Document 1 : "Notre politique de retour permet les retours sous 30 jours..."
→ [0.12, -0.34, 0.56, ...]

Document 2 : "La livraison prend 3 à 5 jours ouvrés..."
→ [-0.23, 0.45, 0.11, ...]

... stocker tous les embeddings

Étape 2 : Convertir la question de l'utilisateur en embedding

Utilisateur : "Combien de temps ai-je pour retourner un article ?"
→ [0.14, -0.31, 0.52, ...]  ← Similaire au Document 1 !

Étape 3 : Trouver les plus similaires

Comparer l'embedding de la question à tous les embeddings de documents :
- Document 1 : 0.94 de similarité ← Gagnant !
- Document 2 : 0.23 de similarité
- Document 3 : 0.18 de similarité

Renvoyer le Document 1 au LLM pour répondre.

Modèles d'embedding populaires (2025)

Limites des embeddings

1. Figés au moment de la création

Un embedding de 2023 ne connaît pas les événements de 2024.
Il faut recréer les embeddings avec des modèles plus récents pour les mises à jour.

2. Limites de fenêtre de contexte

La plupart des modèles d'embedding gèrent au maximum 512 à 8000 tokens.
Les documents longs nécessitent un découpage.

3. Mêmes mots, sens différents

"Banque" (financière) vs "banc" (de sable)
Les embeddings essaient de capturer le contexte, mais c'est imparfait.

4. Biais linguistique/culturel

Les modèles entraînés principalement en anglais sont moins performants dans d'autres langues.
Les concepts culturels peuvent ne pas être bien représentés.

L'essentiel

1. →Les embeddings convertissent du texte en nombres représentant le sens
2. →Sens similaire → schémas de nombres similaires
3. →Permettent la recherche sémantique au-delà de la correspondance par mots-clés
4. →Fondement des systèmes RAG et de la recherche IA
5. →Compromis : dimensions, vitesse, qualité, coût

Prêt à construire avec les embeddings ?

Cet article a couvert le quoi et le pourquoi des embeddings vectoriels. Mais construire des systèmes RAG en production nécessite de comprendre le découpage, les stratégies de récupération et les schémas d'intégration.

Dans notre Module 5, RAG et Context Engineering, vous apprendrez :

• →Choisir le bon modèle d'embedding
• →Les stratégies de découpage de documents
• →La recherche hybride (embeddings + mots-clés)
• →Le choix d'une base de données vectorielle
• →L'architecture RAG en production

→ Découvrir le Module 5 : RAG et Context Engineering