Comparer les LLMs — Benchmarks et choix stratégique

Section 11.4.8 : Comparer les LLMs — Benchmarks et choix stratégique

🎯 Objectif pédagogique

Développer un cadre de décision pour choisir le bon LLM selon la tâche, le budget et les contraintes. Vous serez capable de comparer les modèles sur des critères objectifs et de justifier vos choix.

Quel modèle pour quel usage ?

Marc connaît GPT-4o et Claude. Mais il y a des dizaines de modèles. Comment choisir ? Pas par hype ou préférence — par critères objectifs.

Panorama des LLMs (2025)

*Gratuit si self-hosted (coût serveur GPU uniquement)

Comment comparer : les critères qui comptent

Pour chaque projet, évaluez ces 7 critères :

1. QUALITÉ — Le modèle répond-il correctement ?
   → Tester sur 10 exemples représentatifs de votre tâche

2. COÛT — Combien ça coûte par requête ?
   → Calculer: (prompt_tokens + completion_tokens) × price_per_M

3. VITESSE — Temps de réponse
   → Mesurez le TTFT (time to first token) et tokens/seconde

4. CONTEXTE — Quelle longueur de prompt supportée ?
   → Si vos documents font 100 pages → Claude ou Gemini

5. FORMAT — Structured output fiable ?
   → Testez le JSON output sur 50 requêtes, comptez les erreurs

6. CONFIDENTIALITÉ — Où vont les données ?
   → API = données sur les serveurs du provider
   → Self-hosted (Llama, Mistral) = données chez vous

7. DISPONIBILITÉ — SLA, uptime, fallback
   → OpenAI a eu des pannes majeures en 2024
   → Toujours avoir un fallback provider

Matrice de décision par cas d'usage

Benchmark maison — Évaluez vous-même

# benchmark.py — Comparer les LLMs sur VOS cas d'usage
import time
import json
from llm_client import LLMClient

llm = LLMClient()

test_cases = [
    \{
        "prompt": "Classe cette offre (MATCH/PARTIEL/HORS): Data Analyst Python, Paris, 50k",
        "expected": "MATCH",
        "task": "classification"
    \},
    \{
        "prompt": "Extrais en JSON: 'ML Engineer chez Google, 80k, Londres, TensorFlow requis'",
        "expected_keys": ["position", "company", "salary", "location", "skills"],
        "task": "extraction"
    \},
    \{
        "prompt": "Pourquoi un ex-financier devrait-il devenir Data Analyst ? 3 arguments.",
        "min_length": 100,
        "task": "generation"
    \}
]

models = [
    ("openai", "gpt-4o-mini"),
    ("openai", "gpt-4o"),
    ("anthropic", "claude-sonnet-4-20250514"),
]

results = []

for provider, model in models:
    for test in test_cases:
        start = time.time()
        response = llm.ask(test["prompt"], provider=provider, model=model)
        duration = time.time() - start
        
        # Scoring basique
        score = 0
        if test["task"] == "classification" and test["expected"] in response:
            score = 1
        elif test["task"] == "extraction":
            try:
                data = json.loads(response)
                score = len([k for k in test["expected_keys"] if k in data]) / len(test["expected_keys"])
            except json.JSONDecodeError:
                score = 0
        elif test["task"] == "generation":
            score = 1 if len(response) >= test["min_length"] else 0
        
        results.append(\{
            "model": model,
            "task": test["task"],
            "score": score,
            "time": round(duration, 2),
            "tokens": len(response.split())  # Approximation
        \})

# Afficher les résultats
for r in results:
    print(f"\{r['model']:30s\} | \{r['task']:15s\} | Score: \{r['score']:.1f\} | Time: \{r['time']:.2f\}s")

🏋️ Exercice pratique (25 minutes)

1. →Identifiez 5 cas d'usage de votre projet (classification, extraction, génération...)
2. →Testez chaque cas sur 2 modèles différents (gpt-4o-mini vs Claude)
3. →Mesurez : qualité, temps de réponse, coût estimé
4. →Documenter votre matrice de décision dans un fichier