IA multimodale — GPT-5, Gemini et au-delà

Section 10.7.3 : IA multimodale — GPT-5, Gemini et au-delà

🎯 Objectif pédagogique

Comprendre ce qu'est l'IA multimodale — capable de traiter texte, images, audio et vidéo simultanément — et exploiter ses capacités professionnelles uniques. Vous apprendrez quels modèles offrent quelles capacités multimodales, et comment les utiliser concrètement dans vos workflows.

Qu'est-ce que le multimodal ?

Un modèle unimodal ne comprend qu'un seul type de données : texte → texte (les premiers GPT). Un modèle multimodal peut comprendre et générer plusieurs types de données dans la même interaction.

Les modalités en IA :

• →Texte → texte (LLM classique : question-réponse, rédaction)
• →Image → texte (vision : description, analyse, OCR, détection d'objets)
• →Texte → image (génération : DALL-E 3, Midjourney v7)
• →Audio → texte (transcription : Whisper, reconnaissance vocale)
• →Texte → audio (synthèse vocale : TTS, ElevenLabs)
• →Vidéo → texte (analyse de vidéo : compréhension de scènes)
• →Texte → vidéo (génération : Sora 2, Veo 2)

La révolution multimodale de 2025-2026, c'est que toutes ces modalités coexistent dans le même modèle. Vous pouvez envoyer une photo, poser une question vocale, et recevoir une réponse texte + image dans la même conversation.

Les modèles nativement multimodaux en 2026 : GPT-5, Gemini 3.1, Claude Opus 4.6 (vision + texte), Llama 4 (vision + texte + audio), et Grok 4.1 (vision + génération d'images via Aurora). Ces modèles traitent tous ces formats dans la même conversation sans nécessiter d'outils séparés.

Pourquoi le multimodal change tout

Avant le multimodal (2023) :

• →Vous prenez une photo d'un graphique → vous le retranscrivez manuellement → vous le collez dans ChatGPT → vous demandez une analyse
• →5 minutes de travail, 3 étapes manuelles

Avec le multimodal (2026) :

• →Vous uploadez la photo directement dans GPT-5 → "Analyse ce graphique et identifie les tendances"
• →10 secondes, 1 étape

L'impact est exponentiel : chaque étape manuelle supprimée libère du temps cognitif. Quand l'IA comprend les images, l'audio ET la vidéo, des workflows entiers qui prenaient des heures deviennent quasi-instantanés.

Capacités multimodales en pratique

Analyse d'images (vision) :

[Uploadez une photo / screenshot / graphique]

Analyse cette image de manière exhaustive :
1. Description factuelle : décris précisément ce que tu vois
2. Extraction de données : extrais tous les chiffres, textes, labels (OCR)
3. Si c'est un graphique : identifie les axes, les tendances, les anomalies
4. Si c'est un schéma : explique l'architecture et les flux
5. Si c'est une photo : identifie le contexte, les objets, l'ambiance
6. Points d'attention : identifie les problèmes, incohérences ou améliorations possibles

Cas d'usage professionnels concrets :

GPT-5 : le multimodal de référence

GPT-5 (août 2025) est le modèle le plus polyvalent :

• →Vision avancée : analyse d'images en temps réel (via la caméra du smartphone), compréhension de scènes complexes, lecture de documents manuscrits, analyse de graphiques avec extraction de données
• →Voice mode avancé : conversation vocale naturelle avec émotions, pauses, intonation. Peut adopter différents tons (professionnel, décontracté, empathique). Détecte l'émotion dans votre voix et s'adapte
• →Génération d'images native : GPT-5 peut créer des images directement dans la conversation (plus besoin de switch vers DALL-E). Utile pour "montre-moi à quoi ça ressemblerait"
• →Architecture hybride : combine raisonnement rapide (pour les questions simples) et raisonnement profond (pour les tâches complexes), le tout nativement multimodal

Exemple de workflow multimodal GPT-5 :

1. →Voice : "Analyse cette photo de mon bureau et suggère des améliorations d'ergonomie"
2. →GPT-5 analyse l'image et détecte : écran trop bas, lumière insuffisante, câbles désorganisés
3. →GPT-5 répond vocalement + génère une image montrant le bureau réorganisé
4. →Vous : "Crée une checklist d'achats pour cette réorganisation avec les prix estimés"
5. →GPT-5 produit la liste avec les liens (si web browsing activé)

Gemini 3.1 : le multimodal natif avec fenêtre massive

Gemini 3.1 a été conçu multimodal dès l'architecture (pas ajouté après coup comme GPT-4) :

• →Fenêtre de 2 millions de tokens : assez pour ingérer un livre entier (500 pages), 2h de vidéo, ou 100+ images dans une seule conversation
• →Compréhension vidéo native : uploadez un fichier vidéo ou partagez un lien YouTube → Gemini analyse la bande image ET la bande audio, génère des résumés avec timestamps
• →Deep Think (Gemini 3 Deep Think) : un mode raisonnement approfondi spécialement conçu pour les problèmes complexes multimodaux
• →Nano Banana 2 : le module de génération d'images intégré (texte → image directement dans Gemini)
• →Google ecosystem : intégration native avec Google Drive, Gmail, Calendar, Docs → multimodal + données personnelles

Le cas d'usage unique de Gemini : la fenêtre de 2M tokens lui permet des analyses impossibles ailleurs :

[Uploadez un PDF de 200 pages — rapport annuel]
Analyse ce rapport annuel complet :
1. Résumé exécutif en 10 points
2. Les 5 chiffres clés à retenir
3. Les risques identifiés par la direction
4. Comparaison implicite avec l'année précédente
5. Ce qui n'est PAS dit (les sujets évités)

Claude Opus 4.6 : vision et raisonnement

Claude n'est pas aussi "fully multimodal" que GPT-5 ou Gemini (pas de génération d'images ni de voix), mais sa vision est remarquable :

• →Analyse d'images ultra-précise : excelle dans l'OCR, l'analyse de tableaux complexes, et la compréhension de schémas techniques
• →Fenêtre de 200K tokens : peut analyser de nombreuses images en une seule conversation
• →Raisonnement sur les images : peut résoudre des problèmes mathématiques à partir de photos d'exercices, ou analyser des graphiques avec une rigueur supérieure
• →Computer Use : capacité unique — Claude peut "voir" votre écran et contrôler souris + clavier pour effectuer des tâches

Applications multimodales avancées

1. Analyse de vidéo (Gemini 3.1) :

[Uploadez une vidéo ou collez un lien YouTube]
Analyse cette vidéo de manière approfondie :
- Résumé en 5 points clés (avec timestamps)
- Les arguments principaux du speaker, avec les preuves avancées
- Les moments les plus engageants (changement de ton, statistiques marquantes)
- Les questions restées sans réponse
- Si je devais ne regarder que 5 minutes, lesquelles ?
- Propositions de follow-up : 3 vidéos complémentaires sur le même sujet

2. Création cross-modale (GPT-5) :

Voici une photo de mon produit [artisanal / tech / food / etc.].

1. Rédige 3 descriptions produit pour e-commerce (courte, moyenne, longue)
2. Identifie les 3 angles marketing basés sur ce que tu vois visuellement
3. Génère une image promotionnelle mettant en valeur ce produit sur fond lifestyle
4. Propose 5 hashtags Instagram pertinents
5. Rédige un script de 30 secondes pour une vidéo TikTok/Reel

3. Traduction multimodale :

[Uploadez une photo d'un menu de restaurant en japonais]
1. Transcris le texte japonais
2. Traduis en français avec les descriptions des plats
3. Identifie les allergènes courants (gluten, fruits de mer, etc.)
4. Recommande les 3 plats les plus populaires pour un palais occidental

4. Formation et éducation :

[Uploadez une photo d'un exercice de mathématiques/physique manuscrit]
1. Transcris l'énoncé
2. Résous l'exercice étape par étape
3. Explique chaque étape comme si j'étais lycéen
4. Identifie les erreurs courantes que font les étudiants sur ce type d'exercice

Tableau comparatif des capacités multimodales (mars 2026)