Claude Computer Use : Contrôler un Ordinateur avec l'IA

Qu'est-ce que Computer Use ?

Computer Use est une fonctionnalité révolutionnaire qui permet à Claude d'interagir directement avec un ordinateur via des captures d'écran. Contrairement au Tool Use classique (qui appelle des fonctions), Computer Use permet à Claude de :

• →Voir l'écran de l'ordinateur via des captures d'écran
• →Comprendre les interfaces graphiques (boutons, menus, formulaires)
• →Agir sur l'ordinateur (cliquer, taper, faire défiler)
• →Vérifier le résultat de ses actions via de nouvelles captures

La Boucle d'Interaction

1. Votre code → Capture d'écran → Claude
2. Claude analyse l'écran → Décide une action
3. Claude → Action (clic, saisie...) → Votre code
4. Votre code exécute l'action → Nouvelle capture → Retour à l'étape 1

Cette boucle continue jusqu'à ce que la tâche soit accomplie ou que Claude détermine qu'il ne peut pas continuer.

Quickstart : Premier Exemple

import anthropic

client = anthropic.Anthropic()

# Configuration de l'outil Computer Use
tools = [{
    "type": "computer_20250124",
    "name": "computer",
    "display_width_px": 1920,
    "display_height_px": 1080,
    "display_number": 0  # Écran principal
}]

# Première requête avec une capture d'écran
response = client.messages.create(
    model="claude-sonnet-4-20250514",
    max_tokens=4096,
    tools=tools,
    messages=[{
        "role": "user",
        "content": [
            {
                "type": "image",
                "source": {
                    "type": "base64",
                    "media_type": "image/png",
                    "data": take_screenshot()  # Votre fonction de capture
                }
            },
            {
                "type": "text",
                "text": "Ouvre le navigateur Chrome et va sur google.com"
            }
        ]
    }]
)

# Traiter les actions retournées par Claude
for block in response.content:
    if block.type == "tool_use" and block.name == "computer":
        action = block.input
        execute_action(action)  # Exécuter l'action sur l'ordinateur

Actions Disponibles

Claude peut effectuer les actions suivantes sur l'ordinateur :

Exemples d'Actions

# Clic sur un bouton
{"action": "click", "coordinate": [960, 540]}

# Double-clic pour ouvrir un fichier
{"action": "double_click", "coordinate": [200, 300]}

# Saisie de texte
{"action": "type", "text": "Hello World"}

# Raccourci clavier
{"action": "key", "key": "ctrl+s"}

# Défilement vers le bas
{"action": "scroll", "coordinate": [960, 540], "direction": "down", "amount": 3}

# Demande de nouvelle capture d'écran
{"action": "screenshot"}

Implémentation Complète

Boucle d'Agent Computer Use

import anthropic
import base64
import subprocess

client = anthropic.Anthropic()

def take_screenshot():
    """Capture l'écran et retourne le base64."""
    # Linux avec scrot
    subprocess.run(["scrot", "/tmp/screenshot.png"])
    with open("/tmp/screenshot.png", "rb") as f:
        return base64.standard_b64encode(f.read()).decode("utf-8")

def execute_action(action):
    """Exécute une action Computer Use sur l'ordinateur."""
    action_type = action.get("action")
    
    if action_type == "click":
        x, y = action["coordinate"]
        subprocess.run(["xdotool", "mousemove", str(x), str(y), "click", "1"])
    
    elif action_type == "type":
        subprocess.run(["xdotool", "type", "--clearmodifiers", action["text"]])
    
    elif action_type == "key":
        subprocess.run(["xdotool", "key", action["key"]])
    
    elif action_type == "scroll":
        x, y = action["coordinate"]
        direction = action["direction"]
        button = "4" if direction == "up" else "5"
        subprocess.run(["xdotool", "mousemove", str(x), str(y)])
        for _ in range(action.get("amount", 3)):
            subprocess.run(["xdotool", "click", button])
    
    elif action_type == "screenshot":
        pass  # Sera capturé au prochain tour de boucle

def computer_use_loop(task, max_steps=20):
    """Boucle principale Computer Use."""
    messages = [{
        "role": "user",
        "content": [
            {"type": "image", "source": {
                "type": "base64", "media_type": "image/png",
                "data": take_screenshot()
            }},
            {"type": "text", "text": task}
        ]
    }]
    
    tools = [{
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1920,
        "display_height_px": 1080,
        "display_number": 0
    }]
    
    for step in range(max_steps):
        response = client.messages.create(
            model="claude-sonnet-4-20250514",
            max_tokens=4096,
            tools=tools,
            messages=messages
        )
        
        if response.stop_reason == "end_turn":
            # Tâche terminée
            for block in response.content:
                if block.type == "text":
                    print(f"✅ Terminé : {block.text}")
            return
        
        # Exécuter les actions
        messages.append({"role": "assistant", "content": response.content})
        
        tool_results = []
        for block in response.content:
            if block.type == "tool_use":
                execute_action(block.input)
                
                # Nouvelle capture après l'action
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": [{
                        "type": "image",
                        "source": {
                            "type": "base64",
                            "media_type": "image/png",
                            "data": take_screenshot()
                        }
                    }]
                })
        
        messages.append({"role": "user", "content": tool_results})
    
    print("⚠️ Nombre maximum d'étapes atteint")

# Utilisation
computer_use_loop("Ouvre Firefox, va sur wikipedia.org et cherche 'intelligence artificielle'")

Cas d'Usage

1. Tests d'Interface Utilisateur

Automatisez les tests UI sans écrire de sélecteurs fragiles.

computer_use_loop("""
Test du formulaire d'inscription :
1. Remplis le champ "Nom" avec "Jean Dupont"
2. Remplis le champ "Email" avec "jean@test.com"  
3. Remplis le champ "Mot de passe" avec "SecurePass123!"
4. Coche la case "J'accepte les conditions"
5. Clique sur "S'inscrire"
6. Vérifie qu'un message de succès apparaît
""")

2. Saisie de Données dans des Systèmes Legacy

3. Automatisation de Workflows

computer_use_loop("""
Workflow de reporting mensuel :
1. Ouvre l'application de comptabilité
2. Exporte le rapport des ventes du mois dernier en CSV
3. Ouvre Excel et importe le CSV
4. Crée un tableau croisé dynamique par région
5. Sauvegarde le fichier sur le Bureau
""")

Sécurité : Points Critiques

Risques Identifiés

Checklist de Sécurité

1. →Environnement isolé — VM ou conteneur Docker dédié
2. →Compte non privilégié — L'utilisateur ne doit pas être admin
3. →Réseau limité — Restreindre l'accès réseau au strictement nécessaire
4. →Supervision humaine — Toujours avoir un moyen d'interrompre la session
5. →Durée limitée — Définir un timeout maximum pour chaque tâche
6. →Logs complets — Enregistrer toutes les captures d'écran et actions
7. →Pas de credentials — Ne jamais demander à Claude de saisir des mots de passe réels

Docker Quickstart (Recommandé)

FROM ubuntu:22.04

# Environnement graphique minimal
RUN apt-get update && apt-get install -y \
    xvfb x11vnc fluxbox \
    firefox scrot xdotool \
    python3 python3-pip

# Installer le SDK Anthropic
RUN pip3 install anthropic

# Script de démarrage
COPY start.sh /start.sh
RUN chmod +x /start.sh

EXPOSE 5900
CMD ["/start.sh"]

# start.sh
#!/bin/bash
Xvfb :99 -screen 0 1920x1080x24 &
export DISPLAY=:99
fluxbox &
x11vnc -display :99 -forever -nopw &
python3 /app/computer_use_agent.py

Limitations Actuelles

Comparaison avec les Alternatives