Outil d'utilisation d'ordinateur

​

Aperçu

• Capture d’écran : Voir ce qui s’affiche actuellement à l’écran
• Contrôle de la souris : Cliquer, faire glisser et déplacer le curseur
• Entrée clavier : Taper du texte et utiliser les raccourcis clavier
• Automatisation du bureau : Interagir avec n’importe quelle application ou interface

​

Compatibilité des modèles

​

Considérations de sécurité

​

Démarrage rapide

import anthropic

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-sonnet-4-5",  # ou un autre modèle compatible
    max_tokens=1024,
    tools=[
        {
          "type": "computer_20250124",
          "name": "computer",
          "display_width_px": 1024,
          "display_height_px": 768,
          "display_number": 1,
        },
        {
          "type": "text_editor_20250124",
          "name": "str_replace_editor"
        },
        {
          "type": "bash_20250124",
          "name": "bash"
        }
    ],
    messages=[{"role": "user", "content": "Enregistrez une image d'un chat sur mon bureau."}],
    betas=["computer-use-2025-01-24"]
)
print(response)

​

Comment fonctionne l’utilisation d’ordinateur

​

L’environnement informatique

1. Affichage virtuel : Un serveur d’affichage X11 virtuel (utilisant Xvfb) qui rend l’interface de bureau que Claude verra via des captures d’écran et contrôlera avec des actions souris/clavier.
2. Environnement de bureau : Une interface utilisateur légère avec gestionnaire de fenêtres (Mutter) et panneau (Tint2) s’exécutant sur Linux, qui fournit une interface graphique cohérente pour que Claude interagisse.
3. Applications : Des applications Linux pré-installées comme Firefox, LibreOffice, des éditeurs de texte et des gestionnaires de fichiers que Claude peut utiliser pour accomplir les tâches.
4. Implémentations d’outils : Code d’intégration qui traduit les demandes d’outils abstraits de Claude (comme « déplacer la souris » ou « prendre une capture d’écran ») en opérations réelles dans l’environnement virtuel.
5. Boucle d’agent : Un programme qui gère la communication entre Claude et l’environnement, envoyant les actions de Claude à l’environnement et retournant les résultats (captures d’écran, sorties de commande) à Claude.

1. Reçoit les demandes d’utilisation d’outil de Claude
2. Les traduit en actions dans votre environnement informatique
3. Capture les résultats (captures d’écran, sorties de commande, etc.)
4. Retourne ces résultats à Claude

​

Comment implémenter l’utilisation d’ordinateur

​

Commencez par notre implémentation de référence

• Un environnement conteneurisé adapté à l’utilisation d’ordinateur avec Claude
• Des implémentations des outils d’utilisation d’ordinateur
• Une boucle d’agent qui interagit avec l’API Claude et exécute les outils d’utilisation d’ordinateur
• Une interface Web pour interagir avec le conteneur, la boucle d’agent et les outils.

​

Comprendre la boucle multi-agent

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Ajouter une limite d'itération pour prévenir les boucles infinies
):
    """
    Une boucle d'agent simple pour les interactions d'utilisation d'ordinateur Claude.

    Cette fonction gère l'aller-retour entre :
    1. Envoyer des messages utilisateur à Claude
    2. Claude demandant d'utiliser des outils
    3. Votre application exécutant ces outils
    4. Renvoi des résultats d'outils à Claude
    """
    # Configurer les outils et les paramètres API
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Configurer les outils - vous devriez déjà les avoir initialisés ailleurs
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Boucle d'agent principale (avec limite d'itération pour prévenir les coûts API incontrôlés)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Configurer le paramètre de réflexion optionnel (pour Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Appeler l'API Claude
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Ajouter la réponse de Claude à l'historique de conversation
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Vérifier si Claude a utilisé des outils
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # Dans une application réelle, vous exécuteriez l'outil ici
                # Par exemple : result = run_tool(block.name, block.input)
                result = {"result": "Outil exécuté avec succès"}

                # Formater le résultat pour Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # Si aucun outil n'a été utilisé, Claude a terminé - retourner les messages finaux
        if not tool_results:
            return messages

        # Ajouter les résultats d'outils aux messages pour la prochaine itération avec Claude
        messages.append({"role": "user", "content": tool_results})

"betas": ["computer-use-2025-01-24"]

"betas": ["computer-use-2025-01-24"]

​

Optimiser les performances du modèle avec les invites

1. Spécifiez des tâches simples et bien définies et fournissez des instructions explicites pour chaque étape.
2. Claude suppose parfois les résultats de ses actions sans vérifier explicitement leurs résultats. Pour éviter cela, vous pouvez inviter Claude avec Après chaque étape, prenez une capture d'écran et évaluez attentivement si vous avez atteint le résultat souhaité. Montrez explicitement votre réflexion : « J'ai évalué l'étape X... » Si ce n'est pas correct, réessayez. Ce n'est que lorsque vous confirmez qu'une étape a été exécutée correctement que vous devriez passer à la suivante.
3. Certains éléments d’interface utilisateur (comme les listes déroulantes et les barres de défilement) peuvent être délicats pour Claude à manipuler en utilisant les mouvements de souris. Si vous rencontrez cela, essayez d’inviter le modèle à utiliser les raccourcis clavier.
4. Pour les tâches répétables ou les interactions d’interface utilisateur, incluez des captures d’écran d’exemple et des appels d’outils de résultats réussis dans votre invite.
5. Si vous avez besoin que le modèle se connecte, fournissez-lui le nom d’utilisateur et le mot de passe dans votre invite à l’intérieur de balises xml comme <robot_credentials>. L’utilisation de l’utilisation d’ordinateur dans les applications qui nécessitent une connexion augmente le risque de mauvais résultats en raison de l’injection de prompt. Veuillez consulter notre guide sur l’atténuation des injections de prompt avant de fournir au modèle les identifiants de connexion.

​

Invites système

Vous avez accès à un ensemble de fonctions que vous pouvez utiliser pour répondre à la question de l’utilisateur. Cela inclut l’accès à un environnement informatique en bac à sable. Vous n’avez actuellement pas la capacité d’inspecter les fichiers ou d’interagir avec les ressources externes, sauf en invoquant les fonctions ci-dessous.

​

Actions disponibles

• screenshot - Capturer l’affichage actuel
• left_click - Cliquer aux coordonnées [x, y]
• type - Taper une chaîne de texte
• key - Appuyer sur une touche ou une combinaison de touches (par exemple, « ctrl+s »)
• mouse_move - Déplacer le curseur aux coordonnées

• scroll - Faire défiler dans n’importe quelle direction avec contrôle du montant
• left_click_drag - Cliquer et faire glisser entre les coordonnées
• right_click, middle_click - Boutons de souris supplémentaires
• double_click, triple_click - Clics multiples
• left_mouse_down, left_mouse_up - Contrôle fin des clics
• hold_key - Maintenir une touche tout en effectuant d’autres actions
• wait - Pause entre les actions

// Prendre une capture d'écran
{
  "action": "screenshot"
}

// Cliquer à la position
{
  "action": "left_click",
  "coordinate": [500, 300]
}

// Taper du texte
{
  "action": "type",
  "text": "Bonjour, monde !"
}

// Faire défiler vers le bas (Claude 4/3.7)
{
  "action": "scroll",
  "coordinate": [500, 400],
  "scroll_direction": "down",
  "scroll_amount": 3
}

​

Paramètres de l’outil

​

Activer la capacité de réflexion dans les modèles Claude 4 et Claude Sonnet 3.7

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

1. Comprendre le processus de prise de décision du modèle
2. Identifier les problèmes ou les idées fausses potentiels
3. Apprendre de l’approche de Claude à la résolution de problèmes
4. Obtenir plus de visibilité sur les opérations complexes multi-étapes

[Réflexion]
Je dois enregistrer une image d'un chat sur le bureau. Décomposons cela en étapes :

1. D'abord, je vais prendre une capture d'écran pour voir ce qui se trouve sur le bureau
2. Ensuite, je vais chercher un navigateur Web pour rechercher des images de chat
3. Après avoir trouvé une image appropriée, je devrai l'enregistrer sur le bureau

Commençons par prendre une capture d'écran pour voir ce qui est disponible...

​

Augmenter l’utilisation d’ordinateur avec d’autres outils

• Exécuter des commandes système (outil bash)
• Éditer des fichiers de configuration ou des scripts (outil d’éditeur de texte)
• Intégrer avec des API personnalisées ou des services (outils personnalisés)

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-sonnet-4-5",
    "max_tokens": 2000,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250124",
        "name": "str_replace_editor"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      },
      {
        "name": "get_weather",
        "description": "Obtenir la météo actuelle dans un lieu donné",
        "input_schema": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "La ville et l'état, par exemple San Francisco, CA"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "L'unité de température, soit « celsius » soit « fahrenheit »"
            }
          },
          "required": ["location"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Trouvez des vols de San Francisco vers un endroit avec un temps plus chaud."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

Construire un environnement d’utilisation d’ordinateur personnalisé

• Un environnement virtualisé ou conteneurisé adapté à l’utilisation d’ordinateur avec Claude
• Une implémentation d’au moins un des outils d’utilisation d’ordinateur définis par Anthropic
• Une boucle d’agent qui interagit avec l’API Claude et exécute les résultats tool_use en utilisant vos implémentations d’outils
• Une API ou une interface utilisateur qui permet l’entrée utilisateur pour démarrer la boucle d’agent

​

Implémenter l’outil d’utilisation d’ordinateur

def handle_computer_action(action_type, params):
    if action_type == "screenshot":
        return capture_screenshot()
    elif action_type == "left_click":
        x, y = params["coordinate"]
        return click_at(x, y)
    elif action_type == "type":
        return type_text(params["text"])
    # ... gérer d'autres actions

for content in response.content:
    if content.type == "tool_use":
        action = content.input["action"]
        result = handle_computer_action(action, content.input)
        
        # Retourner le résultat à Claude
        tool_result = {
            "type": "tool_result",
            "tool_use_id": content.id,
            "content": result
        }

while True:
    response = client.beta.messages.create(...)
    
    # Vérifier si Claude a utilisé des outils
    tool_results = process_tool_calls(response)
    
    if not tool_results:
        # Plus d'utilisation d'outil, tâche complète
        break
        
    # Continuer la conversation avec les résultats d'outils
    messages.append({"role": "user", "content": tool_results})

​

Gérer les erreurs

{
  "role": "user",
  "content": [
    {
      "type": "tool_result",
      "tool_use_id": "toolu_01A09q90qw90lq917835lq9",
      "content": "Erreur : Impossible de capturer l'écran. L'affichage peut être verrouillé ou indisponible.",
      "is_error": true
    }
  ]
}

{
  "role": "user",
  "content": [
    {
      "type": "tool_result",
      "tool_use_id": "toolu_01A09q90qw90lq917835lq9",
      "content": "Erreur : Les coordonnées (1200, 900) sont en dehors des limites d'affichage (1024x768).",
      "is_error": true
    }
  ]
}

{
  "role": "user",
  "content": [
    {
      "type": "tool_result",
      "tool_use_id": "toolu_01A09q90qw90lq917835lq9",
      "content": "Erreur : Impossible d'effectuer l'action de clic. L'application peut ne pas répondre.",
      "is_error": true
    }
  ]
}

​

Suivre les meilleures pratiques de mise en œuvre

def click_and_wait(x, y, wait_time=0.5):
    click_at(x, y)
    time.sleep(wait_time)  # Permettre à l'interface utilisateur de se mettre à jour

def validate_action(action_type, params):
    if action_type == "left_click":
        x, y = params.get("coordinate", (0, 0))
        if not (0 <= x < display_width and 0 <= y < display_height):
            return False, "Coordonnées hors limites"
    return True, None

import logging

def log_action(action_type, params, result):
    logging.info(f"Action : {action_type}, Paramètres : {params}, Résultat : {result}")

​

Comprendre les limitations de l’utilisation d’ordinateur

1. Latence : la latence actuelle de l’utilisation d’ordinateur pour les interactions humain-IA peut être trop lente par rapport aux actions informatiques régulières dirigées par l’humain. Nous recommandons de se concentrer sur les cas d’utilisation où la vitesse n’est pas critique (par exemple, la collecte d’informations en arrière-plan, les tests logiciels automatisés) dans des environnements de confiance.
2. Précision et fiabilité de la vision par ordinateur : Claude peut faire des erreurs ou halluciner lors de la sortie de coordonnées spécifiques lors de la génération d’actions. Claude Sonnet 3.7 introduit la capacité de réflexion qui peut vous aider à comprendre le raisonnement du modèle et à identifier les problèmes potentiels.
3. Précision et fiabilité de la sélection d’outils : Claude peut faire des erreurs ou halluciner lors de la sélection d’outils lors de la génération d’actions ou prendre des actions inattendues pour résoudre les problèmes. De plus, la fiabilité peut être inférieure lors de l’interaction avec des applications de niche ou plusieurs applications à la fois. Nous recommandons aux utilisateurs d’inviter le modèle avec soin lors de la demande de tâches complexes.
4. Fiabilité du défilement : Claude Sonnet 3.7 a introduit des actions de défilement dédiées avec contrôle de direction qui améliore la fiabilité. Le modèle peut maintenant faire défiler explicitement dans n’importe quelle direction (haut/bas/gauche/droite) d’une quantité spécifiée.
5. Interaction avec les feuilles de calcul : Les clics de souris pour l’interaction avec les feuilles de calcul se sont améliorés dans Claude Sonnet 3.7 avec l’ajout d’actions de contrôle de souris plus précises comme left_mouse_down, left_mouse_up et le nouveau support des touches de modification. La sélection de cellules peut être plus fiable en utilisant ces contrôles fins et en combinant les touches de modification avec les clics.
6. Création de compte et génération de contenu sur les plateformes sociales et de communication : Bien que Claude visitera les sites Web, nous limitons sa capacité à créer des comptes ou à générer et partager du contenu ou à autrement s’engager dans l’usurpation d’identité humaine sur les sites Web et les plateformes de médias sociaux. Nous pouvons mettre à jour cette capacité à l’avenir.
7. Vulnérabilités : Les vulnérabilités comme le jailbreaking ou l’injection de prompt peuvent persister dans les systèmes d’IA de pointe, y compris l’API d’utilisation d’ordinateur bêta. Dans certaines circonstances, Claude suivra les commandes trouvées dans le contenu, parfois même en conflit avec les instructions de l’utilisateur. Par exemple, les instructions Claude sur les pages Web ou contenues dans les images peuvent remplacer les instructions ou amener Claude à faire des erreurs. Nous recommandons : a. Limiter l’utilisation d’ordinateur aux environnements de confiance tels que les machines virtuelles ou les conteneurs avec des privilèges minimaux b. Éviter de donner à l’utilisation d’ordinateur l’accès aux comptes sensibles ou aux données sans surveillance stricte c. Informer les utilisateurs finaux des risques pertinents et obtenir leur consentement avant d’activer ou de demander les autorisations nécessaires pour les fonctionnalités d’utilisation d’ordinateur dans vos applications
8. Actions inappropriées ou illégales : Conformément aux conditions de service d’Anthropic, vous ne devez pas utiliser l’utilisation d’ordinateur pour violer les lois ou notre politique d’utilisation acceptable.

​

Tarification

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

​

Étapes suivantes