Computer-Use-Tool

​

Übersicht

• Screenshot-Erfassung: Sehen Sie, was derzeit auf dem Bildschirm angezeigt wird
• Maussteuerung: Klicken, ziehen und bewegen Sie den Cursor
• Tastatureingabe: Geben Sie Text ein und verwenden Sie Tastaturkombinationen
• Desktop-Automatisierung: Interagieren Sie mit jeder Anwendung oder Schnittstelle

​

Modellkompatibilität

​

Sicherheitsaspekte

​

Schnellstart

import anthropic

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-sonnet-4-5",  # oder ein anderes kompatibles Modell
    max_tokens=1024,
    tools=[
        {
          "type": "computer_20250124",
          "name": "computer",
          "display_width_px": 1024,
          "display_height_px": 768,
          "display_number": 1,
        },
        {
          "type": "text_editor_20250124",
          "name": "str_replace_editor"
        },
        {
          "type": "bash_20250124",
          "name": "bash"
        }
    ],
    messages=[{"role": "user", "content": "Speichern Sie ein Bild einer Katze auf meinem Desktop."}],
    betas=["computer-use-2025-01-24"]
)
print(response)

​

Wie Computer use funktioniert

​

Die Computerumgebung

1. Virtueller Display: Ein virtueller X11-Display-Server (mit Xvfb), der die Desktop-Schnittstelle rendert, die Claude durch Screenshots sehen wird und mit Maus-/Tastaturaktionen steuern wird.
2. Desktop-Umgebung: Eine leichte Benutzeroberfläche mit Window Manager (Mutter) und Panel (Tint2), die auf Linux läuft und eine konsistente grafische Schnittstelle bietet, mit der Claude interagieren kann.
3. Anwendungen: Vorinstallierte Linux-Anwendungen wie Firefox, LibreOffice, Text-Editoren und Dateimanager, die Claude zur Erfüllung von Aufgaben verwenden kann.
4. Tool-Implementierungen: Integrationscode, der Claudes abstrakte Tool-Anfragen (wie „Maus bewegen” oder „Screenshot machen”) in tatsächliche Operationen in der virtuellen Umgebung übersetzt.
5. Agent-Schleife: Ein Programm, das die Kommunikation zwischen Claude und der Umgebung handhabt, Claudes Aktionen an die Umgebung sendet und die Ergebnisse (Screenshots, Befehlsausgaben) an Claude zurückgibt.

1. Empfängt Ihre Anwendung Claudes Tool-Use-Anfragen
2. Übersetzt sie in Aktionen in Ihrer Computerumgebung
3. Erfasst die Ergebnisse (Screenshots, Befehlsausgaben usw.)
4. Gibt diese Ergebnisse an Claude zurück

​

Wie man Computer use implementiert

​

Beginnen Sie mit unserer Referenzimplementierung

• Eine containerisierte Umgebung, die für Computer use mit Claude geeignet ist
• Implementierungen der Computer-Use-Tools
• Eine Agent-Schleife, die mit der Claude API interagiert und die Computer-Use-Tools ausführt
• Eine Web-Schnittstelle zur Interaktion mit dem Container, der Agent-Schleife und den Tools.

​

Verstehen Sie die Multi-Agent-Schleife

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Iterationslimit hinzufügen, um Endlosschleifen zu verhindern
):
    """
    Eine einfache Agent-Schleife für Claude Computer-Use-Interaktionen.

    Diese Funktion handhabt den Hin- und Herwechsel zwischen:
    1. Senden von Benutzernachrichten an Claude
    2. Claude fordert an, Tools zu verwenden
    3. Ihre App führt diese Tools aus
    4. Senden von Tool-Ergebnissen zurück an Claude
    """
    # Tools und API-Parameter einrichten
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Tools konfigurieren - Sie sollten diese bereits an anderer Stelle initialisiert haben
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Hauptagent-Schleife (mit Iterationslimit, um Runaway-API-Kosten zu verhindern)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Optionalen Thinking-Parameter einrichten (für Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Claude API aufrufen
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Claudes Antwort zur Gesprächshistorie hinzufügen
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Überprüfen Sie, ob Claude Tools verwendet hat
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # In einer echten App würden Sie das Tool hier ausführen
                # Zum Beispiel: result = run_tool(block.name, block.input)
                result = {"result": "Tool erfolgreich ausgeführt"}

                # Formatieren Sie das Ergebnis für Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # Wenn keine Tools verwendet wurden, ist Claude fertig - geben Sie die endgültigen Nachrichten zurück
        if not tool_results:
            return messages

        # Fügen Sie Tool-Ergebnisse zu Nachrichten für die nächste Iteration mit Claude hinzu
        messages.append({"role": "user", "content": tool_results})

"betas": ["computer-use-2025-01-24"]

"betas": ["computer-use-2025-01-24"]

​

Optimieren Sie die Modellleistung mit Prompting

1. Geben Sie einfache, gut definierte Aufgaben an und geben Sie explizite Anweisungen für jeden Schritt.
2. Claude nimmt manchmal die Ergebnisse seiner Aktionen an, ohne sie explizit zu überprüfen. Um dies zu verhindern, können Sie Claude mit Nach jedem Schritt einen Screenshot machen und sorgfältig bewerten, ob Sie das richtige Ergebnis erreicht haben. Zeigen Sie Ihr Denken explizit: „Ich habe Schritt X bewertet..." Wenn nicht korrekt, versuchen Sie es erneut. Nur wenn Sie bestätigt haben, dass ein Schritt korrekt ausgeführt wurde, sollten Sie zum nächsten übergehen. auffordern.
3. Einige UI-Elemente (wie Dropdown-Menüs und Scrollbalken) könnten für Claude schwierig zu manipulieren sein, indem Mausbewegungen verwendet werden. Wenn Sie dies erleben, versuchen Sie, das Modell aufzufordern, Tastaturkombinationen zu verwenden.
4. Für wiederholbare Aufgaben oder UI-Interaktionen beziehen Sie Beispiel-Screenshots und Tool-Aufrufe erfolgreicher Ergebnisse in Ihren Prompt ein.
5. Wenn Sie das Modell anmelden müssen, geben Sie ihm den Benutzernamen und das Passwort in Ihrem Prompt in XML-Tags wie <robot_credentials> an. Die Verwendung von Computer use in Anwendungen, die eine Anmeldung erfordern, erhöht das Risiko schlechter Ergebnisse aufgrund von Prompt-Injection. Bitte überprüfen Sie unseren Leitfaden zur Minderung von Prompt-Injektionen, bevor Sie dem Modell Anmeldeinformationen geben.

​

System-Prompts

Sie haben Zugriff auf eine Reihe von Funktionen, die Sie verwenden können, um die Frage des Benutzers zu beantworten. Dies umfasst Zugriff auf eine sandboxed Computerumgebung. Sie haben derzeit nicht die Möglichkeit, Dateien zu inspizieren oder auf externe Ressourcen zuzugreifen, außer durch Aufrufen der folgenden Funktionen.

​

Verfügbare Aktionen

• screenshot - Erfassen Sie die aktuelle Anzeige
• left_click - Klicken Sie auf Koordinaten [x, y]
• type - Geben Sie eine Textzeichenkette ein
• key - Drücken Sie eine Taste oder Tastenkombination (z. B. „ctrl+s”)
• mouse_move - Bewegen Sie den Cursor zu Koordinaten

• scroll - Scrollen Sie in jede Richtung mit Mengensteuerung
• left_click_drag - Klicken und ziehen Sie zwischen Koordinaten
• right_click, middle_click - Zusätzliche Maustasten
• double_click, triple_click - Mehrfachklicks
• left_mouse_down, left_mouse_up - Feinkörnige Klicksteuerung
• hold_key - Halten Sie eine Taste, während Sie andere Aktionen ausführen
• wait - Machen Sie eine Pause zwischen Aktionen

// Screenshot machen
{
  "action": "screenshot"
}

// An Position klicken
{
  "action": "left_click",
  "coordinate": [500, 300]
}

// Text eingeben
{
  "action": "type",
  "text": "Hallo, Welt!"
}

// Nach unten scrollen (Claude 4/3.7)
{
  "action": "scroll",
  "coordinate": [500, 400],
  "scroll_direction": "down",
  "scroll_amount": 3
}

​

Tool-Parameter

​

Aktivieren Sie die Thinking-Fähigkeit in Claude 4 Modellen und Claude Sonnet 3.7

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

1. Den Entscheidungsprozess des Modells zu verstehen
2. Potenzielle Probleme oder Missverständnisse zu identifizieren
3. Vom Ansatz von Claude zum Problemlösen zu lernen
4. Mehr Sichtbarkeit in komplexe mehrstufige Operationen zu erhalten

[Thinking]
Ich muss ein Bild einer Katze auf dem Desktop speichern. Lassen Sie mich dies in Schritte aufteilen:

1. Zuerst mache ich einen Screenshot, um zu sehen, was auf dem Desktop ist
2. Dann suche ich nach einem Webbrowser, um nach Katzenbildern zu suchen
3. Nach dem Finden eines geeigneten Bildes muss ich es auf dem Desktop speichern

Lassen Sie mich mit einem Screenshot beginnen, um zu sehen, was verfügbar ist...

​

Erweitern Sie Computer use mit anderen Tools

• Systembefehle ausführen müssen (Bash-Tool)
• Konfigurationsdateien oder Skripte bearbeiten müssen (Text-Editor-Tool)
• Mit benutzerdefinierten APIs oder Diensten integrieren müssen (benutzerdefinierte Tools)

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-sonnet-4-5",
    "max_tokens": 2000,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250124",
        "name": "str_replace_editor"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      },
      {
        "name": "get_weather",
        "description": "Rufen Sie das aktuelle Wetter an einem bestimmten Ort ab",
        "input_schema": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "Die Stadt und der Staat, z. B. San Francisco, CA"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "Die Temperatureinheit, entweder „celsius" oder „fahrenheit""
            }
          },
          "required": ["location"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Finden Sie Flüge von San Francisco an einen Ort mit wärmerem Wetter."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

Erstellen Sie eine benutzerdefinierte Computer-Use-Umgebung

• Eine virtualisierte oder containerisierte Umgebung, die für Computer use mit Claude geeignet ist
• Eine Implementierung von mindestens einem der von Anthropic definierten Computer-Use-Tools
• Eine Agent-Schleife, die mit der Claude API interagiert und die tool_use-Ergebnisse mit Ihren Tool-Implementierungen ausführt
• Eine API oder Benutzeroberfläche, die Benutzereingaben ermöglicht, um die Agent-Schleife zu starten

​

Implementieren Sie das Computer-Use-Tool

def handle_computer_action(action_type, params):
    if action_type == "screenshot":
        return capture_screenshot()
    elif action_type == "left_click":
        x, y = params["coordinate"]
        return click_at(x, y)
    elif action_type == "type":
        return type_text(params["text"])
    # ... andere Aktionen handhaben

for content in response.content:
    if content.type == "tool_use":
        action = content.input["action"]
        result = handle_computer_action(action, content.input)
        
        # Ergebnis an Claude zurückgeben
        tool_result = {
            "type": "tool_result",
            "tool_use_id": content.id,
            "content": result
        }

while True:
    response = client.beta.messages.create(...)
    
    # Überprüfen Sie, ob Claude Tools verwendet hat
    tool_results = process_tool_calls(response)
    
    if not tool_results:
        # Keine weitere Tool-Verwendung, Aufgabe abgeschlossen
        break
        
    # Setzen Sie das Gespräch mit Tool-Ergebnissen fort
    messages.append({"role": "user", "content": tool_results})

​

Behandeln Sie Fehler

{
  "role": "user",
  "content": [
    {
      "type": "tool_result",
      "tool_use_id": "toolu_01A09q90qw90lq917835lq9",
      "content": "Fehler: Screenshot-Erfassung fehlgeschlagen. Display kann gesperrt oder nicht verfügbar sein.",
      "is_error": true
    }
  ]
}

{
  "role": "user",
  "content": [
    {
      "type": "tool_result",
      "tool_use_id": "toolu_01A09q90qw90lq917835lq9",
      "content": "Fehler: Koordinaten (1200, 900) liegen außerhalb der Display-Grenzen (1024x768).",
      "is_error": true
    }
  ]
}

{
  "role": "user",
  "content": [
    {
      "type": "tool_result",
      "tool_use_id": "toolu_01A09q90qw90lq917835lq9",
      "content": "Fehler: Klick-Action konnte nicht ausgeführt werden. Die Anwendung kann nicht reagieren.",
      "is_error": true
    }
  ]
}

​

Befolgen Sie Best Practices für die Implementierung

def click_and_wait(x, y, wait_time=0.5):
    click_at(x, y)
    time.sleep(wait_time)  # UI-Update ermöglichen

def validate_action(action_type, params):
    if action_type == "left_click":
        x, y = params.get("coordinate", (0, 0))
        if not (0 <= x < display_width and 0 <= y < display_height):
            return False, "Koordinaten außerhalb der Grenzen"
    return True, None

import logging

def log_action(action_type, params, result):
    logging.info(f"Action: {action_type}, Params: {params}, Result: {result}")

​

Verstehen Sie die Einschränkungen von Computer use

1. Latenz: Die aktuelle Computer-Use-Latenz für Mensch-KI-Interaktionen kann im Vergleich zu regulären von Menschen geleiteten Computeraktionen zu langsam sein. Wir empfehlen, sich auf Anwendungsfälle zu konzentrieren, bei denen Geschwindigkeit nicht kritisch ist (z. B. Hintergrund-Informationsbeschaffung, automatisierte Softwaretests) in vertrauenswürdigen Umgebungen.
2. Genauigkeit und Zuverlässigkeit der Computervision: Claude kann Fehler machen oder halluzinieren, wenn er spezifische Koordinaten ausgibt, während er Aktionen generiert. Claude Sonnet 3.7 führt die Thinking-Fähigkeit ein, die Ihnen helfen kann, den Reasoning-Prozess des Modells zu verstehen und potenzielle Probleme zu identifizieren.
3. Genauigkeit und Zuverlässigkeit der Tool-Auswahl: Claude kann Fehler machen oder halluzinieren, wenn er Tools auswählt, während er Aktionen generiert, oder unerwartete Aktionen durchführt, um Probleme zu lösen. Darüber hinaus kann die Zuverlässigkeit niedriger sein, wenn Sie mit Nischen-Anwendungen oder mehreren Anwendungen gleichzeitig interagieren. Wir empfehlen, dass Benutzer das Modell sorgfältig auffordern, wenn sie komplexe Aufgaben anfordern.
4. Scroll-Zuverlässigkeit: Claude Sonnet 3.7 führte dedizierte Scroll-Aktionen mit Richtungssteuerung ein, die die Zuverlässigkeit verbessern. Das Modell kann jetzt explizit in jede Richtung (oben/unten/links/rechts) um einen angegebenen Betrag scrollen.
5. Tabellenkalkulationsinteraktion: Mausklicks für die Tabellenkalkulationsinteraktion haben sich in Claude Sonnet 3.7 mit der Hinzufügung präziserer Maussteuerungsaktionen wie left_mouse_down, left_mouse_up und neuer Modifier-Key-Unterstützung verbessert. Die Zellauswahl kann zuverlässiger sein, indem Sie diese feinkörnigen Steuerelemente verwenden und Modifier-Tasten mit Klicks kombinieren.
6. Kontoerstellung und Inhaltsgenerierung auf sozialen und Kommunikationsplattformen: Während Claude Websites besucht, begrenzen wir seine Fähigkeit, Konten zu erstellen oder Inhalte zu generieren und zu teilen oder sich anderweitig als Mensch auszugeben, auf sozialen Medien-Websites und Plattformen. Wir können diese Fähigkeit in Zukunft aktualisieren.
7. Anfälligkeiten: Anfälligkeiten wie Jailbreaking oder Prompt-Injection können über Frontier-KI-Systeme bestehen bleiben, einschließlich der Beta-Computer-Use-API. In einigen Fällen folgt Claude Befehlen, die in Inhalten gefunden werden, manchmal sogar im Konflikt mit den Anweisungen des Benutzers. Zum Beispiel können Claude-Anweisungen auf Webseiten oder in Bildern Anweisungen überschreiben oder Claude dazu veranlassen, Fehler zu machen. Wir empfehlen: a. Begrenzen Sie Computer use auf vertrauenswürdige Umgebungen wie virtuelle Maschinen oder Container mit minimalen Berechtigungen b. Vermeiden Sie es, Computer use Zugriff auf sensible Konten oder Daten ohne strenge Überwachung zu geben c. Informieren Sie Endbenutzer über relevante Risiken und erhalten Sie ihre Zustimmung, bevor Sie Computer-Use-Funktionen in Ihren Anwendungen aktivieren oder Berechtigungen anfordern
8. Unangemessene oder illegale Aktionen: Gemäß Anthropics Nutzungsbedingungen dürfen Sie Computer use nicht verwenden, um Gesetze zu verletzen oder gegen unsere Acceptable Use Policy zu verstoßen.

​

Preisgestaltung

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

​

Nächste Schritte