コンピュータ使用ツール

Claudeは、スクリーンショット機能とマウス/キーボード制御を提供し、自律的なデスクトップ操作を可能にするコンピュータ使用ツールを通じて、コンピュータ環境と相互作用できます。

​

概要

コンピュータ使用は、Claudeがデスクトップ環境と相互作用できるベータ機能です。このツールは以下を提供します：

• スクリーンショット取得：画面に現在表示されている内容を確認
• マウス制御：クリック、ドラッグ、カーソル移動
• キーボード入力：テキスト入力とキーボードショートカット
• デスクトップ自動化：任意のアプリケーションやインターフェースとの相互作用

コンピュータ使用は、より包括的な自動化ワークフローのためにbashやテキストエディタなどの他のツールと組み合わせることができますが、コンピュータ使用は特にコンピュータ使用ツールのデスクトップ環境を見て制御する機能を指します。

​

モデル互換性

コンピュータ使用は以下のClaudeモデルで利用可能です：

​

セキュリティ上の考慮事項

​

クイックスタート

コンピュータ使用を開始する方法は以下の通りです：

import anthropic

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-sonnet-4-20250514",  # または他の互換性のあるモデル
    max_tokens=1024,
    tools=[
        {
          "type": "computer_20250124",
          "name": "computer",
          "display_width_px": 1024,
          "display_height_px": 768,
          "display_number": 1,
        },
        {
          "type": "text_editor_20250124",
          "name": "str_replace_editor"
        },
        {
          "type": "bash_20250124",
          "name": "bash"
        }
    ],
    messages=[{"role": "user", "content": "猫の写真をデスクトップに保存してください。"}],
    betas=["computer-use-2025-01-24"]
)
print(response)

​

コンピュータ使用の仕組み

ユーザー入力なしでのステップ3と4の繰り返しを「エージェントループ」と呼びます - つまり、Claudeがツール使用リクエストで応答し、あなたのアプリケーションがそのリクエストを評価した結果でClaudeに応答することです。

​

コンピューティング環境

コンピュータ使用には、Claudeがアプリケーションやウェブと安全に相互作用できるサンドボックス化されたコンピューティング環境が必要です。この環境には以下が含まれます：

1. 仮想ディスプレイ：Claudeがスクリーンショットを通じて見て、マウス/キーボードアクションで制御するデスクトップインターフェースをレンダリングする仮想X11ディスプレイサーバー（Xvfbを使用）。

2. デスクトップ環境：Linux上で動作するウィンドウマネージャー（Mutter）とパネル（Tint2）を持つ軽量UI。Claudeが相互作用する一貫したグラフィカルインターフェースを提供します。

3. アプリケーション：Firefox、LibreOffice、テキストエディタ、ファイルマネージャーなど、Claudeがタスクを完了するために使用できる事前インストールされたLinuxアプリケーション。

4. ツール実装：Claudeの抽象的なツールリクエスト（「マウス移動」や「スクリーンショット取得」など）を仮想環境での実際の操作に変換する統合コード。

5. エージェントループ：ClaudeとClaudeの環境間の通信を処理し、Claudeのアクションを環境に送信し、結果（スクリーンショット、コマンド出力）をClaudeに返すプログラム。

コンピュータ使用を使用する際、Claudeはこの環境に直接接続しません。代わりに、あなたのアプリケーションが：

1. Claudeのツール使用リクエストを受信
2. それらをコンピューティング環境でのアクションに変換
3. 結果（スクリーンショット、コマンド出力など）を取得
4. これらの結果をClaudeに返す

セキュリティと隔離のため、リファレンス実装は環境の表示と相互作用のための適切なポートマッピングを持つDockerコンテナ内ですべてを実行します。

​

コンピュータ使用の実装方法

​

リファレンス実装から始める

コンピュータ使用を素早く開始するために必要なすべてを含むリファレンス実装を構築しました：

• Claudeでのコンピュータ使用に適したコンテナ化された環境
• コンピュータ使用ツールの実装
• Anthropic APIと相互作用し、コンピュータ使用ツールを実行するエージェントループ
• コンテナ、エージェントループ、ツールと相互作用するウェブインターフェース

​

マルチエージェントループの理解

コンピュータ使用の核心は「エージェントループ」です - Claudeがツールアクションをリクエストし、あなたのアプリケーションがそれらを実行し、結果をClaudeに返すサイクルです。以下は簡略化された例です：

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # 無限ループを防ぐための反復制限を追加
):
    """
    Claude コンピュータ使用相互作用のためのシンプルなエージェントループ。

    この関数は以下の間のやり取りを処理します：
    1. ユーザーメッセージをClaudeに送信
    2. Claudeがツールの使用をリクエスト
    3. あなたのアプリがそれらのツールを実行
    4. ツール結果をClaudeに送信
    """
    # ツールとAPIパラメータを設定
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # ツールを設定 - これらは他の場所で既に初期化されているはずです
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # メインエージェントループ（暴走APIコストを防ぐための反復制限付き）
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # オプションの思考パラメータを設定（Claude Sonnet 3.7用）
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Claude APIを呼び出し
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Claudeの応答を会話履歴に追加
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Claudeがツールを使用したかチェック
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # 実際のアプリでは、ここでツールを実行します
                # 例：result = run_tool(block.name, block.input)
                result = {"result": "ツールが正常に実行されました"}

                # Claudeのために結果をフォーマット
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # ツールが使用されなかった場合、Claudeは完了 - 最終メッセージを返す
        if not tool_results:
            return messages

        # 次のClaudeとの反復のためにツール結果をメッセージに追加
        messages.append({"role": "user", "content": tool_results})

ループは、Claudeがツールをリクエストせずに応答する（タスク完了）か、最大反復制限に達するまで続きます。この安全装置は、予期しないAPIコストを引き起こす可能性のある無限ループを防ぎます。

このドキュメントの残りを読む前に、リファレンス実装を試してみることをお勧めします。

​

プロンプトでモデルパフォーマンスを最適化

最高品質の出力を得るためのヒントをいくつか紹介します：

1. シンプルで明確に定義されたタスクを指定し、各ステップに明示的な指示を提供する。
2. Claudeは時々、結果を明示的にチェックせずにアクションの結果を仮定することがあります。これを防ぐために、各ステップの後、スクリーンショットを撮り、正しい結果を達成したかどうかを慎重に評価してください。あなたの思考を明示的に示してください：「ステップXを評価しました...」正しくない場合は、再試行してください。ステップが正しく実行されたことを確認した場合のみ、次のステップに進んでください。とClaudeにプロンプトできます。
3. 一部のUI要素（ドロップダウンやスクロールバーなど）は、Claudeがマウス移動を使用して操作するのが難しい場合があります。これを経験した場合は、キーボードショートカットを使用するようにモデルにプロンプトしてみてください。
4. 反復可能なタスクやUI相互作用の場合、プロンプトに成功した結果のサンプルスクリーンショットとツール呼び出しを含めてください。
5. モデルにログインが必要な場合は、<robot_credentials>のようなxmlタグ内でプロンプトにユーザー名とパスワードを提供してください。ログインが必要なアプリケーション内でコンピュータ使用を使用すると、プロンプトインジェクションの結果として悪い結果のリスクが高まります。モデルにログイン認証情報を提供する前に、プロンプトインジェクションの軽減に関するガイドを確認してください。

​

システムプロンプト

Anthropic定義のツールの1つがAnthropic API経由でリクエストされると、コンピュータ使用固有のシステムプロンプトが生成されます。これはツール使用システムプロンプトに似ていますが、以下で始まります：

あなたはユーザーの質問に答えるために使用できる一連の関数にアクセスできます。これには、サンドボックス化されたコンピューティング環境へのアクセスが含まれます。現在、以下の関数を呼び出す以外に、ファイルを検査したり外部リソースと相互作用したりする能力はありません。

通常のツール使用と同様に、ユーザー提供のsystem_promptフィールドは引き続き尊重され、結合されたシステムプロンプトの構築に使用されます。

​

利用可能なアクション

コンピュータ使用ツールは以下のアクションをサポートします：

基本アクション（すべてのバージョン）

• screenshot - 現在のディスプレイをキャプチャ
• left_click - 座標[x, y]でクリック
• type - テキスト文字列を入力
• key - キーまたはキーの組み合わせを押す（例：「ctrl+s」）
• mouse_move - カーソルを座標に移動

拡張アクション（computer_20250124） Claude 4モデルとClaude Sonnet 3.7で利用可能：

• scroll - 量制御で任意の方向にスクロール
• left_click_drag - 座標間でクリックアンドドラッグ
• right_click、middle_click - 追加のマウスボタン
• double_click、triple_click - 複数クリック
• left_mouse_down、left_mouse_up - 細かいクリック制御
• hold_key - 他のアクションを実行しながらキーを保持
• wait - アクション間で一時停止

​

ツールパラメータ

​

Claude 4モデルとClaude Sonnet 3.7で思考機能を有効にする

Claude Sonnet 3.7は、複雑なタスクに取り組む際のモデルの推論プロセスを見ることができる新しい「思考」機能を導入しました。この機能は、Claudeが問題にどのようにアプローチしているかを理解するのに役立ち、デバッグや教育目的で特に価値があります。

思考を有効にするには、APIリクエストにthinkingパラメータを追加します：

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

budget_tokensパラメータは、Claudeが思考に使用できるトークン数を指定します。これは全体のmax_tokens予算から差し引かれます。

思考が有効になると、Claudeは応答の一部として推論プロセスを返し、以下に役立ちます：

1. モデルの意思決定プロセスを理解
2. 潜在的な問題や誤解を特定
3. Claudeの問題解決アプローチから学習
4. 複雑な多段階操作により多くの可視性を得る

思考出力の例は以下のようになります：

[思考]
猫の写真をデスクトップに保存する必要があります。これをステップに分解してみましょう：

1. まず、スクリーンショットを撮ってデスクトップに何があるかを確認します
2. 次に、猫の画像を検索するためのウェブブラウザを探します
3. 適切な画像を見つけた後、それをデスクトップに保存する必要があります

利用可能なものを確認するためにスクリーンショットを撮ることから始めましょう...

​

他のツールでコンピュータ使用を拡張

コンピュータ使用ツールは他のツールと組み合わせて、より強力な自動化ワークフローを作成できます。これは以下が必要な場合に特に有用です：

• システムコマンドの実行（bashツール）
• 設定ファイルやスクリプトの編集（テキストエディタツール）
• カスタムAPIやサービスとの統合（カスタムツール）

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-opus-4-1-20250805",
    "max_tokens": 2000,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250124",
        "name": "str_replace_editor"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      },
      {
        "name": "get_weather",
        "description": "指定された場所の現在の天気を取得",
        "input_schema": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "都市と州、例：San Francisco, CA"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "温度の単位、'celsius'または'fahrenheit'"
            }
          },
          "required": ["location"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "サンフランシスコからより暖かい天気の場所への航空券を探してください。"
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

​

カスタムコンピュータ使用環境の構築

リファレンス実装は、コンピュータ使用を開始するのに役立つことを意図しています。Claudeがコンピュータを使用するために必要なすべてのコンポーネントが含まれています。ただし、ニーズに合わせてコンピュータ使用のための独自の環境を構築できます。以下が必要です：

• Claudeでのコンピュータ使用に適した仮想化またはコンテナ化された環境
• Anthropic定義のコンピュータ使用ツールの少なくとも1つの実装
• Anthropic APIと相互作用し、ツール実装を使用してtool_use結果を実行するエージェントループ
• エージェントループを開始するためのユーザー入力を許可するAPIまたはUI

​

コンピュータ使用ツールの実装

コンピュータ使用ツールは、スキーマレスツールとして実装されます。このツールを使用する際、他のツールのように入力スキーマを提供する必要はありません。スキーマはClaudeのモデルに組み込まれており、変更できません。

def handle_computer_action(action_type, params):
    if action_type == "screenshot":
        return capture_screenshot()
    elif action_type == "left_click":
        x, y = params["coordinate"]
        return click_at(x, y)
    elif action_type == "type":
        return type_text(params["text"])
    # ... 他のアクションを処理

for content in response.content:
    if content.type == "tool_use":
        action = content.input["action"]
        result = handle_computer_action(action, content.input)
        
        # 結果をClaudeに返す
        tool_result = {
            "type": "tool_result",
            "tool_use_id": content.id,
            "content": result
        }

while True:
    response = client.beta.messages.create(...)
    
    # Claudeがツールを使用したかチェック
    tool_results = process_tool_calls(response)
    
    if not tool_results:
        # ツール使用なし、タスク完了
        break
        
    # ツール結果で会話を続ける
    messages.append({"role": "user", "content": tool_results})

​

エラーの処理

コンピュータ使用ツールを実装する際、さまざまなエラーが発生する可能性があります。以下はそれらの処理方法です：

​

実装のベストプラクティスに従う

​

コンピュータ使用の制限事項を理解する

コンピュータ使用機能はベータ版です。Claudeの機能は最先端ですが、開発者はその制限事項を認識する必要があります：

1. レイテンシ：現在のコンピュータ使用レイテンシは、人間-AI相互作用において通常の人間主導のコンピュータアクションと比較して遅すぎる可能性があります。信頼できる環境でスピードが重要でないユースケース（例：バックグラウンド情報収集、自動化されたソフトウェアテスト）に焦点を当てることをお勧めします。
2. コンピュータビジョンの精度と信頼性：Claudeはアクションを生成する際に特定の座標を出力する際にミスをしたり幻覚を起こしたりする可能性があります。Claude Sonnet 3.7は、モデルの推論を理解し、潜在的な問題を特定するのに役立つ思考機能を導入しています。
3. ツール選択の精度と信頼性：Claudeはアクションを生成する際にツールを選択する際にミスをしたり幻覚を起こしたり、問題を解決するために予期しないアクションを取ったりする可能性があります。さらに、ニッチなアプリケーションや複数のアプリケーションを同時に操作する際に信頼性が低下する可能性があります。複雑なタスクをリクエストする際は、ユーザーがモデルに慎重にプロンプトすることをお勧めします。
4. スクロールの信頼性：Claude Sonnet 3.5 v2 (非推奨)にはスクロールの制限がありましたが、Claude Sonnet 3.7は方向制御付きの専用スクロールアクションを導入し、信頼性を向上させています。モデルは指定された量だけ任意の方向（上/下/左/右）に明示的にスクロールできるようになりました。
5. スプレッドシート相互作用：スプレッドシート相互作用のためのマウスクリックは、left_mouse_down、left_mouse_up、新しい修飾キーサポートなどのより精密なマウス制御アクションの追加により、Claude Sonnet 3.7で改善されました。これらの細かい制御を使用し、修飾キーとクリックを組み合わせることで、セル選択がより信頼できるようになります。
6. ソーシャルおよびコミュニケーションプラットフォームでのアカウント作成とコンテンツ生成：Claudeはウェブサイトを訪問しますが、ソーシャルメディアウェブサイトやプラットフォーム全体でアカウントを作成したり、コンテンツを生成・共有したり、その他の人間のなりすましに従事したりする能力を制限しています。将来この機能を更新する可能性があります。
7. 脆弱性：ジェイルブレイクやプロンプトインジェクションなどの脆弱性は、ベータコンピュータ使用APIを含むフロンティアAIシステム全体で持続する可能性があります。一部の状況では、Claudeはユーザーの指示と矛盾していても、コンテンツ内で見つかったコマンドに従います。例えば、ウェブページ上のClaude指示や画像に含まれる指示が、指示を上書きしたり、Claudeにミスを犯させたりする可能性があります。以下をお勧めします： a. 最小限の権限を持つ仮想マシンやコンテナなどの信頼できる環境にコンピュータ使用を制限する b. 厳格な監視なしに機密アカウントやデータへのコンピュータ使用アクセスを与えることを避ける c. アプリケーションでコンピュータ使用機能を有効にしたり、必要な権限をリクエストしたりする前に、エンドユーザーに関連するリスクを通知し、同意を得る
8. 不適切または違法な行為：Anthropicの利用規約に従い、法律やAcceptable Use Policyに違反するためにコンピュータ使用を使用してはいけません。

Claudeのコンピュータ使用アクションとログを常に慎重に確認・検証してください。完璧な精度や機密ユーザー情報を必要とするタスクには、人間の監視なしにClaudeを使用しないでください。

​

料金

Computer use follows the standard tool use pricing. When using the computer use tool:

System prompt overhead: The computer use beta adds 466-499 tokens to the system prompt

Computer use tool token usage:

Additional token consumption:

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

​

次のステップ