パソコンの使用

コンピュータ使用ツールを使用すると、ブラウザ、モバイル、デスクトップの制御エージェントを構築して、タスクを操作して自動化できます。モデルはスクリーンショットを使用して、コンピュータ画面を「見て」、マウスのクリックやキーボード入力などの特定の UI アクションを生成して「操作」できます。関数呼び出しと同様に、クライアントサイドの実行環境を実装して、コンピュータ使用アクションを受信して実行する必要があります。

サポートされているモデルの一覧については、モデルのバージョンをご覧ください。Gemini 3.x モデルは、次の高度な機能をサポートしています。

  • マルチ環境のサポート: ブラウザ、モバイル、パソコン環境用のエージェントを構築します。
  • インテントを使用した合理化されたアクション: アクションには、各ステップの背後にあるモデルの推論を説明する intent フィールドが含まれています。
  • 構成可能な安全性ポリシー: 組み込みのポリシー カテゴリとオーバーライドを使用して、安全性動作を微調整します。
  • プロンプト インジェクションの検出: 隠れた敵対的な指示を検出するために、スクリーンショット スキャンをオプトインします。

コンピュータ使用モデルを使用すると、次のことができるエージェントを構築できます。

  • ウェブサイトでのデータ入力やフォームへの記入など、繰り返し発生する作業を自動化します。
  • ウェブ アプリケーションとユーザーフローの自動テストを実行する
  • さまざまなウェブサイトで調査を行う（e コマース サイトから商品の情報、価格、レビューを収集して購入の判断に役立てるなど）

ブラウザ環境で computer_use ツールを有効にして、クライアントを初期化し、モデルにプロンプトを送信する最小限の例を次に示します。

Python

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.7-flash",
    input="Search for 'Gemini API' on Google.",
    tools=[{"type": "computer_use", "environment": "browser"}]
)

print(interaction)

JavaScript

import { GoogleGenAI } from '@google/genai';

const ai = new GoogleGenAI();

const interaction = await ai.interactions.create