เครื่องมือการใช้คอมพิวเตอร์ช่วยให้คุณสร้างเอเจนต์ควบคุมเบราว์เซอร์ อุปกรณ์เคลื่อนที่ และเดสก์ท็อป ที่โต้ตอบและทำงานโดยอัตโนมัติได้ การใช้ภาพหน้าจอทำให้โมเดล "เห็น" หน้าจอคอมพิวเตอร์ และ "ดำเนินการ" โดยสร้างการดำเนินการ UI ที่เฉพาะเจาะจง เช่น การคลิกเมาส์ และการป้อนข้อมูลด้วยแป้นพิมพ์ คุณจะต้องใช้สภาพแวดล้อมการดำเนินการฝั่งไคลเอ็นต์เพื่อรับและดำเนินการกับการดำเนินการใช้คอมพิวเตอร์ เช่นเดียวกับการเรียกใช้ฟังก์ชัน
ดูรายการโมเดลที่รองรับได้ที่เวอร์ชันโมเดล โมเดล Gemini 3.x รองรับความสามารถขั้นสูงหลายอย่าง ได้แก่
- Awareness API รองรับสภาพแวดล้อมที่หลากหลาย ได้แก่ เบราว์เซอร์ อุปกรณ์เคลื่อนที่ และเดสก์ท็อป
- การดำเนินการที่ปรับปรุงแล้วด้วยเจตนา: การดำเนินการมีฟิลด์
intentที่อธิบายการให้เหตุผลของโมเดลในแต่ละขั้นตอน - นโยบายความปลอดภัยที่กำหนดค่าได้: ปรับพฤติกรรมด้านความปลอดภัยให้เหมาะสมด้วยหมวดหมู่นโยบายและการลบล้างที่มีอยู่
- การตรวจจับการแทรกพรอมต์: เลือกใช้การสแกนภาพหน้าจอเพื่อตรวจจับคำสั่งที่เป็นอันตรายที่ซ่อนอยู่
การใช้คอมพิวเตอร์ช่วยให้คุณสร้างเอเจนต์ที่ทำสิ่งต่อไปนี้ได้
- ป้อนข้อมูลซ้ำๆ หรือกรอกแบบฟอร์มในเว็บไซต์โดยอัตโนมัติ
- ทำการทดสอบเว็บแอปพลิเคชันและโฟลว์ของผู้ใช้โดยอัตโนมัติ
- ทําการวิจัยในเว็บไซต์ต่างๆ (เช่น รวบรวมข้อมูลผลิตภัณฑ์ ราคา และรีวิวจากเว็บไซต์อีคอมเมิร์ซเพื่อประกอบการตัดสินใจซื้อ)
ต่อไปนี้คือตัวอย่างการเริ่มต้นไคลเอ็นต์และการส่งพรอมต์ไปยังโมเดลโดยเปิดใช้เครื่องมือ computer_use สำหรับสภาพแวดล้อมของเบราว์เซอร์