Vizioni agjentik

Modelet ER të Gemini Robotics mund të shkruajnë dhe ekzekutojnë kod Python për të manipuluar imazhet dhe për të aplikuar logjikën para se të përgjigjen. Kjo faqe mbulon shembuj të ekzekutimit të kodit: zbulimin e objekteve me zmadhim dhe prerje, leximin e instrumenteve, matjen e lëngjeve, leximin e qarkut dhe shënimin e imazhit.

Për t'i përshtatur këto shembuj sipas rastit tuaj të përdorimit, zëvendësoni tekstin e kërkesës dhe skedarin e imazhit të ngarkuar me tuajin. Gjithashtu mund ta rregulloni skemën JSON të kërkuar në kërkesë për t'iu përshtatur strukturës së daljes që i nevojitet aplikacionit tuaj, ose të shtoni një system_instruction për të zbatuar formatin dhe saktësinë e daljes.

Për kodin e plotë të ekzekutueshëm, shihni librin e gatimit të Robotics .

Niveli i të menduarit

Mund ta kontrolloni nivelin e të menduarit të modelit për të shkëmbyer vonesën me saktësi. Detyrat hapësinore si zbulimi i objekteve funksionojnë mirë me një nivel të ulët të të menduarit. Detyrat komplekse si numërimi ose vlerësimi i peshës përfitojnë nga një nivel më i lartë i të menduarit.

Shembulli i mëposhtëm e vendos nivelin e të menduarit në high për një detyrë komplekse numërimi:

from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="scene.jpeg")

interaction = client.interactions.create(
    model="gemini-robotics-er-2-preview",
    input=[
        {
            "type": "image",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type
        },
        {"type": "text", "text": "Identify and count all objects on the table."}
    ],
    generation_config={
        "thinking_level": "high"  # Use "minimal" or "low" for faster spatial tasks
    }
)

print(interaction.output_text)

Shihni Të menduarit për detaje.

Zbulimi i objekteve (Zmadhim dhe prerje)

Shembulli i mëposhtëm përdor ekzekutimin e kodit për të zmadhuar dhe prerë një imazh për një pamje më të qartë kur zbulohen objekte dhe kthehen kutitë kufizuese.

from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="sorting.jpeg")

prompt = """
Return JSON in the format {label: val, y: val, x: val, y2: val, x2: val} for
the compostable objects in this scene. Please Zoom and crop the image for a
clearer view. Return an annotated image of the final result with the bounding
boxes drawn on it to the API caller as a part of your process.
"""

interaction = client.interactions.create(
    model="gemini-robotics-er-2-preview",
    input=[
        {
            "type": "image",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type
        },
        {"type": "text", "text": prompt}
    ],
    tools=[{"type": "code_execution"}]
)

print(interaction.output_text)

Rezultati i modelit do të ishte i ngjashëm me përgjigjen e mëposhtme json:

[
  {"label": "compostable", "y": 256, "x": 482, "y2": 295, "x2": 546},
  {"label": "compostable", "y": 317, "x": 478, "y2": 350, "x2": 542},
  {"label": "compostable", "y": 586, "x": 556, "y2": 668, "x2": 595},
  {"label": "compostable", "y": 463, "x": 669, "y2": 511, "x2": 718},
  {"label": "compostable", "y": 178, "x": 565, "y2": 250, "x2": 609}
]

Imazhi i mëposhtëm shfaq kutitë e kthyera nga modeli.

Lexoni një matës analog dhe zbatoni logjikën

Shembulli i mëposhtëm tregon se si të përdoret modeli për të lexuar një matës analog dhe për të kryer llogaritjet e kohës. Ai përdor një udhëzim sistemi për të zbatuar një dalje JSON.

from google import genai

client = genai.Client()

uploaded_file = client.files.upload(