איך יוצרים מוזיקה באמצעות Lyria 3

‫Lyria 3 הוא משפחת מודלים של Google ליצירת מוזיקה, שזמינים דרך Gemini API. עם Lyria 3, אתם יכולים ליצור אודיו סטריאו באיכות גבוהה של 44.1 kHz מפרומפטים טקסטואליים או מתמונות. המודלים האלה מספקים קוהרנטיות מבנית, כולל שירה, מילים מתוזמנות ועיבודים מלאים לכלי נגינה.

משפחת Lyria 3 כוללת שני מודלים:

מודל מזהה דגם הכי טוב עבור משך פלט
Lyria 3 Clip lyria-3-clip-preview סרטונים קצרים, סרטונים שמופעלים בלופ, קטעים מקדימים ‫30 שניות MP3
‫Lyria 3 Pro lyria-3-pro-preview שירים באורך מלא עם בתים, פזמונים וגשרים כמה דקות (אפשר לשלוט בזה באמצעות פרומפט) MP3

אפשר להשתמש בשני המודלים באמצעות Interactions API החדש, שתומך בקלט רב-אופני (טקסט ותמונות) ומפיק אודיו סטריאו באיכות גבוהה של 44.1‎ kHz.

יצירת קליפ מוזיקה

מודל Lyria 3 Clip תמיד יוצר קליפ באורך 30 שניות. כדי ליצור קליפ, צריך להפעיל את method‏ interactions.create עם פרומפט טקסטואלי. התשובה תמיד כוללת את המילים שנוצרו ואת מבנה השיר לצד האודיו בסכימה של steps.

Python

import base64
from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="lyria-3-clip-preview",
    input="A short instrumental acoustic guitar piece.",
)

generated_audio = interaction.output_audio
if generated_audio:
    with open("music.mp3", "wb") as f:
        f.write(base64.b64decode(generated_audio.data))

lyrics = interaction.output_text
if lyrics:
    print(f"Lyrics:\n{lyrics}")

JavaScript

import { GoogleGenAI } from '@google/genai';
import * as fs from 'fs';

const client = new GoogleGenAI({});

const interaction = await client.interactions.create({
    model: 'lyria-3-clip-preview',
    input: 'A short instrumental acoustic guitar piece.',
});

const generatedAudio = interaction.output_audio;
if (generatedAudio) {
  fs.writeFileSync('music.mp3', Buffer.from(generatedAudio.data, 'base64'));
}

const lyrics = interaction.output_text;