Gemini Batch API는 표준 비용의 50%로 대량의 요청을 비동기식으로 처리하도록 설계되었습니다. 목표 처리 시간은 24시간이지만 대부분의 경우 훨씬 빠릅니다.
즉각적인 응답이 필요하지 않은 데이터 사전 처리나 평가 실행과 같은 대규모의 긴급하지 않은 작업에는 Batch API를 사용하세요.
일괄 작업 만들기
Batch API에서 요청을 제출하는 방법에는 두 가지가 있습니다.
- 인라인 요청: 일괄 생성 요청에 직접 포함된
GenerateContentRequest객체 목록입니다. 이는 총 요청 크기가 20MB 미만인 작은 배치에 적합합니다. 모델에서 반환된 출력은inlineResponse객체 목록입니다. - 입력 파일: 각 줄에 완전한
GenerateContentRequest객체가 포함된 JSON Lines (JSONL) 파일입니다. 이 방법은 더 큰 요청에 권장됩니다. 모델에서 반환된 출력은 각 줄이GenerateContentResponse또는 상태 객체인 JSONL 파일입니다.
인라인 요청
요청 수가 적은 경우 BatchGenerateContentRequest 내에 GenerateContentRequest 객체를 직접 삽입할 수 있습니다. 다음 예에서는 인라인 요청을 사용하여 BatchGenerateContent 메서드를 호출합니다.