Persyaratan dan file input yang didukung

Saat memanggil Gemini API dari aplikasi menggunakan SDK Firebase AI Logic, Anda dapat meminta model Gemini untuk membuat teks berdasarkan input multimodal, seperti gambar, video, dan audio, serta dokumen (seperti PDF).

Anda harus menggunakan jenis file yang didukung, menentukan jenis MIME yang didukung, dan memastikan bahwa file dan permintaan multimodal Anda memenuhi persyaratan serta mengikuti praktik terbaik.

Halaman ini khusus untuk menggunakan GenerativeModel dan menjelaskan hal berikut:

Opsi untuk menyediakan file dalam permintaan multimodal

Pilih penyedia Gemini API Anda untuk melihat konten khusus penyedia di halaman ini

Dalam setiap permintaan multimodal, Anda harus selalu memberikan hal berikut:

Ukuran dan jumlah file yang dapat Anda berikan dalam permintaan ditentukan oleh jenis file input, cara Anda memberikan file, dan model yang digunakan (untuk mengetahui detailnya, lihat setiap bagian jenis file input di halaman ini).

Opsi 1: Berikan file sebagai data inline

Perhatikan hal-hal berikut tentang file yang diberikan sebagai data inline:

  • Hanya file kecil yang dapat dikirim sebagai data inline karena batas ukuran permintaan total adalah 20 MB.

  • File dienkode ke base64 dalam pengiriman (yang meningkatkan ukuran file).

Untuk contoh yang menunjukkan cara menyertakan file sebagai data inline, lihat Membuat teks dari input teks dan file (multimodal). Perhatikan bahwa SDK untuk platform Android dan Apple dapat menangani gambar inline dalam permintaan tanpa perlu menentukan jenis MIME. Pelajari lebih lanjut.

Opsi 2: Menyediakan file menggunakan URL

Berikut adalah jenis URL yang dapat diterima saat menggunakan Gemini Developer API:

  • URL video YouTube: Video YouTube harus publik atau tidak publik.

    Anda dapat menentukan satu URL video YouTube per permintaan.


Gambar: Persyaratan, praktik terbaik, dan batasan

Gambar: Persyaratan

Di bagian ini, pelajari jenis MIME yang didukung dan batas per permintaan untuk gambar.

Jenis MIME yang didukung

Model multimodal Gemini mendukung jenis MIME gambar berikut:

Jenis MIME gambar Gemini 2.0 Flash Gemini 2.0 Flash‑Lite
PNG - image/png
JPEG - image/jpeg
WebP - image/webp

Batas per permintaan

Tidak ada batasan spesifik untuk jumlah piksel dalam gambar. Namun, gambar yang lebih besar akan diskalakan ke bawah dan diisi agar sesuai dengan resolusi maksimum 3072 x 3072 sekaligus mempertahankan rasio aspek aslinya.

Berikut adalah jumlah maksimum file gambar yang diizinkan dalam permintaan perintah:

  • Gemini 2.0 Flash dan Gemini 2.0 Flash‑Lite: 3.000 gambar

Gambar: Tokenisasi

Berikut cara token dihitung untuk gambar:

  • Gemini 2.0 Flash dan Gemini 2.0 Flash‑Lite:
    • Jika kedua dimensi gambar kurang dari atau sama dengan 384 piksel, 258 token akan digunakan.
    • Jika satu dimensi gambar lebih besar dari 384 piksel, gambar akan dipangkas menjadi ubin. Setiap ukuran kartu ditetapkan secara default ke dimensi terkecil (lebar atau tinggi) dibagi 1,5. Jika perlu, setiap kartu akan disesuaikan agar tidak lebih kecil dari 256 piksel dan tidak lebih besar dari 768 piksel. Setiap kartu kemudian diubah ukurannya menjadi 768x768 dan menggunakan 258 token.

Gambar: Praktik terbaik

Saat menggunakan gambar, gunakan praktik terbaik dan informasi berikut untuk mendapatkan hasil terbaik:

  • Jika Anda ingin mendeteksi teks dalam gambar, gunakan perintah dengan satu gambar untuk menghasilkan hasil yang lebih baik daripada perintah dengan beberapa gambar.
  • Jika perintah Anda berisi satu gambar, tempatkan gambar sebelum perintah teks dalam permintaan Anda.
  • Jika perintah Anda berisi beberapa gambar, dan Anda ingin merujuknya nanti dalam perintah atau meminta model untuk merujuknya dalam respons model, akan lebih baik jika Anda memberi setiap gambar indeks sebelum gambar. Gunakan a b c atau image 1 image 2 image 3 untuk indeks Anda. Berikut adalah contoh penggunaan gambar yang diindeks dalam perintah: 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • Gunakan gambar dengan resolusi lebih tinggi karena akan menghasilkan hasil yang lebih baik.
  • Sertakan beberapa contoh dalam perintah.
  • Putar gambar ke orientasi yang tepat sebelum menambahkannya ke perintah.
  • Hindari gambar yang buram.

Gambar: Batasan

Meskipun model multimodal Gemini sangat efektif dalam banyak kasus penggunaan multimodal, penting untuk memahami keterbatasan model:

  • Moderasi konten: Model menolak memberikan jawaban tentang gambar yang melanggar kebijakan keamanan kami.
  • Pemikiran spasial: Model tidak akurat dalam menemukan teks atau objek dalam gambar. Metode ini mungkin hanya menampilkan perkiraan jumlah objek.
  • Penggunaan medis: Model ini tidak sesuai untuk menafsirkan gambar medis (misalnya, sinar-X dan CT scan) atau memberikan saran medis.
  • Pengenalan orang: Model ini tidak dimaksudkan untuk digunakan untuk mengidentifikasi orang yang bukan selebritas dalam gambar.
  • Akurasi: Model mungkin mengalami halusinasi atau melakukan kesalahan saat menafsirkan gambar berkualitas rendah, diputar, atau beresolusi sangat rendah. Model juga mungkin mengalami halusinasi saat menafsirkan teks tulisan tangan dalam dokumen gambar.


Video: Persyaratan, praktik terbaik, dan batasan

Video: Persyaratan

Di bagian ini, pelajari jenis MIME yang didukung dan batas per permintaan untuk video.

Jenis MIME yang didukung

Model multimodal Gemini mendukung jenis MIME video berikut:

Jenis MIME video Gemini 2.0 Flash Gemini 2.0 Flash‑Lite
FLV - video/x-flv
MOV - video/quicktime
MPEG - video/mpeg
MPEGPS - video/mpegps
MPG - video/mpg
MP4 - video/mp4
WEBM - video/webm
WMV - video/wmv
3GPP - video/3gpp

Batas per permintaan

Berikut adalah jumlah maksimum file video yang diizinkan dalam permintaan perintah:

  • Gemini 2.0 Flash dan Gemini 2.0 Flash‑Lite: 10 file video

Video: Tokenisasi

Berikut cara penghitungan token untuk video:

  • Gemini 2.0 Flash dan Gemini 2.0 Flash‑Lite: Trek audio dienkode dengan frame video. Jalur audio juga dibagi menjadi trunk 1 detik yang masing-masing terdiri dari 32 token. Token frame video dan audio diselingi dengan stempel waktunya. Stempel waktu direpresentasikan sebagai 7 token.
  • Semua model multimodal Gemini: Video diambil sampelnya dengan 1 frame per detik (fps). Setiap frame video memiliki 258 token.

Video: Praktik terbaik

Saat menggunakan video, gunakan praktik terbaik dan informasi berikut untuk mendapatkan hasil terbaik:

  • Jika perintah Anda berisi satu video, tempatkan video sebelum perintah teks.
  • Jika Anda memerlukan pelokalan stempel waktu dalam video dengan audio, minta model untuk membuat stempel waktu dalam format MM:SS dengan dua digit pertama mewakili menit dan dua digit terakhir mewakili detik. Gunakan format yang sama untuk pertanyaan yang menanyakan stempel waktu.

Video: Batasan

Meskipun model multimodal Gemini sangat efektif dalam banyak kasus penggunaan multimodal, penting untuk memahami keterbatasan model:

  • Moderasi konten: Model menolak memberikan jawaban pada video yang melanggar kebijakan keamanan kami.
  • Pengenalan suara non-ucapan: Model yang mendukung audio mungkin melakukan kesalahan saat mengenali suara yang bukan ucapan.
  • Gerakan berkecepatan tinggi: Model mungkin melakukan kesalahan dalam memahami gerakan berkecepatan tinggi dalam video karena kecepatan sampling 1 frame per detik (fps) yang tetap.


Audio: Persyaratan dan batasan

Audio: Persyaratan

Di bagian ini, pelajari jenis MIME yang didukung dan batas per permintaan untuk audio.

Jenis MIME yang didukung

Model multimodal Gemini mendukung jenis MIME audio berikut:

Jenis MIME audio Gemini 2.0 Flash Gemini 2.0 Flash‑Lite
AAC - audio/aac
FLAC - audio/flac
MP3 - audio/mp3
MPA - audio/m4a
MPEG - audio/mpeg
MPGA - audio/mpga
MP4 - audio/mp4
OPUS - audio/opus
PCM - audio/pcm
WAV - audio/wav
WEBM - audio/webm

Batas per permintaan

Anda dapat menyertakan maksimal 1 file audio dalam permintaan perintah.

Audio: Batasan

Meskipun model multimodal Gemini sangat efektif dalam banyak kasus penggunaan multimodal, penting untuk memahami keterbatasan model:

  • Pengenalan suara non-ucapan: Model yang mendukung audio mungkin melakukan kesalahan saat mengenali suara yang bukan ucapan.
  • Stempel waktu khusus audio: Untuk membuat stempel waktu secara akurat untuk file khusus audio, Anda harus mengonfigurasi parameter audio_timestamp di generation_config.


Dokumen (seperti PDF): Persyaratan, praktik terbaik, dan batasan

Dokumen: Persyaratan

Di bagian ini, pelajari jenis MIME yang didukung dan batas per permintaan untuk dokumen (seperti PDF).

Jenis MIME yang didukung

Model multimodal Gemini mendukung jenis MIME dokumen berikut:

Jenis MIME dokumen Gemini 2.0 Flash Gemini 2.0 Flash‑Lite
PDF - application/pdf
Teks - text/plain

Batas per permintaan

PDF diperlakukan sebagai gambar, sehingga satu halaman PDF diperlakukan sebagai satu gambar. Jumlah halaman yang diizinkan dalam perintah dibatasi pada jumlah gambar yang dapat didukung model:

  • Gemini 2.0 Flash dan Gemini 2.0 Flash‑Lite:
    • File maksimum per permintaan: 3.000
    • Halaman maksimum per file: 1.000
    • Ukuran maksimum per file: 50 MB

Dokumen: Tokenisasi

Tokenisasi PDF

PDF diperlakukan sebagai gambar, sehingga setiap halaman PDF ditokenisasi dengan cara yang sama seperti gambar.

Selain itu, biaya untuk PDF mengikuti harga image Gemini. Misalnya, jika Anda menyertakan PDF dua halaman dalam panggilan API Gemini, Anda akan dikenai biaya input untuk memproses dua gambar.

Dokumen: Praktik terbaik

Saat menggunakan PDF, gunakan praktik terbaik dan informasi berikut untuk mendapatkan hasil terbaik:

  • Jika perintah Anda berisi satu PDF, tempatkan PDF sebelum perintah teks dalam permintaan Anda.
  • Jika Anda memiliki dokumen yang panjang, sebaiknya bagi dokumen tersebut menjadi beberapa PDF untuk memprosesnya.
  • Gunakan PDF yang dibuat dengan teks yang dirender sebagai teks, bukan menggunakan teks dalam gambar yang dipindai. Format ini memastikan teks dapat dibaca mesin sehingga lebih mudah bagi model untuk mengedit, menelusuri, dan memanipulasi dibandingkan dengan PDF gambar yang dipindai. Praktik ini memberikan hasil yang optimal saat menangani dokumen yang banyak teks seperti kontrak.

Dokumen: Batasan

Meskipun model multimodal Gemini sangat efektif dalam banyak kasus penggunaan multimodal, penting untuk memahami keterbatasan model:

  • Pemikiran spasial: Model tidak akurat dalam menemukan teks atau objek dalam PDF. Metode ini mungkin hanya menampilkan perkiraan jumlah objek.
  • Akurasi: Model mungkin mengalami halusinasi saat menafsirkan teks tulisan tangan dalam dokumen PDF.