Persyaratan dan file input yang didukung

Saat memanggil Gemini API dari aplikasi menggunakan SDK Firebase AI Logic, Anda dapat meminta model Gemini untuk membuat teks berdasarkan input multimodal, seperti gambar, video, dan audio, serta dokumen (seperti PDF).

Anda harus menggunakan jenis file yang didukung, menentukan jenis MIME yang didukung, dan memastikan file serta permintaan multimodal Anda memenuhi persyaratan dan mengikuti praktik terbaik.

Halaman ini khusus untuk penggunaan GenerativeModel dan menjelaskan hal berikut:

Opsi untuk menyediakan file dalam permintaan multimodal

Pilih penyedia Gemini API Anda untuk melihat konten khusus penyedia di halaman ini

Dalam setiap permintaan multimodal, Anda harus selalu memberikan hal berikut:

Ukuran dan jumlah file yang dapat Anda berikan dalam permintaan ditentukan oleh jenis file input, cara Anda memberikan file, dan model yang digunakan (untuk mengetahui detailnya, lihat bagian setiap jenis file input di halaman ini).

Opsi 1: Menyediakan file sebagai data inline

Perhatikan hal-hal berikut tentang file yang diberikan sebagai data inline:

  • Hanya file kecil yang dapat dikirim sebagai data inline karena batas ukuran total permintaan adalah 20 MB.

  • File dienkode ke base64 saat dalam transit (yang meningkatkan ukuran file).

Untuk contoh yang menunjukkan cara menyertakan file sebagai data inline, lihat Membuat teks dari input teks dan file (multimodal). Perhatikan bahwa SDK untuk platform Android dan Apple dapat menangani gambar sebaris dalam permintaan tanpa perlu menentukan jenis MIME. Pelajari lebih lanjut.

Opsi 2: Berikan file menggunakan URL

Berikut adalah jenis URL yang dapat diterima saat menggunakan Gemini Developer API:


Gambar: Persyaratan, praktik terbaik, dan batasan

Gambar: Persyaratan

Di bagian ini, pelajari jenis MIME yang didukung dan batas per permintaan untuk gambar.

Jenis MIME yang didukung

Model multimodal Gemini mendukung jenis MIME gambar berikut:

Jenis MIME gambar Gemini 2.0 Flash Gemini 2.0 Flash‑Lite
PNG - image/png
JPEG - image/jpeg
WebP - image/webp

Batas per permintaan

Tidak ada batasan khusus untuk jumlah piksel dalam gambar. Namun, gambar yang lebih besar akan diperkecil dan diberi padding agar sesuai dengan resolusi maksimum 3072 x 3072 sambil mempertahankan rasio aspek aslinya.

Berikut jumlah maksimum file gambar yang diizinkan dalam permintaan perintah:

  • Gemini 2.0 Flash dan Gemini 2.0 Flash‑Lite: 3.000 gambar

Gambar: Tokenisasi

Berikut cara penghitungan token untuk gambar:

  • Gemini 2.0 Flash dan Gemini 2.0 Flash‑Lite:
    • Jika kedua dimensi gambar kurang dari atau sama dengan 384 piksel, maka 258 token akan digunakan.
    • Jika salah satu dimensi gambar lebih besar dari 384 piksel, maka gambar akan dipangkas menjadi petak. Setiap ukuran petak secara default adalah dimensi terkecil (lebar atau tinggi) dibagi 1,5. Jika perlu, setiap petak disesuaikan agar tidak lebih kecil dari 256 piksel dan tidak lebih besar dari 768 piksel. Setiap petak kemudian diubah ukurannya menjadi 768x768 dan menggunakan 258 token.

Gambar: Praktik terbaik

Saat menggunakan gambar, gunakan praktik terbaik dan informasi berikut untuk mendapatkan hasil terbaik:

  • Jika Anda ingin mendeteksi teks dalam gambar, gunakan perintah dengan satu gambar untuk menghasilkan hasil yang lebih baik daripada perintah dengan beberapa gambar.
  • Jika perintah Anda berisi satu gambar, tempatkan gambar sebelum perintah teks dalam permintaan Anda.
  • Jika prompt Anda berisi beberapa gambar, dan Anda ingin merujuknya nanti dalam prompt atau meminta model merujuknya dalam respons model, sebaiknya beri setiap gambar indeks sebelum gambar. Gunakan a b c atau image 1 image 2 image 3 untuk indeks Anda. Berikut adalah contoh penggunaan gambar berindeks dalam prompt: 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • Gunakan gambar dengan resolusi yang lebih tinggi; gambar ini akan memberikan hasil yang lebih baik.
  • Sertakan beberapa contoh dalam perintah.
  • Putar gambar ke orientasi yang tepat sebelum menambahkannya ke perintah.
  • Hindari gambar yang buram.

Gambar: Batasan

Meskipun model multimodal Gemini sangat efektif dalam banyak kasus penggunaan multimodal, penting untuk memahami batasan model:

  • Moderasi konten: Model menolak memberikan jawaban pada gambar yang melanggar kebijakan keamanan kami.
  • Penalaran spasial: Model tidak akurat dalam menemukan teks atau objek dalam gambar. Objek tersebut mungkin hanya menampilkan perkiraan jumlah objek.
  • Penggunaan medis: Model ini tidak cocok untuk menafsirkan gambar medis (misalnya, sinar-X dan CT scan) atau memberikan saran medis.
  • Pengenalan orang: Model tidak dimaksudkan untuk digunakan mengidentifikasi orang yang bukan selebritas dalam gambar.
  • Akurasi: Model mungkin berhalusinasi atau melakukan kesalahan saat menafsirkan gambar berkualitas rendah, diputar, atau beresolusi sangat rendah. Model juga dapat berhalusinasi saat menafsirkan teks tulisan tangan dalam dokumen gambar.


Video: Persyaratan, praktik terbaik, dan batasan

Video: Persyaratan

Di bagian ini, pelajari jenis MIME yang didukung dan batas per permintaan untuk video.

Jenis MIME yang didukung

Model multimodal Gemini mendukung jenis MIME video berikut:

Jenis MIME video Gemini 2.0 Flash Gemini 2.0 Flash‑Lite
FLV - video/x-flv
MOV - video/quicktime
MPEG - video/mpeg
MPEGPS - video/mpegps
MPG - video/mpg
MP4 - video/mp4
WEBM - video/webm
WMV - video/wmv
3GPP - video/3gpp

Batas per permintaan

Berikut jumlah maksimum file video yang diizinkan dalam permintaan perintah:

  • Gemini 2.0 Flash dan Gemini 2.0 Flash‑Lite: 10 file video

Video: Tokenisasi

Berikut cara penghitungan token untuk video:

  • Gemini 2.5 Pro, Gemini 2.0 Flash, dan Gemini 2.0 Flash‑Lite: Trek audio dienkode dengan frame video. Trek audio juga dibagi menjadi potongan 1 detik yang masing-masing terdiri dari 32 token. Frame video dan token audio diselingi bersama dengan stempel waktunya. Stempel waktu direpresentasikan sebagai 5 token.
  • Semua model multimodal Gemini: Video diambil sampelnya pada 1 frame per detik (fps). Setiap frame video dihitung sebagai 258 token.

Video: Praktik terbaik

Saat menggunakan video, gunakan praktik terbaik dan informasi berikut untuk mendapatkan hasil terbaik:

  • Jika perintah Anda berisi satu video, tempatkan video sebelum perintah teks.
  • Jika Anda memerlukan pelokalan stempel waktu dalam video dengan audio, minta model untuk membuat stempel waktu dalam format MM:SS dengan dua digit pertama mewakili menit dan dua digit terakhir mewakili detik. Gunakan format yang sama untuk pertanyaan yang menanyakan stempel waktu.

Video: Batasan

Meskipun model multimodal Gemini sangat efektif dalam banyak kasus penggunaan multimodal, penting untuk memahami batasan model:

  • Moderasi konten: Model menolak memberikan jawaban pada video yang melanggar kebijakan keamanan kami.
  • Pengenalan suara non-ucapan: Model yang mendukung audio mungkin keliru mengenali suara yang bukan ucapan.
  • Gerakan kecepatan tinggi: Model mungkin melakukan kesalahan dalam memahami gerakan kecepatan tinggi dalam video karena kecepatan pengambilan sampel 1 frame per detik (fps) yang tetap.


Audio: Persyaratan dan batasan

Audio: Persyaratan

Di bagian ini, pelajari jenis MIME yang didukung dan batas per permintaan untuk audio.

Jenis MIME yang didukung

Model multimodal Gemini mendukung jenis MIME audio berikut:

Jenis MIME audio Gemini 2.0 Flash Gemini 2.0 Flash‑Lite
AAC - audio/aac
FLAC - audio/flac
MP3 - audio/mp3
MPA - audio/m4a
MPEG - audio/mpeg
MPGA - audio/mpga
MP4 - audio/mp4
OPUS - audio/opus
PCM - audio/pcm
WAV - audio/wav
WEBM - audio/webm

Batas per permintaan

Anda dapat menyertakan maksimum 1 file audio dalam permintaan perintah.

Audio: Batasan

Meskipun model multimodal Gemini sangat efektif dalam banyak kasus penggunaan multimodal, penting untuk memahami batasan model:

  • Pengenalan suara non-ucapan: Model yang mendukung audio mungkin keliru mengenali suara yang bukan ucapan.
  • Stempel waktu khusus audio: Untuk membuat stempel waktu secara akurat untuk file khusus audio, Anda harus mengonfigurasi parameter audio_timestamp di generation_config.


Dokumen (seperti PDF): Persyaratan, praktik terbaik, dan batasan

Dokumen: Persyaratan

Di bagian ini, pelajari jenis MIME yang didukung dan batas per permintaan untuk dokumen (seperti PDF).

Jenis MIME yang didukung

Model multimodal Gemini mendukung jenis MIME dokumen berikut:

Jenis MIME dokumen Gemini 2.0 Flash Gemini 2.0 Flash‑Lite
PDF - application/pdf
Teks - text/plain

Batas per permintaan

PDF diperlakukan sebagai gambar, sehingga satu halaman PDF diperlakukan sebagai satu gambar. Jumlah halaman yang diizinkan dalam perintah dibatasi hingga jumlah gambar yang dapat didukung model:

  • Gemini 2.0 Flash dan Gemini 2.0 Flash‑Lite:
    • File maksimum per permintaan: 3.000
    • Halaman maksimum per file: 1.000
    • Ukuran maksimum per file: 50 MB

Dokumen: Tokenisasi

Tokenisasi PDF

PDF diperlakukan sebagai gambar, sehingga setiap halaman PDF di-tokenisasi dengan cara yang sama seperti gambar.

Selain itu, biaya untuk PDF mengikuti harga gambar Gemini. Misalnya, jika Anda menyertakan PDF dua halaman dalam panggilan API Gemini, Anda akan dikenai biaya input untuk memproses dua gambar.

Dokumen: Praktik terbaik

Saat menggunakan PDF, gunakan praktik terbaik dan informasi berikut untuk mendapatkan hasil terbaik:

  • Jika perintah Anda berisi satu PDF, tempatkan PDF sebelum perintah teks dalam permintaan Anda.
  • Jika Anda memiliki dokumen yang panjang, pertimbangkan untuk membaginya menjadi beberapa PDF untuk memprosesnya.
  • Gunakan PDF yang dibuat dengan teks yang dirender sebagai teks, bukan menggunakan teks dalam gambar yang dipindai. Format ini memastikan teks dapat dibaca oleh mesin sehingga model dapat mengedit, menelusuri, dan memanipulasinya dengan lebih mudah dibandingkan dengan PDF gambar yang dipindai. Praktik ini memberikan hasil yang optimal saat bekerja dengan dokumen yang berisi banyak teks seperti kontrak.

Dokumen: Batasan

Meskipun model multimodal Gemini sangat efektif dalam banyak kasus penggunaan multimodal, penting untuk memahami batasan model:

  • Penalaran spasial: Model tidak akurat dalam menemukan teks atau objek dalam PDF. Objek tersebut mungkin hanya menampilkan perkiraan jumlah objek.
  • Akurasi: Model mungkin berhalusinasi saat menafsirkan teks tulisan tangan dalam dokumen PDF.