Obsługiwane pliki wejściowe i wymagania

Podczas wywoływania Gemini API z aplikacji za pomocą pakietu SDK Firebase AI Logic możesz poprosić model Gemini o wygenerowanie tekstu na podstawie danych multimodalnych, takich jak obrazy, filmy, dźwięk i dokumenty (np. pliki PDF).

Musisz używać obsługiwanych typów plików, określić obsługiwany typ MIME i upewnić się, że pliki i żądania multimodalne spełniają wymagania i są zgodne ze sprawdzonymi metodami.

Ta strona dotyczy korzystania z GenerativeModel i zawiera te informacje:

Opcje udostępniania plików w żądaniach multimodalnych

Wybierz dostawcę interfejsu Gemini API, aby wyświetlić na tej stronie treści dotyczące tego dostawcy

W każdym żądaniu multimodalnym musisz zawsze podać te informacje:

Rozmiar i liczba plików, które możesz podać w żądaniu, zależą od typu pliku wejściowego, sposobu jego podania i używanego modelu (szczegółowe informacje znajdziesz w sekcji dotyczącej każdego typu pliku wejściowego na tej stronie).

Opcja 1. Podaj plik jako dane wbudowane

Pamiętaj o tych kwestiach dotyczących plików dostarczanych jako dane wbudowane:

  • Jako dane wbudowane można wysyłać tylko małe pliki, ponieważ łączny limit rozmiaru żądania wynosi 20 MB.

  • Plik jest kodowany do formatu base64 podczas przesyłania (co zwiększa jego rozmiar).

Przykład pokazujący, jak dołączyć plik jako dane wbudowane, znajdziesz w sekcji Generowanie tekstu z danych wejściowych w postaci tekstu i pliku (multimodalnych). Pamiętaj, że pakiety SDK na platformy Android i Apple mogą obsługiwać obrazy w tekście w żądaniach bez konieczności określania typu MIME. Więcej informacji

Opcja 2. Podaj plik za pomocą adresu URL

Oto akceptowane typy adresów URL, których można używać w przypadku Gemini Developer API:

  • Adres URL filmu na YouTube: film na YouTube musi być publiczny lub niepubliczny.

    W każdej prośbie możesz podać 1 adres URL filmu na YouTube.


Obrazy: wymagania, sprawdzone metody i ograniczenia

Obrazy: wymagania

W tej sekcji znajdziesz informacje o obsługiwanych typach MIME i limitach na żądanie w przypadku obrazów.

Obsługiwane typy MIME

Modele multimodalne Gemini obsługują te typy MIME obrazów:

  • PNG – image/png
  • JPEG – image/jpeg
  • WebP – image/webp

Limity na żądanie

Nie ma określonego limitu liczby pikseli na obrazie. Jednak większe obrazy są skalowane w dół i uzupełniane, aby pasowały do maksymalnej rozdzielczości 3072 x 3072 przy zachowaniu oryginalnego formatu obrazu.

Maksymalna liczba plików na żądanie: 3000 plików graficznych.

Obrazy: tokenizacja

Oto jak obliczane są tokeny w przypadku obrazów:

  • Jeśli oba wymiary obrazu są mniejsze lub równe 384 pikselom, używanych jest 258 tokenów.
  • Jeśli jeden z wymiarów obrazu przekracza 384 piksele, obraz jest przycinany do kafelków. Domyślny rozmiar każdego kafelka to najmniejszy wymiar (szerokość lub wysokość) podzielony przez 1,5. W razie potrzeby każdy kafelek jest dostosowywany tak, aby nie był mniejszy niż 256 pikseli i nie większy niż 768 pikseli. Rozmiar każdego kafelka jest następnie zmieniany na 768 x 768 i wykorzystuje on 258 tokenów.

Grafika: sprawdzone metody

Aby uzyskać najlepsze wyniki, podczas korzystania z obrazów postępuj zgodnie z tymi sprawdzonymi metodami i informacjami:

  • Jeśli chcesz wykryć tekst na obrazie, użyj promptów z jednym obrazem, aby uzyskać lepsze wyniki niż w przypadku promptów z wieloma obrazami.
  • Jeśli prompt zawiera 1 obraz, umieść go w żądaniu przed promptem tekstowym.
  • Jeśli prompt zawiera kilka obrazów i chcesz się do nich odwołać później w prompcie lub chcesz, aby model odwołał się do nich w odpowiedzi, warto nadać każdemu obrazowi indeks przed obrazem. Użyj a b c lub image 1 image 2 image 3 dla indeksu. Oto przykład użycia zindeksowanych obrazów w prompcie: 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • Używaj obrazów o wyższej rozdzielczości, ponieważ dają one lepsze wyniki.
  • Uwzględnij w prompcie kilka przykładów.
  • Przed dodaniem obrazów do prompta obróć je do właściwej orientacji.
  • Unikaj rozmytych obrazów.

Obrazy: ograniczenia

Chociaż modele multimodalne Gemini są skuteczne w wielu przypadkach użycia, ważne jest, aby zrozumieć ich ograniczenia:

  • Moderowanie treści: modele odmawiają udzielania odpowiedzi na temat obrazów, które naruszają nasze zasady bezpieczeństwa.
  • Rozumowanie przestrzenne: modele nie są precyzyjne w lokalizowaniu tekstu lub obiektów na obrazach. Mogą one zwracać tylko przybliżoną liczbę obiektów.
  • Zastosowania medyczne: modele nie nadają się do interpretowania obrazów medycznych (np. zdjęć rentgenowskich i skanów tomografii komputerowej) ani do udzielania porad medycznych.
  • Rozpoznawanie osób: modele nie są przeznaczone do identyfikowania na obrazach osób, które nie są celebrytami.
  • Dokładność: modele mogą halucynować lub popełniać błędy podczas interpretowania obrazów o niskiej jakości, obróconych lub o bardzo niskiej rozdzielczości. Modele mogą też generować halucynacje podczas interpretowania tekstu odręcznego w dokumentach graficznych.


Wideo: wymagania, sprawdzone metody i ograniczenia

Wideo: wymagania

W tej sekcji znajdziesz informacje o obsługiwanych typach MIME i limitach na żądanie w przypadku filmów.

Obsługiwane typy MIME

Modele multimodalne Gemini obsługują te typy MIME filmów:

  • FLV – video/x-flv
  • MOV – video/quicktime
  • MPEG – video/mpeg
  • MPEGPS – video/mpegps
  • Spalanie – video/mpg
  • MP4 – video/mp4
  • WEBM – video/webm
  • WMV – video/wmv
  • 3GPP – video/3gpp

Limity na żądanie

Maksymalna liczba plików na żądanie: 10 plików wideo

Wideo: tokenizacja

Oto jak obliczane są tokeny w przypadku filmów:

  • Ścieżka audio jest zakodowana z klatkami wideo. Ścieżka audio jest też podzielona na 1-sekundowe fragmenty, z których każdy odpowiada 32 tokenom. Tokeny klatek wideo i tokeny audio są przeplatane i zawierają sygnatury czasowe. Sygnatury czasowe są reprezentowane przez 5 tokenów.
  • W przypadku filmów próbkowanych z częstotliwością 1 klatki na sekundę (fps) lub mniejszą sygnatury czasowe pierwszej godziny filmu są reprezentowane jako 5 tokenów na klatkę wideo. Pozostałe sygnatury czasowe są reprezentowane jako 7 tokenów na klatkę wideo.
  • W przypadku filmów próbkowanych z częstotliwością powyżej 1 klatki na sekundę (FPS) sygnatury czasowe pierwszej godziny filmu są reprezentowane jako 9 tokenów na klatkę filmu. Pozostałe sygnatury czasowe są reprezentowane jako 11 tokenów na klatkę wideo.

Film: sprawdzone metody

Aby uzyskać najlepsze wyniki, podczas korzystania z filmów stosuj te sprawdzone metody i informacje:

  • Jeśli prompt zawiera jeden film, umieść go przed promptem tekstowym.
  • Jeśli potrzebujesz lokalizacji sygnatur czasowych w filmie z dźwiękiem, poproś model o wygenerowanie sygnatur czasowych w formacie opisanym w sekcji „Format sygnatury czasowej”.

Film: ograniczenia

Chociaż modele multimodalne Gemini są skuteczne w wielu przypadkach użycia, ważne jest, aby zrozumieć ich ograniczenia:

  • Moderowanie treści: modele odmawiają udzielania odpowiedzi na pytania dotyczące filmów, które naruszają nasze zasady bezpieczeństwa.
  • Rozpoznawanie dźwięków innych niż mowa: modele obsługujące dźwięk mogą popełniać błędy podczas rozpoznawania dźwięków innych niż mowa.


Dźwięk: wymagania i ograniczenia

Dźwięk: wymagania

W tej sekcji znajdziesz informacje o obsługiwanych typach MIME i limitach na żądanie w przypadku dźwięku.

Obsługiwane typy MIME

Modele multimodalne Gemini obsługują te typy MIME dźwięku:

  • AAC – audio/aac
  • FLAC – audio/flac
  • MP3 – audio/mp3
  • MPA – audio/m4a
  • MPEG – audio/mpeg
  • MPGA – audio/mpga
  • MP4 – audio/mp4
  • OPUS – audio/opus
  • PCM – audio/pcm
  • WAV – audio/wav
  • WEBM – audio/webm

Limity na żądanie

Maksymalna liczba plików na żądanie: 1 plik audio

Dźwięk: ograniczenia

Chociaż modele multimodalne Gemini są skuteczne w wielu przypadkach użycia, ważne jest, aby zrozumieć ich ograniczenia:

  • Rozpoznawanie dźwięków innych niż mowa: modele obsługujące dźwięk mogą popełniać błędy podczas rozpoznawania dźwięków innych niż mowa.
  • Sygnatury czasowe plików tylko audio: aby dokładnie generować sygnatury czasowe plików tylko audio, musisz skonfigurować parametr audio_timestamp w generation_config.


Dokumenty (np. pliki PDF): wymagania, sprawdzone metody i ograniczenia

Dokumenty: wymagania

W tej sekcji znajdziesz informacje o obsługiwanych typach MIME i limitach na żądanie w przypadku dokumentów (np. PDF).

Obsługiwane typy MIME

Modele multimodalne Gemini obsługują te typy MIME dokumentów:

  • PDF – application/pdf
  • SMS – text/plain

Limity na żądanie

Pliki PDF są traktowane jako obrazy, więc pojedyncza strona pliku PDF jest traktowana jako 1 obraz. Liczba stron dozwolonych w prompcie jest ograniczona do liczby obrazów, które mogą obsługiwać modele multimodalne Gemini.

  • Maksymalna liczba plików na żądanie: 3000 plików
  • Maksymalna liczba stron na plik: 1000 stron na plik.
  • Maksymalny rozmiar pliku: 50 MB

Dokumenty: tokenizacja

Tokenizacja plików PDF

Pliki PDF są traktowane jako obrazy, więc każda strona pliku PDF jest tokenizowana w taki sam sposób jak obraz.

Koszt plików PDF jest zgodny z cenami obrazów Gemini. Jeśli na przykład w wywołaniu interfejsu API Gemini uwzględnisz dwustronicowy plik PDF, zostanie naliczona opłata za przetworzenie 2 obrazów.

Dokumenty: sprawdzone metody

Aby uzyskać najlepsze wyniki, podczas korzystania z plików PDF stosuj te sprawdzone metody i informacje:

  • Jeśli prompt zawiera jeden plik PDF, umieść go przed promptem tekstowym w żądaniu.
  • Jeśli masz długi dokument, rozważ podzielenie go na kilka plików PDF, aby go przetworzyć.
  • Używaj plików PDF utworzonych z tekstem renderowanym jako tekst, a nie z tekstem w zeskanowanych obrazach. Ten format zapewnia, że tekst jest w formacie czytelnym dla komputerów, dzięki czemu modelowi łatwiej jest go edytować, wyszukiwać i manipulować nim w porównaniu ze zeskanowanymi obrazami PDF. Ta metoda zapewnia optymalne wyniki podczas pracy z dokumentami zawierającymi dużo tekstu, takimi jak umowy.

Dokumenty: ograniczenia

Chociaż modele multimodalne Gemini są skuteczne w wielu przypadkach użycia, ważne jest, aby zrozumieć ich ograniczenia:

  • Rozumowanie przestrzenne: modele nie są precyzyjne w lokalizowaniu tekstu lub obiektów w plikach PDF. Mogą one zwracać tylko przybliżoną liczbę obiektów.
  • Dokładność: podczas interpretowania tekstu odręcznego w dokumentach PDF modele mogą generować halucynacje.