Sie können ein Gemini-Modell bitten, Videodateien zu analysieren, die Sie entweder inline (base64-codiert) oder über eine URL bereitstellen. Wenn Sie Firebase AI Logic verwenden, können Sie diese Anfrage direkt über Ihre App stellen.
Mit dieser Funktion haben Sie beispielsweise folgende Möglichkeiten:
- Untertitel für Videos erstellen und Fragen zu Videos beantworten
- Bestimmte Segmente eines Videos mithilfe von Zeitstempeln analysieren
- Videotexte transkribieren, indem sowohl der Audiotrack als auch die visuellen Frames verarbeitet werden
- Videos beschreiben, segmentieren und Informationen aus Videos extrahieren, einschließlich des Audiotracks und der visuellen Frames
Zu Codebeispielen springen Zu Code für gestreamte Antworten springen
Weitere Anleitungen für zusätzliche Optionen für die Arbeit mit Videos Strukturierte Ausgabe generieren Chat mit mehreren Durchgängen |
Hinweis
Klicken Sie auf Ihren Gemini API-Anbieter, um anbieterspezifische Inhalte und Code auf dieser Seite aufzurufen. |
Falls noch nicht geschehen, folgen Sie dem Startleitfaden. Darin wird beschrieben, wie Sie Ihr Firebase-Projekt einrichten, Ihre App mit Firebase verbinden, das SDK hinzufügen, den Backend-Dienst für den ausgewählten Gemini API-Anbieter initialisieren und eine GenerativeModel
-Instanz erstellen.
Zum Testen und Iterieren von Prompts und zum Generieren von Code-Snippets empfehlen wir die Verwendung von Google AI Studio.
Text aus Videodateien (Base64-codiert) generieren
Bevor Sie dieses Beispiel ausprobieren, müssen Sie den Abschnitt Vorbereitung in diesem Leitfaden durcharbeiten, um Ihr Projekt und Ihre App einzurichten. In diesem Abschnitt klicken Sie auch auf eine Schaltfläche für den von Ihnen ausgewählten Gemini API-Anbieter, damit auf dieser Seite anbieterspezifische Inhalte angezeigt werden. |
Sie können ein Gemini-Modell bitten, Text zu generieren, indem Sie einen Prompt mit Text und Video erstellen. Dazu geben Sie für jede Eingabedatei die mimeType
und die Datei selbst an. Anforderungen und Empfehlungen für Eingabedateien finden Sie weiter unten auf dieser Seite.
Swift
Sie können generateContent()
aufrufen, um Text aus multimodalen Eingaben von Text- und Videodateien zu generieren.
import FirebaseAI
// Initialize the Gemini Developer API backend service
let ai = FirebaseAI.firebaseAI(backend: .googleAI())
// Create a `GenerativeModel` instance with a model that supports your use case
let model = ai.generativeModel(modelName: "gemini-2.5-flash")
// Provide the video as `Data` with the appropriate MIME type.
let video = InlineDataPart(data: try Data(contentsOf: videoURL), mimeType: "video/mp4")
// Provide a text prompt to include with the video
let prompt = "What is in the video?"
// To generate text output, call generateContent with the text and video
let response = try await model.generateContent(video, prompt)
print(response.text ?? "No text in response.")
Kotlin
Sie können generateContent()
aufrufen, um Text aus multimodalen Eingaben von Text- und Videodateien zu generieren.
// Initialize the Gemini Developer API backend service
// Create a `GenerativeModel` instance with a model that supports your use case
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
.generativeModel("gemini-2.5-flash")
val contentResolver = applicationContext.contentResolver
contentResolver.openInputStream(videoUri).use { stream ->
stream?.let {
val bytes = stream.readBytes()
// Provide a prompt that includes the video specified above and text
val prompt = content {
inlineData(bytes, "video/mp4")
text("What is in the video?")
}
// To generate text output, call generateContent with the prompt
val response = generativeModel.generateContent(prompt)
Log.d(TAG, response.text ?: "")
}
}
Java
Sie können generateContent()
aufrufen, um Text aus multimodalen Eingaben von Text- und Videodateien zu generieren.
ListenableFuture
zurück.
// Initialize the Gemini Developer API backend service
// Create a `GenerativeModel` instance with a model that supports your use case
GenerativeModel ai = FirebaseAI.getInstance(GenerativeBackend.googleAI())
.generativeModel("gemini-2.5-flash");
// Use the GenerativeModelFutures Java compatibility layer which offers
// support for ListenableFuture and Publisher APIs
GenerativeModelFutures model = GenerativeModelFutures.from(ai);
ContentResolver resolver = getApplicationContext().getContentResolver();
try (InputStream stream = resolver.openInputStream(videoUri)) {
File videoFile = new File(new URI(videoUri.toString()));
int videoSize = (int) videoFile.length();
byte[] videoBytes = new byte[videoSize];
if (stream != null) {
stream.read(videoBytes, 0, videoBytes.length);
stream.close();
// Provide a prompt that includes the video specified above and text
Content prompt = new Content.Builder()
.addInlineData(videoBytes, "video/mp4")
.addText("What is in the video?")
.build();
// To generate text output, call generateContent with the prompt
ListenableFuture<GenerateContentResponse> response = model.generateContent(prompt);
Futures.addCallback(response, new FutureCallback<GenerateContentResponse>() {
@Override
public void onSuccess(GenerateContentResponse result) {
String resultText = result.getText();
System.out.println(resultText);
}
@Override
public void onFailure(Throwable t) {
t.printStackTrace();
}
}, executor);
}
} catch (IOException e) {
e.printStackTrace();
} catch (URISyntaxException e) {
e.printStackTrace();
}
Web
Sie können generateContent()
aufrufen, um Text aus multimodalen Eingaben von Text- und Videodateien zu generieren.
import { initializeApp } from "firebase/app";
import { getAI, getGenerativeModel, GoogleAIBackend } from "firebase/ai";
// TODO(developer) Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
// ...
};
// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Create a `GenerativeModel` instance with a model that supports your use case
const model = getGenerativeModel(ai, { model: "gemini-2.5-flash" });
// Converts a File object to a Part object.
async function fileToGenerativePart(file) {
const base64EncodedDataPromise = new Promise((resolve) => {
const reader = new FileReader();
reader.onloadend = () => resolve(reader.result.split(',')[1]);
reader.readAsDataURL(file);
});
return {
inlineData: { data: await base64EncodedDataPromise, mimeType: file.type },
};
}
async function run() {
// Provide a text prompt to include with the video
const prompt = "What do you see?";
const fileInputEl = document.querySelector("input[type=file]");
const videoPart = await fileToGenerativePart(fileInputEl.files[0]);
// To generate text output, call generateContent with the text and video
const result = await model.generateContent([prompt, videoPart]);
const response = result.response;
const text = response.text();
console.log(text);
}
run();
Dart
Sie können generateContent()
aufrufen, um Text aus multimodalen Eingaben von Text- und Videodateien zu generieren.
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
// Initialize FirebaseApp
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Gemini Developer API backend service
// Create a `GenerativeModel` instance with a model that supports your use case
final model =
FirebaseAI.googleAI().generativeModel(model: 'gemini-2.5-flash');
// Provide a text prompt to include with the video
final prompt = TextPart("What's in the video?");
// Prepare video for input
final video = await File('video0.mp4').readAsBytes();
// Provide the video as `Data` with the appropriate mimetype
final videoPart = InlineDataPart('video/mp4', video);
// To generate text output, call generateContent with the text and images
final response = await model.generateContent([
Content.multi([prompt, ...videoPart])
]);
print(response.text);
Einheit
Sie können GenerateContentAsync()
aufrufen, um Text aus multimodalen Eingaben von Text- und Videodateien zu generieren.
using Firebase;
using Firebase.AI;
// Initialize the Gemini Developer API backend service
var ai = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI());
// Create a `GenerativeModel` instance with a model that supports your use case
var model = ai.GetGenerativeModel(modelName: "gemini-2.5-flash");
// Provide the video as `data` with the appropriate MIME type.
var video = ModelContent.InlineData("video/mp4",
System.IO.File.ReadAllBytes(System.IO.Path.Combine(
UnityEngine.Application.streamingAssetsPath, "yourVideo.mp4")));
// Provide a text prompt to include with the video
var prompt = ModelContent.Text("What is in the video?");
// To generate text output, call GenerateContentAsync with the text and video
var response = await model.GenerateContentAsync(new [] { video, prompt });
UnityEngine.Debug.Log(response.Text ?? "No text in response.");
Hier erfahren Sie, wie Sie ein Modell auswählen, der für Ihren Anwendungsfall und Ihre App geeignet ist.
Antwort streamen
Bevor Sie dieses Beispiel ausprobieren, müssen Sie den Abschnitt Vorbereitung in diesem Leitfaden durcharbeiten, um Ihr Projekt und Ihre App einzurichten. In diesem Abschnitt klicken Sie auch auf eine Schaltfläche für den von Ihnen ausgewählten Gemini API-Anbieter, damit auf dieser Seite anbieterspezifische Inhalte angezeigt werden. |
Sie können schnellere Interaktionen erzielen, indem Sie nicht auf das gesamte Ergebnis der Modellgenerierung warten, sondern stattdessen Streaming verwenden, um Teilergebnisse zu verarbeiten.
Rufen Sie generateContentStream
auf, um die Antwort zu streamen.
Anforderungen und Empfehlungen für Eingabevideodateien
Eine als Inline-Daten bereitgestellte Datei wird während der Übertragung in Base64 codiert, wodurch die Größe der Anfrage zunimmt. Sie erhalten einen HTTP 413-Fehler, wenn eine Anfrage zu groß ist.
Unter „Unterstützte Eingabedateien und Anforderungen für die Vertex AI Gemini API“ finden Sie ausführliche Informationen zu Folgendem:
- Verschiedene Optionen zum Bereitstellen einer Datei in einer Anfrage (entweder inline oder über die URL oder den URI der Datei)
- Anforderungen und Best Practices für Videodateien
Unterstützte Video-MIME-Typen
Gemini-Multimodal-Modelle unterstützen die folgenden Video-MIME-Typen:
Video-MIME-Typ | Gemini 2.0 Flash | Gemini 2.0 Flash‑Lite |
---|---|---|
FLV - video/x-flv |
||
MOV - video/quicktime |
||
MPEG - video/mpeg |
||
MPEGPS - video/mpegps |
||
MPG - video/mpg |
||
MP4 - video/mp4 |
||
WEBM - video/webm |
||
WMV - video/wmv |
||
3GPP - video/3gpp |
Limits pro Anfrage
Das ist die maximale Anzahl von Videodateien, die in einer Prompt-Anfrage zulässig sind:
- Gemini 2.0 Flash und Gemini 2.0 Flash‑Lite: 10 Videodateien
Was kannst du sonst noch tun?
- Informationen zum Zählen von Tokens, bevor Sie lange Prompts an das Modell senden.
- Cloud Storage for Firebase einrichten, damit Sie große Dateien in Ihre multimodalen Anfragen einbeziehen können und eine besser verwaltete Lösung zum Bereitstellen von Dateien in Prompts haben. Dateien können Bilder, PDFs, Videos und Audioinhalte enthalten.
-
Beginnen Sie mit der Vorbereitung auf die Produktion (siehe Checkliste für die Produktion), einschließlich:
- Firebase App Check einrichten, um die Gemini API vor Missbrauch durch nicht autorisierte Clients zu schützen.
- Firebase Remote Config einbinden, um Werte in Ihrer App (z. B. den Modellnamen) zu aktualisieren, ohne eine neue App-Version zu veröffentlichen.
Andere Funktionen ausprobieren
- Wechselseitige Unterhaltungen (Chat) erstellen
- Text aus reinen Text-Prompts generieren
- Strukturierte Ausgabe (z. B. JSON) aus Text- und multimodalen Prompts generieren.
- Bilder aus Text-Prompts generieren (Gemini oder Imagen).
- Verwenden Sie Funktionsaufrufe, um generative Modelle mit externen Systemen und Informationen zu verbinden.
Informationen zum Steuern der Inhaltserstellung
- Prompt-Design – Best Practices, Strategien und Beispiel-Prompts
- Modellparameter konfigurieren, z. B. Temperatur und maximale Ausgabetokens (für Gemini) oder Seitenverhältnis und Personengenerierung (für Imagen).
- Mit Sicherheitseinstellungen verwenden können Sie die Wahrscheinlichkeit anpassen, Antworten zu erhalten, die als schädlich eingestuft werden könnten.
Weitere Informationen zu den unterstützten Modellen
Informationen zu den für verschiedene Anwendungsfälle verfügbaren Modellen sowie zu ihren Kontingenten und PreisenFeedback zu Firebase AI Logic geben