Übersicht über das Bearbeiten von Bildern mit Imagen


Nur verfügbar, wenn die Vertex AI Gemini API als Ihr API-Anbieter verwendet wird.


Mit den Firebase AI Logic SDKs haben Sie Zugriff auf die Imagen Modelle (über die Imagen API) sodass Sie Bilder mit einer der folgenden Optionen bearbeiten können:

  • Maskenbasierte Bearbeitung, z. B. Einfügen und Entfernen von Objekten, Erweitern von Bildinhalten über die ursprünglichen Grenzen hinaus und Ersetzen von Hintergründen

  • Anpassungsoptionen basierend auf Stil (z. B. Muster, Textur oder Künstlerstil), Thema (z. B. Produkt, Person oder Tier) oder Steuerung (z. B. eine handgezeichnete Skizze).

Auf dieser Seite wird jede Bearbeitungsoption auf hoher Ebene beschrieben. Für jede Option gibt es eine eigene Seite mit weiteren Details und Codebeispielen.

Modelle, die diese Funktion unterstützen

Imagen bietet Bildbearbeitung über das capability -Modell:

  • imagen-3.0-capability-001

Beachten Sie, dass der Standort global für Imagen Modelle nicht unterstützt wird.

Maskenbasierte Bearbeitung

Mit der maskenbasierten Bearbeitung können Sie lokalisierte, präzise Änderungen an einem Bild vornehmen. Das Modell nimmt Änderungen ausschließlich in einem definierten maskierten Bereich des Bildes vor. Eine Maske ist ein digitales Overlay, das den zu bearbeitenden Bereich definiert. Der maskierte Bereich kann entweder automatisch vom Modell erkannt und erstellt werden oder in einem maskierten Bild definiert werden, das Sie bereitstellen. Je nach Anwendungsfall benötigt das Modell möglicherweise einen Text-Prompt, um zu wissen, welche Änderungen vorgenommen werden sollen.

Hier sind die häufigsten Anwendungsfälle für die maskenbasierte Bearbeitung:

Objekte einfügen (Inpainting)

Mit Inpainting können Sie Objekte in ein Bild einfügen.

Funktionsweise: Sie stellen ein Originalbild und ein entsprechendes maskiertes Bild bereit, das entweder automatisch generiert oder von Ihnen bereitgestellt wird und eine Maske über einem Bereich definiert, in dem Sie neue Inhalte hinzufügen möchten. Sie geben auch einen Text-Prompt an, der beschreibt, was Sie hinzufügen möchten. Das Modell generiert und fügt dann neue Inhalte im maskierten Bereich hinzu.

Sie können beispielsweise einen Tisch maskieren und das Modell auffordern, eine Blumenvase mit Blumen hinzuzufügen.

Objekte entfernen (Inpainting)

Mit Inpainting können Sie Objekte aus einem Bild entfernen.

Funktionsweise: Sie stellen ein Originalbild und ein entsprechendes maskiertes Bild bereit, das entweder automatisch generiert oder von Ihnen bereitgestellt wird und eine Maske über dem Objekt oder Thema definiert, das Sie entfernen möchten. Optional können Sie auch einen Text-Prompt angeben, der beschreibt, was Sie entfernen möchten. Das Modell kann aber auch intelligent erkennen, welches Objekt entfernt werden soll. Das Modell entfernt dann das Objekt und füllt den Bereich mit neuen, kontextuell passenden Inhalten.

Sie können beispielsweise einen Ball maskieren und ihn durch eine leere Wand oder ein grünes Feld ersetzen.

Bild über die ursprünglichen Grenzen hinaus erweitern (Outpainting)

Mit Outpainting können Sie ein Bild über die ursprünglichen Grenzen hinaus erweitern .

Funktionsweise: Sie stellen ein Originalbild und ein entsprechendes maskiertes Bild bereit, das entweder automatisch generiert oder von Ihnen bereitgestellt wird und eine Maske des neuen, erweiterten Bereichs definiert. Optional können Sie auch einen Text-Prompt angeben, der beschreibt, was Sie im erweiterten Bereich möchten. Das Modell kann aber auch intelligent entscheiden, wie die vorhandene Szene logisch fortgesetzt werden soll. Das Modell generiert die neuen Inhalte und füllt den maskierten Bereich.

Sie können beispielsweise das Seitenverhältnis eines Bildes ändern oder mehr Hintergrund Kontext hinzufügen.

Hintergrund ersetzen

Sie können den Hintergrund eines Bildes ersetzen.

Funktionsweise: Sie stellen ein Originalbild und ein entsprechendes maskiertes Bild bereit, das eine Maske über dem Hintergrund definiert. Dazu können Sie die automatische Hintergrunderkennung verwenden oder die Maske des Hintergrunds selbst bereitstellen. Sie geben auch einen Text-Prompt an, der beschreibt, was Sie ändern möchten. Das Modell generiert und wendet dann einen neuen Hintergrund an.

Sie können beispielsweise die Umgebung eines Themas oder Objekts ändern, ohne den Vordergrund zu beeinflussen (z. B. in einem Produktbild).

Anpassung

Mit der Anpassung können Sie Bilder mit Text-Prompts und Referenzbildern bearbeiten oder generieren. Diese helfen dem Modell, ein neues Bild basierend auf einem bestimmten Stil, Thema (z. B. ein Produkt, eine Person oder ein Tier) oder einer Steuerung zu generieren.

Anpassung basierend auf einem Stil

Sie können Bilder basierend auf einem bestimmten Stil bearbeiten oder generieren.

Funktionsweise: Sie geben einen Text-Prompt und mindestens ein Referenzbild an, das einen bestimmten Stil zeigt (z. B. ein Muster, eine Textur oder einen Designstil). Das Modell verwendet diese Eingaben, um ein neues Bild basierend auf dem angegebenen Stil in den Referenzbildern zu generieren.

Sie können beispielsweise ein neues Bild einer Küche basierend auf einem Bild aus einem beliebten Einzelhandelskatalog generieren, den Sie bereitstellen.

Anpassung basierend auf einem Thema

Sie können Bilder basierend auf einem bestimmten Thema bearbeiten oder generieren.

Funktionsweise: Sie geben einen Text-Prompt und mindestens ein Referenzbild an, das ein bestimmtes Thema zeigt (z. B. ein Produkt, eine Person oder ein Tier). Das Modell verwendet diese Eingaben, um ein neues Bild basierend auf dem angegebenen Thema in den Referenzbildern zu generieren.

Sie können das Modell beispielsweise auffordern, einen Cartoonstil auf ein Foto eines Kindes anzuwenden oder die Farbe eines Fahrrads auf einem Bild zu ändern.

Anpassung basierend auf einer Steuerung

Sie können Bilder basierend auf einer bestimmten Steuerung bearbeiten oder generieren.

Funktionsweise: Sie geben einen Text-Prompt und mindestens ein Steuerungsreferenzbild an (z. B. eine Zeichnung oder ein Canny-Edge-Bild). Das Modell verwendet diese Eingaben, um ein neues Bild basierend auf den Steuerungsbildern zu generieren.

Sie können dem Modell beispielsweise eine Zeichnung eines Raumschiffs und des Mondes zusammen mit einem Text-Prompt geben, um ein Aquarellbild basierend auf der Zeichnung zu erstellen.


Feedback geben zu Firebase AI Logic