ภาพรวมของการแก้ไขรูปภาพด้วย Imagen


ใช้ได้เมื่อใช้ Vertex AI Gemini API เป็น ผู้ให้บริการ API เท่านั้น


SDK Firebase AI Logic ช่วยให้คุณเข้าถึงโมเดล Imagen (ผ่าน API Imagen) เพื่อให้คุณแก้ไขรูปภาพได้โดยใช้ตัวเลือกต่อไปนี้

  • การแก้ไขตามมาสก์ เช่น การแทรกและนำ วัตถุออก การขยายเนื้อหาของรูปภาพให้เกินขอบเดิม และการแทนที่ พื้นหลัง

  • ตัวเลือก **การปรับแต่ง** ตาม **รูปแบบ** (เช่น ลวดลาย พื้นผิว หรือรูปแบบศิลปิน) **ตัวแบบ** (เช่น ผลิตภัณฑ์ บุคคล หรือ สัตว์) หรือ **การควบคุม** (เช่น ภาพร่างที่วาดด้วยมือ)

หน้านี้อธิบายตัวเลือกการแก้ไขแต่ละตัวเลือกในระดับสูง แต่ละตัวเลือกจะมีหน้าแยกต่างหากพร้อมรายละเอียดและตัวอย่างโค้ดเพิ่มเติม

โมเดลที่รองรับความสามารถนี้

Imagen มีฟีเจอร์การแก้ไขรูปภาพผ่านโมเดล capability ดังนี้

  • imagen-3.0-capability-001

โปรดทราบว่าโมเดล Imagen ไม่รองรับตำแหน่ง global ไม่

การแก้ไขตามมาสก์

การแก้ไขตามมาสก์ ช่วยให้คุณทำการเปลี่ยนแปลงรูปภาพได้อย่างแม่นยำและเฉพาะจุด โมเดลจะทำการเปลี่ยนแปลงภายใน พื้นที่ที่มาสก์ที่กำหนดของรูปภาพเท่านั้น มาสก์คือการวางซ้อนแบบดิจิทัลที่กำหนดพื้นที่เฉพาะที่คุณต้องการแก้ไข โมเดลสามารถตรวจหาและสร้างพื้นที่ที่มาสก์โดยอัตโนมัติ หรือคุณสามารถกำหนดพื้นที่ที่มาสก์ในรูปภาพที่มาสก์ที่คุณระบุ โมเดลอาจต้องใช้พรอมต์ข้อความเพื่อทราบว่าควรทำการเปลี่ยนแปลงใดบ้าง ทั้งนี้ขึ้นอยู่กับกรณีการใช้งาน

กรณีการใช้งานทั่วไปสำหรับการแก้ไขตามมาสก์มีดังนี้

แทรกวัตถุ (การเติมภาพ)

คุณสามารถใช้การเติมภาพเพื่อ แทรกวัตถุ ลงในรูปภาพ

วิธีการทำงาน: คุณระบุรูปภาพต้นฉบับและ รูปภาพที่มาสก์ที่เกี่ยวข้อง ซึ่งอาจเป็นรูปภาพที่สร้างขึ้นโดยอัตโนมัติหรือรูปภาพที่คุณระบุ ซึ่ง กำหนดมาสก์เหนือพื้นที่ที่คุณต้องการเพิ่มเนื้อหาใหม่ นอกจากนี้ คุณยัง ระบุพรอมต์ข้อความที่อธิบายสิ่งที่คุณต้องการเพิ่ม จากนั้นโมเดลจะสร้างและเพิ่มเนื้อหาใหม่ภายในพื้นที่ที่มาสก์

เช่น คุณสามารถมาสก์โต๊ะและพรอมต์ให้โมเดลเพิ่มแจกันดอกไม้

นำวัตถุออก (การเติมภาพ)

คุณสามารถใช้การเติมภาพเพื่อ นำวัตถุ ออกจากรูปภาพ

วิธีการทำงาน: คุณระบุรูปภาพต้นฉบับและรูปภาพที่มาสก์ที่เกี่ยวข้อง ซึ่งอาจเป็นรูปภาพที่สร้างขึ้นโดยอัตโนมัติหรือรูปภาพที่คุณระบุ ซึ่งกำหนดมาสก์เหนือวัตถุหรือตัวแบบที่คุณต้องการนำออก นอกจากนี้ คุณยังระบุพรอมต์ข้อความที่อธิบายสิ่งที่คุณต้องการนำออกได้ หรือโมเดลสามารถตรวจหาวัตถุที่จะนำออกได้อย่างชาญฉลาด จากนั้นโมเดลจะนำวัตถุออกและเติมพื้นที่ด้วยเนื้อหาใหม่ที่เหมาะสมกับบริบท

เช่น คุณสามารถมาสก์ลูกบอลและแทนที่ด้วยผนังเปล่าหรือสนามหญ้า

ขยายรูปภาพให้เกินขอบเดิม (การวาดภาพนอกกรอบ)

คุณสามารถใช้ การวาดภาพนอกกรอบ เพื่อ ขยายรูปภาพให้เกินขอบเดิม

วิธีการทำงาน: คุณระบุรูปภาพต้นฉบับและ รูปภาพที่มาสก์ที่เกี่ยวข้อง ซึ่งอาจเป็นรูปภาพที่สร้างขึ้นโดยอัตโนมัติหรือรูปภาพที่คุณระบุ ซึ่ง กำหนดมาสก์ของพื้นที่ใหม่ที่ขยาย นอกจากนี้ คุณยังระบุพรอมต์ข้อความที่อธิบายสิ่งที่คุณต้องการในพื้นที่ที่ขยายได้ หรือโมเดลสามารถตัดสินใจได้อย่างชาญฉลาดว่าจะดำเนินการต่อในฉากที่มีอยู่อย่างไร โมเดลจะสร้างเนื้อหาใหม่และเติมพื้นที่ที่มาสก์

เช่น คุณสามารถเปลี่ยนอัตราส่วนกว้างยาวของรูปภาพหรือเพิ่มบริบทพื้นหลัง

แทนที่พื้นหลัง

คุณสามารถ แทนที่พื้นหลัง ของรูปภาพ

วิธีการทำงาน: คุณระบุรูปภาพต้นฉบับและ รูปภาพที่มาสก์ที่เกี่ยวข้อง ซึ่งกำหนดมาสก์เหนือพื้นหลัง โดยใช้ การตรวจหาพื้นหลังอัตโนมัติหรือระบุมาสก์ของพื้นหลัง ด้วยตนเอง นอกจากนี้ คุณยังระบุพรอมต์ข้อความที่อธิบายสิ่งที่คุณต้องการเปลี่ยน จากนั้นโมเดลจะสร้างและใช้พื้นหลังใหม่

เช่น คุณสามารถเปลี่ยนฉากรอบๆ ตัวแบบหรือวัตถุโดยไม่ ส่งผลต่อเบื้องหน้า (เช่น ในรูปภาพสินค้า)

การปรับแต่ง

การปรับแต่ง ช่วยให้คุณแก้ไขหรือสร้างรูปภาพโดยใช้พรอมต์ข้อความและ รูปภาพอ้างอิงเพื่อแนะนำให้โมเดลสร้างรูปภาพใหม่ตาม รูปแบบ ตัวแบบ (เช่น ผลิตภัณฑ์ บุคคล หรือสัตว์) หรือ การควบคุมที่ระบุ

ปรับแต่งตามรูปแบบ

คุณสามารถ แก้ไขหรือสร้างรูปภาพตาม รูปแบบที่ระบุ

วิธีการทำงาน: คุณระบุพรอมต์ข้อความและรูปภาพอ้างอิงอย่างน้อย 1 รูปที่แสดงรูปแบบที่เฉพาะเจาะจง (เช่น ลวดลาย พื้นผิว หรือ รูปแบบการออกแบบ) โมเดลจะใช้ข้อมูลเหล่านี้เพื่อสร้างรูปภาพใหม่ตาม รูปแบบที่ระบุในรูปภาพอ้างอิง

เช่น คุณสามารถสร้างรูปภาพใหม่ของห้องครัวตามรูปภาพจาก แคตตาล็อกค้าปลีกยอดนิยมที่คุณระบุ

ปรับแต่งตามตัวแบบ

คุณสามารถ แก้ไขหรือสร้างรูปภาพตาม ตัวแบบที่ระบุ

วิธีการทำงาน: คุณระบุพรอมต์ข้อความและรูปภาพอ้างอิงอย่างน้อย 1 รูปที่แสดงตัวแบบที่เฉพาะเจาะจง (เช่น ผลิตภัณฑ์ บุคคล หรือ สัตว์เลี้ยง) โมเดลจะใช้ข้อมูลเหล่านี้เพื่อสร้างรูปภาพใหม่ตาม ตัวแบบที่ระบุในรูปภาพอ้างอิง

เช่น คุณสามารถขอให้โมเดลใช้รูปแบบการ์ตูนกับรูปภาพของเด็ก หรือเปลี่ยนสีจักรยานในรูปภาพ

ปรับแต่งตามการควบคุม

คุณสามารถ แก้ไขหรือสร้างรูปภาพตาม การควบคุมที่ระบุ

วิธีการทำงาน: คุณระบุพรอมต์ข้อความและรูปภาพอ้างอิง การควบคุมอย่างน้อย 1 รูป (เช่น ภาพวาดหรือรูปภาพขอบ Canny) โมเดลจะใช้ข้อมูลเหล่านี้เพื่อสร้างรูปภาพใหม่ตามรูปภาพการควบคุม

เช่น คุณสามารถระบุภาพวาดของยานอวกาศและ ดวงจันทร์ให้โมเดลพร้อมกับพรอมต์ข้อความเพื่อสร้างภาพวาดสีน้ำตาม ภาพวาด


แสดงความคิดเห็น เกี่ยวกับประสบการณ์การใช้งาน Firebase AI Logic