使用 Vertex AI in Firebase 的 Gemini API
使用 Vertex AI in Firebase 通过 Gemini 和 Imagen 模型构建 AI 赋能的移动应用和 Web 应用及功能
Vertex AI in Firebase 可让您使用 Google 最新的生成式 AI 模型：Gemini 模型和 Imagen 3 模型。
如果您需要直接从移动应用或 Web 应用（而不是服务器端）调用 Gemini API in Vertex AI 或 Imagen API，可以使用 Vertex AI in Firebase SDK。这些客户端 SDK 专为与移动应用和 Web 应用搭配使用而打造，可提供针对未经授权的客户端的安全选项，以及与其他 Firebase 服务的集成。
这些移动/Web 客户端 SDK 提供 Swift、Kotlin/Java、JavaScript（适用于 Web）和 Dart（适用于 Flutter）版本。
借助这些客户端 SDK，您可以为应用添加 AI 个性化功能、构建 AI 聊天体验、创建 AI 赋能的优化和自动化功能等。
如果您正在寻找在服务器端访问 Gemini 或 Imagen 模型的方法（例如使用 Python、Node.js 或 Go），请参阅服务器端 Vertex AI SDK、Genkit 或 Gemini API 的 Firebase Extensions。
主要功能
| 多模态和自然语言输入 |
Gemini 模型是多模态模型，因此发送到 Gemini API 的提示可以包含文本、图片、PDF、视频和音频。
您可以使用自然语言输入来提示 Gemini 和 Imagen 模型。 |
| 不断扩展的功能套件 | 借助这些 SDK，您可以直接从移动应用或 Web 应用调用 Gemini API 或 Imagen API，以构建 AI 聊天体验、生成图片、使用函数调用（工具）、流式传输输入和输出（包括音频）等。 |
| 针对正式版应用的安全性和滥用行为防范 |
使用 Firebase App Check 可保护访问 Gemini 和 Imagen 模型的 API 免遭未经授权的客户端滥用。
Vertex AI in Firebase 还默认具有每位用户的速率限制，并且这些每位用户的速率限制是完全可配置的。 |
| 强大的基础架构 | 利用专为移动应用和 Web 应用而打造的可扩缩基础架构，例如使用 Cloud Storage for Firebase 管理文件、使用 Firebase 数据库产品（例如 Cloud Firestore）管理结构化数据，以及使用 Firebase Remote Config 动态设置运行时配置。 |
工作原理
借助 Vertex AI in Firebase SDK，您可以直接从移动应用或 Web 应用调用 Gemini API in Vertex AI 和 Imagen API，而无需设置后端。
详细了解 Gemini API from Vertex AI，以便使用 Gemini 模型。
实现流程
| 将您的应用关联至 Firebase | 在 Firebase 项目中注册您的应用，然后将 Firebase 配置添加到您的应用。 | |
| 安装 SDK 并进行初始化 | 安装特定于应用平台的 Vertex AI in Firebase SDK，然后在应用中初始化 Vertex AI 服务和生成式模型。 | |
| 向 Gemini 和 Imagen 模型发送提示请求 | 使用 SDK 向 Gemini 模型发送纯文本或多模态提示，以生成文本、代码，以及（即将推出）图片和音频输出。 或者，您也可以提示 Imagen 模型生成图片。 | |
| 为正式版做好准备 | 为移动应用和 Web 应用实现重要的集成，例如使用 Firebase App Check 保护 API 免遭滥用，以及使用 Cloud Storage for Firebase 网址在请求中添加大型文件。 |
后续步骤
开始通过移动应用或 Web 应用访问模型
使用提示进行实验