Gemini API usando Vertex AI in Firebase
Crie apps e recursos para dispositivos móveis e Web com tecnologia de IA usando os modelos Gemini e Imagen com Vertex AI in Firebase
O Vertex AI in Firebase oferece acesso aos modelos mais recentes de IA generativa do Google: os modelos Gemini e Imagen 3.
Se você precisar chamar o Gemini API in Vertex AI ou o Imagen API diretamente do app para dispositivos móveis ou da Web, em vez do lado do servidor, use os SDKs Vertex AI in Firebase. Esses SDKs de cliente foram criados especificamente para uso com apps para dispositivos móveis e Web, oferecendo opções de segurança contra clientes não autorizados, além de integrações com outros serviços do Firebase.
Esses SDKs de cliente para dispositivos móveis/Web estão disponíveis em Swift, Kotlin/Java, JavaScript (para Web) e Dart (para Flutter).
Com esses SDKs do cliente, é possível adicionar a personalização por IA a apps, criar uma experiência de chat por IA, criar otimizações e automações com IA e muito mais.
Se você estiver procurando maneiras de acessar os modelos Gemini ou Imagen
no servidor (como com Python, Node.js ou Go), confira os
SDKs Vertex AI do lado do servidor,
Genkit ou
Firebase Extensions para o Gemini API.
Principais recursos
| Entrada multimodal e de linguagem natural |
Os modelos Gemini são
multimodais, então os comandos enviados para o Gemini API podem incluir texto,
imagens, PDFs, vídeos e áudio.
Os modelos Gemini e Imagen podem ser solicitados com entrada de linguagem natural. |
| Conjunto crescente de recursos | Com os SDKs, é possível chamar o Gemini API ou Imagen API diretamente do seu app para dispositivos móveis ou da Web para criar experiências de chat com IA, gerar imagens, usar chamadas de função (ferramentas), transmitir entrada e saída (incluindo áudio) e muito mais. |
| Segurança e prevenção contra abuso para apps de produção |
Use Firebase App Check
para proteger as APIs que acessam os modelos Gemini e Imagen
contra abusos de clientes não autorizados.
O Vertex AI in Firebase também tem limites de taxa por usuário padrão, e esses limites de taxa por usuário são totalmente configuráveis. |
| Infraestrutura robusta | Aproveite a infraestrutura escalonável criada para uso com apps móveis e da Web, como gerenciar arquivos com Cloud Storage for Firebase, gerenciar dados estruturados com as ofertas de banco de dados do Firebase (como Cloud Firestore) e definir dinamicamente configurações de tempo de execução com Firebase Remote Config. |
Como funciona?
Os SDKs Vertex AI in Firebase permitem chamar Gemini API in Vertex AI e Imagen API diretamente do seu app para dispositivos móveis ou da Web, eliminando a necessidade de configurar um back-end.
Saiba mais sobre o Gemini API do Vertex AI, que dá acesso aos modelos Gemini.
Caminho de implementação
| Conectar seu app ao Firebase | Registre seu app no projeto do Firebase e adicione a configuração do Firebase ao app. | |
| Instalar o SDK e inicializar | Instale o SDK do Vertex AI in Firebase específico para a plataforma do seu app e inicialize o serviço Vertex AI e o modelo generativo no app. | |
| Enviar solicitações de comando para os modelos Gemini e Imagen | Use os SDKs para enviar comandos
somente de texto ou
multimodais
para o modelo Gemini
para gerar texto, código e (em breve) saída de imagem e áudio.
Como alternativa, você pode solicitar que um modelo Imagen gere imagens.
Use chamadas mais complexas para criar experiências de chat ou use chamadas de função. |
|
| Preparação para a produção | Implementar integrações importantes para apps para dispositivos móveis e da Web, como proteger a API contra abuso com Firebase App Check e incluir arquivos grandes em solicitações usando URLs Cloud Storage for Firebase. |
Próximas etapas
Começar a acessar um modelo no app para dispositivos móveis ou Web
Teste os comandos