Варианты конфигурации гибридных функций в веб-приложениях

На этой странице описаны следующие варианты конфигурации:

• Как настроить режим инференса

• Как переопределить резервную модель, размещенную в облаке

• Как управлять ответами с помощью конфигурации модели

Вы также можете генерировать структурированные выходные данные, включая JSON и перечисления.

Подготовка

Убедитесь, что вы выполнили все действия, описанные в руководстве по началу работы с гибридными приложениями.

Как настроить режим инференса

В примерах из руководства по началу работы используется режим PREFER_ON_DEVICE, но это лишь один из четырех доступных режимов инференса.

• PREFER_ON_DEVICE – использовать модель на устройстве, если она доступна. В противном случае использовать облачную модель.

  const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });
  

• ONLY_ON_DEVICE – использовать модель на устройстве, если она доступна, в противном случае выдать исключение.

  const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });
  

• PREFER_IN_CLOUD. Использовать облачную модель, если она доступна. В противном случае использовать модель на устройстве.

  const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });
  

• ONLY_IN_CLOUD – использовать облачную модель, если она доступна, в противном случае выдать исключение.

  const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });
  

Определите, где выполнялся вывод: на устройстве или в облаке.

Если вы используете режимы инференса PREFER_ON_DEVICE или PREFER_IN_CLOUD, вам может быть полезно знать, какой режим использовался для определенных запросов. Эта информация предоставляется свойством inferenceSource каждого ответа (доступно начиная с JS SDK версии 12.5.0).

При обращении к этому свойству возвращается значение ON_DEVICE или IN_CLOUD.

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

Как переопределить резервную модель по умолчанию

По умолчанию используется облачная модель gemini-3.5-flash-lite (начиная с JS SDK версии 13.0.0).

Эта модель используется в облаке по умолчанию, если вы выбрали режим PREFER_ON_DEVICE. Она также используется по умолчанию в режимах ONLY_IN_CLOUD и PREFER_IN_CLOUD.

Вы можете использовать параметр конфигурации inCloudParams, чтобы указать альтернативную облачную модель по умолчанию.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

Найдите названия всех поддерживаемых моделей Gemini.

Как управлять ответами с помощью конфигурации модели

В каждом запросе к модели вы можете отправить конфигурацию модели, чтобы управлять тем, как модель генерирует ответ. Облачные и локальные модели предлагают разные варианты конфигурации.

Конфигурация сохраняется в течение всего времени существования экземпляра. Если вы хотите использовать другую конфигурацию, создайте новый экземпляр GenerativeModel с этой конфигурацией.

Настроить облачную модель

Чтобы настроить облачную модель Gemini, используйте параметр inCloudParams. Подробнее о доступных параметрах…

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME",
    generationConfig: {
      maxOutputTokens: 200,
      stopSequences: ["red"]
    }
  }
});

Настроить локальную модель

Обратите внимание, что для инференса с помощью модели на устройстве используется Prompt API из Chrome.

Чтобы настроить модель на устройстве, используйте параметр onDeviceParams. Подробнее о доступных параметрах…

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      expectedInputs: [{ type: "text", languages: ["en"] }],
      expectedOutputs: [{ type: "text", languages: ["en"] }],
      initialPrompts: [
        { role: "system", content: [{ type: "text", value: "You are a helpful and concise assistant." }] }
      ]
    }
  }
});

Оставить отзыв о работе с Firebase AI Logic