Opcje konfiguracji środowisk hybrydowych w aplikacjach internetowych

Na tej stronie opisano te opcje konfiguracji:

• Ustawianie trybu wnioskowania

• Zastępowanie domyślnego modelu zastępczego hostowanego w chmurze

• Kontrolowanie odpowiedzi za pomocą konfiguracji modelu

Możesz też generować uporządkowane dane wyjściowe, w tym dane w formacie JSON i typy wyliczeniowe.

Zanim zaczniesz

Upewnij się, że masz za sobą przewodnik dla początkujących dotyczący tworzenia środowisk hybrydowych.

Ustawianie trybu wnioskowania

Przykłady w przewodniku dla początkujących korzystają z trybu PREFER_ON_DEVICE, ale jest to tylko jeden z 4 dostępnych trybów wnioskowania.

• PREFER_ON_DEVICE: używaj modelu na urządzeniu, jeśli jest dostępny. W przeciwnym razie użyj modelu hostowanego w chmurze.

  const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });
  

• ONLY_ON_DEVICE: użyj modelu na urządzeniu, jeśli jest dostępny. W przeciwnym razie wygeneruj wyjątek.

  const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });
  

• PREFER_IN_CLOUD: używaj modelu hostowanego w chmurze, jeśli jest dostępny. W przeciwnym razie wróć do modelu na urządzeniu.

  const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });
  

• ONLY_IN_CLOUD: użyj modelu hostowanego w chmurze, jeśli jest dostępny. W przeciwnym razie zgłoś wyjątek.

  const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });
  

określanie, czy wnioskowanie zostało przeprowadzone na urządzeniu czy w chmurze;

Jeśli używasz trybu wnioskowania PREFER_ON_DEVICE lub PREFER_IN_CLOUD, warto wiedzieć, który tryb został użyty w przypadku danego żądania. Te informacje są podawane we właściwości inferenceSource każdej odpowiedzi (dostępnej od wersji 12.5.0 pakietu JS SDK).

Gdy uzyskasz dostęp do tej właściwości, zwrócona wartość będzie wynosić ON_DEVICE lub IN_CLOUD.

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

Zastępowanie domyślnego modelu zastępczego

Domyślny model hostowany w chmurze to gemini-3.5-flash-lite (od wersji 13.0.0 pakietu JS SDK).

Ten model jest zastępczym modelem hostowanym w chmurze, gdy używasz trybu PREFER_ON_DEVICE. Jest to też model domyślny, gdy używasz trybu ONLY_IN_CLOUD lub PREFER_IN_CLOUD.

Możesz użyć opcji konfiguracji inCloudParams, aby określić alternatywny domyślny model hostowany w chmurze.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

Znajdź nazwy wszystkich obsługiwanych modeli Gemini.

Kontrolowanie odpowiedzi za pomocą konfiguracji modelu

W każdym żądaniu wysyłanym do modelu możesz przesłać konfigurację modelu, aby kontrolować sposób, w jaki model generuje odpowiedź. Modele hostowane w chmurze i modele na urządzeniu oferują różne opcje konfiguracji.

Konfiguracja jest utrzymywana przez cały okres eksploatacji instancji. Jeśli chcesz użyć innej konfiguracji, utwórz nową instancję GenerativeModel z tą konfiguracją.

Konfigurowanie modelu hostowanego w chmurze

Użyj opcji inCloudParams, aby skonfigurować model Gemini hostowany w chmurze. Dowiedz się więcej o dostępnych parametrach.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME",
    generationConfig: {
      maxOutputTokens: 200,
      stopSequences: ["red"]
    }
  }
});

Konfigurowanie modelu na urządzeniu

Pamiętaj, że wnioskowanie przy użyciu modelu na urządzeniu korzysta z interfejsu Prompt API z Chrome.

Aby skonfigurować model na urządzeniu, użyj opcji onDeviceParams. Dowiedz się więcej o dostępnych parametrach.

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      expectedInputs: [{ type: "text", languages: ["en"] }],
      expectedOutputs: [{ type: "text", languages: ["en"] }],
      initialPrompts: [
        { role: "system", content: [{ type: "text", value: "You are a helpful and concise assistant." }] }
      ]
    }
  }
});

Prześlij opinię o korzystaniu z usługi Firebase AI Logic