Ограничения и технические характеристики Live API


На этой странице описаны различные ограничения и требования к использованию Live API и его моделей.

Общие технические характеристики и ограничения

  • Поддерживаемые входные и выходные форматы : (подробнее см. в разделе «Форматы мультимедиа» ниже)

    • Входные данные: текст, изображения (не PDF-файлы), аудио, видео.
    • Выходные данные: текст (транскрипция) и аудио (потоковая передача).

  • Поддерживаемые инструменты : вызов функций, привязка к Google Search , привязка к Google Maps

  • Крайний срок для получения знаний : январь 2025 года.

Live API не поддерживает генерацию структурированного вывода (например, в формате JSON) или API подсчета токенов.

Ограничения, связанные с сессией

В контексте Live API сессия обозначает постоянное соединение, в котором входные и выходные данные непрерывно передаются по каналу связи.

Если продолжительность сессии превышает любой из следующих лимитов, соединение разрывается. Однако следует отметить, что Live API предоставляет некоторые параметры (см. ниже) для обработки этих ограничений, связанных с сессией.

  • Окно контекста сессии ограничено 128 тысячами токенов.

    В связи с ограничением контекстного окна, приблизительная максимальная продолжительность сеанса в зависимости от способа ввода данных выглядит следующим образом:

    • Продолжительность сеансов ввода только аудиоконтента ограничена 15 минутами .
    • Видео- и аудиовход ограничены 2 минутами .

  • Продолжительность соединения ограничена примерно 10 минутами .

    Примерно за 60 секунд до окончания соединения вы получите уведомление о завершении сеанса .

Вот несколько вариантов обработки ограничений, связанных с сессиями:

  • Сожмите окно контекста сессии таким образом, чтобы сервер автоматически поддерживал размер контекста в пределах допустимого значения.

  • Возобновите сессию , чтобы предотвратить потерю контекста разговора во время кратковременных разрывов сетевого соединения или после получения уведомления об уходе .

Узнайте больше об управлении сессиями .

Ограничения скорости

В Live API установлены ограничения на количество одновременных сессий в одном проекте Firebase, а также на количество токенов в минуту (TPM).

  • API разработчика Gemini :

  • API Vertex AI Gemini :

    • 1000 одновременных сессий на проект Firebase
    • 4 миллиона токенов в минуту

Форматы медиа

Live API поддерживает следующие типы мультимедиа:

  • Входные данные : изображения, аудио, видео
  • Вывод : аудио

Форматы изображений

Live API поддерживает следующие функции для ввода изображений:

  • Максимальное количество изображений на один запрос : 3000

  • Максимальный размер файла (встроенные данные) : 7 МБ

  • Поддерживаемые MIME-типы : image/png , image/jpeg , image/webp , image/heic , image/heif

Аудиоформаты

Live API поддерживает следующие аудиоформаты:

  • Входной аудиоформат: необработанный 16-битный PCM-аудио с частотой дискретизации 16 кГц, little-endian.

  • Выходной аудиоформат: необработанный 16-битный PCM-аудио с частотой дискретизации 24 кГц, little-endian.

  • Поддерживаемые MIME-типы : audio/x-aac , audio/flac , audio/mp3 , audio/m4a , audio/mpeg , audio/mpga , audio/mp4 , audio/ogg , audio/pcm , audio/wav , audio/webm

Для передачи частоты дискретизации входного аудиосигнала установите MIME-тип каждого содержащего аудиообъекта Blob на значение, например, audio/pcm;rate=16000 .

Видеоформаты

Live API ожидает последовательность дискретных кадров изображения и поддерживает ввод видеокадров со скоростью 1 кадр в секунду (FPS).

  • Рекомендуемое входное разрешение : 768x768 пикселей при 1 кадре в секунду.

  • Поддерживаемые MIME-типы : video/x-flv , video/quicktime , video/mpeg , video/mpegs , video/mpg , video/mp4 , video/webm , video/wmv , video/3gpp

Следует отметить, что данная спецификация делает Live API непригодным для сценариев использования, требующих анализа быстро меняющегося видео, например, для оперативного освещения спортивных событий.

Ответные голоса

Live API поддерживает следующие варианты голосового ответа. Демонстрацию звучания каждого голоса см. в разделе Chirp 3: HD voices .

Если вы не укажете голос для ответа, по умолчанию будет использоваться Puck .

Узнайте, как задать голос ответа .

Zephyr — Яркий
Kore — Фирма
Orus — Фирма
Autonoe — Яркий
Umbriel — добродушный
Erinome — прозрачный
Laomedeia — оптимистичная
Schedar — даже
Achird — Дружелюбный
Sadachbia — Оживлённый		 Puck — оптимистичный
Fenrir — Возбудимый
Aoede — Бризи
Enceladus — Хрипловатый
Algieba — Гладкая
Algenib — Грейвли
Achernar — Мягкий
Gacrux — для взрослых
Zubenelgenubi — Повседневный
Sadaltager — знающий человек		 Charon — информативный
Leda — Юная
Callirrhoe — добродушный
Iapetus — Ясный
Despina — Гладкая
Rasalgethi — информативный
Alnilam — Фирма
Pulcherrima — Нападающий
Vindemiatrix — Нежная
Sulafat — Теплый

Языки

Live API поддерживает следующие языки. Узнайте, как повлиять на язык ответа .

Язык Код BCP-47 Язык Код BCP-47
Арабский (египетский) ар-ЭГ Немецкий (Германия) де-ДЕ
Английский (США) en-US Испанский (США) es-US
Французский (Франция) фр-ФР Хинди (Индия) хай-ИН
Индонезийский (Индонезия) я сделал Итальянский (Италия) ИТ-ИТ
Японский (Япония) ja-JP Корейский (Корея) ко-КР
Португальский (Бразилия) пт-БР Русский (Россия) ру-RU
Голландский (Нидерланды) nl-NL Польский (Польша) пл-ПЛ
Тайский (Таиланд) th-TH Турецкий (Турция) тр-ТР
Вьетнамский (Вьетнам) vi-VN Румынский (Румыния) ро-ро
Украинский (Украина) Великобритания-Украина Бенгальский (Бангладеш) бн-БД
Английский (Индия) en-IN & hi-IN bundle Маратхи (Индия) мистер-ИН
Тамильский (Индия) та-ИН Телугу (Индия) те-ИН