এই পৃষ্ঠায় Firebase AI Logic- এর মাধ্যমে Live API ব্যবহার করার সময় এর সক্ষমতাগুলো বর্ণনা করা হয়েছে, যার মধ্যে রয়েছে:
সমর্থিত ইনপুট পদ্ধতিসমূহ, যার মধ্যে রয়েছে:
উল্লেখ্য যে, Live API ছবি ও অডিও ইনপুটও সমর্থন করে।
বর্তমানে অসমর্থিত ফিচারগুলোর তালিকা, যার মধ্যে অনেকগুলোই শীঘ্রই আসছে!
ট্রান্সক্রিপশন যোগ করা বা প্রতিক্রিয়ার ভয়েস সেট করার মতো বিভিন্ন কনফিগারেশন অপশন ব্যবহার করে আপনার ইমপ্লিমেন্টেশন কাস্টমাইজ করার বিষয়ে জানতে অন্যান্য পেজগুলো দেখুন। এছাড়াও আপনি সেশন ম্যানেজ করা সম্পর্কে জানতে পারবেন।
ইনপুট পদ্ধতি
এই বিভাগে একটি Live API মডেলে কীভাবে বিভিন্ন ধরণের ইনপুট পাঠাতে হয় তা বর্ণনা করা হয়েছে। নেটিভ অডিও মডেলগুলির জন্য সর্বদা অডিও ইনপুট প্রয়োজন (এর সাথে টেক্সট বা ভিডিও ইনপুটের মতো ঐচ্ছিক অতিরিক্ত পদ্ধতিও থাকতে পারে), এবং এগুলি সর্বদা অডিও আউটপুট দিয়ে সাড়া দেয় ।
উল্লেখ্য যে, Live API ছবি ও অডিও ইনপুটও সমর্থন করে।
স্ট্রিম অডিও ইনপুট
এই পৃষ্ঠায় প্রদানকারী-নির্দিষ্ট বিষয়বস্তু এবং কোড দেখতে আপনার জেমিনি এপিআই প্রদানকারীর উপর ক্লিক করুন। |
Live API এর সবচেয়ে সাধারণ সক্ষমতা হলো দ্বিমুখী অডিও স্ট্রিমিং, অর্থাৎ অডিও ইনপুট এবং আউটপুট উভয়েরই রিয়েল-টাইম স্ট্রিমিং।
Live API নিম্নলিখিত অডিও ফরম্যাটগুলো সমর্থন করে:
- ইনপুট অডিও ফরম্যাট: ১৬ কিলোহার্টজ লিটল-এন্ডিয়ানে র ১৬ বিট পিসিএম অডিও
আউটপুট অডিও ফরম্যাট: ২৪ কিলোহার্টজ লিটল-এন্ডিয়ানে র ১৬ বিট পিসিএম অডিও
সমর্থিত MIME টাইপসমূহ :
audio/x-aac,audio/flac,audio/mp3,audio/m4a,audio/mpeg,audio/mpga,audio/mp4,audio/ogg,audio/pcm,audio/wav,audio/webm
ইনপুট অডিওর স্যাম্পল রেট জানাতে, অডিও ধারণকারী প্রতিটি Blob-এর MIME টাইপকে audio/pcm;rate=16000 এর মতো কোনো মানে সেট করুন।
সুইফট
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি audio তে সেট করুন।
import FirebaseAILogic
// Initialize the Gemini Developer API backend service.
// Create a `liveModel` instance with a model that supports the Live API.
let liveModel = FirebaseAI.firebaseAI(backend: .googleAI()).liveModel(
modelName: "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
generationConfig: LiveGenerationConfig(
responseModalities: [.audio]
)
)
do {
let session = try await liveModel.connect()
// Load the audio file, or tap a microphone.
guard let audioFile = NSDataAsset(name: "audio.pcm") else {
fatalError("Failed to load audio file")
}
// Provide the audio data.
await session.sendAudioRealtime(audioFile.data)
var outputText = ""
for try await message in session.responses {
if case let .content(content) = message.payload {
content.modelTurn?.parts.forEach { part in
if let part = part as? InlineDataPart, part.mimeType.starts(with: "audio/pcm") {
// Handle 16bit pcm audio data at 24khz
playAudio(part.data)
}
}
// Optional: if you don't need to send more requests.
if content.isTurnComplete {
await session.close()
}
}
}
} catch {
fatalError(error.localizedDescription)
}
Kotlin
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি AUDIO তে সেট করুন।
// Initialize the Gemini Developer API backend service.
// Create a `liveModel` instance with a model that supports the Live API.
val liveModel = Firebase.ai(backend = GenerativeBackend.googleAI()).liveModel(
modelName = "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
generationConfig = liveGenerationConfig {
responseModality = ResponseModality.AUDIO
}
)
val session = liveModel.connect()
// This is the recommended approach.
// However, you can create your own recorder and handle the stream.
session.startAudioConversation()
Java
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি AUDIO তে সেট করুন।
ExecutorService executor = Executors.newFixedThreadPool(1);
// Initialize the Gemini Developer API backend service.
// Create a `liveModel` instance with a model that supports the Live API.
LiveGenerativeModel lm = FirebaseAI.getInstance(GenerativeBackend.googleAI()).liveModel(
"gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
new LiveGenerationConfig.Builder()
.setResponseModality(ResponseModality.AUDIO)
.build()
);
LiveModelFutures liveModel = LiveModelFutures.from(lm);
ListenableFuture<LiveSession> sessionFuture = liveModel.connect();
Futures.addCallback(sessionFuture, new FutureCallback<LiveSession>() {
@Override
public void onSuccess(LiveSession ses) {
LiveSessionFutures session = LiveSessionFutures.from(ses);
session.startAudioConversation();
}
@Override
public void onFailure(Throwable t) {
// Handle exceptions
}
}, executor);
Web
Live API ব্যবহার করতে, একটি LiveGenerativeModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি AUDIO তে সেট করুন।
import { initializeApp } from "firebase/app";
import { getAI, getLiveGenerativeModel, GoogleAIBackend, ResponseModality } from "firebase/ai";
// TODO(developer): Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
// ...
};
// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service.
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Create a `LiveGenerativeModel` instance with a model that supports the Live API.
const liveModel = getLiveGenerativeModel(ai, {
model: "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
generationConfig: {
responseModalities: [ResponseModality.AUDIO],
},
});
const session = await liveModel.connect();
// Start the audio conversation.
const audioConversationController = await startAudioConversation(session);
// ... Later, to stop the audio conversation
// await audioConversationController.stop()
Dart
Live API ব্যবহার করতে, একটি LiveGenerativeModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি audio সেট করুন।
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
import 'package:your_audio_recorder_package/your_audio_recorder_package.dart';
late LiveModelSession _session;
final _audioRecorder = YourAudioRecorder();
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Gemini Developer API backend service.
// Create a `liveGenerativeModel` instance with a model that supports the Live API.
final liveModel = FirebaseAI.googleAI().liveGenerativeModel(
model: 'gemini-2.5-flash-native-audio-preview-12-2025',
// Configure the model to respond with audio.
liveGenerationConfig: LiveGenerationConfig(
responseModalities: [ResponseModalities.audio],
),
);
_session = await liveModel.connect();
final audioRecordStream = _audioRecorder.startRecordingStream();
// Map the Uint8List stream to InlineDataPart stream.
final mediaChunkStream = audioRecordStream.map((data) {
return InlineDataPart('audio/pcm', data);
});
await _session.startMediaStream(mediaChunkStream);
// In a separate thread, receive the audio response from the model.
await for (final message in _session.receive()) {
// Process the received message.
}
ঐক্য
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি Audio তে সেট করুন।
using Firebase;
using Firebase.AI;
async Task SendTextReceiveAudio() {
// Initialize the Gemini Developer API backend service.
// Create a `LiveModel` instance with a model that supports the Live API.
var liveModel = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI()).GetLiveModel(
modelName: "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
liveGenerationConfig: new LiveGenerationConfig(
responseModalities: new[] { ResponseModality.Audio })
);
LiveSession session = await liveModel.ConnectAsync();
// Start a coroutine to send audio from the Microphone.
var recordingCoroutine = StartCoroutine(SendAudio(session));
// Start receiving the response.
await ReceiveAudio(session);
}
IEnumerator SendAudio(LiveSession liveSession) {
string microphoneDeviceName = null;
int recordingFrequency = 16000;
int recordingBufferSeconds = 2;
var recordingClip = Microphone.Start(microphoneDeviceName, true,
recordingBufferSeconds, recordingFrequency);
int lastSamplePosition = 0;
while (true) {
if (!Microphone.IsRecording(microphoneDeviceName)) {
yield break;
}
int currentSamplePosition = Microphone.GetPosition(microphoneDeviceName);
if (currentSamplePosition != lastSamplePosition) {
// The Microphone uses a circular buffer, so we need to check if the
// current position wrapped around to the beginning, and handle it accordingly.
int sampleCount;
if (currentSamplePosition > lastSamplePosition) {
sampleCount = currentSamplePosition - lastSamplePosition;
} else {
sampleCount = recordingClip.samples - lastSamplePosition + currentSamplePosition;
}
if (sampleCount > 0) {
// Get the audio chunk.
float[] samples = new float[sampleCount];
recordingClip.GetData(samples, lastSamplePosition);
// Send the data, discarding the resulting Task to avoid the warning.
_ = liveSession.SendAudioAsync(samples);
lastSamplePosition = currentSamplePosition;
}
}
// Wait for a short delay before reading the next sample from the Microphone.
const float MicrophoneReadDelay = 0.5f;
yield return new WaitForSeconds(MicrophoneReadDelay);
}
}
Queue audioBuffer = new();
async Task ReceiveAudio(LiveSession liveSession) {
int sampleRate = 24000;
int channelCount = 1;
// Create a looping AudioClip to fill with the received audio data.
int bufferSamples = (int)(sampleRate * channelCount);
AudioClip clip = AudioClip.Create("StreamingPCM", bufferSamples, channelCount,
sampleRate, true, OnAudioRead);
// Attach the clip to an AudioSource and start playing it.
AudioSource audioSource = GetComponent();
audioSource.clip = clip;
audioSource.loop = true;
audioSource.Play();
// Start receiving the response.
await foreach (var message in liveSession.ReceiveAsync()) {
// Process the received message
foreach (float[] pcmData in message.AudioAsFloat) {
lock (audioBuffer) {
foreach (float sample in pcmData) {
audioBuffer.Enqueue(sample);
}
}
}
}
}
// This method is called by the AudioClip to load audio data.
private void OnAudioRead(float[] data) {
int samplesToProvide = data.Length;
int samplesProvided = 0;
lock(audioBuffer) {
while (samplesProvided < samplesToProvide && audioBuffer.Count > 0) {
data[samplesProvided] = audioBuffer.Dequeue();
samplesProvided++;
}
}
while (samplesProvided < samplesToProvide) {
data[samplesProvided] = 0.0f;
samplesProvided++;
}
}
টেক্সট ও অডিও ইনপুট স্ট্রিম করুন
এই পৃষ্ঠায় প্রদানকারী-নির্দিষ্ট বিষয়বস্তু এবং কোড দেখতে আপনার জেমিনি এপিআই প্রদানকারীর উপর ক্লিক করুন। |
প্রয়োজনে, আপনি অডিও ইনপুটের সাথে টেক্সট ইনপুটও পাঠাতে পারেন এবং স্ট্রিম করা অডিও আউটপুট গ্রহণ করতে পারেন।
সুইফট
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি audio তে সেট করুন।
import FirebaseAILogic
// Initialize the Gemini Developer API backend service.
// Create a `liveModel` instance with a model that supports the Live API.
let liveModel = FirebaseAI.firebaseAI(backend: .googleAI()).liveModel(
modelName: "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
generationConfig: LiveGenerationConfig(
responseModalities: [.audio]
)
)
do {
let session = try await liveModel.connect()
// Provide a text prompt.
let text = "tell a short story"
await session.sendTextRealtime(text)
var outputText = ""
for try await message in session.responses {
if case let .content(content) = message.payload {
content.modelTurn?.parts.forEach { part in
if let part = part as? InlineDataPart, part.mimeType.starts(with: "audio/pcm") {
// Handle 16-bit PCM audio data at 24 kHz.
playAudio(part.data)
}
}
// Optional: if you don't need to send more requests.
if content.isTurnComplete {
await session.close()
}
}
}
} catch {
fatalError(error.localizedDescription)
}
Kotlin
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি AUDIO তে সেট করুন।
// Initialize the Gemini Developer API backend service.
// Create a `liveModel` instance with a model that supports the Live API.
val liveModel = Firebase.ai(backend = GenerativeBackend.googleAI()).liveModel(
modelName = "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
generationConfig = liveGenerationConfig {
responseModality = ResponseModality.AUDIO
}
)
val session = liveModel.connect()
// Provide a text prompt.
val text = "tell a short story"
session.send(text)
session.receive().collect {
if(it.turnComplete) {
// Optional: if you don't need to send more requests.
session.stopReceiving();
}
// Handle 16bit pcm audio data at 24khz.
playAudio(it.data)
}
Java
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি AUDIO তে সেট করুন।
ExecutorService executor = Executors.newFixedThreadPool(1);
// Initialize the Gemini Developer API backend service.
// Create a `liveModel` instance with a model that supports the Live API.
LiveGenerativeModel lm = FirebaseAI.getInstance(GenerativeBackend.googleAI()).liveModel(
"gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
new LiveGenerationConfig.Builder()
.setResponseModality(ResponseModality.AUDIO)
.build()
);
LiveModelFutures model = LiveModelFutures.from(lm);
ListenableFuture<LiveSession> sessionFuture = model.connect();
class LiveContentResponseSubscriber implements Subscriber<LiveContentResponse> {
@Override
public void onSubscribe(Subscription s) {
s.request(Long.MAX_VALUE); // Request an unlimited number of items
}
@Override
public void onNext(LiveContentResponse liveContentResponse) {
// Handle 16bit pcm audio data at 24khz.
liveContentResponse.getData();
}
@Override
public void onError(Throwable t) {
System.err.println("Error: " + t.getMessage());
}
@Override
public void onComplete() {
System.out.println("Done receiving messages!");
}
}
Futures.addCallback(sessionFuture, new FutureCallback<LiveSession>() {
@Override
public void onSuccess(LiveSession ses) {
LiveSessionFutures session = LiveSessionFutures.from(ses);
// Provide a text prompt.
String text = "tell me a short story?";
session.send(text);
Publisher<LiveContentResponse> publisher = session.receive();
publisher.subscribe(new LiveContentResponseSubscriber());
}
@Override
public void onFailure(Throwable t) {
// Handle exceptions
}
}, executor);
Web
Live API ব্যবহার করতে, একটি LiveGenerativeModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি AUDIO তে সেট করুন।
import { initializeApp } from "firebase/app";
import { getAI, getLiveGenerativeModel, GoogleAIBackend, ResponseModality } from "firebase/ai";
// TODO(developer): Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
// ...
};
// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service.
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Create a `LiveGenerativeModel` instance with a model that supports the Live API.
const liveModel = getLiveGenerativeModel(ai, {
model: "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio
generationConfig: {
responseModalities: [ResponseModality.AUDIO],
},
});
const session = await liveModel.connect();
// Provide a text prompt.
const prompt = "tell a short story";
session.send(prompt);
// Handle the model's audio output.
const messages = session.receive();
for await (const message of messages) {
switch (message.type) {
case "serverContent":
if (message.turnComplete) {
// TODO(developer): Handle turn completion
} else if (message.interrupted) {
// TODO(developer): Handle the interruption
break;
} else if (message.modelTurn) {
const parts = message.modelTurn?.parts;
parts?.forEach((part) => {
if (part.inlineData) {
// TODO(developer): Play the audio chunk
}
});
}
break;
case "toolCall":
// Ignore
case "toolCallCancellation":
// Ignore
}
}
Dart
Live API ব্যবহার করতে, একটি LiveGenerativeModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি audio সেট করুন।
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
import 'dart:async';
import 'dart:typed_data';
late LiveModelSession _session;
Future<Stream<Uint8List>> textToAudio(String textPrompt) async {
WidgetsFlutterBinding.ensureInitialized();
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Gemini Developer API backend service.
// Create a `liveGenerativeModel` instance with a model that supports the Live API.
final liveModel = FirebaseAI.googleAI().liveGenerativeModel(
model: 'gemini-2.5-flash-native-audio-preview-12-2025',
// Configure the model to respond with audio.
liveGenerationConfig: LiveGenerationConfig(
responseModalities: [ResponseModalities.audio],
),
);
_session = await liveModel.connect();
final prompt = Content.text(textPrompt);
await _session.send(input: prompt);
return _session.receive().asyncMap((response) async {
if (response is LiveServerContent && response.modelTurn?.parts != null) {
for (final part in response.modelTurn!.parts) {
if (part is InlineDataPart) {
return part.bytes;
}
}
}
throw Exception('Audio data not found');
});
}
Future<void> main() async {
try {
final audioStream = await textToAudio('Convert this text to audio.');
await for (final audioData in audioStream) {
// Process the audio data (e.g., play it using an audio player package).
print('Received audio data: ${audioData.length} bytes');
// Example using flutter_sound (replace with your chosen package):
// await _flutterSoundPlayer.startPlayer(fromDataBuffer: audioData);
}
} catch (e) {
print('Error: $e');
}
}
ঐক্য
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি Audio তে সেট করুন।
using Firebase;
using Firebase.AI;
async Task SendTextReceiveAudio() {
// Initialize the Gemini Developer API backend service.
// Create a `LiveModel` instance with a model that supports the Live API.
var liveModel = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI()).GetLiveModel(
modelName: "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
liveGenerationConfig: new LiveGenerationConfig(
responseModalities: new[] { ResponseModality.Audio })
);
LiveSession session = await liveModel.ConnectAsync();
// Provide a text prompt.
var prompt = ModelContent.Text("Convert this text to audio.");
await session.SendAsync(content: prompt, turnComplete: true);
// Start receiving the response.
await ReceiveAudio(session);
}
Queue<float> audioBuffer = new();
async Task ReceiveAudio(LiveSession session) {
int sampleRate = 24000;
int channelCount = 1;
// Create a looping AudioClip to fill with the received audio data.
int bufferSamples = (int)(sampleRate * channelCount);
AudioClip clip = AudioClip.Create("StreamingPCM", bufferSamples, channelCount,
sampleRate, true, OnAudioRead);
// Attach the clip to an AudioSource and start playing it.
AudioSource audioSource = GetComponent<AudioSource>();
audioSource.clip = clip;
audioSource.loop = true;
audioSource.Play();
// Start receiving the response.
await foreach (var message in session.ReceiveAsync()) {
// Process the received message.
foreach (float[] pcmData in message.AudioAsFloat) {
lock (audioBuffer) {
foreach (float sample in pcmData) {
audioBuffer.Enqueue(sample);
}
}
}
}
}
// This method is called by the AudioClip to load audio data.
private void OnAudioRead(float[] data) {
int samplesToProvide = data.Length;
int samplesProvided = 0;
lock(audioBuffer) {
while (samplesProvided < samplesToProvide && audioBuffer.Count > 0) {
data[samplesProvided] = audioBuffer.Dequeue();
samplesProvided++;
}
}
while (samplesProvided < samplesToProvide) {
data[samplesProvided] = 0.0f;
samplesProvided++;
}
}
মনে রাখবেন যে, একটি সক্রিয় সেশন চলাকালীন আপনি পর্যায়ক্রমিক কন্টেন্ট আপডেট হিসেবেও টেক্সট পাঠাতে পারেন।
ভিডিও + অডিও ইনপুট স্ট্রিম করুন
ইনপুট ভিডিও কন্টেন্ট প্রদান করলে তা ইনপুট অডিওর জন্য একটি দৃশ্যগত প্রেক্ষাপট তৈরি করে।
Live API একাধিক বিচ্ছিন্ন ইমেজ ফ্রেমের একটি ক্রম আশা করে এবং প্রতি সেকেন্ডে ১ ফ্রেম (FPS) হারে ভিডিও ফ্রেম ইনপুট সমর্থন করে।
সুপারিশকৃত ইনপুট : নেটিভ ৭৬৮x৭৬৮ রেজোলিউশন, ১ এফপিএস।
সমর্থিত MIME টাইপসমূহ :
video/x-flv,video/quicktime,video/mpeg,video/mpegs,video/mpg,video/mp4,video/webm,video/wmv,video/3gpp
স্ট্রিমিং ভিডিও ও অডিও ইনপুট একটি আরও উন্নত বাস্তবায়ন, তাই এই সক্ষমতাটি কীভাবে প্রয়োগ করতে হয় তা শিখতে একটি নমুনা অ্যাপ দেখুন: সুইফট - শীঘ্রই আসছে! | অ্যান্ড্রয়েড - নমুনা অ্যাপ | ওয়েব - শীঘ্রই আসছে! | ফ্লাটার - নমুনা অ্যাপ | ইউনিটি - শীঘ্রই আসছে!
অসমর্থিত বৈশিষ্ট্য
Live API ব্যবহার করার ক্ষেত্রে কিছু ফিচার এখনও ফায়ারবেস এআই লজিক দ্বারা সমর্থিত নয়, তবে সেগুলো শীঘ্রই আসছে!
বাধা সামলানো
ভয়েস অ্যাক্টিভিটি ডিটেকশন (VAD) নিষ্ক্রিয় এবং কনফিগার করা
ইনপুট মিডিয়া রেজোলিউশন সেট করা
একটি চিন্তার বিন্যাস যোগ করা
আবেগপূর্ণ সংলাপ বা সক্রিয় অডিও সক্ষম করা
প্রতিক্রিয়ায়
UsageMetadataগ্রহণ করা হচ্ছে
Live API ব্যবহার করার সময় ফায়ারবেস এআই লজিক এমন কিছু ফিচার সমর্থন করে না , এবং বর্তমানে সেগুলো আনার কোনো পরিকল্পনা নেই।
সার্ভার প্রম্পট টেমপ্লেট
হাইব্রিড বা অন-ডিভাইস ইনফারেন্স
Firebase কনসোলে এআই মনিটরিং
তুমি আর কী করতে পারো?
ট্রান্সক্রিপশন যোগ করা বা প্রতিক্রিয়ার কণ্ঠস্বর সেট করার মতো বিভিন্ন কনফিগারেশন অপশন ব্যবহার করে আপনার বাস্তবায়নটি কাস্টমাইজ করুন।
সেশন পরিচালনা সম্পর্কে জানুন, যার মধ্যে রয়েছে সেশনের মাঝপথে কন্টেন্ট আপডেট করা, কনটেক্সট উইন্ডো সংকুচিত করা, সেশন কখন শেষ হতে চলেছে তা শনাক্ত করা এবং সেশন পুনরায় শুরু করা।
মডেলকে ফাংশন কলিং এবং
Google Search মাধ্যমে গ্রাউন্ডিং-এর মতো টুল ব্যবহারের সুযোগ দিয়ে আপনার ইমপ্লিমেন্টেশনকে আরও শক্তিশালী করুন। Live API সাথে টুলগুলো ব্যবহারের জন্য অফিশিয়াল ডকুমেন্টেশন শীঘ্রই আসছে!Live API ব্যবহারের সীমাবদ্ধতা এবং নির্দিষ্টকরণ সম্পর্কে জানুন, যেমন সেশনের দৈর্ঘ্য, রেট লিমিট, সমর্থিত ভাষা ইত্যাদি।
এই পৃষ্ঠায় Firebase AI Logic- এর মাধ্যমে Live API ব্যবহার করার সময় এর সক্ষমতাগুলো বর্ণনা করা হয়েছে, যার মধ্যে রয়েছে:
সমর্থিত ইনপুট পদ্ধতিসমূহ, যার মধ্যে রয়েছে:
উল্লেখ্য যে, Live API ছবি ও অডিও ইনপুটও সমর্থন করে।
বর্তমানে অসমর্থিত ফিচারগুলোর তালিকা, যার মধ্যে অনেকগুলোই শীঘ্রই আসছে!
ট্রান্সক্রিপশন যোগ করা বা প্রতিক্রিয়ার ভয়েস সেট করার মতো বিভিন্ন কনফিগারেশন অপশন ব্যবহার করে আপনার ইমপ্লিমেন্টেশন কাস্টমাইজ করার বিষয়ে জানতে অন্যান্য পেজগুলো দেখুন। এছাড়াও আপনি সেশন ম্যানেজ করা সম্পর্কে জানতে পারবেন।
ইনপুট পদ্ধতি
এই বিভাগে একটি Live API মডেলে কীভাবে বিভিন্ন ধরণের ইনপুট পাঠাতে হয় তা বর্ণনা করা হয়েছে। নেটিভ অডিও মডেলগুলির জন্য সর্বদা অডিও ইনপুট প্রয়োজন (এর সাথে টেক্সট বা ভিডিও ইনপুটের মতো ঐচ্ছিক অতিরিক্ত পদ্ধতিও থাকতে পারে), এবং এগুলি সর্বদা অডিও আউটপুট দিয়ে সাড়া দেয় ।
উল্লেখ্য যে, Live API ছবি ও অডিও ইনপুটও সমর্থন করে।
স্ট্রিম অডিও ইনপুট
এই পৃষ্ঠায় প্রদানকারী-নির্দিষ্ট বিষয়বস্তু এবং কোড দেখতে আপনার জেমিনি এপিআই প্রদানকারীর উপর ক্লিক করুন। |
Live API এর সবচেয়ে সাধারণ সক্ষমতা হলো দ্বিমুখী অডিও স্ট্রিমিং, অর্থাৎ অডিও ইনপুট এবং আউটপুট উভয়েরই রিয়েল-টাইম স্ট্রিমিং।
Live API নিম্নলিখিত অডিও ফরম্যাটগুলো সমর্থন করে:
- ইনপুট অডিও ফরম্যাট: ১৬ কিলোহার্টজ লিটল-এন্ডিয়ানে র ১৬ বিট পিসিএম অডিও
আউটপুট অডিও ফরম্যাট: ২৪ কিলোহার্টজ লিটল-এন্ডিয়ানে র ১৬ বিট পিসিএম অডিও
সমর্থিত MIME টাইপসমূহ :
audio/x-aac,audio/flac,audio/mp3,audio/m4a,audio/mpeg,audio/mpga,audio/mp4,audio/ogg,audio/pcm,audio/wav,audio/webm
ইনপুট অডিওর স্যাম্পল রেট জানাতে, অডিও ধারণকারী প্রতিটি Blob-এর MIME টাইপকে audio/pcm;rate=16000 এর মতো কোনো মানে সেট করুন।
সুইফট
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি audio তে সেট করুন।
import FirebaseAILogic
// Initialize the Gemini Developer API backend service.
// Create a `liveModel` instance with a model that supports the Live API.
let liveModel = FirebaseAI.firebaseAI(backend: .googleAI()).liveModel(
modelName: "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
generationConfig: LiveGenerationConfig(
responseModalities: [.audio]
)
)
do {
let session = try await liveModel.connect()
// Load the audio file, or tap a microphone.
guard let audioFile = NSDataAsset(name: "audio.pcm") else {
fatalError("Failed to load audio file")
}
// Provide the audio data.
await session.sendAudioRealtime(audioFile.data)
var outputText = ""
for try await message in session.responses {
if case let .content(content) = message.payload {
content.modelTurn?.parts.forEach { part in
if let part = part as? InlineDataPart, part.mimeType.starts(with: "audio/pcm") {
// Handle 16bit pcm audio data at 24khz
playAudio(part.data)
}
}
// Optional: if you don't need to send more requests.
if content.isTurnComplete {
await session.close()
}
}
}
} catch {
fatalError(error.localizedDescription)
}
Kotlin
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি AUDIO তে সেট করুন।
// Initialize the Gemini Developer API backend service.
// Create a `liveModel` instance with a model that supports the Live API.
val liveModel = Firebase.ai(backend = GenerativeBackend.googleAI()).liveModel(
modelName = "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
generationConfig = liveGenerationConfig {
responseModality = ResponseModality.AUDIO
}
)
val session = liveModel.connect()
// This is the recommended approach.
// However, you can create your own recorder and handle the stream.
session.startAudioConversation()
Java
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি AUDIO তে সেট করুন।
ExecutorService executor = Executors.newFixedThreadPool(1);
// Initialize the Gemini Developer API backend service.
// Create a `liveModel` instance with a model that supports the Live API.
LiveGenerativeModel lm = FirebaseAI.getInstance(GenerativeBackend.googleAI()).liveModel(
"gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
new LiveGenerationConfig.Builder()
.setResponseModality(ResponseModality.AUDIO)
.build()
);
LiveModelFutures liveModel = LiveModelFutures.from(lm);
ListenableFuture<LiveSession> sessionFuture = liveModel.connect();
Futures.addCallback(sessionFuture, new FutureCallback<LiveSession>() {
@Override
public void onSuccess(LiveSession ses) {
LiveSessionFutures session = LiveSessionFutures.from(ses);
session.startAudioConversation();
}
@Override
public void onFailure(Throwable t) {
// Handle exceptions
}
}, executor);
Web
Live API ব্যবহার করতে, একটি LiveGenerativeModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি AUDIO তে সেট করুন।
import { initializeApp } from "firebase/app";
import { getAI, getLiveGenerativeModel, GoogleAIBackend, ResponseModality } from "firebase/ai";
// TODO(developer): Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
// ...
};
// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service.
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Create a `LiveGenerativeModel` instance with a model that supports the Live API.
const liveModel = getLiveGenerativeModel(ai, {
model: "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
generationConfig: {
responseModalities: [ResponseModality.AUDIO],
},
});
const session = await liveModel.connect();
// Start the audio conversation.
const audioConversationController = await startAudioConversation(session);
// ... Later, to stop the audio conversation
// await audioConversationController.stop()
Dart
Live API ব্যবহার করতে, একটি LiveGenerativeModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি audio সেট করুন।
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
import 'package:your_audio_recorder_package/your_audio_recorder_package.dart';
late LiveModelSession _session;
final _audioRecorder = YourAudioRecorder();
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Gemini Developer API backend service.
// Create a `liveGenerativeModel` instance with a model that supports the Live API.
final liveModel = FirebaseAI.googleAI().liveGenerativeModel(
model: 'gemini-2.5-flash-native-audio-preview-12-2025',
// Configure the model to respond with audio.
liveGenerationConfig: LiveGenerationConfig(
responseModalities: [ResponseModalities.audio],
),
);
_session = await liveModel.connect();
final audioRecordStream = _audioRecorder.startRecordingStream();
// Map the Uint8List stream to InlineDataPart stream.
final mediaChunkStream = audioRecordStream.map((data) {
return InlineDataPart('audio/pcm', data);
});
await _session.startMediaStream(mediaChunkStream);
// In a separate thread, receive the audio response from the model.
await for (final message in _session.receive()) {
// Process the received message.
}
ঐক্য
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি Audio তে সেট করুন।
using Firebase;
using Firebase.AI;
async Task SendTextReceiveAudio() {
// Initialize the Gemini Developer API backend service.
// Create a `LiveModel` instance with a model that supports the Live API.
var liveModel = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI()).GetLiveModel(
modelName: "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
liveGenerationConfig: new LiveGenerationConfig(
responseModalities: new[] { ResponseModality.Audio })
);
LiveSession session = await liveModel.ConnectAsync();
// Start a coroutine to send audio from the Microphone.
var recordingCoroutine = StartCoroutine(SendAudio(session));
// Start receiving the response.
await ReceiveAudio(session);
}
IEnumerator SendAudio(LiveSession liveSession) {
string microphoneDeviceName = null;
int recordingFrequency = 16000;
int recordingBufferSeconds = 2;
var recordingClip = Microphone.Start(microphoneDeviceName, true,
recordingBufferSeconds, recordingFrequency);
int lastSamplePosition = 0;
while (true) {
if (!Microphone.IsRecording(microphoneDeviceName)) {
yield break;
}
int currentSamplePosition = Microphone.GetPosition(microphoneDeviceName);
if (currentSamplePosition != lastSamplePosition) {
// The Microphone uses a circular buffer, so we need to check if the
// current position wrapped around to the beginning, and handle it accordingly.
int sampleCount;
if (currentSamplePosition > lastSamplePosition) {
sampleCount = currentSamplePosition - lastSamplePosition;
} else {
sampleCount = recordingClip.samples - lastSamplePosition + currentSamplePosition;
}
if (sampleCount > 0) {
// Get the audio chunk.
float[] samples = new float[sampleCount];
recordingClip.GetData(samples, lastSamplePosition);
// Send the data, discarding the resulting Task to avoid the warning.
_ = liveSession.SendAudioAsync(samples);
lastSamplePosition = currentSamplePosition;
}
}
// Wait for a short delay before reading the next sample from the Microphone.
const float MicrophoneReadDelay = 0.5f;
yield return new WaitForSeconds(MicrophoneReadDelay);
}
}
Queue audioBuffer = new();
async Task ReceiveAudio(LiveSession liveSession) {
int sampleRate = 24000;
int channelCount = 1;
// Create a looping AudioClip to fill with the received audio data.
int bufferSamples = (int)(sampleRate * channelCount);
AudioClip clip = AudioClip.Create("StreamingPCM", bufferSamples, channelCount,
sampleRate, true, OnAudioRead);
// Attach the clip to an AudioSource and start playing it.
AudioSource audioSource = GetComponent();
audioSource.clip = clip;
audioSource.loop = true;
audioSource.Play();
// Start receiving the response.
await foreach (var message in liveSession.ReceiveAsync()) {
// Process the received message
foreach (float[] pcmData in message.AudioAsFloat) {
lock (audioBuffer) {
foreach (float sample in pcmData) {
audioBuffer.Enqueue(sample);
}
}
}
}
}
// This method is called by the AudioClip to load audio data.
private void OnAudioRead(float[] data) {
int samplesToProvide = data.Length;
int samplesProvided = 0;
lock(audioBuffer) {
while (samplesProvided < samplesToProvide && audioBuffer.Count > 0) {
data[samplesProvided] = audioBuffer.Dequeue();
samplesProvided++;
}
}
while (samplesProvided < samplesToProvide) {
data[samplesProvided] = 0.0f;
samplesProvided++;
}
}
টেক্সট ও অডিও ইনপুট স্ট্রিম করুন
এই পৃষ্ঠায় প্রদানকারী-নির্দিষ্ট বিষয়বস্তু এবং কোড দেখতে আপনার জেমিনি এপিআই প্রদানকারীর উপর ক্লিক করুন। |
প্রয়োজনে, আপনি অডিও ইনপুটের সাথে টেক্সট ইনপুটও পাঠাতে পারেন এবং স্ট্রিম করা অডিও আউটপুট গ্রহণ করতে পারেন।
সুইফট
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি audio তে সেট করুন।
import FirebaseAILogic
// Initialize the Gemini Developer API backend service.
// Create a `liveModel` instance with a model that supports the Live API.
let liveModel = FirebaseAI.firebaseAI(backend: .googleAI()).liveModel(
modelName: "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
generationConfig: LiveGenerationConfig(
responseModalities: [.audio]
)
)
do {
let session = try await liveModel.connect()
// Provide a text prompt.
let text = "tell a short story"
await session.sendTextRealtime(text)
var outputText = ""
for try await message in session.responses {
if case let .content(content) = message.payload {
content.modelTurn?.parts.forEach { part in
if let part = part as? InlineDataPart, part.mimeType.starts(with: "audio/pcm") {
// Handle 16-bit PCM audio data at 24 kHz.
playAudio(part.data)
}
}
// Optional: if you don't need to send more requests.
if content.isTurnComplete {
await session.close()
}
}
}
} catch {
fatalError(error.localizedDescription)
}
Kotlin
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি AUDIO তে সেট করুন।
// Initialize the Gemini Developer API backend service.
// Create a `liveModel` instance with a model that supports the Live API.
val liveModel = Firebase.ai(backend = GenerativeBackend.googleAI()).liveModel(
modelName = "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
generationConfig = liveGenerationConfig {
responseModality = ResponseModality.AUDIO
}
)
val session = liveModel.connect()
// Provide a text prompt.
val text = "tell a short story"
session.send(text)
session.receive().collect {
if(it.turnComplete) {
// Optional: if you don't need to send more requests.
session.stopReceiving();
}
// Handle 16bit pcm audio data at 24khz.
playAudio(it.data)
}
Java
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি AUDIO তে সেট করুন।
ExecutorService executor = Executors.newFixedThreadPool(1);
// Initialize the Gemini Developer API backend service.
// Create a `liveModel` instance with a model that supports the Live API.
LiveGenerativeModel lm = FirebaseAI.getInstance(GenerativeBackend.googleAI()).liveModel(
"gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
new LiveGenerationConfig.Builder()
.setResponseModality(ResponseModality.AUDIO)
.build()
);
LiveModelFutures model = LiveModelFutures.from(lm);
ListenableFuture<LiveSession> sessionFuture = model.connect();
class LiveContentResponseSubscriber implements Subscriber<LiveContentResponse> {
@Override
public void onSubscribe(Subscription s) {
s.request(Long.MAX_VALUE); // Request an unlimited number of items
}
@Override
public void onNext(LiveContentResponse liveContentResponse) {
// Handle 16bit pcm audio data at 24khz.
liveContentResponse.getData();
}
@Override
public void onError(Throwable t) {
System.err.println("Error: " + t.getMessage());
}
@Override
public void onComplete() {
System.out.println("Done receiving messages!");
}
}
Futures.addCallback(sessionFuture, new FutureCallback<LiveSession>() {
@Override
public void onSuccess(LiveSession ses) {
LiveSessionFutures session = LiveSessionFutures.from(ses);
// Provide a text prompt.
String text = "tell me a short story?";
session.send(text);
Publisher<LiveContentResponse> publisher = session.receive();
publisher.subscribe(new LiveContentResponseSubscriber());
}
@Override
public void onFailure(Throwable t) {
// Handle exceptions
}
}, executor);
Web
Live API ব্যবহার করতে, একটি LiveGenerativeModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি AUDIO তে সেট করুন।
import { initializeApp } from "firebase/app";
import { getAI, getLiveGenerativeModel, GoogleAIBackend, ResponseModality } from "firebase/ai";
// TODO(developer): Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
// ...
};
// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service.
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Create a `LiveGenerativeModel` instance with a model that supports the Live API.
const liveModel = getLiveGenerativeModel(ai, {
model: "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio
generationConfig: {
responseModalities: [ResponseModality.AUDIO],
},
});
const session = await liveModel.connect();
// Provide a text prompt.
const prompt = "tell a short story";
session.send(prompt);
// Handle the model's audio output.
const messages = session.receive();
for await (const message of messages) {
switch (message.type) {
case "serverContent":
if (message.turnComplete) {
// TODO(developer): Handle turn completion
} else if (message.interrupted) {
// TODO(developer): Handle the interruption
break;
} else if (message.modelTurn) {
const parts = message.modelTurn?.parts;
parts?.forEach((part) => {
if (part.inlineData) {
// TODO(developer): Play the audio chunk
}
});
}
break;
case "toolCall":
// Ignore
case "toolCallCancellation":
// Ignore
}
}
Dart
Live API ব্যবহার করতে, একটি LiveGenerativeModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি audio সেট করুন।
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
import 'dart:async';
import 'dart:typed_data';
late LiveModelSession _session;
Future<Stream<Uint8List>> textToAudio(String textPrompt) async {
WidgetsFlutterBinding.ensureInitialized();
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Gemini Developer API backend service.
// Create a `liveGenerativeModel` instance with a model that supports the Live API.
final liveModel = FirebaseAI.googleAI().liveGenerativeModel(
model: 'gemini-2.5-flash-native-audio-preview-12-2025',
// Configure the model to respond with audio.
liveGenerationConfig: LiveGenerationConfig(
responseModalities: [ResponseModalities.audio],
),
);
_session = await liveModel.connect();
final prompt = Content.text(textPrompt);
await _session.send(input: prompt);
return _session.receive().asyncMap((response) async {
if (response is LiveServerContent && response.modelTurn?.parts != null) {
for (final part in response.modelTurn!.parts) {
if (part is InlineDataPart) {
return part.bytes;
}
}
}
throw Exception('Audio data not found');
});
}
Future<void> main() async {
try {
final audioStream = await textToAudio('Convert this text to audio.');
await for (final audioData in audioStream) {
// Process the audio data (e.g., play it using an audio player package).
print('Received audio data: ${audioData.length} bytes');
// Example using flutter_sound (replace with your chosen package):
// await _flutterSoundPlayer.startPlayer(fromDataBuffer: audioData);
}
} catch (e) {
print('Error: $e');
}
}
ঐক্য
Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং রেসপন্স মোডালিটি Audio তে সেট করুন।
using Firebase;
using Firebase.AI;
async Task SendTextReceiveAudio() {
// Initialize the Gemini Developer API backend service.
// Create a `LiveModel` instance with a model that supports the Live API.
var liveModel = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI()).GetLiveModel(
modelName: "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio.
liveGenerationConfig: new LiveGenerationConfig(
responseModalities: new[] { ResponseModality.Audio })
);
LiveSession session = await liveModel.ConnectAsync();
// Provide a text prompt.
var prompt = ModelContent.Text("Convert this text to audio.");
await session.SendAsync(content: prompt, turnComplete: true);
// Start receiving the response.
await ReceiveAudio(session);
}
Queue<float> audioBuffer = new();
async Task ReceiveAudio(LiveSession session) {
int sampleRate = 24000;
int channelCount = 1;
// Create a looping AudioClip to fill with the received audio data.
int bufferSamples = (int)(sampleRate * channelCount);
AudioClip clip = AudioClip.Create("StreamingPCM", bufferSamples, channelCount,
sampleRate, true, OnAudioRead);
// Attach the clip to an AudioSource and start playing it.
AudioSource audioSource = GetComponent<AudioSource>();
audioSource.clip = clip;
audioSource.loop = true;
audioSource.Play();
// Start receiving the response.
await foreach (var message in session.ReceiveAsync()) {
// Process the received message.
foreach (float[] pcmData in message.AudioAsFloat) {
lock (audioBuffer) {
foreach (float sample in pcmData) {
audioBuffer.Enqueue(sample);
}
}
}
}
}
// This method is called by the AudioClip to load audio data.
private void OnAudioRead(float[] data) {
int samplesToProvide = data.Length;
int samplesProvided = 0;
lock(audioBuffer) {
while (samplesProvided < samplesToProvide && audioBuffer.Count > 0) {
data[samplesProvided] = audioBuffer.Dequeue();
samplesProvided++;
}
}
while (samplesProvided < samplesToProvide) {
data[samplesProvided] = 0.0f;
samplesProvided++;
}
}
মনে রাখবেন যে, একটি সক্রিয় সেশন চলাকালীন আপনি পর্যায়ক্রমিক কন্টেন্ট আপডেট হিসেবেও টেক্সট পাঠাতে পারেন।
ভিডিও + অডিও ইনপুট স্ট্রিম করুন
ইনপুট ভিডিও কন্টেন্ট প্রদান করলে তা ইনপুট অডিওর জন্য একটি দৃশ্যগত প্রেক্ষাপট তৈরি করে।
Live API একাধিক বিচ্ছিন্ন ইমেজ ফ্রেমের একটি ক্রম আশা করে এবং প্রতি সেকেন্ডে ১ ফ্রেম (FPS) হারে ভিডিও ফ্রেম ইনপুট সমর্থন করে।
সুপারিশকৃত ইনপুট : নেটিভ ৭৬৮x৭৬৮ রেজোলিউশন, ১ এফপিএস।
সমর্থিত MIME টাইপসমূহ :
video/x-flv,video/quicktime,video/mpeg,video/mpegs,video/mpg,video/mp4,video/webm,video/wmv,video/3gpp
স্ট্রিমিং ভিডিও ও অডিও ইনপুট একটি আরও উন্নত বাস্তবায়ন, তাই এই সক্ষমতাটি কীভাবে প্রয়োগ করতে হয় তা শিখতে একটি নমুনা অ্যাপ দেখুন: সুইফট - শীঘ্রই আসছে! | অ্যান্ড্রয়েড - নমুনা অ্যাপ | ওয়েব - শীঘ্রই আসছে! | ফ্লাটার - নমুনা অ্যাপ | ইউনিটি - শীঘ্রই আসছে!
অসমর্থিত বৈশিষ্ট্য
Live API ব্যবহার করার ক্ষেত্রে কিছু ফিচার এখনও ফায়ারবেস এআই লজিক দ্বারা সমর্থিত নয়, তবে সেগুলো শীঘ্রই আসছে!
বাধা সামলানো
ভয়েস অ্যাক্টিভিটি ডিটেকশন (VAD) নিষ্ক্রিয় এবং কনফিগার করা
ইনপুট মিডিয়া রেজোলিউশন সেট করা
একটি চিন্তার বিন্যাস যোগ করা
আবেগপূর্ণ সংলাপ বা সক্রিয় অডিও সক্ষম করা
প্রতিক্রিয়ায়
UsageMetadataগ্রহণ করা হচ্ছে
Live API ব্যবহার করার সময় ফায়ারবেস এআই লজিক এমন কিছু ফিচার সমর্থন করে না , এবং বর্তমানে সেগুলো আনার কোনো পরিকল্পনা নেই।
সার্ভার প্রম্পট টেমপ্লেট
হাইব্রিড বা অন-ডিভাইস ইনফারেন্স
Firebase কনসোলে এআই মনিটরিং
তুমি আর কী করতে পারো?
ট্রান্সক্রিপশন যোগ করা বা প্রতিক্রিয়ার কণ্ঠস্বর সেট করার মতো বিভিন্ন কনফিগারেশন অপশন ব্যবহার করে আপনার বাস্তবায়নটি কাস্টমাইজ করুন।
সেশন পরিচালনা সম্পর্কে জানুন, যার মধ্যে রয়েছে সেশনের মাঝপথে কন্টেন্ট আপডেট করা, কনটেক্সট উইন্ডো সংকুচিত করা, সেশন কখন শেষ হতে চলেছে তা শনাক্ত করা এবং সেশন পুনরায় শুরু করা।
মডেলকে ফাংশন কলিং এবং
Google Search মাধ্যমে গ্রাউন্ডিং-এর মতো টুল ব্যবহারের সুযোগ দিয়ে আপনার ইমপ্লিমেন্টেশনকে আরও শক্তিশালী করুন। Live API সাথে টুলগুলো ব্যবহারের জন্য অফিশিয়াল ডকুমেন্টেশন শীঘ্রই আসছে!Live API ব্যবহারের সীমাবদ্ধতা এবং নির্দিষ্টকরণ সম্পর্কে জানুন, যেমন সেশনের দৈর্ঘ্য, রেট লিমিট, সমর্থিত ভাষা ইত্যাদি।