Gemini লাইভ API ব্যবহার করে দ্বিমুখী স্ট্রিমিং, Gemini লাইভ API ব্যবহার করে দ্বিমুখী স্ট্রিমিং


Gemini Live API জেমিনির সাথে কম-বিলম্বিত দ্বিমুখী টেক্সট এবং ভয়েস ইন্টারঅ্যাকশন সক্ষম করে। Live API ব্যবহার করে, আপনি শেষ ব্যবহারকারীদের প্রাকৃতিক, মানুষের মতো ভয়েস কথোপকথনের অভিজ্ঞতা প্রদান করতে পারেন, টেক্সট বা ভয়েস কমান্ড ব্যবহার করে মডেলের প্রতিক্রিয়াগুলিকে বাধাগ্রস্ত করার ক্ষমতা সহ। মডেলটি টেক্সট এবং অডিও ইনপুট প্রক্রিয়া করতে পারে (ভিডিও শীঘ্রই আসছে!), এবং এটি টেক্সট এবং অডিও আউটপুট প্রদান করতে পারে।

আপনি Google AI Studio অথবা Vertex AI Studio- তে প্রম্পট এবং Live API ব্যবহার করে প্রোটোটাইপ তৈরি করতে পারেন।

Live API হলো একটি স্টেটফুল এপিআই যা ক্লায়েন্ট এবং জেমিনি সার্ভারের মধ্যে একটি সেশন স্থাপনের জন্য একটি ওয়েবসকেট সংযোগ তৈরি করে। বিস্তারিত জানার জন্য, Live API রেফারেন্স ডকুমেন্টেশন ( জেমিনি ডেভেলপার এপিআই |ভার্টেক্স এআই জেমিনি এপিআই ) দেখুন।

শুরু করার আগে

এই পৃষ্ঠায় প্রোভাইডার-নির্দিষ্ট কন্টেন্ট এবং কোড দেখতে আপনার জেমিনি API প্রোভাইডারে ক্লিক করুন।

যদি আপনি ইতিমধ্যেই না করে থাকেন, তাহলে শুরু করার নির্দেশিকাটি সম্পূর্ণ করুন, যেখানে আপনার Firebase প্রকল্পটি কীভাবে সেট আপ করবেন, আপনার অ্যাপটি Firebase-এর সাথে সংযুক্ত করবেন, SDK যোগ করবেন, আপনার নির্বাচিত Gemini API প্রদানকারীর জন্য ব্যাকএন্ড পরিষেবাটি শুরু করবেন এবং একটি LiveModel ইনস্ট্যান্স তৈরি করবেন তা বর্ণনা করা হয়েছে।

এই ক্ষমতা সমর্থন করে এমন মডেলগুলি

Live API সমর্থনকারী মডেলগুলি আপনার নির্বাচিত জেমিনি এপিআই সরবরাহকারীর উপর নির্ভর করে।

  • জেমিনি ডেভেলপার এপিআই

    • gemini-live-2.5-flash (ব্যক্তিগত জিএ * )
    • gemini-live-2.5-flash-preview
    • gemini-2.0-flash-live-001
    • gemini-2.0-flash-live-preview-04-09

  • ভার্টেক্স এআই জেমিনি এপিআই

    • gemini-live-2.5-flash (ব্যক্তিগত জিএ * )
    • gemini-2.0-flash-live-preview-04-09 (শুধুমাত্র us-central1 এ অ্যাক্সেস করার জন্য উপলব্ধ)

মনে রাখবেন যে Live API এর 2.5 মডেল নামের জন্য, live সেগমেন্টটি gemini সেগমেন্টের সাথে সাথেই আসে।

* অ্যাক্সেসের অনুরোধ করতে আপনার Google Cloud অ্যাকাউন্ট টিম প্রতিনিধির সাথে যোগাযোগ করুন।

Live API এর স্ট্যান্ডার্ড বৈশিষ্ট্যগুলি ব্যবহার করুন

এই বিভাগে Live API এর স্ট্যান্ডার্ড বৈশিষ্ট্যগুলি কীভাবে ব্যবহার করতে হয়, বিশেষ করে বিভিন্ন ধরণের ইনপুট এবং আউটপুট স্ট্রিম করার জন্য বর্ণনা করা হয়েছে:

স্ট্রিম করা টেক্সট ইনপুট থেকে স্ট্রিম করা টেক্সট তৈরি করুন

এই নমুনাটি চেষ্টা করার আগে, আপনার প্রকল্প এবং অ্যাপ সেট আপ করতে এই নির্দেশিকার "শুরু করার আগে" বিভাগটি সম্পূর্ণ করুন।
সেই বিভাগে, আপনি আপনার নির্বাচিত Gemini API প্রদানকারীর জন্য একটি বোতামে ক্লিক করবেন যাতে আপনি এই পৃষ্ঠায় প্রদানকারী-নির্দিষ্ট সামগ্রী দেখতে পান ।

আপনি স্ট্রিমড টেক্সট ইনপুট পাঠাতে এবং স্ট্রিমড টেক্সট আউটপুট গ্রহণ করতে পারেন। একটি liveModel ইনস্ট্যান্স তৈরি করতে ভুলবেন না এবং প্রতিক্রিয়া মোডালিটি Text এ সেট করুন।

সুইফট 


import FirebaseAI

// Initialize the Gemini Developer API backend service
// Create a `LiveModel` instance with the flash-live model (only model that supports the Live API)
let model = FirebaseAI.firebaseAI(backend: .googleAI()).liveModel(
  modelName: "gemini-2.0-flash-live-preview-04-09",
  // Configure the model to respond with text
  generationConfig: LiveGenerationConfig(
    responseModalities: [.text]
  )
)

do {
  let session = try await model.connect()

  // Provide a text prompt
  let text = "tell a short story"

  await session.sendTextRealtime(text)

  var outputText = ""
  for try await message in session.responses {
    if case let .content(content) = message.payload {
      content.modelTurn?.parts.forEach { part in
        if let part = part as? TextPart {
          outputText += part.text
        }
      }
      // Optional: if you don't require to send more requests.
      if content.isTurnComplete {
        await session.close()
      }
    }
  }

  // Output received from the server.
  print(outputText)
} catch {
  fatalError(error.localizedDescription)
}

Kotlin 


// Initialize the Gemini Developer API backend service
// Create a `LiveModel` instance with the flash-live model (only model that supports the Live API)
val model = Firebase.ai(backend = GenerativeBackend.googleAI()).liveModel(
    modelName = "gemini-2.0-flash-live-preview-04-09",
    // Configure the model to respond with text
    generationConfig = liveGenerationConfig {
        responseModality = ResponseModality.TEXT 
   }
)

val session = model.connect()

// Provide a text prompt
val text = "tell a short story"

session.send(text)

var outputText = ""
session.receive().collect {
    if(it.turnComplete) {
        // Optional: if you don't require to send more requests.
        session.stopReceiving();
    }
    outputText = outputText + it.text
}

// Output received from the server.
println(outputText)

Java 


ExecutorService executor = Executors.newFixedThreadPool(1);
// Initialize the Gemini Developer API backend service
// Create a `LiveModel` instance with the flash-live model (only model that supports the Live API)
LiveGenerativeModel lm = FirebaseAI.getInstance(GenerativeBackend.googleAI()).liveModel(
        "gemini-2.0-flash-live-preview-04-09",
        // Configure the model to respond with text
        new LiveGenerationConfig.Builder()
                .setResponseModalities(ResponseModality.TEXT)
                .build()
);
LiveModelFutures model = LiveModelFutures.from(lm);
ListenableFuture<LiveSession> sessionFuture =  model.connect();
class LiveContentResponseSubscriber implements Subscriber<LiveContentResponse> {
    @Override
    public void onSubscribe(Subscription s) {
        s.request(Long.MAX_VALUE); // Request an unlimited number of items
    }
    @Override
    public void onNext(LiveContentResponse liveContentResponse) {
       // Handle the response from the server.
	System.out.println(liveContentResponse.getText());
    }
    @Override
    public void onError(Throwable t) {
        System.err.println("Error: " + t.getMessage());
    }
    @Override
    public void onComplete() {
        System.out.println("Done receiving messages!");
    }
}
Futures.addCallback(sessionFuture, new FutureCallback<LiveSession>() {
    @Override
    public void onSuccess(LiveSession ses) {
	  LiveSessionFutures session = LiveSessionFutures.from(ses);
        // Provide a text prompt
        String text = "tell me a short story?";
        session.send(text);
        Publisher<LiveContentResponse> publisher = session.receive();
        publisher.subscribe(new LiveContentResponseSubscriber());
    }
    @Override
    public void onFailure(Throwable t) {
        // Handle exceptions
    }
}, executor);

Web 


// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

// Create a `LiveGenerativeModel` instance with the flash-live model (only model that supports the Live API)
const model = getLiveGenerativeModel(ai, {
  model: "gemini-2.0-flash-live-preview-04-09",
  // Configure the model to respond with text
  generationConfig: {
    responseModalities: [ResponseModality.TEXT],
  },
});

const session = await model.connect();

// Provide a text prompt
const prompt = "tell a short story";
session.send(prompt);

// Collect text from model's turn
let text = "";
const messages = session.receive();
for await (const message of messages) {
  switch (message.type) {
    case "serverContent":
      if (message.turnComplete) {
        console.log(text);
      } else {
        const parts = message.modelTurn?.parts;
        if (parts) {
          text += parts.map((part) => part.text).join("");
        }
      }
      break;
    case "toolCall":
      // Ignore
    case "toolCallCancellation":
      // Ignore
  }
}

Dart 


import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';

late LiveModelSession _session;

await Firebase.initializeApp(
  options: DefaultFirebaseOptions.currentPlatform,
);

// Initialize the Gemini Developer API backend service
// Create a `LiveModel` instance with the flash-live model (only model that supports the Live API)
final model = FirebaseAI.googleAI().liveGenerativeModel(
  model: 'gemini-2.0-flash-live-preview-04-09',
  // Configure the model to respond with text
  liveGenerationConfig: LiveGenerationConfig(responseModalities: [ResponseModalities.text]),
);

_session = await model.connect();

// Provide a text prompt
final prompt = Content.text('tell a short story');
await _session.send(input: prompt, turnComplete: true);

// In a separate thread, receive the response
await for (final message in _session.receive()) {
   // Process the received message
}

ঐক্য 


using Firebase;
using Firebase.AI;

async Task SendTextReceiveText() {
  // Initialize the Gemini Developer API backend service
  // Create a `LiveModel` instance with the flash-live model (only model that supports the Live API)
  var model = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI()).GetLiveModel(
    modelName: "gemini-2.0-flash-live-preview-04-09",
    // Configure the model to respond with text
    liveGenerationConfig: new LiveGenerationConfig(
        responseModalities: new[] { ResponseModality.Text })
  );

  LiveSession session = await model.ConnectAsync();

  // Provide a text prompt
  var prompt = ModelContent.Text("tell a short story");
  await session.SendAsync(content: prompt, turnComplete: true);

  // Receive the response
  await foreach (var message in session.ReceiveAsync()) {
    // Process the received message
    if (!string.IsNullOrEmpty(message.Text)) {
      UnityEngine.Debug.Log("Received message: " + message.Text);
    }
  }
}

স্ট্রিম করা অডিও ইনপুট থেকে স্ট্রিম করা অডিও তৈরি করুন

এই নমুনাটি চেষ্টা করার আগে, আপনার প্রকল্প এবং অ্যাপ সেট আপ করতে এই নির্দেশিকার "শুরু করার আগে" বিভাগটি সম্পূর্ণ করুন।
সেই বিভাগে, আপনি আপনার নির্বাচিত Gemini API প্রদানকারীর জন্য একটি বোতামে ক্লিক করবেন যাতে আপনি এই পৃষ্ঠায় প্রদানকারী-নির্দিষ্ট সামগ্রী দেখতে পান ।

আপনি স্ট্রিমড অডিও ইনপুট পাঠাতে এবং স্ট্রিমড অডিও আউটপুট গ্রহণ করতে পারেন। একটি LiveModel ইনস্ট্যান্স তৈরি করতে ভুলবেন না এবং প্রতিক্রিয়া মোডালিটি Audio তে সেট করুন।

প্রতিক্রিয়া ভয়েস কীভাবে কনফিগার এবং কাস্টমাইজ করবেন তা শিখুন (এই পৃষ্ঠায় পরে)।

সুইফট 


import FirebaseAI

// Initialize the Gemini Developer API backend service
// Create a `LiveModel` instance with the flash-live model (only model that supports the Live API)
let model = FirebaseAI.firebaseAI(backend: .googleAI()).liveModel(
  modelName: "gemini-2.0-flash-live-preview-04-09",
  // Configure the model to respond with audio
  generationConfig: LiveGenerationConfig(
    responseModalities: [.audio]
  )
)

do {
  let session = try await model.connect()

  // Load the audio file, or tap a microphone
  guard let audioFile = NSDataAsset(name: "audio.pcm") else {
    fatalError("Failed to load audio file")
  }

  // Provide the audio data
  await session.sendAudioRealtime(audioFile.data)

  var outputText = ""
  for try await message in session.responses {
    if case let .content(content) = message.payload {
      content.modelTurn?.parts.forEach { part in
        if let part = part as? InlineDataPart, part.mimeType.starts(with: "audio/pcm") {
          // Handle 16bit pcm audio data at 24khz
          playAudio(part.data)
        }
      }
      // Optional: if you don't require to send more requests.
      if content.isTurnComplete {
        await session.close()
      }
    }
  }
} catch {
  fatalError(error.localizedDescription)
}

Kotlin 


// Initialize the Gemini Developer API backend service
// Create a `LiveModel` instance with the flash-live model (only model that supports the Live API)
val model = Firebase.ai(backend = GenerativeBackend.googleAI()).liveModel(
    modelName = "gemini-2.0-flash-live-preview-04-09",
    // Configure the model to respond with text
    generationConfig = liveGenerationConfig {
        responseModality = ResponseModality.AUDIO 
   }
)

val session = model.connect()

// This is the recommended way.
// However, you can create your own recorder and handle the stream.
session.startAudioConversation()

Java 


ExecutorService executor = Executors.newFixedThreadPool(1);
// Initialize the Gemini Developer API backend service
// Create a `LiveModel` instance with the flash-live model (only model that supports the Live API)
LiveGenerativeModel lm = FirebaseAI.getInstance(GenerativeBackend.googleAI()).liveModel(
        "gemini-2.0-flash-live-preview-04-09",
        // Configure the model to respond with text
        new LiveGenerationConfig.Builder()
                .setResponseModalities(ResponseModality.TEXT)
                .build()
);
LiveModelFutures model = LiveModelFutures.from(lm);
ListenableFuture<LiveSession> sessionFuture =  model.connect();

Futures.addCallback(sessionFuture, new FutureCallback<LiveSession>() {
    @Override
    public void onSuccess(LiveSession ses) {
	 LiveSessionFutures session = LiveSessionFutures.from(ses);
        session.startAudioConversation();
    }
    @Override
    public void onFailure(Throwable t) {
        // Handle exceptions
    }
}, executor);

Web 


// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

// Create a `LiveGenerativeModel` instance with the flash-live model (only model that supports the Live API)
const model = getLiveGenerativeModel(ai, {
  model: "gemini-2.0-flash-live-preview-04-09",
  // Configure the model to respond with audio
  generationConfig: {
    responseModalities: [ResponseModality.AUDIO],
  },
});

const session = await model.connect();

// Start the audio conversation
const audioConversationController = await startAudioConversation(session);

// ... Later, to stop the audio conversation
// await audioConversationController.stop()

Dart 


import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
import 'package:your_audio_recorder_package/your_audio_recorder_package.dart';

late LiveModelSession _session;
final _audioRecorder = YourAudioRecorder();

await Firebase.initializeApp(
  options: DefaultFirebaseOptions.currentPlatform,
);

// Initialize the Gemini Developer API backend service
// Create a `LiveModel` instance with the flash-live model (only model that supports the Live API)
final model = FirebaseAI.googleAI().liveGenerativeModel(
  model: 'gemini-2.0-flash-live-preview-04-09',
   // Configure the model to respond with audio
   liveGenerationConfig: LiveGenerationConfig(responseModalities: [ResponseModalities.audio]),
);

_session = await model.connect();

final audioRecordStream = _audioRecorder.startRecordingStream();
// Map the Uint8List stream to InlineDataPart stream
final mediaChunkStream = audioRecordStream.map((data) {
  return InlineDataPart('audio/pcm', data);
});
await _session.startMediaStream(mediaChunkStream);

// In a separate thread, receive the audio response from the model
await for (final message in _session.receive()) {
   // Process the received message
}

ঐক্য 


using Firebase;
using Firebase.AI;

async Task SendTextReceiveAudio() {
  // Initialize the Gemini Developer API backend service
  // Create a `LiveModel` instance with the flash-live model (only model that supports the Live API)
  var model = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI()).GetLiveModel(
    modelName: "gemini-2.0-flash-live-preview-04-09",
    // Configure the model to respond with audio
    liveGenerationConfig: new LiveGenerationConfig(
        responseModalities: new[] { ResponseModality.Audio })
  );

  LiveSession session = await model.ConnectAsync();

  // Start a coroutine to send audio from the Microphone
  var recordingCoroutine = StartCoroutine(SendAudio(session));

  // Start receiving the response
  await ReceiveAudio(session);
}

IEnumerator SendAudio(LiveSession liveSession) {
  string microphoneDeviceName = null;
  int recordingFrequency = 16000;
  int recordingBufferSeconds = 2;

  var recordingClip = Microphone.Start(microphoneDeviceName, true,
                                       recordingBufferSeconds, recordingFrequency);

  int lastSamplePosition = 0;
  while (true) {
    if (!Microphone.IsRecording(microphoneDeviceName)) {
      yield break;
    }

    int currentSamplePosition = Microphone.GetPosition(microphoneDeviceName);

    if (currentSamplePosition != lastSamplePosition) {
      // The Microphone uses a circular buffer, so we need to check if the
      // current position wrapped around to the beginning, and handle it
      // accordingly.
      int sampleCount;
      if (currentSamplePosition > lastSamplePosition) {
        sampleCount = currentSamplePosition - lastSamplePosition;
      } else {
        sampleCount = recordingClip.samples - lastSamplePosition + currentSamplePosition;
      }

      if (sampleCount > 0) {
        // Get the audio chunk
        float[] samples = new float[sampleCount];
        recordingClip.GetData(samples, lastSamplePosition);

        // Send the data, discarding the resulting Task to avoid the warning
        _ = liveSession.SendAudioAsync(samples);

        lastSamplePosition = currentSamplePosition;
      }
    }

    // Wait for a short delay before reading the next sample from the Microphone
    const float MicrophoneReadDelay = 0.5f;
    yield return new WaitForSeconds(MicrophoneReadDelay);
  }
}

Queue audioBuffer = new();

async Task ReceiveAudio(LiveSession liveSession) {
  int sampleRate = 24000;
  int channelCount = 1;

  // Create a looping AudioClip to fill with the received audio data
  int bufferSamples = (int)(sampleRate * channelCount);
  AudioClip clip = AudioClip.Create("StreamingPCM", bufferSamples, channelCount,
                                    sampleRate, true, OnAudioRead);

  // Attach the clip to an AudioSource and start playing it
  AudioSource audioSource = GetComponent();
  audioSource.clip = clip;
  audioSource.loop = true;
  audioSource.Play();

  // Start receiving the response
  await foreach (var message in liveSession.ReceiveAsync()) {
    // Process the received message
    foreach (float[] pcmData in message.AudioAsFloat) {
      lock (audioBuffer) {
        foreach (float sample in pcmData) {
          audioBuffer.Enqueue(sample);
        }
      }
    }
  }
}

// This method is called by the AudioClip to load audio data.
private void OnAudioRead(float[] data) {
  int samplesToProvide = data.Length;
  int samplesProvided = 0;

  lock(audioBuffer) {
    while (samplesProvided < samplesToProvide && audioBuffer.Count > 0) {
      data[samplesProvided] = audioBuffer.Dequeue();
      samplesProvided++;
    }
  }

  while (samplesProvided < samplesToProvide) {
    data[samplesProvided] = 0.0f;
    samplesProvided++;
  }
}


আরও আকর্ষণীয় এবং ইন্টারেক্টিভ অভিজ্ঞতা তৈরি করুন

এই বিভাগটি বর্ণনা করে কিভাবে Live API এর আরও আকর্ষণীয় বা ইন্টারেক্টিভ বৈশিষ্ট্য তৈরি এবং পরিচালনা করা যায়।

প্রতিক্রিয়ার ভয়েস পরিবর্তন করুন

Live API সংশ্লেষিত বক্তৃতা প্রতিক্রিয়া সমর্থন করার জন্য Chirp 3 ব্যবহার করে। Firebase AI Logic ব্যবহার করার সময়, আপনি বিভিন্ন HD ভয়েস ভাষায় অডিও পাঠাতে পারেন। প্রতিটি ভয়েস কেমন শোনাচ্ছে তার সম্পূর্ণ তালিকা এবং ডেমোর জন্য, Chirp 3: HD ভয়েস দেখুন।

একটি ভয়েস নির্দিষ্ট করতে, মডেল কনফিগারেশনের অংশ হিসেবে speechConfig অবজেক্টের মধ্যে ভয়েসের নাম সেট করুন। যদি আপনি একটি ভয়েস নির্দিষ্ট না করেন, তাহলে ডিফল্ট Puck হবে।

এই নমুনাটি চেষ্টা করার আগে, আপনার প্রকল্প এবং অ্যাপ সেট আপ করতে এই নির্দেশিকার "শুরু করার আগে" বিভাগটি সম্পূর্ণ করুন।
সেই বিভাগে, আপনি আপনার নির্বাচিত Gemini API প্রদানকারীর জন্য একটি বোতামে ক্লিক করবেন যাতে আপনি এই পৃষ্ঠায় প্রদানকারী-নির্দিষ্ট সামগ্রী দেখতে পান ।

সুইফট 


import FirebaseAI
// ...

let model = FirebaseAI.firebaseAI(backend: .googleAI()).liveModel(
  modelName: "gemini-2.0-flash-live-preview-04-09",
  // Configure the model to use a specific voice for its audio response
  generationConfig: LiveGenerationConfig(
    responseModalities: [.audio],
    speech: SpeechConfig(voiceName: "VOICE_NAME")
  )
)

// ...

Kotlin 


// ...

val model = Firebase.ai(backend = GenerativeBackend.googleAI()).liveModel(
    modelName = "gemini-2.0-flash-live-preview-04-09",
    // Configure the model to use a specific voice for its audio response
    generationConfig = liveGenerationConfig {
        responseModality = ResponseModality.AUDIO
        speechConfig = SpeechConfig(voice = Voice("VOICE_NAME"))
    }
)

// ...

Java 


// ...

LiveModel model = FirebaseAI.getInstance(GenerativeBackend.googleAI()).liveModel(
    "gemini-2.0-flash-live-preview-04-09",
    // Configure the model to use a specific voice for its audio response
    new LiveGenerationConfig.Builder()
        .setResponseModalities(ResponseModality.AUDIO)
        .setSpeechConfig(new SpeechConfig(new Voice("VOICE_NAME")))
        .build()
);

// ...

Web 


// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

// Create a `LiveModel` instance with the flash-live model (only model that supports the Live API)
const model = getLiveGenerativeModel(ai, {
  model: "gemini-2.0-flash-live-preview-04-09",
  // Configure the model to use a specific voice for its audio response
  generationConfig: {
    responseModalities: [ResponseModality.AUDIO],
    speechConfig: {
      voiceConfig: {
        prebuiltVoiceConfig: { voiceName: "VOICE_NAME" },
      },
    },
  },
});

Dart 


// ...

final model = FirebaseAI.googleAI().liveGenerativeModel(
  model: 'gemini-2.0-flash-live-preview-04-09',
  // Configure the model to use a specific voice for its audio response
  liveGenerationConfig: LiveGenerationConfig(
    responseModalities: ResponseModalities.audio,
    speechConfig: SpeechConfig(voiceName: 'VOICE_NAME'),
  ),
);

// ...

ঐক্য 


var model = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI()).GetLiveModel(
  modelName: "gemini-2.0-flash-live-preview-04-09",
  liveGenerationConfig: new LiveGenerationConfig(
    responseModalities: new[] { ResponseModality.Audio },
    speechConfig: SpeechConfig.UsePrebuiltVoice("VOICE_NAME"))
);

মডেলটিকে ইংরেজি নয় এমন ভাষায় প্রম্পট করার এবং সাড়া দেওয়ার সময় সর্বোত্তম ফলাফলের জন্য, আপনার সিস্টেমের নির্দেশাবলীর অংশ হিসাবে নিম্নলিখিতগুলি অন্তর্ভুক্ত করুন: 

RESPOND IN LANGUAGE. YOU MUST RESPOND UNMISTAKABLY IN LANGUAGE.

সেশন এবং অনুরোধ জুড়ে প্রসঙ্গ বজায় রাখুন

সেশন এবং অনুরোধ জুড়ে প্রসঙ্গ বজায় রাখার জন্য আপনি একটি চ্যাট কাঠামো ব্যবহার করতে পারেন। মনে রাখবেন যে এটি শুধুমাত্র টেক্সট ইনপুট এবং টেক্সট আউটপুটের জন্য কাজ করে।

এই পদ্ধতিটি সংক্ষিপ্ত প্রেক্ষাপটের জন্য সবচেয়ে ভালো; আপনি ঘটনার সঠিক ক্রম উপস্থাপনের জন্য পর্যায়ক্রমে ইন্টারঅ্যাকশন পাঠাতে পারেন। দীর্ঘ প্রেক্ষাপটের জন্য, আমরা পরবর্তী ইন্টারঅ্যাকশনের জন্য প্রেক্ষাপট উইন্ডো খালি করার জন্য একটি একক বার্তার সারাংশ প্রদান করার পরামর্শ দিই।

বাধাগুলি পরিচালনা করুন

ফায়ারবেস এআই লজিক এখনও বাধাগুলি পরিচালনা করতে সহায়তা করে না । শীঘ্রই আবার পরীক্ষা করুন!

ফাংশন কলিং (টুল) ব্যবহার করুন

আপনি স্ট্যান্ডার্ড কন্টেন্ট জেনারেশন পদ্ধতির মতো লাইভ API-এর সাথে ব্যবহারের জন্য উপলব্ধ ফাংশনের মতো টুলগুলি সংজ্ঞায়িত করতে পারেন। এই বিভাগে ফাংশন কলিংয়ের সাথে লাইভ API ব্যবহার করার সময় কিছু সূক্ষ্মতা বর্ণনা করা হয়েছে। ফাংশন কলিংয়ের সম্পূর্ণ বিবরণ এবং উদাহরণের জন্য, ফাংশন কলিং গাইড দেখুন।

একটি একক প্রম্পট থেকে, মডেলটি একাধিক ফাংশন কল এবং তাদের আউটপুট চেইন করার জন্য প্রয়োজনীয় কোড তৈরি করতে পারে। এই কোডটি একটি স্যান্ডবক্স পরিবেশে কার্যকর হয়, পরবর্তী BidiGenerateContentToolCall বার্তা তৈরি করে। প্রতিটি ফাংশন কলের ফলাফল উপলব্ধ না হওয়া পর্যন্ত কার্যকরকরণ বিরতি দেয়, যা ক্রমিক প্রক্রিয়াকরণ নিশ্চিত করে।

উপরন্তু, ফাংশন কলিং সহ লাইভ API ব্যবহার করা বিশেষভাবে শক্তিশালী কারণ মডেলটি ব্যবহারকারীর কাছ থেকে ফলো-আপ বা স্পষ্টীকরণ তথ্যের জন্য অনুরোধ করতে পারে। উদাহরণস্বরূপ, যদি মডেলটির কাছে এমন একটি ফাংশনের প্যারামিটার মান প্রদান করার জন্য পর্যাপ্ত তথ্য না থাকে যা তারা কল করতে চায়, তাহলে মডেলটি ব্যবহারকারীকে আরও বা স্পষ্টীকরণ তথ্য প্রদান করতে বলতে পারে।

ক্লায়েন্টকে BidiGenerateContentToolResponse দিয়ে প্রতিক্রিয়া জানাতে হবে।


সীমাবদ্ধতা এবং প্রয়োজনীয়তা

Live API এর নিম্নলিখিত সীমাবদ্ধতা এবং প্রয়োজনীয়তাগুলি মনে রাখবেন।

প্রতিলিপি

Firebase AI Logic এখনও ট্রান্সক্রিপশন সমর্থন করে না । শীঘ্রই আবার পরীক্ষা করুন!

ভাষাসমূহ

অডিও ফর্ম্যাট

Live API নিম্নলিখিত অডিও ফর্ম্যাটগুলিকে সমর্থন করে:

  • ইনপুট অডিও ফর্ম্যাট: ১৬kHz লিটল-এন্ডিয়ানে কাঁচা ১৬ বিট পিসিএম অডিও
  • আউটপুট অডিও ফর্ম্যাট: 24kHz লিটল-এন্ডিয়ানে কাঁচা 16 বিট PCM অডিও

হারের সীমা

Live API ফায়ারবেস প্রকল্পের জন্য সমসাময়িক সেশনের পাশাপাশি টোকেন প্রতি মিনিট (TPM) উভয়ের জন্যই হারের সীমা রয়েছে।

  • জেমিনি ডেভেলপার এপিআই :

    • আপনার প্রকল্পের জেমিনি ডেভেলপার API "ব্যবহার স্তর" এর উপর ভিত্তি করে সীমা পরিবর্তিত হয় (তাদের হার সীমা ডকুমেন্টেশন দেখুন)

  • ভার্টেক্স এআই জেমিনি এপিআই :

    • প্রতি ফায়ারবেস প্রকল্পে ৫,০০০টি একযোগে সেশন
    • প্রতি মিনিটে ৪ মিলিয়ন টোকেন

সেশনের দৈর্ঘ্য

একটি সেশনের ডিফল্ট দৈর্ঘ্য ১০ মিনিট। যখন সেশনের সময়কাল সীমা অতিক্রম করে, তখন সংযোগটি বন্ধ হয়ে যায়।

মডেলটি প্রসঙ্গের আকার দ্বারাও সীমাবদ্ধ। প্রচুর পরিমাণে ইনপুট পাঠানোর ফলে সেশনের সময়সীমা দ্রুত শেষ হতে পারে।

ভয়েস অ্যাক্টিভিটি ডিটেকশন (VAD)

মডেলটি স্বয়ংক্রিয়ভাবে একটি অবিচ্ছিন্ন অডিও ইনপুট স্ট্রিমে ভয়েস অ্যাক্টিভিটি ডিটেকশন (VAD) সম্পাদন করে। VAD ​​ডিফল্টরূপে সক্রিয় থাকে।

টোকেন গণনা

আপনি Live API এর সাথে CountTokens API ব্যবহার করতে পারবেন না।


Firebase AI Logic এর সাথে আপনার অভিজ্ঞতা সম্পর্কে মতামত দিন।