Firebase AI Logic ব্যবহার করে Gemini Live API দিয়ে শুরু করুন


Gemini Live API একটি জেমিনি মডেলের সাথে দ্বিমুখী কম-বিলম্বিতা, রিয়েল-টাইম ভয়েস এবং ভিডিও ইন্টারঅ্যাকশন সক্ষম করে।

Live API এবং এর বিশেষ মডেল পরিবারটি অডিও, ভিডিও বা টেক্সটের অবিচ্ছিন্ন স্ট্রিম প্রক্রিয়া করতে পারে যাতে তাৎক্ষণিক, মানুষের মতো কথ্য প্রতিক্রিয়া প্রদান করা যায়, যা আপনার ব্যবহারকারীদের জন্য একটি স্বাভাবিক কথোপকথনের অভিজ্ঞতা তৈরি করে।

এই পৃষ্ঠাটি বর্ণনা করে কিভাবে সবচেয়ে সাধারণ ক্ষমতা দিয়ে শুরু করতে হয় — অডিও ইনপুট এবং আউটপুট স্ট্রিমিং , কিন্তু Live API অনেকগুলি ভিন্ন ক্ষমতা এবং কনফিগারেশন বিকল্প সমর্থন করে।

Live API হলো একটি স্টেটফুল এপিআই যা ক্লায়েন্ট এবং জেমিনি সার্ভারের মধ্যে একটি সেশন স্থাপনের জন্য একটি ওয়েবসকেট সংযোগ তৈরি করে। বিস্তারিত জানার জন্য, Live API রেফারেন্স ডকুমেন্টেশন ( জেমিনি ডেভেলপার এপিআই |ভার্টেক্স এআই জেমিনি এপিআই ) দেখুন।

কোড নমুনায় যান

সহায়ক রিসোর্সগুলি দেখুন

শুরু করার আগে

যদি আপনি ইতিমধ্যেই না করে থাকেন, তাহলে শুরু করার নির্দেশিকাটি সম্পূর্ণ করুন, যেখানে আপনার Firebase প্রকল্পটি কীভাবে সেট আপ করবেন, আপনার অ্যাপটি Firebase-এর সাথে সংযুক্ত করবেন, SDK যোগ করবেন, আপনার নির্বাচিত Gemini API প্রদানকারীর জন্য ব্যাকএন্ড পরিষেবাটি শুরু করবেন এবং একটি LiveModel ইনস্ট্যান্স তৈরি করবেন তা বর্ণনা করা হয়েছে।

আপনি Google AI Studio অথবা Vertex AI Studio- তে প্রম্পট এবং Live API ব্যবহার করে প্রোটোটাইপ তৈরি করতে পারেন।

এই ক্ষমতা সমর্থন করে এমন মডেলগুলি

  • জেমিনি ডেভেলপার এপিআই

    • gemini-2.5-flash-native-audio-preview-09-2025

  • ভার্টেক্স এআই জেমিনি এপিআই

    • gemini-live-2.5-flash-preview-native-audio-09-2025

    Vertex AI Gemini API ব্যবহার করার সময়, Live API মডেলগুলি শুধুমাত্র us-central1 অবস্থানে উপলব্ধ।

অডিও ইনপুট এবং আউটপুট স্ট্রিম করুন

এই পৃষ্ঠায় প্রোভাইডার-নির্দিষ্ট কন্টেন্ট এবং কোড দেখতে আপনার জেমিনি API প্রোভাইডারে ক্লিক করুন।

নিম্নলিখিত উদাহরণটি স্ট্রিমড অডিও ইনপুট পাঠানো এবং স্ট্রিমড অডিও আউটপুট গ্রহণ করার মৌলিক বাস্তবায়ন দেখায়।

Live API জন্য অতিরিক্ত বিকল্প এবং ক্ষমতার জন্য, এই পৃষ্ঠায় পরে "আপনি আর কী করতে পারেন?" বিভাগটি পর্যালোচনা করুন।

সুইফট

Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং প্রতিক্রিয়া পদ্ধতিটি audio তে সেট করুন।


import FirebaseAILogic

// Initialize the Gemini Developer API backend service
// Create a `liveModel` instance with a model that supports the Live API
let liveModel = FirebaseAI.firebaseAI(backend: .googleAI()).liveModel(
  modelName: "gemini-2.5-flash-native-audio-preview-09-2025",
  // Configure the model to respond with audio
  generationConfig: LiveGenerationConfig(
    responseModalities: [.audio]
  )
)

do {
  let session = try await liveModel.connect()

  // Load the audio file, or tap a microphone
  guard let audioFile = NSDataAsset(name: "audio.pcm") else {
    fatalError("Failed to load audio file")
  }

  // Provide the audio data
  await session.sendAudioRealtime(audioFile.data)

  var outputText = ""
  for try await message in session.responses {
    if case let .content(content) = message.payload {
      content.modelTurn?.parts.forEach { part in
        if let part = part as? InlineDataPart, part.mimeType.starts(with: "audio/pcm") {
          // Handle 16bit pcm audio data at 24khz
          playAudio(part.data)
        }
      }
      // Optional: if you don't require to send more requests.
      if content.isTurnComplete {
        await session.close()
      }
    }
  }
} catch {
  fatalError(error.localizedDescription)
}

Kotlin

Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং প্রতিক্রিয়া পদ্ধতিটি AUDIO তে সেট করুন।


// Initialize the Gemini Developer API backend service
// Create a `liveModel` instance with a model that supports the Live API
val liveModel = Firebase.ai(backend = GenerativeBackend.googleAI()).liveModel(
    modelName = "gemini-2.5-flash-native-audio-preview-09-2025",
    // Configure the model to respond with audio
    generationConfig = liveGenerationConfig {
        responseModality = ResponseModality.AUDIO
   }
)

val session = liveModel.connect()

// This is the recommended approach.
// However, you can create your own recorder and handle the stream.
session.startAudioConversation()

Java

Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং প্রতিক্রিয়া পদ্ধতিটি AUDIO তে সেট করুন।


ExecutorService executor = Executors.newFixedThreadPool(1);
// Initialize the Gemini Developer API backend service
// Create a `liveModel` instance with a model that supports the Live API
LiveGenerativeModel lm = FirebaseAI.getInstance(GenerativeBackend.googleAI()).liveModel(
        "gemini-2.5-flash-native-audio-preview-09-2025",
        // Configure the model to respond with audio
        new LiveGenerationConfig.Builder()
                .setResponseModality(ResponseModality.AUDIO)
                .build()
);
LiveModelFutures liveModel = LiveModelFutures.from(lm);

ListenableFuture<LiveSession> sessionFuture =  liveModel.connect();

Futures.addCallback(sessionFuture, new FutureCallback<LiveSession>() {
    @Override
    public void onSuccess(LiveSession ses) {
	 LiveSessionFutures session = LiveSessionFutures.from(ses);
        session.startAudioConversation();
    }
    @Override
    public void onFailure(Throwable t) {
        // Handle exceptions
    }
}, executor);

Web

Live API ব্যবহার করতে, একটি LiveGenerativeModel ইনস্ট্যান্স তৈরি করুন এবং প্রতিক্রিয়া পদ্ধতিটি AUDIO তে সেট করুন।


import { initializeApp } from "firebase/app";
import { getAI, getLiveGenerativeModel, GoogleAIBackend, ResponseModality } from "firebase/ai";

// TODO(developer) Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
  // ...
};

// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);

// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });

// Create a `LiveGenerativeModel` instance with a model that supports the Live API
const liveModel = getLiveGenerativeModel(ai, {
  model: "gemini-2.5-flash-native-audio-preview-09-2025",
  // Configure the model to respond with audio
  generationConfig: {
    responseModalities: [ResponseModality.AUDIO],
  },
});

const session = await liveModel.connect();

// Start the audio conversation
const audioConversationController = await startAudioConversation(session);

// ... Later, to stop the audio conversation
// await audioConversationController.stop()

Dart

Live API ব্যবহার করতে, একটি LiveGenerativeModel ইনস্ট্যান্স তৈরি করুন এবং প্রতিক্রিয়া পদ্ধতিটি audio তে সেট করুন।


import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
import 'package:your_audio_recorder_package/your_audio_recorder_package.dart';

late LiveModelSession _session;
final _audioRecorder = YourAudioRecorder();

await Firebase.initializeApp(
  options: DefaultFirebaseOptions.currentPlatform,
);

// Initialize the Gemini Developer API backend service
// Create a `liveGenerativeModel` instance with a model that supports the Live API
final liveModel = FirebaseAI.googleAI().liveGenerativeModel(
  model: 'gemini-2.5-flash-native-audio-preview-09-2025',
  // Configure the model to respond with audio
  liveGenerationConfig: LiveGenerationConfig(
    responseModalities: [ResponseModalities.audio],
  ),
);

_session = await liveModel.connect();

final audioRecordStream = _audioRecorder.startRecordingStream();
// Map the Uint8List stream to InlineDataPart stream
final mediaChunkStream = audioRecordStream.map((data) {
  return InlineDataPart('audio/pcm', data);
});
await _session.startMediaStream(mediaChunkStream);

// In a separate thread, receive the audio response from the model
await for (final message in _session.receive()) {
   // Process the received message
}

ঐক্য

Live API ব্যবহার করতে, একটি LiveModel ইনস্ট্যান্স তৈরি করুন এবং প্রতিক্রিয়া পদ্ধতিটি Audio তে সেট করুন।


using Firebase;
using Firebase.AI;

async Task SendTextReceiveAudio() {
  // Initialize the Gemini Developer API backend service
  // Create a `LiveModel` instance with a model that supports the Live API
  var liveModel = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI()).GetLiveModel(
      modelName: "gemini-2.5-flash-native-audio-preview-09-2025",
      // Configure the model to respond with audio
      liveGenerationConfig: new LiveGenerationConfig(
          responseModalities: new[] { ResponseModality.Audio })
    );

  LiveSession session = await liveModel.ConnectAsync();

  // Start a coroutine to send audio from the Microphone
  var recordingCoroutine = StartCoroutine(SendAudio(session));

  // Start receiving the response
  await ReceiveAudio(session);
}

IEnumerator SendAudio(LiveSession liveSession) {
  string microphoneDeviceName = null;
  int recordingFrequency = 16000;
  int recordingBufferSeconds = 2;

  var recordingClip = Microphone.Start(microphoneDeviceName, true,
                                       recordingBufferSeconds, recordingFrequency);

  int lastSamplePosition = 0;
  while (true) {
    if (!Microphone.IsRecording(microphoneDeviceName)) {
      yield break;
    }

    int currentSamplePosition = Microphone.GetPosition(microphoneDeviceName);

    if (currentSamplePosition != lastSamplePosition) {
      // The Microphone uses a circular buffer, so we need to check if the
      // current position wrapped around to the beginning, and handle it
      // accordingly.
      int sampleCount;
      if (currentSamplePosition > lastSamplePosition) {
        sampleCount = currentSamplePosition - lastSamplePosition;
      } else {
        sampleCount = recordingClip.samples - lastSamplePosition + currentSamplePosition;
      }

      if (sampleCount > 0) {
        // Get the audio chunk
        float[] samples = new float[sampleCount];
        recordingClip.GetData(samples, lastSamplePosition);

        // Send the data, discarding the resulting Task to avoid the warning
        _ = liveSession.SendAudioAsync(samples);

        lastSamplePosition = currentSamplePosition;
      }
    }

    // Wait for a short delay before reading the next sample from the Microphone
    const float MicrophoneReadDelay = 0.5f;
    yield return new WaitForSeconds(MicrophoneReadDelay);
  }
}

Queue audioBuffer = new();

async Task ReceiveAudio(LiveSession liveSession) {
  int sampleRate = 24000;
  int channelCount = 1;

  // Create a looping AudioClip to fill with the received audio data
  int bufferSamples = (int)(sampleRate * channelCount);
  AudioClip clip = AudioClip.Create("StreamingPCM", bufferSamples, channelCount,
                                    sampleRate, true, OnAudioRead);

  // Attach the clip to an AudioSource and start playing it
  AudioSource audioSource = GetComponent();
  audioSource.clip = clip;
  audioSource.loop = true;
  audioSource.Play();

  // Start receiving the response
  await foreach (var message in liveSession.ReceiveAsync()) {
    // Process the received message
    foreach (float[] pcmData in message.AudioAsFloat) {
      lock (audioBuffer) {
        foreach (float sample in pcmData) {
          audioBuffer.Enqueue(sample);
        }
      }
    }
  }
}

// This method is called by the AudioClip to load audio data.
private void OnAudioRead(float[] data) {
  int samplesToProvide = data.Length;
  int samplesProvided = 0;

  lock(audioBuffer) {
    while (samplesProvided < samplesToProvide && audioBuffer.Count > 0) {
      data[samplesProvided] = audioBuffer.Dequeue();
      samplesProvided++;
    }
  }

  while (samplesProvided < samplesToProvide) {
    data[samplesProvided] = 0.0f;
    samplesProvided++;
  }
}


মূল্য নির্ধারণ এবং টোকেন গণনা

আপনার নির্বাচিত জেমিনি এপিআই প্রদানকারীর ডকুমেন্টেশনে Live API মডেলগুলির মূল্য নির্ধারণের তথ্য পেতে পারেন: জেমিনি ডেভেলপার এপিআই |ভার্টেক্স এআই জেমিনি এপিআই ।

আপনার জেমিনি এপিআই প্রোভাইডার যাই হোক না কেন, Live API কাউন্ট টোকেন এপিআই সমর্থন করে না ।


তুমি আর কি করতে পারো?

  • Live API এর জন্য সম্পূর্ণ ক্ষমতার স্যুটটি দেখুন, যেমন বিভিন্ন ইনপুট পদ্ধতি (অডিও, টেক্সট, অথবা ভিডিও + অডিও) স্ট্রিমিং।

  • বিভিন্ন কনফিগারেশন বিকল্প ব্যবহার করে আপনার বাস্তবায়ন কাস্টমাইজ করুন, যেমন ট্রান্সক্রিপশন যোগ করা বা প্রতিক্রিয়া ভয়েস সেট করা।

  • গুগল সার্চের মাধ্যমে ফাংশন কলিং এবং গ্রাউন্ডিংয়ের মতো টুলগুলিতে মডেলটিকে অ্যাক্সেস দিয়ে আপনার বাস্তবায়নকে আরও শক্তিশালী করুন। Live API মাধ্যমে টুল ব্যবহারের জন্য অফিসিয়াল ডকুমেন্টেশন শীঘ্রই আসছে!

  • Live API ব্যবহারের সীমা এবং স্পেসিফিকেশন সম্পর্কে জানুন, যেমন সেশনের দৈর্ঘ্য, হারের সীমা, সমর্থিত ভাষা ইত্যাদি।