تتيح Gemini Live API التفاعل في الوقت الفعلي مع نموذج Gemini ثنائي الاتجاه من خلال الصوت والفيديو وبزمن انتقال منخفض.
يمكن لـ Live API ومجموعة النماذج الخاصة به معالجة تدفقات مستمرة من الصوت أو الفيديو أو النص لتقديم ردود فورية منطوقة شبيهة بالردود البشرية، ما يتيح للمستخدمين الاستفادة من تجربة حوارية طبيعية.
توضّح هذه الصفحة كيفية البدء باستخدام الإمكانية الأكثر شيوعًا، وهي بث إدخال وإخراج الصوت، ولكن Live API يتيح العديد من الإمكانات و خيارات الإعداد المختلفة.
Live API هي واجهة برمجة تطبيقات ذات حالة تنشئ اتصال WebSocket لإنشاء جلسة بين العميل وخادم Gemini. للاطّلاع على التفاصيل، راجِع مستندات Live API المرجعية (Gemini Developer API | Vertex AI Gemini API).
الانتقال إلى عيّنات التعليمات البرمجية
الاطّلاع على مراجع مفيدة
Swift: ستتوفّر قريبًا | Android - تطبيق التشغيل السريع | الويب - تطبيق التشغيل السريع | Flutter - تطبيق التشغيل السريع | Unity - قريبًا
جرِّب Gemini Live API في تطبيق تم نشره فعليًا - يمكنك الاطّلاع على تطبيق Flutter AI Playground الذي يمكن الوصول إليه من خلال وحدة تحكّم Firebase
قبل البدء
إذا لم يسبق لك إجراء ذلك، أكمل دليل بدء الاستخدام الذي يوضّح كيفية إعداد مشروعك على Firebase وربط تطبيقك بـ Firebase وإضافة حزمة تطوير البرامج (SDK) وتهيئة خدمة الخلفية لمزوّد Gemini API الذي اخترته وإنشاء مثيل LiveModel.
يمكنك إنشاء نماذج أولية باستخدام الطلبات وLive API في Google AI Studio أو Vertex AI Studio.
الطُرز التي تتيح هذه الإمكانية
طُرز Gemini 2.5 Flash Live هي طُرز الصوت الأصلي التي تتوافق مع Gemini Live API. على الرغم من أنّ الطراز له أسماء مختلفة حسب موفِّر واجهة برمجة التطبيقات Gemini، إلا أنّ سلوك الطراز وميزاته هي نفسها.
Gemini Developer API
gemini-2.5-flash-native-audio-preview-12-2025gemini-2.5-flash-native-audio-preview-09-2025
مع أنّ هذه النماذج هي نماذج معاينة، إلا أنّها متاحة في "المستوى المجاني" من Gemini Developer API.
Vertex AI Gemini API
gemini-live-2.5-flash-native-audio(تم إصداره في ديسمبر 2025)gemini-live-2.5-flash-preview-native-audio-09-2025
عند استخدام Vertex AI Gemini API، لا تتوافق طُرز Live API مع الموقع الجغرافي
global.
بث إدخال الصوت وإخراجه
|
انقر على موفّر Gemini API لعرض المحتوى والرمز الخاصين بموفّر الخدمة على هذه الصفحة. |
يوضّح المثال التالي عملية التنفيذ الأساسية لإرسال إدخال صوتي يتم بثه وتلقّي إخراج صوتي يتم بثه.
للحصول على خيارات وإمكانات إضافية بشأن Live API، راجِع قسم "ما هي الإجراءات الأخرى التي يمكنك تنفيذها؟" أدناه في هذه الصفحة.
Swift
لاستخدام Live API، أنشئ مثيلاً من
LiveModel
واضبط
طريقة الرد
على audio.
import FirebaseAILogic
// Initialize the Gemini Developer API backend service
// Create a `liveModel` instance with a model that supports the Live API
let liveModel = FirebaseAI.firebaseAI(backend: .googleAI()).liveModel(
modelName: "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio
generationConfig: LiveGenerationConfig(
responseModalities: [.audio]
)
)
do {
let session = try await liveModel.connect()
// Load the audio file, or tap a microphone
guard let audioFile = NSDataAsset(name: "audio.pcm") else {
fatalError("Failed to load audio file")
}
// Provide the audio data
await session.sendAudioRealtime(audioFile.data)
var outputText = ""
for try await message in session.responses {
if case let .content(content) = message.payload {
content.modelTurn?.parts.forEach { part in
if let part = part as? InlineDataPart, part.mimeType.starts(with: "audio/pcm") {
// Handle 16bit pcm audio data at 24khz
playAudio(part.data)
}
}
// Optional: if you don't require to send more requests.
if content.isTurnComplete {
await session.close()
}
}
}
} catch {
fatalError(error.localizedDescription)
}
Kotlin
لاستخدام Live API، أنشئ مثيلاً من
LiveModel
واضبط
طريقة الرد
على AUDIO.
// Initialize the Gemini Developer API backend service
// Create a `liveModel` instance with a model that supports the Live API
val liveModel = Firebase.ai(backend = GenerativeBackend.googleAI()).liveModel(
modelName = "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio
generationConfig = liveGenerationConfig {
responseModality = ResponseModality.AUDIO
}
)
val session = liveModel.connect()
// This is the recommended approach.
// However, you can create your own recorder and handle the stream.
session.startAudioConversation()
Java
لاستخدام Live API، أنشئ مثيلاً من
LiveModel
واضبط
طريقة الرد
على AUDIO.
ExecutorService executor = Executors.newFixedThreadPool(1);
// Initialize the Gemini Developer API backend service
// Create a `liveModel` instance with a model that supports the Live API
LiveGenerativeModel lm = FirebaseAI.getInstance(GenerativeBackend.googleAI()).liveModel(
"gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio
new LiveGenerationConfig.Builder()
.setResponseModality(ResponseModality.AUDIO)
.build()
);
LiveModelFutures liveModel = LiveModelFutures.from(lm);
ListenableFuture<LiveSession> sessionFuture = liveModel.connect();
Futures.addCallback(sessionFuture, new FutureCallback<LiveSession>() {
@Override
public void onSuccess(LiveSession ses) {
LiveSessionFutures session = LiveSessionFutures.from(ses);
session.startAudioConversation();
}
@Override
public void onFailure(Throwable t) {
// Handle exceptions
}
}, executor);
Web
لاستخدام Live API، أنشئ مثيلاً من
LiveGenerativeModel
واضبط
طريقة الرد
على AUDIO.
import { initializeApp } from "firebase/app";
import { getAI, getLiveGenerativeModel, GoogleAIBackend, ResponseModality } from "firebase/ai";
// TODO(developer) Replace the following with your app's Firebase configuration
// See: https://firebase.google.com/docs/web/learn-more#config-object
const firebaseConfig = {
// ...
};
// Initialize FirebaseApp
const firebaseApp = initializeApp(firebaseConfig);
// Initialize the Gemini Developer API backend service
const ai = getAI(firebaseApp, { backend: new GoogleAIBackend() });
// Create a `LiveGenerativeModel` instance with a model that supports the Live API
const liveModel = getLiveGenerativeModel(ai, {
model: "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio
generationConfig: {
responseModalities: [ResponseModality.AUDIO],
},
});
const session = await liveModel.connect();
// Start the audio conversation
const audioConversationController = await startAudioConversation(session);
// ... Later, to stop the audio conversation
// await audioConversationController.stop()
Dart
لاستخدام Live API، أنشئ مثيلاً من
LiveGenerativeModel
واضبط
طريقة الرد
على audio.
import 'package:firebase_ai/firebase_ai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
import 'package:your_audio_recorder_package/your_audio_recorder_package.dart';
late LiveModelSession _session;
final _audioRecorder = YourAudioRecorder();
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Gemini Developer API backend service
// Create a `liveGenerativeModel` instance with a model that supports the Live API
final liveModel = FirebaseAI.googleAI().liveGenerativeModel(
model: 'gemini-2.5-flash-native-audio-preview-12-2025',
// Configure the model to respond with audio
liveGenerationConfig: LiveGenerationConfig(
responseModalities: [ResponseModalities.audio],
),
);
_session = await liveModel.connect();
final audioRecordStream = _audioRecorder.startRecordingStream();
// Map the Uint8List stream to InlineDataPart stream
final mediaChunkStream = audioRecordStream.map((data) {
return InlineDataPart('audio/pcm', data);
});
await _session.startMediaStream(mediaChunkStream);
// In a separate thread, receive the audio response from the model
await for (final message in _session.receive()) {
// Process the received message
}
Unity
لاستخدام Live API، أنشئ مثيلاً من
LiveModel
واضبط
طريقة الرد
على Audio.
using Firebase;
using Firebase.AI;
async Task SendTextReceiveAudio() {
// Initialize the Gemini Developer API backend service
// Create a `LiveModel` instance with a model that supports the Live API
var liveModel = FirebaseAI.GetInstance(FirebaseAI.Backend.GoogleAI()).GetLiveModel(
modelName: "gemini-2.5-flash-native-audio-preview-12-2025",
// Configure the model to respond with audio
liveGenerationConfig: new LiveGenerationConfig(
responseModalities: new[] { ResponseModality.Audio })
);
LiveSession session = await liveModel.ConnectAsync();
// Start a coroutine to send audio from the Microphone
var recordingCoroutine = StartCoroutine(SendAudio(session));
// Start receiving the response
await ReceiveAudio(session);
}
IEnumerator SendAudio(LiveSession liveSession) {
string microphoneDeviceName = null;
int recordingFrequency = 16000;
int recordingBufferSeconds = 2;
var recordingClip = Microphone.Start(microphoneDeviceName, true,
recordingBufferSeconds, recordingFrequency);
int lastSamplePosition = 0;
while (true) {
if (!Microphone.IsRecording(microphoneDeviceName)) {
yield break;
}
int currentSamplePosition = Microphone.GetPosition(microphoneDeviceName);
if (currentSamplePosition != lastSamplePosition) {
// The Microphone uses a circular buffer, so we need to check if the
// current position wrapped around to the beginning, and handle it
// accordingly.
int sampleCount;
if (currentSamplePosition > lastSamplePosition) {
sampleCount = currentSamplePosition - lastSamplePosition;
} else {
sampleCount = recordingClip.samples - lastSamplePosition + currentSamplePosition;
}
if (sampleCount > 0) {
// Get the audio chunk
float[] samples = new float[sampleCount];
recordingClip.GetData(samples, lastSamplePosition);
// Send the data, discarding the resulting Task to avoid the warning
_ = liveSession.SendAudioAsync(samples);
lastSamplePosition = currentSamplePosition;
}
}
// Wait for a short delay before reading the next sample from the Microphone
const float MicrophoneReadDelay = 0.5f;
yield return new WaitForSeconds(MicrophoneReadDelay);
}
}
Queue audioBuffer = new();
async Task ReceiveAudio(LiveSession liveSession) {
int sampleRate = 24000;
int channelCount = 1;
// Create a looping AudioClip to fill with the received audio data
int bufferSamples = (int)(sampleRate * channelCount);
AudioClip clip = AudioClip.Create("StreamingPCM", bufferSamples, channelCount,
sampleRate, true, OnAudioRead);
// Attach the clip to an AudioSource and start playing it
AudioSource audioSource = GetComponent();
audioSource.clip = clip;
audioSource.loop = true;
audioSource.Play();
// Start receiving the response
await foreach (var message in liveSession.ReceiveAsync()) {
// Process the received message
foreach (float[] pcmData in message.AudioAsFloat) {
lock (audioBuffer) {
foreach (float sample in pcmData) {
audioBuffer.Enqueue(sample);
}
}
}
}
}
// This method is called by the AudioClip to load audio data.
private void OnAudioRead(float[] data) {
int samplesToProvide = data.Length;
int samplesProvided = 0;
lock(audioBuffer) {
while (samplesProvided < samplesToProvide && audioBuffer.Count > 0) {
data[samplesProvided] = audioBuffer.Dequeue();
samplesProvided++;
}
}
while (samplesProvided < samplesToProvide) {
data[samplesProvided] = 0.0f;
samplesProvided++;
}
}
الأسعار واحتساب الرموز المميزة
يمكنك العثور على معلومات الأسعار الخاصة بنماذج Live API في مستندات موفّر Gemini API الذي اخترته: Gemini Developer API | Vertex AI Gemini API.
بغض النظر عن مقدّم خدمة Gemini API، فإنّ Live API لا تتوافق مع واجهة برمجة التطبيقات Count Tokens.
ما هي الإجراءات الأخرى التي يمكنك اتّخاذها؟
يمكنك الاطّلاع على المجموعة الكاملة من الميزات الخاصة بـ Live API، مثل بث وسائط إدخال مختلفة (صوت أو نص أو فيديو وصوت).
يمكنك تخصيص عملية التنفيذ باستخدام خيارات الإعداد المختلفة، مثل إضافة نص أو ضبط صوت الرد.
يمكنك تحسين عملية التنفيذ من خلال منح النموذج إذن الوصول إلى أدوات، مثل ميزة "استدعاء الدوال" و"تحديد المصدر" باستخدام "بحث Google". ستتوفّر قريبًا مستندات رسمية حول استخدام الأدوات مع Live API.
تعرَّف على الحدود والمواصفات المتعلّقة باستخدام Live API، مثل مدة الجلسة وحدود المعدّل واللغات المتوافقة وما إلى ذلك.