本页介绍了使用 Live API及其模型的各种限制和规范。
与会话相关的限制
对于 Live API，会话 是指通过连接持续流式传输输入 和输出的持久连接。
如果会话超出以下任何限制，连接将会终止。 不过请注意，Live API 提供了一些选项（见下文）来 处理这些与会话相关的限制。
会话上下文窗口 限制为 12.8 万个 token。
由于此上下文窗口限制，以下是根据输入模态估算出的最长会话时长：
- 仅音频输入会话限制为
15 分钟 。 - 视频 + 音频输入限制为
2 分钟 。
- 仅音频输入会话限制为
连接时长 限制为大约
10 分钟 。您会在连接结束前大约
60 秒 收到 “即将结束”通知 。
以下是一些用于处理与会话相关的限制的选项：
详细了解如何 管理会话。
速率限制
Live API 对每个 Firebase 项目的并发会话数以及每分钟的 token 数 (TPM) 都有速率限制。
Gemini Developer API：
- 限制因项目的 Gemini Developer API “使用层级”而异（请参阅其 速率限制文档）
Vertex AI Gemini API：
- 每个 Firebase 项目 1,000 个并发会话
- 每分钟 400 万个 token
音频格式
Live API 支持以下音频格式：
- 输入音频格式： 原始 16 位 PCM 音频，采样率 16kHz，小端序
输出音频格式： 原始 16 位 PCM 音频，采样率 24kHz，小端序
支持的 MIME 类型：
audio/x-aac、audio/flac、audio/mp3、audio/m4a、audio/mpeg、audio/mpga、audio/mp4、audio/ogg、audio/pcm、audio/wav、audio/webm
如需传达输入音频的采样率，请将每个包含音频的 Blob 的 MIME 类型设置为类似 audio/pcm;rate=16000 的值。
视频格式
Live API 需要接收一系列离散的图片帧，并支持视频 帧输入，速率为 1 帧/秒 (FPS)。
推荐的输入：1 FPS 的原生 768x768 分辨率。
支持的 MIME 类型：
video/x-flv、video/quicktime、video/mpeg、video/mpegs、video/mpg、video/mp4、video/webm、video/wmv、video/3gpp
请注意，此规范使得 Live API 不适合需要分析快速变化的视频的应用场景 ，例如高速 体育赛事中的逐场比赛分析。
响应语音
Live API 支持以下响应语音选项。如需查看 每种语音的演示，请参阅 Chirp 3：高清语音。
如果未指定响应语音，则默认为 Puck。
了解如何 指定响应语音。
Zephyr -- 明快Kore -- 坚定Orus -- 坚定Autonoe -- 明快Umbriel -- 轻松Erinome -- 清晰Laomedeia -- 欢快Schedar -- 平稳Achird -- 友好Sadachbia -- 活泼
|
Puck -- 欢快Fenrir -- 兴奋Aoede -- 轻快Enceladus -- 气喘Algieba -- 流畅Algenib -- 沙哑Achernar -- 柔和Gacrux -- 成熟Zubenelgenubi -- 随意Sadaltager -- 博学
|
Charon -- 信息丰富Leda -- 年轻Callirrhoe -- 轻松Iapetus -- 清晰Despina -- 流畅Rasalgethi -- 信息丰富Alnilam -- 坚定Pulcherrima -- 直率Vindemiatrix -- 温柔Sulafat -- 热情
|
语言
Live API 支持以下语言。 了解如何 影响响应语言。
| 语言 | BCP-47 代码 | 语言 | BCP-47 代码 |
|---|---|---|---|
| 阿拉伯语（埃及语） | ar-EG | 德语（德国） | de-DE |
| 英语（美国） | en-US | 西班牙语（美国） | es-US |
| 法语（法国） | fr-FR | 印地语（印度） | hi-IN |
| 印度尼西亚语（印度尼西亚） | id-ID | 意大利语（意大利） | it-IT |
| 日语（日本） | ja-JP | 韩语（韩国） | ko-KR |
| 葡萄牙语（巴西） | pt-BR | 俄语（俄罗斯） | ru-RU |
| 荷兰语（荷兰） | nl-NL | 波兰语（波兰） | pl-PL |
| 泰语（泰国） | th-TH | 土耳其语（土耳其） | tr-TR |
| 越南语（越南） | vi-VN | 罗马尼亚语（罗马尼亚） | ro-RO |
| 乌克兰语（乌克兰） | uk-UA | 孟加拉语（孟加拉） | bn-BD |
| 英语（印度） | en-IN 和 hi-IN 捆绑包 | 马拉地语（印度） | mr-IN |
| 泰米尔语（印度） | ta-IN | 泰卢固语（印度） | te-IN |