Семейство моделей Gemini считается мультимодальным, поскольку они способны обрабатывать информацию из нескольких модальностей, включая изображения, видео и текст. Например, вы можете отправить модели Близнецов фотографию тарелки печенья и попросить ее дать вам рецепт этого печенья.
Быстрый | Ответ |
Подскажите рецепт этого печенья. | **ИНГРЕДИЕНТЫ** - 1 гр. (2 палочки) несоленого сливочного масла, размягченного - 3/4 гр. гранулированый сахар - 3/4 гр. коричневый сахар, фасованный - 1 ч. л. экстракт ванили - 2 больших яйца - 2 1/4 гр. мука общего назначения - 1 ч. л. пищевая сода - 1 ч. л. соль ... |
Вы можете взаимодействовать с семейством моделей Gemini, используя API Gemini , предоставляемый Vertex AI в Google Cloud. Для мобильных и веб-приложений вы можете использовать SDK Vertex AI для Firebase, чтобы вызывать API Gemini и взаимодействовать с моделями Gemini непосредственно из вашего приложения.
На этой странице представлена следующая информация о моделях Gemini:
Высокоуровневое сравнение вариантов использования различных моделей Gemini, включая поддерживаемые ими типы ввода.
Сравнение деталей для каждой модели , например максимального количества входных токенов или максимальной длины видео.
Описание того, как создаются версии моделей Gemini, в частности их стабильных , автоматически обновляемых и предварительных версий.
Списки доступных названий моделей , которые можно включить в код во время инициализации.
Список поддерживаемых языков для моделей Gemini.
Доступные модели
Вы можете использовать любую из следующих моделей Gemini с Vertex AI для Firebase:
Близнецы 1.5 Флэш
Мультимодальная модель, которая поддерживает те же типы ввода и вывода, что и 1.5 Pro (а также общее количество токенов), но 1.5 Flash специально разработана для экономичных приложений с большими объемами.Близнецы 1.5 Про
Мультимодальная модель, поддерживающая добавление изображений, аудио, видео и PDF-файлов в текстовые или чат-подсказки для текстового или кодового ответа. Кроме того, он поддерживает понимание длительного контекста с использованием до 1 миллиона токенов.Близнецы 1.0 Про Видение
Мультимодальная модель, предназначенная для обработки текста, изображений и видео для текстового или кодового ответа. Невозможно использовать для чата.Близнецы 1.0 Про
Модель предназначена для решения задач на естественном языке, многоповоротного чата с текстом и кодом, а также генерации кода.
Перейдите к названиям моделей , чтобы включить их в свой код.
Варианты использования и возможности для каждой модели
Каждая модель Gemini имеет разные возможности для поддержки различных вариантов использования. Подробную информацию можно найти в документации Google Cloud:
- Примеры использования Gemini 1.5 Flash
- Варианты использования Gemini 1.5 Pro
- Варианты использования Gemini 1.0 Pro Vision
- Варианты использования Gemini 1.0 Pro
Поддерживаемый ввод и вывод для каждой модели
Близнецы 1.5 Флэш | Близнецы 1.5 Про | Близнецы 1.0 Про Видение | Близнецы 1.0 Про | |
---|---|---|---|---|
Типы ввода | ||||
Текст | ||||
Код | ||||
Изображение | ||||
Видео (только кадры) | ||||
Видео (кадры и аудио) | ||||
Аудио | ||||
Типы вывода | ||||
Текст | ||||
Код |
Дополнительные сведения о поддерживаемых типах файлов см. в разделе Поддерживаемые входные файлы и требования к API Vertex AI Gemini .
Поддерживаемые возможности и общие функции для каждой модели
Близнецы 1.5 Флэш | Близнецы 1.5 Про | Близнецы 1.0 Про Видение | Близнецы 1.0 Про | ||
---|---|---|---|---|---|
Генерация текста из текстовых подсказок | |||||
Генерация текста из мультимодальных подсказок | |||||
Вывод JSON (режим ограниченной схемы) (скоро появится в Vertex AI для Firebase SDK) | |||||
Многоходовой чат | |||||
Вызов функции | |||||
Вызов основной функции | |||||
Параллельный вызов функций | |||||
Режим вызова функций | |||||
Подсчет токенов и оплачиваемых персонажей | |||||
Системные инструкции |
Подробная информация о каждой модели
Свойство | Близнецы 1.5 Флэш / Близнецы 1.5 Про | Близнецы 1.0 Про Видение | Близнецы 1.0 Про |
---|---|---|---|
Общий лимит токенов (комбинированный ввод и вывод) * | 1 миллион токенов | 16 384 жетона | 32 760 токенов |
Лимит выходных токенов * | 8 192 жетона | 2048 токенов | 8 192 жетона |
Максимальное количество изображений на запрос | 3000 изображений | 16 изображений | Н/Д |
Максимальный размер изображения в кодировке Base64 | 7 МБ | 7 МБ | Н/Д |
Максимальный размер PDF-файла | 30 МБ | 30 МБ | Н/Д |
Максимальное количество видеофайлов на запрос | 10 видеофайлов | 1 видеофайл | Н/Д |
Максимальная длина видео (только кадры) | 60 минут видео | 2 минуты | Н/Д |
Максимальная длина видео (кадры и звук) | ~45 минут видео | Н/Д | Н/Д |
Максимальное количество аудиофайлов на запрос | 1 аудиофайл | Н/Д | Н/Д |
Максимальная длина звука | ~8,4 часа аудио | Н/Д | Н/Д |
* Для всех моделей Gemini токен эквивалентен примерно 4 символам, поэтому 100 токенов — это примерно 60–80 английских слов. Вы можете определить общее количество токенов в ваших запросах, используя countTokens
.
Здесь вы можете найти еще более подробную информацию о моделях и входных файлах:
Узнайте о различиях между мультимодальными моделями в документации Google Cloud.
Узнайте о поддерживаемых типах файлов, о том, как указать тип MIME и как убедиться, что ваши файлы и мультимодальные запросы соответствуют требованиям, и следуйте рекомендациям в разделе Поддерживаемые входные файлы и требования для API Vertex AI Gemini .
Версионирование моделей
Модели Gemini предлагаются в стабильной , автоматически обновляемой и предварительной версиях.
Стабильные версии считаются общедоступными.
- В стабильных версиях к названиям моделей добавляется определенный трехзначный номер версии, например
gemini-1.0-pro-001
.
- В стабильных версиях к названиям моделей добавляется определенный трехзначный номер версии, например
Автоматически обновляемые версии всегда указывают на последнюю стабильную версию этой модели; если выпускается новая стабильная версия, автоматически обновляемая версия автоматически начинает указывать на эту новую стабильную версию.
- Автоматически обновляемые версии имеют названия моделей без придатков, например
gemini-1.0-pro
.
- Автоматически обновляемые версии имеют названия моделей без придатков, например
Предварительные версии имеют новые возможности и считаются нестабильными . Обратите внимание, что предварительные версии всегда указывают на последнюю предварительную версию этой модели; если выпускается новая предварительная версия, любая существующая предварительная версия автоматически начинает указывать на эту новую предварительную версию.
- В предварительных версиях к названиям моделей добавляется
-preview
вместе с первоначальной датой выпуска модели (-MMDD
), напримерgemini-1.5-pro-preview-0409
(выпущен 9 апреля 2024 г.).
- В предварительных версиях к названиям моделей добавляется
Узнайте больше о доступных версиях моделей Gemini и их жизненном цикле в документации Google Cloud.
Доступные названия моделей
Имена моделей — это явные значения, которые вы включаете в свой код во время инициализации генеративной модели (что является обязательным шагом для вызова API Gemini). Примеры инициализации для вашего языка см. в руководстве по началу работы .
Названия моделей Gemini 1.5 Flash
Название модели | Описание | Стадия релиза | Дата первоначального выпуска | Дата прекращения |
---|---|---|---|---|
Стабильные версии | ||||
gemini-1.5-flash-001 | Последняя стабильная версия Gemini 1.5 Flash. | Общая доступность | 2024-05-24 | Не ранее 24 мая 2025 г. |
Автоматически обновляемая версия | ||||
gemini-1.5-flash | Указывает на последнюю стабильную версию 1.5 Flash. (в настоящее время gemini-1.5-flash-001 ) | Общая доступность | 2024-05-24 | --- |
Предварительные версии | ||||
gemini-1.5-flash-preview-0514 | Последняя предварительная версия Gemini 1.5 Flash | Публичный предварительный просмотр | 2024-05-14 | 2024-06-24 |
Названия моделей Gemini 1.5 Pro
Название модели | Описание | Стадия релиза | Дата первоначального выпуска | Дата прекращения |
---|---|---|---|---|
Стабильные версии | ||||
gemini-1.5-pro-001 | Последняя стабильная версия Gemini 1.5 Pro | Общая доступность | 2024-05-24 | Не ранее 24 мая 2025 г. |
Автоматически обновляемая версия | ||||
gemini-1.5-pro | Указывает на последнюю стабильную версию 1.5 Pro. (в настоящее время gemini-1.5-pro-001 ) | Общая доступность | 2024-05-24 | --- |
Предварительные версии | ||||
gemini-1.5-pro-preview-0514 | Последняя предварительная версия Gemini 1.5 Pro | Публичный предварительный просмотр | 14 мая 2024 г. | 2024-06-24 |
gemini-1.5-pro-preview-0409 | Указывает наgemini-1.5-pro-preview-0514 (это последняя предварительная версия) | Публичный предварительный просмотр | 09.04.2024 | 2024-06-14 |
Названия моделей Gemini 1.0 Pro Vision
Название модели | Описание | Стадия релиза | Дата первоначального выпуска | Дата прекращения |
---|---|---|---|---|
Стабильные версии | ||||
gemini-1.0-pro-vision-001 | Последняя стабильная версия Gemini 1.0 Pro Vision | Общая доступность | 15 февраля 2024 г. | Не ранее 15 февраля 2025 г. |
Автоматически обновляемая версия | ||||
gemini-1.0-pro-vision | Указывает на последнюю стабильную версию 1.5 Pro Vision. (в настоящее время gemini-1.5-pro-vision-001 ) | Общая доступность | 04.01.2024 | --- |
Названия моделей Gemini 1.0 Pro
Название модели | Описание | Стадия релиза | Дата первоначального выпуска | Дата прекращения |
---|---|---|---|---|
Стабильные версии | ||||
gemini-1.0-pro-002 | Последняя стабильная версия Gemini 1.0 Pro | Общая доступность | 09.04.2024 | Не ранее 09 апреля 2025 г. |
gemini-1.0-pro-001 | Стабильная версия Gemini 1.0 Pro | Общая доступность | 15 февраля 2024 г. | Не ранее 15 февраля 2025 г. |
Автоматически обновляемая версия | ||||
gemini-1.0-pro | Указывает на последнюю стабильную версию 1.0 Pro. (в настоящее время gemini-1.0-pro-002 ) | Общая доступность | 2024-02-15 | --- |
Поддерживаемые языки
Модели Gemini поддерживают следующие языки:
арабский (ar), бенгальский (bn), болгарский (bg), китайский упрощенный и традиционный (zh), хорватский (hr), чешский (cs), датский (da), голландский (nl), английский (en), эстонский ( et), финский (fi), французский (fr), немецкий (de), греческий (el), иврит (iw), хинди (hi), венгерский (hu), индонезийский (id), итальянский (it), японский ( ja), корейский (ko), латышский (lv), литовский (lt), норвежский (no), польский (pl), португальский (pt), румынский (ro), русский (ru), сербский (sr), словацкий ( sk), словенский (sl), испанский (es), суахили (sw), шведский (sv), тайский (th), турецкий (tr), украинский (uk), вьетнамский (vi).
Следующие шаги
Опробуйте возможности Gemini API
- Стройте многоходовые беседы (чат) .
- Генерация текста из текстовых подсказок .
- Генерируйте текст из мультимодальных подсказок (включая текст, изображения, PDF-файлы, видео и аудио).
- Используйте вызов функций для подключения генеративных моделей к внешним системам и информации.