Семейство моделей Gemini считается мультимодальным, поскольку они способны обрабатывать информацию из нескольких модальностей, включая изображения, видео и текст. Например, вы можете отправить модели Близнецов фотографию тарелки печенья и попросить ее дать вам рецепт этого печенья.
Быстрый | Ответ |
Подскажите рецепт этого печенья. | **ИНГРЕДИЕНТЫ** - 1 гр. (2 палочки) несоленого сливочного масла, размягченного - 3/4 гр. сахарный песок - 3/4 гр. коричневый сахар, фасованный - 1 ч. л. экстракт ванили - 2 больших яйца - 2 1/4 гр. универсальная мука - 1 ч. л. пищевая сода - 1 ч. л. соль ... |
Вы можете взаимодействовать с моделями семейства Gemini, используя Gemini API , предоставляемый Vertex AI в Google Cloud . Для мобильных и веб-приложений вы можете использовать Vertex AI in Firebase SDK, чтобы вызывать API Gemini и взаимодействовать с моделями Gemini непосредственно из вашего приложения.
На этой странице представлена следующая информация о моделях Gemini:
Высокоуровневое сравнение вариантов использования различных моделей Gemini, включая поддерживаемые ими типы ввода.
Сравнение деталей для каждой модели , например максимального количества входных токенов или максимальной длины видео.
Описание того, как создаются версии моделей Gemini, в частности их стабильных , автоматически обновляемых и предварительных версий.
Списки доступных названий моделей , которые можно включить в код во время инициализации.
Список поддерживаемых языков для моделей Gemini.
Доступные модели
Вы можете использовать любую из следующих моделей Gemini с Vertex AI in Firebase :
Близнецы 1.5 Флэш
Мультимодальная модель, которая поддерживает те же типы ввода и вывода, что и 1.5 Pro, но с долгосрочным пониманием 1 миллиона токенов. Gemini 1.5 Flash специально разработан для экономичных и объемных приложений.Близнецы 1.5 Про
Мультимодальная модель, поддерживающая добавление изображений, аудио, видео и PDF-файлов в текстовые или чат-подсказки для текстового или кодового ответа. Кроме того, он поддерживает понимание длительного контекста с помощью 2 миллионов токенов.Близнецы 1.0 Про Видение
Мультимодальная модель, предназначенная для обработки текста, изображений и видео для текстового или кодового ответа. Невозможно использовать для чата.Близнецы 1.0 Про
Модель предназначена для решения задач на естественном языке, многоповоротного чата с текстом и кодом, а также генерации кода.
Перейдите к названиям моделей , чтобы включить их в свой код.
Варианты использования и возможности для каждой модели
Каждая модель Gemini имеет разные возможности для поддержки различных вариантов использования. Подробнее о каждой из моделей Gemini можно узнать в документации Google Cloud .
Поддерживаемый ввод и вывод для каждой модели
Близнецы 1.5 Флэш | Близнецы 1.5 Про | Близнецы 1.0 Про Видение | Близнецы 1.0 Про | |
---|---|---|---|---|
Типы ввода | ||||
Текст | ||||
Код | ||||
Изображение | ||||
Видео (только кадры) | ||||
Видео (кадры и аудио) | ||||
Аудио | ||||
Типы вывода | ||||
Текст | ||||
Код |
Дополнительные сведения о поддерживаемых типах файлов см. в разделе Поддерживаемые входные файлы и требования к Vertex AI Gemini API .
Поддерживаемые возможности и общие функции для каждой модели
Близнецы 1.5 Флэш | Близнецы 1.5 Про | Близнецы 1.0 Про Видение | Близнецы 1.0 Про | ||
---|---|---|---|---|---|
Генерация текста из текстовых подсказок | |||||
Генерация текста из мультимодальных подсказок | |||||
Вывод JSON (режим ограниченной схемы) (скоро появится в Vertex AI in Firebase SDK) | |||||
Многоходовой чат | |||||
Вызов функции | |||||
Вызов основной функции | |||||
Параллельный вызов функций | |||||
Режим вызова функций | |||||
Подсчет токенов и оплачиваемых персонажей | |||||
Системные инструкции |
Подробная информация о каждой модели
Свойство | Близнецы 1.5 Флэш | Близнецы 1.5 Про | Близнецы 1.0 Про Видение | Близнецы 1.0 Про |
---|---|---|---|---|
Общий лимит токенов (комбинированный ввод и вывод) * | 1 048 576 токенов | 2 097 152 жетона | 16 384 жетона | 32 760 токенов |
Лимит выходных токенов * | 8 192 жетона | 8 192 жетона | 2048 токенов | 8 192 жетона |
Максимальное количество изображений на запрос | 3000 изображений | 3000 изображений | 16 изображений | Н/Д |
Максимальный размер изображения в кодировке Base64 | 7 МБ | 7 МБ | 7 МБ | Н/Д |
Максимальный размер PDF | 30 МБ | 30 МБ | 30 МБ | Н/Д |
Максимальное количество видеофайлов на запрос | 10 видеофайлов | 10 видеофайлов | 1 видеофайл | Н/Д |
Максимальная длина видео (только кадры) | ~60 минут видео | ~60 минут видео | 2 минуты | Н/Д |
Максимальная длина видео (кадры и звук) | ~45 минут видео | ~45 минут видео | Н/Д | Н/Д |
Максимальное количество аудиофайлов на запрос | 1 аудиофайл | 1 аудиофайл | Н/Д | Н/Д |
Максимальная длина звука | ~8,4 часа аудио | ~8,4 часа аудио | Н/Д | Н/Д |
* Для всех моделей Gemini токен эквивалентен примерно 4 символам, поэтому 100 токенов — это примерно 60–80 английских слов. Вы можете определить общее количество токенов в ваших запросах, используя countTokens
.
Здесь вы можете найти еще более подробную информацию о моделях и входных файлах:
Узнайте о различиях между мультимодальными моделями в документации Google Cloud .
Узнайте о поддерживаемых типах файлов, о том, как указать тип MIME и как убедиться, что ваши файлы и мультимодальные запросы соответствуют требованиям, и следуйте рекомендациям в разделе Поддерживаемые входные файлы и требования для Vertex AI Gemini API .
Версионирование моделей
Модели Gemini предлагаются в стабильной , автоматически обновляемой и предварительной версиях.
Стабильные версии считаются общедоступными.
- В стабильных версиях к названиям моделей добавляется определенный трехзначный номер версии, например
gemini-1.0-pro-001
.
- В стабильных версиях к названиям моделей добавляется определенный трехзначный номер версии, например
Автоматически обновляемые версии всегда указывают на последнюю стабильную версию этой модели; если выпускается новая стабильная версия, автоматически обновляемая версия автоматически начинает указывать на эту новую стабильную версию.
- Автоматически обновляемые версии имеют названия моделей без придатков, например
gemini-1.0-pro
.
- Автоматически обновляемые версии имеют названия моделей без придатков, например
Предварительные версии имеют новые возможности и считаются нестабильными . Обратите внимание, что предварительные версии всегда указывают на последнюю предварительную версию этой модели; если выпускается новая предварительная версия, любая существующая предварительная версия автоматически начинает указывать на эту новую предварительную версию.
- В предварительных версиях к названиям моделей добавляется
-preview
вместе с первоначальной датой выпуска модели (-MMDD
), напримерgemini-1.5-pro-preview-0409
(выпущен 9 апреля 2024 г.).
- В предварительных версиях к названиям моделей добавляется
Узнайте больше о доступных версиях моделей Gemini и их жизненном цикле в документации Google Cloud .
Доступные названия моделей
Имена моделей — это явные значения, которые вы включаете в свой код во время инициализации генеративной модели (что является обязательным шагом для вызова Gemini API ). Примеры инициализации для вашего языка см. в руководстве по началу работы .
Названия моделей Gemini 1.5 Flash
Название модели | Описание | Стадия релиза | Дата первоначального выпуска | Дата прекращения |
---|---|---|---|---|
Стабильные версии | ||||
gemini-1.5-flash-001 | Последняя стабильная версия Gemini 1.5 Flash. | Общая доступность | 2024-05-24 | Не ранее 24 мая 2025 г. |
Автоматически обновляемая версия | ||||
gemini-1.5-flash | Указывает на последнюю стабильную версию 1.5 Flash. (в настоящее время gemini-1.5-flash-001 ) | Общая доступность | 2024-05-24 | --- |
Предварительные версии | ||||
gemini-1.5-flash-preview-0514 | Последняя предварительная версия Gemini 1.5 Flash | Публичный предварительный просмотр | 2024-05-14 | 2024-06-24 |
Названия моделей Gemini 1.5 Pro
Название модели | Описание | Стадия релиза | Дата первоначального выпуска | Дата прекращения |
---|---|---|---|---|
Стабильные версии | ||||
gemini-1.5-pro-001 | Последняя стабильная версия Gemini 1.5 Pro | Общая доступность | 2024-05-24 | Не ранее 24 мая 2025 г. |
Автоматически обновляемая версия | ||||
gemini-1.5-pro | Указывает на последнюю стабильную версию 1.5 Pro. (в настоящее время gemini-1.5-pro-001 ) | Общая доступность | 2024-05-24 | --- |
Предварительные версии | ||||
gemini-1.5-pro-preview-0514 | Последняя предварительная версия Gemini 1.5 Pro | Публичный предварительный просмотр | 2024-05-14 | 2024-06-24 |
gemini-1.5-pro-preview-0409 | Указывает наgemini-1.5-pro-preview-0514 (это последняя предварительная версия) | Публичный предварительный просмотр | 09.04.2024 | 14.06.2024 |
Названия моделей Gemini 1.0 Pro Vision
Название модели | Описание | Стадия релиза | Дата первоначального выпуска | Дата прекращения |
---|---|---|---|---|
Стабильные версии | ||||
gemini-1.0-pro-vision-001 | Последняя стабильная версия Gemini 1.0 Pro Vision | Общая доступность | 15 февраля 2024 г. | Не ранее 15 февраля 2025 г. |
Автоматически обновляемая версия | ||||
gemini-1.0-pro-vision | Указывает на последнюю стабильную версию 1.5 Pro Vision. (в настоящее время gemini-1.5-pro-vision-001 ) | Общая доступность | 04.01.2024 | --- |
Названия моделей Gemini 1.0 Pro
Название модели | Описание | Стадия релиза | Дата первоначального выпуска | Дата прекращения |
---|---|---|---|---|
Стабильные версии | ||||
gemini-1.0-pro-002 | Последняя стабильная версия Gemini 1.0 Pro | Общая доступность | 09.04.2024 | Не ранее 09 апреля 2025 г. |
gemini-1.0-pro-001 | Стабильная версия Gemini 1.0 Pro | Общая доступность | 15 февраля 2024 г. | Не ранее 15 февраля 2025 г. |
Автоматически обновляемая версия | ||||
gemini-1.0-pro | Указывает на последнюю стабильную версию 1.0 Pro. (в настоящее время gemini-1.0-pro-002 ) | Общая доступность | 15 февраля 2024 г. | --- |
Поддерживаемые языки
Все модели Gemini понимают и отвечают на следующих языках:
арабский (ar), бенгальский (bn), болгарский (bg), китайский упрощенный и традиционный (zh), хорватский (hr), чешский (cs), датский (da), голландский (nl), английский (en), эстонский ( et), финский (fi), французский (fr), немецкий (de), греческий (el), иврит (iw), хинди (hi), венгерский (hu), индонезийский (id), итальянский (it), японский ( ja), корейский (ko), латышский (lv), литовский (lt), норвежский (no), польский (pl), португальский (pt), румынский (ro), русский (ru), сербский (sr), словацкий ( sk), словенский (sl), испанский (es), суахили (sw), шведский (sv), тайский (th), турецкий (tr), украинский (uk), вьетнамский (vi)
Модели Gemini 1.5 Pro и Gemini 1.5 Flash могут понимать и отвечать на следующих дополнительных языках:
Африкаанс (af), амхарский (am), ассамский (as), азербайджанский (az), белорусский (be), боснийский (bs), каталанский (ca), кебуанский (ceb), корсиканский (co), валлийский (cy), Дивехи (dv), эсперанто (eo), баскский (eu), персидский (fa), филиппинский (тагальский) (fil), фризский (fy), ирландский (ga), шотландский гэльский (gd), галисийский (gl), гуджаратский (гу), хауса (ха), гавайский (хау), хмонг (hmn), гаитянский креольский (ht), армянский (hy), игбо (ig), исландский (is), яванский (jv), грузинский (ka), Казахский (kk), кхмерский (km), каннада (kn), крио (kri), курдский (ku), киргизский (ky), латинский (la), люксембургский (lb), лаосский (lo), малагасийский (mg), Маори (ми), македонский (мк), малаялам (мл), монгольский (мн), мейтейлон (Манипури) (мни-Мтей), маратхи (г-н), малайский (мс), мальтийский (мт), мьянманский (бирманский) ( мой), непальский (н), ньянджа (чичева) (нью), одиа (ория) (или), панджаби (па), пушту (пс), синдхи (сд), сингальский (сингальский) (си), самоанский (см) ), шона (sn), сомалийский (so), албанский (sq), сесото (st), суданский (su), тамильский (ta), телугу (te), таджикский (tg), уйгурский (ug), урду (ur ), узбекский (uz), коса (xh), идиш (yi), йоруба (yo), зулу (zu)
Следующие шаги
Опробуйте возможности Gemini API
- Стройте многоходовые разговоры (чат) .
- Генерация текста из текстовых подсказок .
- Генерируйте текст из мультимодальных подсказок (включая текст, изображения, PDF-файлы, видео и аудио).
- Используйте вызов функций для подключения генеративных моделей к внешним системам и информации.