이 페이지는 Cloud Translation API를 통해 번역되었습니다.

Gemini API를 사용하여 멀티모달 프롬프트에서 텍스트 생성

Vertex AI in Firebase SDK를 사용하여 앱에서 Gemini API를 호출할 때 Gemini 모델에 멀티모달 입력을 기반으로 텍스트를 생성하라는 프롬프트를 표시할 수 있습니다. 멀티모달 프롬프트에는 여러 형식 (또는 입력 유형), 이미지, PDF, 동영상, 오디오와 같은 텍스트를 생성할 수 있습니다

멀티모달 프롬프트를 테스트하고 반복하는 경우에는 Vertex AI Studio

Gemini API 사용을 위한 다른 옵션

대안인 'Google AI'로 실험(선택사항) 최신 버전의 Gemini API
무료로 사용해 보기 (한도 범위 내, 가능한 경우) Google AI Studio 및 Google AI 클라이언트 SDK 이러한 SDK는 모바일 및 웹 앱의 프로토타입 제작에만 사용해야 합니다.

Gemini API의 작동 방식에 익숙해지면 Vertex AI in Firebase SDK로 이전하세요. 여기에는 모바일 및 웹 앱에 중요한 여러 추가 기능이 있습니다. 예를 들어 API를 사용하여 악용으로부터 보호하는 것은 Firebase App Check 및 대용량 미디어 파일 요청

선택적으로 Vertex AI Gemini API 서버 측 호출
사용 서버 측 Vertex AI SDK Firebase Genkit 또는 Gemini API의 경우 Firebase Extensions입니다.

시작하기 전에

아직 완료하지 않았다면 Vertex AI in Firebase SDK 시작 가이드 다음 작업을 모두 완료했는지 확인하세요.

새 Firebase 프로젝트 또는 기존 Firebase 프로젝트를 다음과 같이 설정합니다. Blaze 요금제 및 필수 API 사용 설정
앱을 등록하고 Firebase 구성을 앱에 추가합니다.
SDK를 추가하고 Vertex AI 서비스 및 생성 모델을 초기화합니다. 확인할 수 있습니다.

앱을 Firebase에 연결하고, SDK를 추가하고, Vertex AI 서비스와 생성 모델 Gemini API를 호출할 준비가 되었습니다.

텍스트 및 단일 이미지에서 텍스트 생성
텍스트 및 여러 이미지에서 텍스트 생성
텍스트 및 동영상에서 텍스트 생성

를 통해 개인정보처리방침을 정의할 수 있습니다.

텍스트 및 단일 이미지에서 텍스트 생성

시작하기 전에 과정을 완료했는지 확인합니다. 섹션을 참조하세요.

다음을 포함하는 멀티모달 프롬프트로 Gemini API를 호출할 수 있습니다. 하나의 파일 (예: 이 예에 표시된 이미지)일 수 있습니다. 이러한 경우 멀티모달 프롬프트를 지원하는 모델을 사용해야 합니다 (예: Gemini 1.5 Pro)

지원되는 파일에는 이미지, PDF, 동영상, 오디오 등이 있습니다. 이 입력 파일 요구사항 및 권장사항

대답 스트리밍 (generateContentStream) 또는 대기 선택 전체 결과가 생성 (generateContent)될 때까지

스트리밍

전체 결과를 기다릴 필요 없이 대신 스트리밍을 사용하여 부분 결과를 처리합니다.

스트리밍 사용 안함

스트리밍하는 대신 전체 결과를 기다릴 수도 있습니다. 모델이 전체 세대를 완료한 후에만 결과가 반환됩니다. 프로세스입니다

Gemini 모델을 선택하는 방법 알아보기 원하는 경우 위치 적합한 모델을 선택할 수 있습니다

텍스트 및 여러 이미지에서 텍스트 생성

시작하기 전에 과정을 완료했는지 확인합니다. 섹션을 참조하세요.

다음을 포함하는 멀티모달 프롬프트로 Gemini API를 호출할 수 있습니다. 여러 파일 (예: 이미지)을 모두 지원합니다. 이러한 경우 멀티모달 프롬프트를 지원하는 모델을 사용해야 합니다 (예: Gemini 1.5 Pro)

지원되는 파일에는 이미지, PDF, 동영상, 오디오 등이 있습니다. 이 입력 파일 요구사항 및 권장사항

대답 스트리밍 (generateContentStream) 또는 대기 선택 전체 결과가 생성 (generateContent)될 때까지

스트리밍

전체 결과를 기다릴 필요 없이 대신 스트리밍을 사용하여 부분 결과를 처리합니다.

스트리밍 사용 안함

또는 전체 결과를 기다릴 수도 있습니다. 스트리밍 모델이 전체 입력을 완료한 후에만 결과가 반환됩니다. 살펴보겠습니다

Gemini 모델을 선택하는 방법 알아보기 원하는 경우 위치 적합한 모델을 선택할 수 있습니다

텍스트 및 동영상에서 텍스트 생성

시작하기 전에 과정을 완료했는지 확인합니다. 섹션을 참조하세요.

다음을 포함하는 멀티모달 프롬프트로 Gemini API를 호출할 수 있습니다. 동영상 1개를 업로드할 수 있습니다 (이 예 참고). 이러한 경우 멀티모달 프롬프트를 지원하는 모델을 사용해야 합니다 (예: Gemini 1.5 Pro)

이 입력 파일 요구사항 및 권장사항

대답 스트리밍 (generateContentStream) 또는 대기 선택 전체 결과가 생성 (generateContent)될 때까지

스트리밍

전체 결과를 기다릴 필요 없이 대신 스트리밍을 사용하여 부분 결과를 처리합니다.

스트리밍 사용 안함

스트리밍하는 대신 전체 결과를 기다릴 수도 있습니다. 모델이 전체 세대를 완료한 후에만 결과가 반환됩니다. 프로세스입니다

Gemini 모델을 선택하는 방법 알아보기 원하는 경우 위치 적합한 모델을 선택할 수 있습니다

입력 파일 요구사항 및 권장사항

지원되는 파일 형식과 MIME 형식을 지정하는 방법 및 파일과 멀티모달 요청이 요구사항을 충족하는지 확인하고 자세한 내용은 Vertex AI Gemini API에 지원되는 입력 파일 및 요구사항

가능한 작업

토큰 계산 방법 알아보기 모델을 학습시키는 데 사용될 수 있습니다.
Cloud Storage for Firebase 설정 따라서 URL Cloud Storage개 파일에는 이미지, PDF, 동영상, 오디오가 포함될 수 있습니다.
다음을 포함한 프로덕션 준비에 대해 생각해 보세요. Firebase App Check 설정 승인되지 않은 클라이언트의 악용으로부터 Gemini API을(를) 보호합니다.

Gemini API의 다른 기능 사용해 보기

멀티턴 대화 (채팅)를 빌드합니다.
다음에서 텍스트 생성 텍스트 전용 프롬프트가 있습니다.
함수 호출을 사용하여 연결 생성하는 방법을 알아보겠습니다

콘텐츠 생성 제어 방법 알아보기

다음을 포함한 프롬프트 설계의 이해 권장사항, 전략, 예시 프롬프트가 포함됩니다
다음과 같은 모델 매개변수를 구성합니다. 강도 및 최대 출력 토큰
안전 설정을 사용하여 유해하다고 간주될 수 있는 응답을 받을 가능성

를 통해 개인정보처리방침을 정의할 수 있습니다. 또한 BigQuery ML을 사용하여 프롬프트와 모델 구성을 Vertex AI Studio

Gemini 모델 자세히 알아보기

자세히 알아보기: 다양한 사용 사례에 사용할 수 있는 및 할당량 및 가격 책정에 대해 자세히 알아보세요.

의견 보내기 Vertex AI in Firebase 사용 경험에 관한 정보