Firebase용 Vertex AI SDK를 사용하여 앱에서 Gemini API를 호출할 때 Gemini 모델에 멀티모달 입력을 기반으로 텍스트를 생성하라는 메시지를 표시할 수 있습니다. 멀티모달 프롬프트에는 이미지, PDF, 동영상, 오디오와 함께 텍스트와 같은 여러 형식 (또는 입력 유형)이 포함될 수 있습니다.
멀티모달 프롬프트를 테스트하고 반복하려면 Vertex AI Studio를 사용하는 것이 좋습니다.
시작하기 전에
아직 진행하지 않았다면 Firebase용 Vertex AI SDK 시작 가이드를 살펴보세요. 다음 작업을 모두 완료했는지 확인합니다.
Blaze 요금제 사용, 필요한 API 사용 설정을 포함하여 신규 또는 기존 Firebase 프로젝트를 설정합니다.
앱을 등록하고 앱에 Firebase 구성을 추가하는 등 Firebase에 앱을 연결합니다.
SDK를 추가하고 앱에서 Vertex AI 서비스와 생성 모델을 초기화합니다.
앱을 Firebase에 연결하고, SDK를 추가하고, Vertex AI 서비스와 생성 모델을 초기화했다면 Gemini API를 호출할 수 있습니다.
텍스트 및 단일 이미지에서 텍스트 생성
이 샘플을 시도하기 전에 이 가이드의 시작하기 전에 섹션을 완료해야 합니다.
텍스트와 단일 파일 (예: 이 예시에 표시된 이미지)이 모두 포함된 멀티모달 프롬프트로 Gemini API를 호출할 수 있습니다. 이러한 호출의 경우 멀티모달 프롬프트를 지원하는 모델(예: Gemini 1.5 Pro)을 사용해야 합니다.
지원되는 파일에는 이미지, PDF, 동영상, 오디오 등이 있습니다. 입력 파일 요구사항 및 권장사항을 검토하세요.
응답을 스트리밍할지 (generateContentStream) 아니면 전체 결과가 생성될 때까지 응답을 기다릴지 (generateContent) 선택합니다.
스트리밍
모델 생성의 전체 결과를 기다리지 않고 대신 스트리밍을 사용하여 부분 결과를 처리하여 상호작용을 더 빠르게 달성할 수 있습니다.
이 예에서는 generateContentStream()를 사용하여 텍스트와 단일 이미지를 포함하는 멀티모달 프롬프트 요청에서 생성된 텍스트를 스트리밍하는 방법을 보여줍니다.
스트리밍 사용 안함
스트리밍하는 대신 전체 결과를 기다릴 수도 있습니다. 결과는 모델이 전체 생성 프로세스를 완료한 후에만 반환됩니다.
이 예에서는 generateContent()를 사용하여 텍스트와 단일 이미지를 포함하는 멀티모달 프롬프트 요청에서 텍스트를 생성하는 방법을 보여줍니다.
Gemini 모델 및 사용 사례 및 앱에 적합한 위치(선택사항)를 선택하는 방법을 알아보세요.
텍스트 및 여러 이미지에서 텍스트 생성
이 샘플을 시도하기 전에 이 가이드의 시작하기 전에 섹션을 완료해야 합니다.
텍스트와 여러 파일 (예: 이 예시에 표시된 이미지)이 모두 포함된 멀티모달 프롬프트로 Gemini API를 호출할 수 있습니다. 이러한 호출의 경우 멀티모달 프롬프트를 지원하는 모델(예: Gemini 1.5 Pro)을 사용해야 합니다.
지원되는 파일에는 이미지, PDF, 동영상, 오디오 등이 있습니다. 입력 파일 요구사항 및 권장사항을 검토하세요.
응답을 스트리밍할지 (generateContentStream) 아니면 전체 결과가 생성될 때까지 응답을 기다릴지 (generateContent) 선택합니다.
스트리밍
모델 생성의 전체 결과를 기다리지 않고 대신 스트리밍을 사용하여 부분 결과를 처리하여 상호작용을 더 빠르게 달성할 수 있습니다.
이 예에서는 generateContentStream()를 사용하여 텍스트와 여러 이미지를 포함하는 멀티모달 프롬프트 요청에서 생성된 텍스트를 스트리밍하는 방법을 보여줍니다.
스트리밍 사용 안함
스트리밍 대신 전체 결과를 기다릴 수도 있습니다. 모델이 전체 생성 프로세스를 완료한 후에만 결과가 반환됩니다.
이 예에서는 generateContent()를 사용하여 텍스트와 여러 이미지를 포함하는 멀티모달 프롬프트 요청에서 텍스트를 생성하는 방법을 보여줍니다.
Gemini 모델 및 사용 사례 및 앱에 적합한 위치(선택사항)를 선택하는 방법을 알아보세요.
텍스트 및 동영상에서 텍스트 생성
이 샘플을 시도하기 전에 이 가이드의 시작하기 전에 섹션을 완료해야 합니다.
이 예시와 같이 텍스트와 단일 동영상이 모두 포함된 멀티모달 프롬프트로 Gemini API를 호출할 수 있습니다. 이러한 호출의 경우 멀티모달 프롬프트를 지원하는 모델(예: Gemini 1.5 Pro)을 사용해야 합니다.
입력 파일 요구사항 및 권장사항을 검토하세요.
응답을 스트리밍할지 (generateContentStream) 아니면 전체 결과가 생성될 때까지 응답을 기다릴지 (generateContent) 선택합니다.
스트리밍
모델 생성의 전체 결과를 기다리지 않고 대신 스트리밍을 사용하여 부분 결과를 처리하여 상호작용을 더 빠르게 달성할 수 있습니다.
이 예에서는 generateContentStream()를 사용하여 텍스트와 단일 동영상이 포함된 멀티모달 프롬프트 요청에서 생성된 텍스트를 스트리밍하는 방법을 보여줍니다.
스트리밍 사용 안함
스트리밍하는 대신 전체 결과를 기다릴 수도 있습니다. 결과는 모델이 전체 생성 프로세스를 완료한 후에만 반환됩니다.
이 예에서는 generateContent()를 사용하여 텍스트와 단일 동영상이 포함된 멀티모달 프롬프트 요청에서 텍스트를 생성하는 방법을 보여줍니다.
Gemini 모델 및 사용 사례 및 앱에 적합한 위치(선택사항)를 선택하는 방법을 알아보세요.
입력 파일 요구사항 및 권장사항
지원되는 파일 형식, MIME 유형 지정 방법, 파일 및 멀티모달 요청이 요구사항을 충족하고 권장사항을 따르는지 확인하려면 Vertex AI Gemini API에 지원되는 입력 파일 및 요구사항을 참고하세요.
가능한 작업
- 모델에 긴 프롬프트를 보내기 전에 토큰을 계산하는 방법을 알아봅니다.
- Cloud Storage URL을 사용하여 멀티모달 요청에 대용량 파일을 포함할 수 있도록 Firebase용 Cloud Storage를 설정합니다. 파일에는 이미지, PDF, 동영상, 오디오가 포함될 수 있습니다.
- 승인되지 않은 클라이언트가 Gemini API를 악용하지 못하도록 Firebase 앱 체크를 설정하는 등 프로덕션 준비를 고려해 보세요.
Gemini API의 다른 기능 사용해 보기
- 멀티턴 대화 (채팅)를 빌드합니다.
- 텍스트 전용 프롬프트에서 텍스트를 생성합니다.
- 함수 호출을 사용하여 생성 모델을 외부 시스템 및 정보에 연결합니다.
콘텐츠 생성 제어 방법 알아보기
- 권장사항, 전략, 예시 프롬프트 등 프롬프트 설계를 이해합니다.
- 온도 및 최대 출력 토큰과 같은 모델 매개변수를 구성합니다.
- 안전 설정을 사용하여 유해한 것으로 간주될 수 있는 응답을 받을 가능성을 조정합니다.
Gemini 모델 자세히 알아보기
다양한 사용 사례에 사용할 수 있는 모델과 할당량 및 가격에 대해 알아보세요.Firebase용 Vertex AI 사용 경험에 대한 의견 보내기