다음을 사용하여 앱에서 Gemini API를 호출할 때 Vertex AI in Firebase SDK를 사용하면 Gemini 모델에 텍스트를 생성하라는 프롬프트를 표시할 수 있습니다. 기반으로 합니다. 멀티모달 프롬프트에는 여러 모달리티가 포함될 수 있음 (또는 입력 유형) - 이미지, PDF, 동영상, 오디오와 같은 텍스트 등.
입력의 텍스트가 아닌 부분 (예: 미디어 파일)의 경우 선택적으로 Cloud Storage for Firebase: 요청에 파일을 포함합니다. 이 기능에 대해 알아야 할 사항은 다음과 같습니다.
Cloud Storage for Firebase를 모든 멀티모달 요청과 함께 사용할 수 있습니다 (예: 텍스트 생성 및 채팅) 다음 예시는 이 가이드에서는 기본적인 텍스트 및 이미지 입력을 보여줍니다.
파일의 MIME 유형과 Cloud Storage for Firebase URL을 지정합니다. (항상
gs://로 시작)를 요청 입력에 포함합니다. 이러한 값은 Cloud Storage에 업로드된 모든 파일에 자동으로 할당된 메타데이터 버킷과 동기화할 수 있습니다지원되는 파일 형식 및 URL을 사용해야 합니다.
이 솔루션 가이드에서는 Cloud Storage for Firebase를 설정하는 방법을 설명합니다. Google Cloud: 앱에서 Cloud Storage for Firebase 버킷에 파일을 업로드합니다. 그런 다음 파일의 MIME 유형과 Cloud Storage for Firebase URL을 Gemini API에 대한 멀티모달 요청입니다.
코드 예시를 확인해 보시겠어요? 또는 이미 Cloud Storage for Firebase만 있다면 이제 어떻게 해야 할까요?
앱에서 Cloud Storage for Firebase를 사용해야 하는 이유
Cloud Storage for Firebase는 동일한 빠르고 안전하며 blob과 파일을 저장하는 Google Cloud Storage 확장 가능한 인프라와 및 클라이언트 SDK는 모바일 및 웹 앱용으로 특별히 빌드되었습니다.
Vertex AI in Firebase SDK의 경우 최대 요청 크기는 20MB입니다. 요청이 너무 크면 HTTP 413 오류가 발생합니다. 파일의 크기가 총 요청 크기가 20MB를 초과하도록 한 다음 멀티모달 요청에 파일을 포함할 Cloud Storage for Firebase URL 그러나 파일이 작은 경우 종종 인라인 데이터로 직접 전달할 수 있습니다. 하지만 인라인 데이터로 제공된 파일은 요청에 대한 크기가 늘어납니다.
Cloud Storage for Firebase 사용 시 얻을 수 있는 추가 이점은 다음과 같습니다.
최종 사용자가 여러분의 앱에서 직접 Cloud Storage for Firebase 버킷의 경우 해당 이미지를 파일의 MIME 유형과 Cloud Storage for Firebase URL (파일 식별자)
최종 사용자가 이미지를 제공해야 하는 경우 시간과 대역폭을 절약할 수 있습니다. 특히 네트워크 품질이 나쁘거나 불안정할 때 그렇습니다.
- 파일 업로드 또는 다운로드가 중단되면 Cloud Storage for Firebase SDK는 중단된 작업부터 자동으로 다시 시작합니다.
- 업로드된 동일한 파일을 최종 사용자 없이 여러 번 사용할 수 있습니다. 매번 같은 파일을 업로드해야 했습니다 (예: 새로운 멀티모달 요청).
다음 위치에 저장된 파일에 대한 최종 사용자 액세스를 제한할 수 있습니다. Firebase Security Rules를 사용하여 Cloud Storage for Firebase 승인된 사용자만 파일을 업로드, 다운로드 또는 삭제할 수 있습니다.
Firebase 또는 Google Cloud에서 버킷의 파일에 액세스할 수 있습니다. 이미지 처리와 같은 서버 측 처리를 유연하게 동영상 트랜스코딩과 동영상 트랜스코딩을 Google Cloud Storage API로 대체하여 사용할 수 있습니다.
어떤 유형의 파일 및 URL이 지원되나요?
사용하려는 파일 및 URL의 요구사항은 다음과 같습니다. Vertex AI in Firebase SDK가 포함된 Cloud Storage for Firebase URL:
파일은 멀티모달 요청을 위한 입력 파일 요구사항 (Vertex AI in Firebase SDK 사용 시) 여기에는 MIME 유형 및 파일 크기 등입니다.
파일은 Cloud Storage for Firebase 버킷에 저장해야 합니다. 즉, Firebase Security Rules와 같은 Firebase 서비스에서 버킷에 액세스할 수 있습니다. GCP 콘솔에서 버킷을 볼 수 있는 경우 Firebase 콘솔, Cloud Storage for Firebase 버킷이 됩니다
Cloud Storage for Firebase 버킷은 다음 위치에서 동일한 Firebase 프로젝트에 있어야 합니다. 확인할 수 있습니다
파일의 Cloud Storage for Firebase URL은
gs://(으)로 시작해야 합니다. 모든 Google Cloud Storage URL이 구성됩니다.파일 URL은 '브라우저'가 될 수 없습니다. URL (예: 있습니다.
또한 버킷의 Firebase Security Rules가 액세스할 수 있어야 합니다. 예를 들면 다음과 같습니다.
공개 규칙이 있는 경우 모든 사용자나 클라이언트가 파일에 액세스하고 호출 시 URL을 제공할 수 있습니다. (SDK를 사용하여 Vertex AI in Firebase SDK를 사용) 이러한 유형의 규칙은 초기 프로토타입 단계에서 작업을 시작할 수 있습니다 (파일이 실제로 완전히 공개적으로 액세스할 수 있는 파일임).
강력한 규칙이 있는 경우 (적극 권장됨) 그러면 Firebase에서 로그인한 사용자 또는 클라이언트가 파일에 대한 충분한 액세스 권한을 가지고 있어야 통화를 시작할 수 있습니다. 제공된 URL을 사용합니다.
Cloud Storage for Firebase URL을 Vertex AI in Firebase와 함께 사용
1단계: Cloud Storage for Firebase 설정
수행해야 하는 상위 수준 작업은 다음과 같습니다.
Firebase 프로젝트에 Cloud Storage for Firebase 버킷을 만듭니다.
이 버킷에 Firebase Security Rules을 적용합니다. Firebase Security Rules의 이점 승인된 최종 사용자로 액세스를 제한하여 파일의 보안을 설정합니다.
Cloud Storage for Firebase의 클라이언트 라이브러리를 앱에 추가합니다.
이 작업은 건너뛸 수 있지만 그런 다음 always를 수행해야 합니다. 멀티모달 요청에 MIME 유형과 Cloud Storage for Firebase URL 값을 명시적으로 포함합니다.
2단계: 버킷에 파일 업로드
파일을 버킷에 업로드하면 Cloud Storage이(가) 자동으로 적용됩니다. 다음 두 정보를 파일에 전달합니다. 이때 멀티모달 요청에서 이러한 값을 설정해야 합니다 (이 도움말의 다음 단계에 나와 있음). 가이드 참조).
MIME 유형: 파일의 미디어 유형입니다 (예:
image/png). Cloud Storage for Firebase에서 자동으로 MIME 유형을 감지하려고 시도합니다. 해당 메타데이터를 버킷의 객체에 적용합니다. 하지만 선택사항으로 업로드 중에 MIME 유형을 지정할 수 있습니다.Cloud Storage for Firebase URL: 파일의 고유 식별자입니다. URL은
gs://로 시작해야 합니다.
3단계: 파일의 MIME 유형과 URL을 멀티모달 요청에 포함
파일이 Cloud Storage for Firebase 버킷에 저장되면 다음 작업을 수행할 수 있습니다.
MIME 유형과 Cloud Storage for Firebase URL을 멀티모달 요청에 포함합니다.
이 예는 비 스트리밍 generateContent 요청을 보여주지만
Cloud Storage for Firebase URL을 스트리밍 및 채팅에 사용할 수도 있습니다.
요청에 파일을 포함하려면 다음 옵션 중 하나를 사용하세요.
옵션 1: 스토리지 참조를 사용하여 MIME 유형 및 URL 포함
파일을 버킷에 방금 업로드했고 저장소 참조를 통해 파일을 즉시 멀티모달에 포함 합니다. 호출에는 MIME 유형과 Cloud Storage for Firebase URL입니다.
옵션 2: MIME 유형 및 URL을 명시적으로 포함
MIME 유형 및 Cloud Storage for Firebase URL이고 이 URL을 멀티모달 요청을 지원합니다 호출에는 MIME 유형과 URL이 모두 필요합니다.