AI 기능의 비용, 사용량, 기타 측정항목을 모니터링하는 것은 프로덕션 앱을 실행하는 데 중요한 부분입니다. 앱의 일반적인 사용 패턴을 알아야 하며 중요한 기준 금액을 초과해서는 안 됩니다.
이 페이지에서는 Firebase 콘솔과 Google Cloud 콘솔 모두에서 비용, 사용량, 기타 측정항목을 모니터링하는 데 권장되는 몇 가지 옵션을 설명합니다.
비용 모니터링
Firebase Console의 사용량 및 결제 대시보드 에서 Firebase 호출에 대한 프로젝트 비용을 확인할 수 있습니다. Vertex AI Gemini API 및 Gemini Developer API (Blaze 요금제를 사용하는 경우 ).
대시보드에 표시되는 비용은 반드시 Firebase AI Logic 클라이언트 SDK를 사용하는 호출에만 해당되는 것은 아닙니다. 표시된 비용은 Firebase AI Logic 클라이언트 SDK, Google 생성형 AI 서버 SDK, Genkit, Gemini API용 Firebase 확장 프로그램, REST 호출, AI Studio 중 하나 또는 기타 API 클라이언트를 사용하는지 여부에 관계없이 이러한 'Gemini API'에 대한 _모든_ 호출과 연결됩니다.Firebase AI LogicGenkitFirebase ExtensionsGemini API
Firebase AI Logic 사용과 관련된 제품의 Firebase AI Logic 가격 책정에 대해 자세히 알아보세요.
알림 설정
예상치 못한 청구서를 방지하려면 Blaze 요금제를 사용하는 경우 예산 알림을 설정 해야 합니다.
예산 알림은 예산 한도가 아닙니다 . 구성된 기준점에 도달하거나 이를 초과하면 알림이 전송되므로 앱 또는 프로젝트에서 조치를 취할 수 있습니다.
Firebase 콘솔에서 AI 기능 사용량 관찰
Firebase AI Logic 페이지에서 AI 모니터링을 사용 설정하여 다양한 앱 수준 측정항목과 사용량을 관찰하고 콘솔의 요청을 포괄적으로 파악할 수 있습니다.Firebase AI LogicFirebase 이러한 대시보드는 Count Tokens API 호출에서 가져오는 기본 토큰 수보다 더 심층적입니다.
Firebase Console의 AI 모니터링의 주요 기능은 다음과 같습니다.Firebase
각 앱의 요청 볼륨, 지연 시간, 오류, 모달리티별 토큰 사용량과 같은 정량적 측정항목을 봅니다.
trace를 검사하여 요청의 속성, 입력, 출력을 확인합니다. 이는 디버깅 및 품질 개선에 도움이 될 수 있습니다.
요청 상태, 최소 지연 시간, 모델 이름 등과 같은 측정기준으로 데이터를 분할합니다.
이러한 모든 기능은 Google Cloud Observability Suite를 사용하여 빌드됩니다 (아래에서 자세한 제품 정보 참고).
AI Monitoring 사용 설정
Firebase Console에서 AI 모니터링을 사용 설정하는 방법은 다음과 같습니다. Firebase
AI 서비스 > Firebase AI Logic 페이지에서 초기 안내 설정 워크플로를 진행할 때
AI 서비스 > AI Logic > 설정 탭에서 언제든지
AI 모니터링을 사용 설정하고 사용하기 위한 요구사항은 다음과 같습니다.
프로젝트 소유자, 편집자 또는 Firebase Vertex AI 관리자여야 합니다.
앱에서 최소한 다음 Firebase 라이브러리 버전을 사용해야 합니다.
iOS+: v11.13.0 이상 | Android: v16.0.0 이상 (BoM: v33.14.0 이상) | 웹: v11.8.0 이상 | Flutter: v2.0.0 이상 (BoM: v3.11.0 이상) | Unity: v12.9.0 이상앱에서 선택 데이터 수집이 사용 설정 되어 있어야 합니다 (기본적으로 사용 설정됨).
앱이 이러한 요구사항을 충족하고 콘솔에서 AI 모니터링을 사용 설정한 후에는 앱 또는 콘솔에서 다른 작업을 실행하지 않아도 AI 서비스 > AI Logic > AI 모니터링 탭의 대시보드에 데이터가 채워지기 시작합니다. 요청의 원격 분석 데이터가 Firebase 콘솔에서 제공되기까지 약간의 지연 (최대 5분)이 있을 수 있습니다.
고급 사용
이 섹션에서는 샘플링 레이트 구성과 데이터를 보고 작업하는 다양한 옵션을 설명합니다.
샘플링 레이트
요청을 많이 하는 경우 샘플링 레이트 구성을 활용하는 것이 좋습니다. 샘플링 레이트는 trace 세부정보 가 실제로 수집된 요청의 비율을 나타냅니다.
Firebase Console의 AI 서비스 > AI Logic > 설정 탭에서 프로젝트의 샘플링 레이트를 1~100%의 값으로 구성할 수 있습니다. 여기서 100% 는 AI 모니터링이 모든 트래픽에서 trace를 수집한다는 의미입니다. 기본값은 100%입니다. trace를 적게 수집하면 비용이 절감되지만 모니터링할 수 있는 trace 수도 줄어듭니다. 샘플링 레이트와 관계없이 모니터링 대시보드에 표시되는 그래프는 항상 실제 트래픽 볼륨을 반영합니다.
Firebase 콘솔 외부의 추가 옵션
Firebase 콘솔에서 사용할 수 있는 AI 모니터링 외에도 다음 옵션을 고려해 보세요.
Vertex AI Model Garden을 살펴봅니다.
이러한 대시보드는 관리형 모델의 지연 시간과 처리량에 대한 추가적인 추세 통계를 제공하여 AI 모니터링에서 얻은 통계를 보완합니다. Firebase 콘솔데이터를 살펴보고 사용합니다. Google Cloud Observability Suite
AI 모니터링의 원격 분석 데이터는 Google Cloud Observability Suite 프로젝트와 연결된 에 저장되므로 대시보드에서 데이터를 살펴볼 수 있습니다. Trace Explorer 및 Logs Explorer를 비롯한 대시보드에서 데이터를 살펴볼 수 있습니다. Firebase Console에서 개별 trace를 검사할 때 연결됩니다. 데이터를 사용하여 커스텀 대시보드를 빌드하고, 알림을 설정하는 등의 작업을 할 수도 있습니다.
AI 모니터링에 사용되는 제품에 관한 세부정보
AI 모니터링은 Google Cloud Observability Suite에서 제공되는 다양한 제품에 원격 분석 데이터를 저장합니다. 여기에는 Cloud Monitoring, Cloud Trace, Cloud Logging가 포함됩니다.
Cloud Monitoring: 요청 수, 성공률, 요청 지연 시간을 비롯한 측정항목을 저장합니다.
Cloud Trace: 집계가 아닌 개별적으로 세부정보를 볼 수 있도록 각 요청의 trace를 저장합니다. trace는 일반적으로 로그와 연결되어 각 상호작용의 콘텐츠와 타이밍을 검사할 수 있습니다.
Cloud Logging: 입력, 출력, 구성 메타데이터를 캡처하여 AI 요청의 각 부분에 관한 풍부한 세부정보를 제공합니다.
원격 분석 데이터는 이러한 제품에 저장되므로 각 제품 내에서 직접 보관 및 액세스 설정을 지정할 수 있습니다 (Cloud Monitoring, Cloud Trace, Cloud Logging 문서에서 자세히 알아보세요).Cloud MonitoringCloud TraceCloud Logging
AI 모니터링은 이 데이터에 액세스할 수 있도록 각 샘플링된 요청의 실제 프롬프트와 생성된 출력을 Cloud Logging에 저장합니다.Firebase 선택적으로 프롬프트와 응답 저장을 사용 중지할 수 있습니다.
가격 책정
무료 Spark 요금제를 사용하는 프로젝트 (Gemini Developer API를 사용하는 경우에만 사용 가능): AI 모니터링의 기본 서비스 사용은 무료입니다.
사용한 만큼만 지불하는 Blaze 요금제를 사용하는 프로젝트: AI 모니터링에서 사용하는 기본 Google Cloud Observability Suite 제품의 사용량에 따라 요금이 청구됩니다 (선택한 Gemini API 제공업체와 관계없이). 하지만 각 Google Cloud Observability Suite 제품에는 무료 등급이 충분히 제공됩니다. 자세한 내용은 Google Cloud Observability Suite 가격 책정 문서를 참고하세요.
(선택사항) 프롬프트와 응답 저장 사용 중지
기본적으로 AI 모니터링은 모델에 전송된 실제 프롬프트와 모델에서 생성된 응답을 캡처합니다. 여기에는 이러한 프롬프트와 응답의 민감한 정보 (예: 개인 식별 정보 (PII)) 가 포함됩니다. 이 모든 데이터는 Cloud Logging에 저장되므로 Firebase Console에서 액세스할 수 있습니다.
프롬프트와 응답의 저장을 사용 중지하려면
제외 필터를
Cloud Logging 싱크에 추가합니다.
(일반적으로 _Default 싱크):
resource.type="firebasevertexai.googleapis.com/Model"
Google Cloud 콘솔에서 프로젝트 수준 API 측정항목 보기
각 API의 경우 Google Cloud 콘솔에서 사용량과 같은 프로젝트 수준 측정항목을 볼 수 있습니다.
이 섹션에서 설명하는 Google Cloud 콘솔 페이지에는 요청 및 응답 콘텐츠, 토큰 수와 같은 정보가 포함되지 않습니다. 이러한 유형의 정보를 모니터링하려면 콘솔에서 AI 모니터링을 사용하는 것이 좋습니다Firebase (이전 섹션 참고).
Google Cloud 콘솔에서 보려는 API의 측정항목 페이지로 이동합니다.
Vertex AI API: any 요청과 관련된 사용량을 봅니다. Vertex AI Gemini API
- Firebase AI Logic 클라이언트 SDK, Google 생성형 AI 서버 SDK, Genkit, Firebase Extensions 용 Gemini API, REST API, Vertex AI Studio 등을 사용하는 요청을 포함합니다.
Gemini Developer API: 모든 요청과 관련된 사용량을 봅니다. Gemini Developer API.
- Firebase AI Logic 클라이언트 SDK, Google 생성형 AI 서버 SDK, Genkit, Firebase Extensions Gemini API용, REST API, Google AI Studio 등을 사용하는 요청을 포함합니다.
- Google Cloud 콘솔에서 이 API의 표시 이름은 '생성형 언어 API'입니다.
API의 "개요 페이지"에 있는 경우 관리를 클릭한 후 측정항목 탭을 클릭합니다.
드롭다운 메뉴를 사용하여 응답 코드별 트래픽, API 메서드별 오류, 전체 지연 시간, API 메서드별 지연 시간과 같은 관심 있는 측정항목을 봅니다.