Trình bổ trợ Vertex AI cung cấp giao diện cho một số mô hình AI tạo sinh của Google thông qua Vertex AI API:
- Tạo văn bản Gemini 1.0 Pro và Gemini 1.0 Pro Vision
- Tạo hình ảnh Imagen2
- Tạo nhúng văn bản Gecko
Dịch vụ này cũng cấp quyền truy cập vào một số chỉ số đánh giá thông qua Quick Đánh giá API của Vertex AI.
- BLEU
- Hàm ROUGE
- Sự trôi chảy
- An toàn
- Cơ sở
- Chất lượng tóm tắt
- Tính hữu ích của nội dung tóm tắt
- Độ chi tiết tóm tắt
Cài đặt
npm i --save @genkit-ai/vertexai
Nếu muốn chạy cục bộ các luồng sử dụng trình bổ trợ này, bạn cũng cần cài đặt công cụ Google Cloud CLI.
Cấu hình
Để sử dụng trình bổ trợ này, hãy chỉ định trình bổ trợ này khi bạn gọi configureGenkit()
:
import { vertexAI } from '@genkit-ai/vertexai';
export default configureGenkit({
plugins: [
vertexAI({ projectId: 'your-cloud-project', location: 'us-central1' }),
],
// ...
});
Trình bổ trợ này yêu cầu bạn phải chỉ định mã dự án trên Google Cloud, khu vực mà bạn muốn gửi yêu cầu Vertex API đến thông tin đăng nhập của dự án trên Google Cloud.
Bạn có thể chỉ định mã dự án trên Google Cloud bằng cách đặt
projectId
trong cấu hìnhvertexAI()
hoặc đặt biến môi trườngGCLOUD_PROJECT
. Nếu bạn đang chạy quy trình từ một môi trường Google Cloud (Chức năng đám mây, Cloud Run, v.v.), thìGCLOUD_PROJECT
sẽ tự động được đặt thành mã dự án của môi trường đó.Bạn có thể chỉ định vị trí API bằng cách đặt
location
trong cấu hìnhvertexAI()
hoặc đặt biến môi trườngGCLOUD_LOCATION
.Để cung cấp thông tin đăng nhập API, bạn cần thiết lập Thông tin xác thực mặc định của ứng dụng Google Cloud.
Để chỉ định thông tin đăng nhập của bạn:
Nếu bạn đang chạy quy trình từ một môi trường Google Cloud (Chức năng đám mây, Cloud Run, v.v.), chế độ cài đặt này sẽ tự động được đặt.
Trên môi trường nhà phát triển cục bộ, hãy thực hiện việc này bằng cách chạy:
gcloud auth application-default login
- Đối với các môi trường khác, hãy xem tài liệu về Thông tin xác thực mặc định của ứng dụng.
Ngoài ra, hãy đảm bảo tài khoản đã được cấp vai trò IAM của người dùng Vertex AI (
roles/aiplatform.user
). Xem tài liệu về kiểm soát quyền truy cập của Vertex AI.
Hoạt động sử dụng
Mô hình AI tạo sinh
Trình bổ trợ này xuất tĩnh các tệp tham chiếu đến các mô hình AI tạo sinh được hỗ trợ:
import { geminiPro, geminiProVision, imagen2 } from '@genkit-ai/vertexai';
Bạn có thể sử dụng các tham chiếu này để chỉ định mô hình mà generate()
sử dụng:
const llmResponse = await generate({
model: geminiPro,
prompt: 'What should I do when I visit Melbourne?',
});
Trình bổ trợ này cũng xuất tĩnh một tệp tham chiếu đến mô hình nhúng văn bản Gecko:
import { textEmbeddingGecko } from '@genkit-ai/vertexai';
Bạn có thể sử dụng tệp tham chiếu này để chỉ định trình nhúng mà trình lập chỉ mục hoặc trình truy xuất sử dụng. Ví dụ: nếu bạn sử dụng Chroma DB:
configureGenkit({
plugins: [
chroma([
{
embedder: textEmbeddingGecko,
collectionName: 'my-collection',
},
]),
],
});
Hoặc bạn có thể tạo nhúng trực tiếp:
// import { embed, EmbedderArgument } from '@genkit-ai/ai/embedder';
const embedding = await embed({
embedder: textEmbeddingGecko,
content: 'How many widgets do you have in stock?',
});
Nhân vật âm nghẹt thở 3 trên công viên Vertex AI Model Garden
Nếu có quyền sử dụng mô hình CRO 3 (haiku, sonnet hoặc opus) trong Vertex AI Model Garden, bạn có thể sử dụng các mô hình đó với Genkit.
Dưới đây là cấu hình mẫu để bật các mô hình Vertex AI Model Garden:
import {
vertexAI,
claude3Haiku,
claude3Sonnet,
claude3Opus,
} from '@genkit-ai/vertexai';
export default configureGenkit({
plugins: [
vertexAI({
location: 'us-central1',
modelGardenModels: [claude3Haiku, claude3Sonnet, claude3Opus],
}),
],
});
Sau đó, hãy sử dụng chúng làm các mô hình thông thường:
const llmResponse = await generate({
model: claude3Sonnet,
prompt: 'What should I do when I visit Melbourne?',
});
Người đánh giá
Để sử dụng người đánh giá của chương trình Đánh giá nhanh của Vertex AI, hãy thêm một khối evaluation
vào cấu hình trình bổ trợ vertexAI
.
import { vertexAI, VertexAIEvaluationMetricType } from '@genkit-ai/vertexai';
export default configureGenkit({
plugins: [
vertexAI({
projectId: 'your-cloud-project',
location: 'us-central1',
evaluation: {
metrics: [
VertexAIEvaluationMetricType.SAFETY,
{
type: VertexAIEvaluationMetricType.ROUGE,
metricSpec: {
rougeType: 'rougeLsum',
},
},
],
},
}),
],
// ...
});
Cấu hình ở trên thêm những người đánh giá cho các chỉ số Safety
và ROUGE
. Ví dụ này cho thấy hai cách tiếp cận: chỉ số Safety
sử dụng quy cách mặc định, trong khi chỉ số ROUGE
cung cấp quy cách tuỳ chỉnh để đặt loại lộ trình thành rougeLsum
.
Bạn có thể chạy cả hai trình đánh giá bằng lệnh genkit eval:run
với một tập dữ liệu tương thích: tức là một tập dữ liệu có các trường output
và reference
. Bạn cũng có thể chạy trình đánh giá Safety
bằng lệnh genkit eval:flow -e vertexai/safety
vì lệnh này chỉ yêu cầu output
.