Đang tạo nội dung

Firebase Genkit cung cấp một giao diện dễ dàng để tạo nội dung bằng các mô hình ngôn ngữ lớn (LLM).

Mô hình

Các mô hình trong Firebase Genkit là các thư viện và thành phần trừu tượng cấp quyền truy cập vào nhiều LLM của Google và không phải của Google.

Các mô hình được đo lường đầy đủ để có thể quan sát và đi kèm với công cụ các tiện ích tích hợp do giao diện người dùng Nhà phát triển Genkit cung cấp -- bạn có thể thử bất kỳ mô hình nào sử dụng trình chạy mô hình.

Khi làm việc với các mô hình trong Genkit, trước tiên, bạn cần định cấu hình mô hình mình muốn hợp tác. Cấu hình mô hình do hệ thống trình bổ trợ thực hiện. Trong trong ví dụ này, bạn đang định cấu hình trình bổ trợ Vertex AI, trình bổ trợ này cung cấp các tính năng người mẫu.

import {
	"github.com/firebase/genkit/go/ai"
	"github.com/firebase/genkit/go/plugins/vertexai"
}

// Default to the value of GCLOUD_PROJECT for the project,
// and "us-central1" for the location.
// To specify these values directly, pass a vertexai.Config value to Init.
if err := vertexai.Init(ctx, nil); err != nil {
	return err
}

Để sử dụng các mô hình do trình bổ trợ cung cấp, bạn cần tham chiếu đến mô hình cụ thể và phiên bản:

model := vertexai.Model("gemini-1.5-flash")

Mô hình được hỗ trợ

Genkit hỗ trợ mô hình thông qua hệ thống trình bổ trợ. Các plugin sau được hỗ trợ chính thức:

Trình bổ trợ Mô hình
AI tạo sinh của Google Gemini Pro, Tầm nhìn Gemini Pro
Vertex AI của Google Gemini Pro, Gemini Pro Vision, Gemini 1.5 Flash, Gemini 1.5 Pro, Imagen2
Ollama Nhiều mô hình địa phương, trong đó có Gemma, Llama 2, Mistral, v.v.

Hãy xem tài liệu của mỗi trình bổ trợ để biết thông tin về cách thiết lập và sử dụng.

Cách tạo nội dung

Genkit cung cấp một chức năng trợ giúp đơn giản để tạo nội dung bằng các mô hình.

Để chỉ gọi mô hình:

responseText, err := ai.GenerateText(ctx, model, ai.WithTextPrompt("Tell me a joke."))
if err != nil {
	return err
}
fmt.Println(responseText)

Bạn có thể truyền các tuỳ chọn cùng với lệnh gọi mô hình. Các lựa chọn được hỗ trợ phụ thuộc vào mô hình và API của mô hình đó.

response, err := ai.Generate(ctx, model,
	ai.WithTextPrompt("Tell me a joke about dogs."),
	ai.WithConfig(ai.GenerationCommonConfig{
		Temperature:     1.67,
		StopSequences:   []string{"cat"},
		MaxOutputTokens: 3,
	}))

Hiện câu trả lời theo thời gian thực

Genkit hỗ trợ phân luồng phản hồi của mô hình. Cách sử dụng tính năng phát trực tiếp theo đoạn: truyền một hàm callback đến Generate():

response, err := ai.Generate(ctx, gemini15pro,
	ai.WithTextPrompt("Tell a long story about robots and ninjas."),
	// stream callback
	ai.WithStreaming(
		func(ctx context.Context, grc *ai.GenerateResponseChunk) error {
			fmt.Printf("Chunk: %s\n", grc.Text())
			return nil
		}))
if err != nil {
	return err
}

// You can also still get the full response.
fmt.Println(response.Text())

Nhập đa phương thức

Nếu mô hình đó hỗ trợ phương thức nhập đa phương thức, bạn có thể truyền câu lệnh dạng hình ảnh theo cách sau:

imageBytes, err := os.ReadFile("img.jpg")
if err != nil {
	return err
}
encodedImage := base64.StdEncoding.EncodeToString(imageBytes)

resp, err := ai.Generate(ctx, gemini15pro, ai.WithMessages(
	ai.NewUserMessage(
		ai.NewTextPart("Describe the following image."),
		ai.NewMediaPart("", "data:image/jpeg;base64,"+encodedImage))))

Định dạng chính xác của lời nhắc về hình ảnh (URL https, URL gs, URI data) là phụ thuộc vào mô hình.

Gọi hàm (công cụ)

Các mô hình Genkit cung cấp giao diện để gọi hàm, đối với những mô hình hỗ trợ nó.

myJokeTool := ai.DefineTool(
	"myJoke",
	"useful when you need a joke to tell",
	func(ctx context.Context, input *any) (string, error) {
		return "haha Just kidding no joke! got you", nil
	},
)

response, err := ai.Generate(ctx, gemini15pro,
	ai.WithTextPrompt("Tell me a joke."),
	ai.WithTools(myJokeTool))

Thao tác này sẽ tự động gọi các công cụ để hoàn thành lời nhắc của người dùng.

Ghi lại nhật ký tin nhắn

Các mô hình Genkit hỗ trợ duy trì nhật ký tin nhắn được gửi đến mô hình và phản hồi của nó để bạn có thể sử dụng để tạo trải nghiệm tương tác, chẳng hạn như chatbot.

Trong câu lệnh đầu tiên của một phiên hoạt động, "nhật ký" chỉ đơn giản là lời nhắc của người dùng:

history := []*ai.Message{{
	Content: []*ai.Part{ai.NewTextPart(prompt)},
	Role:    ai.RoleUser,
}}

response, err := ai.Generate(context.Background(), gemini15pro, ai.WithMessages(history...))

Khi bạn nhận được câu trả lời, hãy thêm câu trả lời đó vào nhật ký:

history = append(history, response.Candidates[0].Message)

Bạn có thể chuyển đổi tuần tự nhật ký này và lưu trữ trong cơ sở dữ liệu hoặc bộ nhớ phiên. Đối với các lời nhắc người dùng tiếp theo, hãy thêm họ vào nhật ký trước khi gọi Generate():

history = append(history, &ai.Message{
	Content: []*ai.Part{ai.NewTextPart(prompt)},
	Role:    ai.RoleUser,
})

response, err = ai.Generate(ctx, gemini15pro, ai.WithMessages(history...))

Nếu mô hình bạn đang sử dụng hỗ trợ vai trò hệ thống, bạn có thể sử dụng tham số ban đầu để đặt thông báo của hệ thống:

history = []*ai.Message{{
	Content: []*ai.Part{ai.NewTextPart("Talk like a pirate.")},
	Role:    ai.RoleSystem,
}}