SDK Vertex AI in Firebase cấp cho bạn quyền truy cập vào các mô hình Imagen 3 (thông qua Imagen API) để bạn có thể tạo hình ảnh từ câu lệnh văn bản. Với khả năng này, bạn có thể làm những việc như:
- Tạo hình ảnh từ câu lệnh được viết bằng ngôn ngữ tự nhiên
- Tạo hình ảnh ở nhiều định dạng và phong cách
- Kết xuất văn bản trong hình ảnh
Xin lưu ý rằng Vertex AI in Firebase chưa hỗ trợ tất cả tính năng có sẵn cho các mẫu Imagen. Tìm hiểu thêm trong phần Các tính năng và chức năng được hỗ trợ ở phần sau của trang này.
Chuyển đến mã cho phương thức nhập chỉ văn bản
Trước khi bắt đầu
Hãy xem xong hướng dẫn bắt đầu sử dụng nếu bạn chưa xem. Việc này bao gồm việc thiết lập dự án Firebase, kết nối ứng dụng với Firebase, thêm SDK và khởi chạy dịch vụ Vertex AI. Đây đều là những nhiệm vụ bắt buộc trước khi bạn có thể gửi yêu cầu nhắc đến mô hình Imagen bằng SDK Vertex AI in Firebase.
Xin lưu ý rằng để tạo hình ảnh bằng mô hình Imagen:
Đảm bảo rằng bạn đang sử dụng ít nhất các phiên bản thư viện Firebase sau:
iOS+: v11.9.1+ | Android: v16.2.0+ (BoM: v33.10.0+) | Web: v11.4.1+ | Flutter: v1.4.0+ (BoM: v3.8.0+)Khởi động
ImagenModel(không phảiGenerativeModel)Gửi lời nhắc trong lệnh gọi đến
generateImages()(không đếngenerateContent()hoặcgenerateContentStream())
Quá trình khởi chạy ImagenModel và sử dụng generateImages() này được hiển thị trong các ví dụ trên trang này.
Các mẫu hỗ trợ tính năng này
Mô hình Imagen 3 hỗ trợ việc tạo hình ảnh. Chúng tôi sẽ sớm hỗ trợ tính năng tạo hình ảnh bằng các mô hình Gemini 2.0.
Tạo hình ảnh từ dữ liệu đầu vào chỉ có văn bản
Bạn có thể yêu cầu mô hình Imagen tạo hình ảnh bằng cách đưa ra câu lệnh bằng văn bản. Bạn có thể tạo một hình ảnh hoặc nhiều hình ảnh.
Tạo một hình ảnh từ dữ liệu đầu vào chỉ có văn bản
Hãy đảm bảo bạn đã hoàn tất phần Trước khi bắt đầu trong hướng dẫn này trước khi thử mẫu này.
Bạn có thể yêu cầu mô hình Imagen tạo một hình ảnh bằng cách đưa ra câu lệnh bằng văn bản.
Tìm hiểu cách chọn một mô hình và tuỳ chọn vị trí phù hợp với trường hợp sử dụng và ứng dụng của bạn.
Tạo nhiều hình ảnh từ dữ liệu đầu vào chỉ có văn bản
Hãy đảm bảo bạn đã hoàn tất phần Trước khi bắt đầu của hướng dẫn này trước khi thử mẫu này.
Theo mặc định, các mô hình Imagen 3 chỉ tạo một hình ảnh cho mỗi yêu cầu.
Tuy nhiên, bạn có thể yêu cầu mô hình Imagen tạo nhiều hình ảnh cho mỗi yêu cầu bằng cách cung cấp generationConfig trong quá trình khởi chạy mô hình.
Tìm hiểu cách chọn một mô hình và tuỳ chọn vị trí phù hợp với trường hợp sử dụng và ứng dụng của bạn.
Các tính năng và yêu cầu được hỗ trợ
Các mô hình Imagen 3 cung cấp nhiều tính năng liên quan đến việc tạo hình ảnh. Phần này mô tả những tính năng được hỗ trợ khi sử dụng các mô hình với Vertex AI in Firebase.
Các tính năng và chức năng được hỗ trợ
Vertex AI in Firebase hỗ trợ các tính năng này của mô hình Imagen 3.
Tạo người và khuôn mặt (miễn là dự án Firebase của bạn đã được Google Cloud phê duyệt)
Tạo văn bản trong hình ảnh được tạo
Thêm hình mờ vào hình ảnh được tạo
Định cấu hình các tham số tạo hình ảnh, chẳng hạn như số lượng hình ảnh được tạo, tỷ lệ khung hình và tạo hình mờ
Định cấu hình chế độ cài đặt an toàn
Vertex AI in Firebase không hỗ trợ các tính năng nâng cao này của các mẫu Imagen 3.
Xin lưu ý rằng hầu hết các tính năng này đều yêu cầu bạn phải có tên trong danh sách người dùng được phê duyệt ngay cả khi sử dụng các mô hình Imagen phía máy chủ.
Các tính năng chỉnh sửa hoặc thao tác với hình ảnh, bao gồm cả tính năng nâng cấp hình ảnh
Đưa hình ảnh vào yêu cầu gửi đến mô hình (chẳng hạn như để học từ một vài dữ liệu)
Xác minh hình mờ kỹ thuật số bằng SDK
Nếu muốn xác minh rằng một hình ảnh có hình mờ, bạn có thể tải hình ảnh đó lên Vertex AI Studio bằng thẻ Media (Nội dung nghe nhìn).Tạo "hình ảnh động" từ văn bản (tạo tệp MP4)
Tạo hình ảnh bằng kiểu được xác định trước
Bật
includeSafetyAttributes, nghĩa là không thể trả vềsafetyAttributes.categoriesvàsafetyAttributes.scoresTắt tính năng cải thiện câu lệnh (thông số
enhancePrompt). Điều này có nghĩa là công cụ viết lại câu lệnh dựa trên LLM sẽ luôn tự động thêm thông tin chi tiết vào câu lệnh được cung cấp để cung cấp hình ảnh chất lượng cao hơn, phản ánh tốt hơn câu lệnh được cung cấpGhi trực tiếp hình ảnh được tạo vào Google Cloud Storage như một phần của phản hồi từ mô hình (tham số
storageUri). Thay vào đó, hình ảnh luôn được trả về dưới dạng byte hình ảnh được mã hoá base64 trong phản hồi.
Nếu muốn tải hình ảnh được tạo lên Cloud Storage, bạn có thể sử dụng Cloud Storage for Firebase.
Thông số kỹ thuật và giới hạn
| Giới hạn (mỗi yêu cầu) | Imagen 3 | Imagen 3 Fast |
|---|---|---|
| Số mã thông báo đầu vào tối đa | 480 mã thông báo | 480 mã thông báo |
| Số lượng hình ảnh đầu ra tối đa | 4 hình ảnh | 4 hình ảnh |
| Độ phân giải hình ảnh đầu ra được hỗ trợ (pixel) |
|
|
Bạn có thể làm gì khác?
- Hãy bắt đầu suy nghĩ về việc chuẩn bị cho bản phát hành công khai, bao gồm cả việc thiết lập Firebase App Check để bảo vệ các API mà bạn sử dụng trong ứng dụng khỏi hành vi sử dụng sai trái của ứng dụng khách trái phép. Ngoài ra, hãy nhớ xem lại danh sách kiểm tra cho bản phát hành chính thức.
Tìm hiểu cách kiểm soát việc tạo nội dung
- Tìm hiểu về thiết kế câu lệnh, bao gồm cả các phương pháp hay nhất, chiến lược và câu lệnh mẫu.
- Định cấu hình các tham số mô hình Imagen như tỷ lệ khung hình, tạo người và tạo hình mờ.
- Sử dụng chế độ cài đặt an toàn để điều chỉnh khả năng nhận được những câu trả lời có thể bị coi là có hại.
Tìm hiểu thêm về các mẫu được hỗ trợ
Tìm hiểu về các mô hình có sẵn cho nhiều trường hợp sử dụng, cũng như hạn mức và giá của các mô hình đó.Gửi ý kiến phản hồi về trải nghiệm của bạn với Vertex AI in Firebase