Tạo văn bản từ các câu lệnh đa phương thức bằng Gemini API


Khi gọi Gemini API từ ứng dụng của bạn bằng SDK Vertex AI in Firebase, bạn có thể đặt câu lệnh để mô hình Gemini tạo văn bản dựa trên phương thức nhập đa phương thức. Câu lệnh đa phương thức có thể bao gồm nhiều phương thức (hoặc nhiều loại phương thức nhập), như văn bản cùng với hình ảnh, PDF, video và âm thanh.

Để thử nghiệm và lặp lại trên các câu lệnh đa phương thức, bạn nên sử dụng Vertex AI Studio.

Trước khi bắt đầu

Hãy hoàn tất hướng dẫn bắt đầu sử dụng SDK Vertex AI in Firebase. Hãy đảm bảo rằng bạn đã hoàn thành tất cả các bước sau:

  1. Thiết lập một dự án Firebase mới hoặc hiện có, bao gồm cả việc sử dụng Gói giá linh hoạt và bật các API bắt buộc.

  2. Kết nối ứng dụng của bạn với Firebase, bao gồm cả việc đăng ký ứng dụng và thêm Cấu hình Firebase cho ứng dụng của bạn.

  3. Thêm SDK và khởi chạy dịch vụ Vertex AI và mô hình tạo sinh trong ứng dụng của bạn.

Sau khi bạn kết nối ứng dụng của mình với Firebase, thêm SDK và khởi chạy Dịch vụ Vertex AI và mô hình tạo sinh, bạn đã sẵn sàng gọi Gemini API.

Tạo văn bản từ văn bản và một hình ảnh duy nhất

Đảm bảo rằng bạn đã hoàn tất phần Trước khi bắt đầu của hướng dẫn này trước khi thử mẫu này.

Bạn có thể gọi Gemini API bằng các câu lệnh đa phương thức bao gồm cả văn bản và một tệp (như hình ảnh, như trong ví dụ này). Đối với lệnh gọi, bạn cần sử dụng một mô hình hỗ trợ các câu lệnh đa phương thức (chẳng hạn như Gemini 1.5 Pro).

Các tệp được hỗ trợ bao gồm hình ảnh, PDF, video, âm thanh, v.v. Hãy nhớ xem lại các yêu cầu và đề xuất đối với tệp đầu vào.

Chọn xem bạn muốn truyền trực tuyến câu trả lời (generateContentStream) hay đợi cho phản hồi cho đến khi tạo toàn bộ kết quả (generateContent).

Phát trực tuyến

Bạn có thể đạt được các tương tác nhanh hơn bằng cách không phải chờ toàn bộ kết quả từ việc tạo mô hình và thay vào đó sử dụng luồng để xử lý một phần kết quả.

Không truyền trực tuyến

Hoặc, bạn có thể chờ toàn bộ kết quả thay vì truy cập trực tuyến; thời gian kết quả chỉ được trả về sau khi mô hình hoàn tất toàn bộ quá trình tạo của chúng tôi.

Tìm hiểu cách chọn một mô hình Gemini và không bắt buộc phải chọn một vị trí phù hợp với trường hợp sử dụng và ứng dụng của bạn.

Tạo văn bản từ văn bản và nhiều hình ảnh

Đảm bảo rằng bạn đã hoàn tất phần Trước khi bắt đầu của hướng dẫn này trước khi thử mẫu này.

Bạn có thể gọi Gemini API bằng các câu lệnh đa phương thức bao gồm cả văn bản và nhiều tệp (như hình ảnh, như trong ví dụ này). Đối với lệnh gọi, bạn cần sử dụng một mô hình hỗ trợ các câu lệnh đa phương thức (chẳng hạn như Gemini 1.5 Pro).

Các tệp được hỗ trợ bao gồm hình ảnh, PDF, video, âm thanh, v.v. Hãy nhớ xem lại các yêu cầu và đề xuất đối với tệp đầu vào.

Chọn xem bạn muốn truyền trực tuyến câu trả lời (generateContentStream) hay đợi cho phản hồi cho đến khi tạo toàn bộ kết quả (generateContent).

Phát trực tuyến

Bạn có thể đạt được các tương tác nhanh hơn bằng cách không phải chờ toàn bộ kết quả từ việc tạo mô hình và thay vào đó sử dụng luồng để xử lý một phần kết quả.

Không truyền trực tuyến

Ngoài ra, bạn cũng có thể đợi toàn bộ kết quả thay vì phát trực tuyến; kết quả chỉ được trả về sau khi mô hình hoàn tất toàn bộ trong quá trình tạo.

Tìm hiểu cách chọn một mô hình Gemini và không bắt buộc phải chọn một vị trí phù hợp với trường hợp sử dụng và ứng dụng của bạn.

Tạo văn bản từ văn bản và video

Đảm bảo rằng bạn đã hoàn tất phần Trước khi bắt đầu của hướng dẫn này trước khi thử mẫu này.

Bạn có thể gọi Gemini API bằng các câu lệnh đa phương thức bao gồm cả văn bản và một video (như trong ví dụ này). Đối với lệnh gọi, bạn cần sử dụng một mô hình hỗ trợ các câu lệnh đa phương thức (chẳng hạn như Gemini 1.5 Pro).

Hãy nhớ xem lại các yêu cầu và đề xuất đối với tệp đầu vào.

Chọn xem bạn muốn truyền trực tuyến câu trả lời (generateContentStream) hay đợi cho phản hồi cho đến khi tạo toàn bộ kết quả (generateContent).

Phát trực tuyến

Bạn có thể đạt được các tương tác nhanh hơn bằng cách không phải chờ toàn bộ kết quả từ việc tạo mô hình và thay vào đó sử dụng luồng để xử lý một phần kết quả.

Không truyền trực tuyến

Hoặc, bạn có thể chờ toàn bộ kết quả thay vì truy cập trực tuyến; thời gian kết quả chỉ được trả về sau khi mô hình hoàn tất toàn bộ quá trình tạo của chúng tôi.

Tìm hiểu cách chọn một mô hình Gemini và không bắt buộc phải chọn một vị trí phù hợp với trường hợp sử dụng và ứng dụng của bạn.

Yêu cầu và đề xuất đối với tệp đầu vào

Để tìm hiểu về các loại tệp được hỗ trợ, cách chỉ định loại MIME và cách tạo đảm bảo rằng các tệp và yêu cầu đa phương thức của bạn đáp ứng các yêu cầu và tuân thủ các phương pháp hay nhất, xem Các yêu cầu và tệp nhập được hỗ trợ đối với Vertex AI Gemini API.

Bạn có thể làm gì khác?

  • Tìm hiểu cách tính mã thông báo trước khi gửi các câu lệnh dài đến mô hình.
  • Thiết lập Cloud Storage for Firebase để bạn có thể đưa các tệp lớn vào yêu cầu đa phương thức bằng cách sử dụng Cloud Storage URL. Tệp có thể bao gồm hình ảnh, PDF, video và âm thanh.
  • Hãy bắt đầu nghĩ đến việc chuẩn bị sản xuất, bao gồm thiết lập Firebase App Check để bảo vệ Gemini API khỏi hành vi lạm dụng của các ứng dụng trái phép.

Hãy thử các tính năng khác của Gemini API

Tìm hiểu cách kiểm soát việc tạo nội dung

Bạn cũng có thể thử nghiệm với các câu lệnh và cấu hình mô hình bằng cách sử dụng Vertex AI Studio.

Tìm hiểu thêm về các mô hình Gemini

Tìm hiểu về những mô hình có sẵn cho nhiều trường hợp sử dụnghạn mức và giá.


Gửi ý kiến phản hồi về trải nghiệm của bạn với Vertex AI in Firebase