Trang này hướng dẫn bạn cách sử dụng Cloud Firestore để thực hiện lệnh K-gần nhất tìm kiếm vectơ lân cận (KNN) bằng cách sử dụng các kỹ thuật sau:
- Lưu trữ giá trị vectơ
- Tạo và quản lý chỉ mục vectơ KNN
- Thực hiện truy vấn K-gần nhất-neighbor (KNN) bằng cách sử dụng một trong các vectơ được hỗ trợ hàm khoảng cách
Lưu trữ các vectơ nhúng
Bạn có thể tạo các giá trị vectơ như Nhúng văn bản từ Dữ liệu của Cloud Firestore và lưu trữ trong các tài liệu trên Cloud Firestore.
Viết toán tử có nhúng vectơ
Ví dụ sau đây cho thấy cách lưu trữ một vectơ nhúng trong Tài liệu trên Cloud Firestore:
Python
from google.cloud import firestore from google.cloud.firestore_v1.vector import Vector firestore_client = firestore.Client() collection = firestore_client.collection("coffee-beans") doc = { "name": "Kahawa coffee beans", "description": "Information about the Kahawa coffee beans.", "embedding_field": Vector([1.0 , 2.0, 3.0]) } collection.add(doc)
Node.js
import { Firestore, FieldValue, } from "@google-cloud/firestore"; const db = new Firestore(); const coll = db.collection('coffee-beans'); await coll.add({ name: "Kahawa coffee beans", description: "Information about the Kahawa coffee beans.", embedding_field: FieldValue.vector([1.0 , 2.0, 3.0]) });
Tính toán các mục nhúng vectơ bằng Hàm đám mây
Để tính toán và lưu trữ các mục nhúng vectơ bất cứ khi nào một tài liệu được cập nhật, hoặc tạo, bạn có thể thiết lập Chức năng đám mây:
Python
@functions_framework.cloud_event def store_embedding(cloud_event) -> None: """Triggers by a change to a Firestore document. """ firestore_payload = firestore.DocumentEventData() payload = firestore_payload._pb.ParseFromString(cloud_event.data) collection_id, doc_id = from_payload(payload) # Call a function to calculate the embedding embedding = calculate_embedding(payload) # Update the document doc = firestore_client.collection(collection_id).document(doc_id) doc.set({"embedding_field": embedding}, merge=True)
Node.js
/** * A vector embedding will be computed from the * value of the `content` field. The vector value * will be stored in the `embedding` field. The * field names `content` and `embedding` are arbitrary * field names chosen for this example. */ async function storeEmbedding(event: FirestoreEvent<any>): Promise<void> { // Get the previous value of the document's `content` field. const previousDocumentSnapshot = event.data.before as QueryDocumentSnapshot; const previousContent = previousDocumentSnapshot.get("content"); // Get the current value of the document's `content` field. const currentDocumentSnapshot = event.data.after as QueryDocumentSnapshot; const currentContent = currentDocumentSnapshot.get("content"); // Don't update the embedding if the content field did not change if (previousContent === currentContent) { return; } // Call a function to calculate the embedding for the value // of the `content` field. const embeddingVector = calculateEmbedding(currentContent); // Update the `embedding` field on the document. await currentDocumentSnapshot.ref.update({ embedding: embeddingVector, }); }
Tạo và quản lý chỉ mục vectơ
Trước khi bạn có thể thực hiện tìm kiếm lân cận gần nhất bằng các mục nhúng vectơ, bạn phải tạo chỉ mục tương ứng. Các ví dụ sau minh hoạ cách tạo và quản lý chỉ mục vectơ.
Tạo chỉ mục vectơ
Để tạo chỉ mục vectơ, hãy sử dụng
gcloud alpha firestore indexes composite create
:
gcloud
gcloud alpha firestore indexes composite create \ --collection-group=collection-group \ --query-scope=COLLECTION \ --field-config field-path=vector-field,vector-config='vector-configuration' \ --database=database-id
trong đó:
- collection-group là mã nhận dạng của nhóm thu thập.
- vector-field là tên của trường chứa nhúng vectơ.
- database-id là mã nhận dạng của cơ sở dữ liệu.
- vector-configuration bao gồm vectơ
dimension
và loại chỉ mục.dimension
là một số nguyên có giá trị tối đa đến 2048. Loại chỉ mục phải làflat
. Định dạng cấu hình chỉ mục như sau:{"dimension":"DIMENSION", "flat": "{}"}
.
Ví dụ sau đây sẽ tạo một chỉ mục tổng hợp, bao gồm cả chỉ mục vectơ cho trường vector-field
và chỉ mục tăng dần cho trường color
. Bạn có thể sử dụng loại chỉ mục này để lọc trước
trước khi tìm kiếm lân cận gần nhất.
gcloud
gcloud alpha firestore indexes composite create \ --collection-group=collection-group \ --query-scope=COLLECTION \ --field-config=order=ASCENDING,field-path="color" \ --field-config field-path=vector-field,vector-config='{"dimension":"1024", "flat": "{}"}' \ --database=database-id
Liệt kê tất cả chỉ mục vectơ
gcloud
gcloud alpha firestore indexes composite list --database=database-id
Thay thế database-id bằng mã nhận dạng của cơ sở dữ liệu.
Xoá chỉ mục vectơ
gcloud
gcloud alpha firestore indexes composite delete index-id --database=database-id
trong đó:
- index-id là mã nhận dạng của chỉ mục cần xoá.
Sử dụng
indexes composite list
để truy xuất mã chỉ mục. - database-id là mã nhận dạng của cơ sở dữ liệu.
Mô tả một chỉ mục vectơ
gcloud
gcloud alpha firestore indexes composite describe index-id --database=database-id
trong đó:
- index-id là mã nhận dạng của chỉ mục cần mô tả. Sử dụng hoặc
indexes composite list
để truy xuất mã chỉ mục. - database-id là mã nhận dạng của cơ sở dữ liệu.
Thực hiện truy vấn lân cận gần nhất
Bạn có thể thực hiện tìm kiếm tương tự để tìm hàng xóm gần nhất của một nhúng vectơ. Tìm kiếm tương tự yêu cầu chỉ mục vectơ. Nếu một chỉ mục không tồn tại, Cloud Firestore sẽ đề xuất một chỉ mục để tạo thông qua gcloud CLI.
Python
from google.cloud.firestore_v1.base_vector_query import DistanceMeasure collection = collection("coffee-beans") # Requires vector index collection.find_nearest( vector_field="embedding_field", query_vector=Vector([3.0, 1.0, 2.0]), distance_measure=DistanceMeasure.EUCLIDEAN, limit=5)
Node.js
import { Firestore, FieldValue, VectorQuery, VectorQuerySnapshot, } from "@google-cloud/firestore"; // Requires single-field vector index const vectorQuery: VectorQuery = coll.findNearest('embedding_field', FieldValue.vector([3.0, 1.0, 2.0]), { limit: 5, distanceMeasure: 'EUCLIDEAN' }); const vectorQuerySnapshot: VectorQuerySnapshot = await vectorQuery.get();
Khoảng cách vectơ
Các truy vấn lân cận gần nhất hỗ trợ các tuỳ chọn sau cho khoảng cách vectơ:
EUCLIDEAN
: Đo khoảng cách EUCLIDEAN giữa các vectơ. Để tìm hiểu thêm, hãy xem Euclide.COSINE
: So sánh các vectơ dựa trên góc giữa chúng, điều này cho phép bạn đo sự tương đồng không dựa trên độ lớn của vectơ. Bạn nên sử dụngDOT_PRODUCT
với vectơ chuẩn hoá đơn vị thay vì Khoảng cách cosINE, tương đương về mặt toán học với khoảng cách tốt hơn hiệu suất. Để tìm hiểu thêm, hãy xem Sự tương đồng về cosin để tìm hiểu khác.DOT_PRODUCT
: Tương tự nhưCOSINE
nhưng bị ảnh hưởng bởi cường độ của vectơ. Để tìm hiểu thêm, hãy xem Chấm sản phẩm.
Dữ liệu lọc sơ bộ
Để lọc trước dữ liệu trước khi tìm các thành phần lân cận gần nhất, bạn có thể kết hợp một
kết quả tìm kiếm tương tự với các bộ lọc khác, ngoại trừ bộ lọc bất đẳng thức. and
và
or
bộ lọc tổng hợp được hỗ trợ. Đối với bộ lọc trường, những thao tác sau
bộ lọc được hỗ trợ:
==
bằngin
array_contains
array_contains_any
Python
# Similarity search with pre-filter # Requires composite vector index collection.where("color", "==", "red").find_nearest( vector_field="embedding_field", query_vector=Vector([3.0, 1.0, 2.0]), distance_measure=DistanceMeasure.EUCLIDEAN, limit=5)
Node.js
// Similarity search with pre-filter // Requires composite vector index const preFilteredVectorQuery: VectorQuery = coll .where("color", "==", "red") .findNearest("embedding_field", FieldValue.vector([3.0, 1.0, 2.0]), { limit: 5, distanceMeasure: "EUCLIDEAN", }); vectorQueryResults = await preFilteredVectorQuery.get();
Các điểm hạn chế
Khi bạn làm việc với các mục nhúng vectơ, hãy lưu ý các hạn chế sau:
- Phương diện nhúng được hỗ trợ tối đa là 2048. Để lưu trữ các chỉ mục lớn hơn, hãy sử dụng giảm số lượng kích thước.
- Số tài liệu tối đa cần trả về từ truy vấn lân cận gần nhất là 1000.
- Tính năng tìm kiếm vectơ không hỗ trợ trình nghe ảnh chụp nhanh theo thời gian thực.
- Bạn không thể sử dụng bộ lọc bất đẳng thức để lọc trước dữ liệu.
- Chỉ các thư viện ứng dụng Python và Node.js mới hỗ trợ tính năng tìm kiếm vectơ.
Bước tiếp theo
- Đọc về các phương pháp hay nhất dành cho Cloud Firestore.
- Hiểu lượt đọc và viết trên quy mô lớn