Diese Seite wurde von der Cloud Translation API übersetzt.

Mit Vertex AI nach Vektorähnlichkeiten suchen

Willkommen bei der Vektorähnlichkeitssuche von Firebase Data Connect – der Implementierung der semantischen Suche von Firebase, die in Google Vertex AI eingebunden ist.

Diese Funktion basiert auf Vektoreinbettungen, also Arrays von Gleitkommazahlen, die die semantische Bedeutung von Text oder Medien darstellen. Wenn Sie eine Suche nach dem nächsten Nachbarn mit einer Eingabevektoreinbettung ausführen, können Sie alle semantisch ähnlichen Inhalte finden. Data Connect verwendet die pgvector-Erweiterung von PostgreSQL für diese Funktion.

Diese leistungsstarke semantische Suche kann für Anwendungsfälle wie Empfehlungssysteme und Suchmaschinen genutzt werden. Außerdem ist sie eine wichtige Komponente der Retrieval-Augmented Generation in generativen KI-Abläufen. Weitere Informationen finden Sie in der Vertex AI-Dokumentation.

Sie können die integrierte Unterstützung von Data Connect für die automatische Generierung von Vektor-Embeddings mithilfe der Embeddings API von Vertex AI nutzen oder diese API verwenden, um sie manuell zu generieren.

Vorbereitung

Richten Sie Data Connect für Ihr Projekt ein.

Hinweis :Beachten Sie bei der Einrichtung, dass die Vertex AI-Integration von Data Connect nur für bestimmte Cloud SQL for PostgreSQL-Standorte unterstützt wird. Liste der Standorte
Aktivieren Sie die Vertex AI APIs.

Hinweis: Sie müssen kein separates Google Cloud-Projekt erstellen oder die Google Cloud CLI installieren.

Einrichtung

Sie können zwischen einem lokalen Entwicklungsablauf (für Web-, Kotlin-Android- oder iOS-Entwickler) und einem IDX-Ablauf (für Webentwickler) wählen. Sie können für die Entwicklung eine lokale Datenbank oder Ihr Produktionsprojekt Data Connect und die zugehörige Cloud SQL for PostgreSQL-Instanz verwenden.

In dieser Anleitung wird davon ausgegangen, dass Sie Ihr Data Connect-Projekt anhand der Kurzanleitung erstellt haben.

Mit lokalem PostgreSQL-Server integrieren

Richten Sie eine lokale PostgreSQL-Instanz ein.
Weisen Sie sich die IAM-Rolle Vertex AI User zu.
Richten Sie Standardanmeldedaten für Google Cloud-Anwendungen in Ihrer Umgebung ein.
Installieren Sie die pgvector-Erweiterung in Ihrer lokalen PostgreSQL-Instanz.
Aktiviere die Erweiterung mit CREATE EXTENSION vector gemäß der Anleitung im pgvectorRepository.

IDX einbinden

Richten Sie Ihren IDX-Arbeitsbereich mit der Data Connect-Vorlage ein.
Weisen Sie sich die IAM-Rolle Vertex AI User zu.
Aktiviere die Erweiterung mit CREATE EXTENSION vector gemäß der Anleitung im pgvectorRepository.

Schema entwerfen

Wenn Sie eine Vektorsuche ausführen möchten, fügen Sie Ihrem Schema ein neues Feld vom Typ Vector hinzu. Wenn Sie beispielsweise eine semantische Suche mit Filmbeschreibungen durchführen möchten, fügen Sie ein Feld hinzu, das die Vektoreinbettungen enthält, die mit der Filmbeschreibung verknüpft sind. In diesem Schema wird descriptionEmbedding hinzugefügt, um Vektoreinbettungen für das Feld description zu speichern.

type Movie @table {
 id: ID! @col(name: "movie_id") @default(id: ID! @col(name: "movie_id") @default(expr: "uuidV4()")
 title: String!
 description: String
 descriptionEmbedding: Vector! @col(size:768)
 // ...
}

Einbettungen generieren und abrufen

Data Connect bietet integrierte Unterstützung für Vektoreinbettungen mit dem Serverwert _embed. Dadurch wird Data Connect angewiesen, Vektoreinbettungen zu generieren, indem intern die Einbettungs-APIs von Vertex AI aufgerufen werden. Der _embed-Serverwert kann sowohl in Mutationen als auch in Abfragen verwendet werden.

Mutationen

Einbettung über Data Connect generieren und speichern

In Ihrer App für die Vektorsuche sollten Sie wahrscheinlich anfordern, dass Einbettungen generiert werden, sobald Sie Ihrer Datenbank Einträge hinzufügen. Hier ist eine createMovie-Mutation, die der Tabelle Movie einen Filmeintrag hinzufügt und auch eine Filmbeschreibung mit einer angegebenen Einbettung model übergibt.

mutation createMovie($movieData: Movie_Data! @pick(fields: ["title", "genre", "description"])) {
  movie_insert(data: {
    ...movieData,
    descriptionEmbedding_embed: {model: "textembedding-gecko@003", text: $movieData.description}
  })
}

In einigen Fällen solltest du die Filmbeschreibung und das Einbetten aktualisieren.

mutation updateDescription($id: String!, $description: String!) {
  movie_update(id: $id, data: {
    description: $description,
    descriptionEmbedding_embed: {model: "textembedding-gecko@003", text: $description}
  })
}

So rufen Sie die letzte Mutation von einem Client aus auf:

import { updateMovieDescriptionWithEmbed } from 'lib/dataconnect-sdk/';

await updateMovieDescriptionWithEmbed({ id: movieId, description: description});

// Use the response

Abfragen

Rufen Sie Vektoreinbettungen mit einer Abfrage wie der folgenden ab. Der von der Abfrage zurückgegebene Wert descriptionEmbedding ist ein Array von Gleitkommazahlen, das in der Regel nicht lesbar ist. Daher wird die direkte Rückgabe bei mit Data Connect generierten SDKs nicht unterstützt.

Sie können die zurückgegebenen Vektoreinbettungen für eine Ähnlichkeitssuche verwenden, wie im nächsten Abschnitt beschrieben.

query getMovieDescription($id: String!) @auth(is: PUBLIC) {
 movie(id: $id)
   id
   description
   descriptionEmbedding
}

Ähnlichkeitssuche ausführen

Jetzt können wir eine Ähnlichkeitssuche durchführen.

Für jedes Vector-Feld generiert Data Connect eine GraphQL-Funktion, die die Ähnlichkeitssuche implementiert. Der Name dieser generierten Funktion lautet ${pluralType}_${vectorFieldName}_similarity. Es werden einige Parameter unterstützt, wie in den folgenden Beispielen und in der Referenzliste gezeigt.

Sie können eine GraphQL-Funktion definieren, die die Ähnlichkeitssuche aufruft. Wie bereits erwähnt, weist der _embed-Serverwert Data Connect an, die Vektoreinbettungen mithilfe der Einbettungs-APIs von Vertex AI zu generieren. In diesem Fall werden Einbettungen für den Suchstring erstellt, der mit den Einbettungen von Filmbeschreibungen verglichen wird.

In diesem Beispiel gibt die Ähnlichkeitssuche bis zu fünf Filme zurück, deren Beschreibung der Eingabeabfrage semantisch am nächsten kommt. Die Ergebnismenge wird in aufsteigender Reihenfolge nach der Entfernung sortiert, also vom Nächsten zum Weiten.

query searchMovieDescriptionUsingL2Similarity ($query: String!) @auth(level: PUBLIC) {
    movies_descriptionEmbedding_similarity(
      compare_embed: {model: "textembedding-gecko@003", text: $query},
      where: {content: {ne: "No info available for this movie."}}, limit: 5)
      {
        id
        title
        description
      }
  }

Ähnlichkeitsabfrage optimieren

Die Standardwerte für Suchparameter wie method und within eignen sich für die meisten Anwendungsfälle. Wenn Sie jedoch feststellen, dass Ihre Suchanfrage zu unterschiedliche Ergebnisse zurückgibt oder Ergebnisse fehlen, die Sie einbeziehen möchten, können Sie diese Parameter anpassen.

Um einen geeigneten Wert für within zu finden, können wir den ausgewählten Feldern _metadata.distance hinzufügen, um zu sehen, wie weit jedes Ergebnis vom Abfragevektor entfernt ist. Anhand der zurückgegebenen distance-Werte können wir den Parameter within festlegen. Es werden nur Ergebnisse berücksichtigt, deren Entfernung unter dem Wert von within liegt:

query searchMovieDescriptionUsingL2Similarity ($query: String!) @auth(level: PUBLIC) {
    movies_descriptionEmbedding_similarity(
      compare_embed: {model: "textembedding-gecko@003", text: $query},
      within: 2,
      where: {content: {ne: "No info available for this movie."}}, limit: 5)
      {
        id
        title
        description
        _metadata {
          distance
        }
      }
  }

Sie können auch mit verschiedenen Entfernungsfunktionen experimentieren, indem Sie den Parameter method festlegen.

query searchMovieDescriptionUsingL2Similarity ($query: String!) @auth(level: PUBLIC) {
    movies_descriptionEmbedding_similarity(
      compare_embed: {model: "textembedding-gecko@003", text: $query},
      within: .5,
      method: COSINE,
      where: {content: {ne: "No info available for this movie."}}, limit: 5)
      {
        id
        title
        description
        _metadata {
          distance
        }
      }
  }

Hinweis: Unterschiedliche Methoden geben sehr unterschiedliche Werte für die Entfernung zurück. Wenn Sie within festgelegt haben, müssen Sie diesen Wert nach dem Ändern von method noch einmal anpassen.

Ähnlichkeitsabfrage aufrufen

So rufen Sie eine Ähnlichkeitssuche aus dem Clientcode auf:

import { searchMovieDescriptionUsingL2similarity} from 'lib/dataconnect-sdk';

const response = await searchMovieDescriptionUsingL2similarity({ query });

// Use the response

Benutzerdefinierte Einbettungen verwenden

Mit Data Connect können Sie Einbettungen auch direkt als Vectors verwenden, anstatt sie mit dem Serverwert _embed zu generieren.

Benutzerdefiniertes Einbetten speichern

Geben Sie mit der Vertex Embeddings API ein passendes Modell an und fordern Sie Einbettungsergebnisse der richtigen Dimension an.

Wandeln Sie dann das zurückgegebene Array von Floats in ein Vector um, um es an den Aktualisierungsvorgang zum Speichern weiterzugeben.

mutation updateDescription($id: String!, $description: String!, $descriptionEmbedding: Vector!) {
  movie_update(id: $id, data: {
    // title, genre...
    description: $description,
    descriptionEmbedding: $descriptionEmbedding
  })
}

Ähnlichkeitssuche mit benutzerdefinierten Einbettungen durchführen

Führen Sie denselben Vorgang aus, um Einbettungen für Suchbegriffe abzurufen und in Vectors zu konvertieren.

Rufen Sie dann die _similarity-Abfrage auf, um die einzelnen Suchanfragen auszuführen.

query searchMovieDescriptionUsingL2Similarity($compare: Vector!, $within: Float, $excludesContent: String, $limit: Int) @auth(level: PUBLIC) {
    movies_descriptionEmbedding_similarity(
      compare: $compare,
      method: L2,
      within: $within,
      where: {content: {ne: $excludesContent}}, limit: $limit)
      {
        id
        title
        description
      }
  }

Für Produktion bereitstellen

Schema und Connector bereitstellen

Der letzte Schritt in einer typischen Data Connect-Iteration besteht darin, Ihre Assets in der Produktion bereitzustellen.

Wenn Sie Ihr Schema mit Vector-Typen mit dem Befehl firebase deploy in Cloud SQL bereitstellen, werden mit der Firebase CLI die erforderlichen Schritte ausgeführt, um die Vertex AI-basierte Generierung von Einbettungen in Ihrer Cloud SQL-Instanz zu aktivieren.

firebase deploy --only dataconnect

Wenn Sie die Einbettungsunterstützung in Ihrer CloudSQL-Instanz manuell aktivieren möchten oder ein Befehlszeilenfehler auftritt, folgen Sie dieser Anleitung.

Syntax der Vektorsuche

Schemaerweiterungen

Der Datentyp Vector von Data Connect wird dem PostgreSQL-Typ vector zugeordnet, wie in der pgvector-Erweiterung definiert. Der vector-Typ von pgvector wird in PostgreSQL als Array von Gleitkommazahlen mit einfacher Genauigkeit gespeichert.

In Data Connect wird der Typ Vector als Array von JSON-Zahlen dargestellt. Eingaben werden in ein Array von float32-Werten umgewandelt. Wenn die Umwandlung fehlschlägt, wird ein Fehler ausgegeben.

Verwenden Sie den Parameter „size“ der Direktive @col, um die Abmessungen des Vektors festzulegen.

type Question @table {
    text: String!
    category: String!
    textEmbedding: Vector! @col(size: 768)
}

size wird nur für Vector-Typen unterstützt. Für Vector-Vorgänge wie die Ähnlichkeitssuche ist es erforderlich, dass alle Vector dieselbe Anzahl von Dimensionen haben.

directive @col(
  # … existing args
  """
  Defines a fixed column size for certain scalar types.

  - For Vector, size is required.
  - For all other types, size is currently unsupported and hence supplying it will result in a schema error.
  """
  size: Int
) on FIELD_DEFINITION

`_embed`-Serverwert für Abfragen und Mutationen

_embed

Dieser Serverwert weist den Data Connect-Dienst an, Einbettungen mithilfe der Embedding APIs von Vertex AI zu generieren und zu speichern. Dieser Serverwert kann sowohl für Abfragen als auch für Mutationen verwendet werden.

Parameter für die Ähnlichkeitssuche

method: COSINE|INNER_PRODUCT|L2

Die Entfernungsfunktion, die für die Suche nach nächsten Nachbarn verwendet wird. Die derzeit unterstützten Algorithmen sind eine Teilmenge der pgvector-Suchalgorithmen.

within: float

Eine Einschränkung der Entfernung, innerhalb derer die Suche nach dem nächsten Nachbarn durchgeführt wird.

where: FDC filter condition

Weitere Informationen finden Sie im Leitfaden zu Schemas, Abfragen und Mutationen.

limit: int

Die Anzahl der zurückzugebenden Ergebnisse.