Cómo usar LangChain con Genkit

Instalación

npm i --save genkitx-langchain

Uso

Puedes usar la mayoría de las cadenas o utilidades de LangChain en los flujos de Genkit tal como están. En el siguiente ejemplo, se usan recuperados de LangChain, cargadores de documentos y construcciones de cadena para construir una muestra RAV simple.

import { initializeGenkit } from '@genkit-ai/core';
import { defineFlow, run, startFlowsServer } from '@genkit-ai/flow';
import { GoogleVertexAIEmbeddings } from '@langchain/community/embeddings/googlevertexai';
import { GoogleVertexAI } from '@langchain/community/llms/googlevertexai';
import { StringOutputParser } from '@langchain/core/output_parsers';
import { PromptTemplate } from '@langchain/core/prompts';
import {
  RunnablePassthrough,
  RunnableSequence,
} from '@langchain/core/runnables';
import { GenkitTracer } from 'genkitx-langchain';
import { PDFLoader } from 'langchain/document_loaders/fs/pdf';
import { formatDocumentsAsString } from 'langchain/util/document';
import { MemoryVectorStore } from 'langchain/vectorstores/memory';
import * as z from 'zod';

import config from './genkit.config';

initializeGenkit(config);

const vectorStore = new MemoryVectorStore(new GoogleVertexAIEmbeddings());
const model = new GoogleVertexAI();

export const indexPdf = defineFlow(
  { name: 'indexPdf', inputSchema: z.string(), outputSchema: z.void() },
  async (filePath) => {
    const docs = await run('load-pdf', async () => {
      return await new PDFLoader(filePath).load();
    });
    await run('index', async () => {
      vectorStore.addDocuments(docs);
    });
  }
);

const prompt =
  PromptTemplate.fromTemplate(`Answer the question based only on the following context:
{context}

Question: {question}`);
const retriever = vectorStore.asRetriever();

export const pdfQA = defineFlow(
  { name: 'pdfQA', inputSchema: z.string(), outputSchema: z.string() },
  async (question) => {
    const chain = RunnableSequence.from([
      {
        context: retriever.pipe(formatDocumentsAsString),
        question: new RunnablePassthrough(),
      },
      prompt,
      model,
      new StringOutputParser(),
    ]);

    return await chain.invoke(question, { callbacks: [new GenkitTracer()] });
  }
);

startFlowsServer();

Ten en cuenta que en el ejemplo se usa GenkitTracer proporcionado por el complemento genkitx-langchain para instrumentar las cadenas de LangChain con funciones de observabilidad de Genkit. Ahora, cuando ejecutes el flujo desde la IU de desarrollo o en producción, obtendrás visibilidad completa de las cadenas de LangChain.

Además, ten en cuenta que los componentes de LangChain no son interoperables con las primitivas de Genkit (modelos, documentos, retrievers, etc.).

Evaluadores (vista previa)

Puedes usar evaluadores de LangChain con Genkit. Configura los evaluadores que deseas del complemento langchain y, luego, sigue el proceso de evaluación estándar:

import { langchain } from 'genkitx-langchain';

configureGenkit({
  plugins: [
    langchain({
      evaluators: {
        judge: geminiPro,
        criteria: ['harmfulness', 'maliciousness'],
      },
    }),
  ],
});