Beta: Firebase Genkit is in Beta, which means that it is not subject to any SLA or deprecation policy and could change in backwards-incompatible ways. Throughout the Beta period, Firebase Genkit and its documentation will be updated and improved.

이 페이지는 Cloud Translation API를 통해 번역되었습니다.

검색 증강 생성(RAG)

Firebase Genkit는 관련 툴과의 통합을 제공하는 플러그인뿐만 아니라 검색 증강 생성(RAG) 흐름을 빌드하는 데 도움이 되는 추상화도 제공합니다.

RAG란 무엇인가요?

검색 증강 생성은 외부 정보 소스를 LLM의 응답에 통합하는 기법입니다. 이 기법이 중요한 이유는 일반적으로 LLM은 다양한 자료로 학습되지만, LLM을 실용적으로 사용하려면 특정 분야별 지식이 필요한 경우가 많기 때문입니다(예: 회사 제품에 관한 고객의 질문에 LLM을 사용하여 답변하려는 경우).

한 가지 해결 방법은 더 구체적인 데이터를 사용하여 모델을 미세 조정하는 것입니다. 그러나 컴퓨팅 비용과 적절한 학습 데이터를 준비하는 데 필요한 노력 측면에서 모두 비용이 많이 들 수 있습니다.

반면 RAG는 외부 데이터 소스가 모델에 전달될 때 외부 데이터 소스를 프롬프트에 통합하는 방식으로 작동합니다. 예를 들어, "바트와 리사는 어떤 관계인가요?"라는 프롬프트를 상상해 보세요. 앞에 몇 가지 관련 정보를 추가하여 이 프롬프트를 확장('증강)하여 "호머와 마지의 자녀의 이름은 바트, 리사, 매기입니다. 바트와 리사는 어떤 관계인가요?"라는 프롬프트가 표시됩니다.

이 방식의 장점은 다음과 같습니다.

모델을 다시 학습시킬 필요가 없기 때문에 비용 효율적일 수 있습니다.
데이터 소스를 지속적으로 업데이트할 수 있고 LLM은 업데이트된 정보를 즉시 사용할 수 있습니다.
이제 LLM의 응답에서 참조를 인용할 수 있습니다.

반면에 RAG를 사용하면 당연히 프롬프트가 더 길어지고 일부 LLM API 서비스는 전송하는 각 입력 토큰에 대한 요금을 부과합니다. 궁극적으로 애플리케이션의 비용 절충점을 평가해야 합니다.

RAG는 매우 광범위한 분야이며, 최상의 품질의 RAG를 달성하는 다양한 기법이 있습니다. 핵심 Genkit 프레임워크는 RAG를 수행하는 데 도움이 되는 주요 추상화 두 가지를 제공합니다.

색인 생성기: '색인'에 문서 추가
삽입기: 문서를 벡터 표현으로 변환
검색기: 지정된 쿼리를 통해 '색인'에서 문서 검색

Genkit는 '색인'이 무엇인지, 색인에서 어떻게 문서를 검색하는지에 대한 편견이 없다는 점에서 이러한 정의는 의도적으로 광범위합니다. Genkit는 Document 형식만 제공하고 나머지는 모두 검색기 또는 색인 생성기 구현 제공업체에서 정의합니다.

색인 생성기

색인은 특정 쿼리가 주어지면 관련 문서를 빠르게 검색할 수 있는 방식으로 문서를 추적하는 역할을 합니다. 이는 대부분 벡터 데이터베이스를 사용하여 수행됩니다. 벡터 데이터베이스는 임베딩이라고 하는 다차원 벡터를 사용하여 문서 색인을 생성합니다. 텍스트 임베딩(불투명)은 텍스트 문구로 표현된 개념을 나타냅니다. 이는 특수 목적 ML 모델을 사용하여 생성됩니다. 벡터 데이터베이스는 임베딩을 사용하여 텍스트의 색인을 생성함으로써 개념적으로 관련된 텍스트를 클러스터링하고 새로운 텍스트 문자열(쿼리)과 관련된 문서를 검색합니다.

생성 목적으로 문서를 검색하려면 먼저 문서 색인으로 수집해야 합니다. 일반적인 수집 흐름은 다음을 수행합니다.

큰 문서를 작은 문서로 분할하여 관련성 높은 부분만 프롬프트를 증강하는 데 사용합니다. 이를 '청킹'이라고 합니다. 이는 많은 LLM이 컨텍스트 윈도우가 제한되어 있기 때문에 프롬프트에 전체 문서를 포함하는 것은 실용성이 떨어지므로 필요합니다.

Genkit는 내장된 청킹 라이브러리를 제공하지 않으나, Genkit와 호환되는 오픈소스 라이브러리를 사용할 수 있습니다.
각 청크의 임베딩을 생성합니다. 사용하는 데이터베이스에 따라 임베딩 생성 모델을 사용하여 명시적으로 이 작업을 수행하거나 데이터베이스에서 제공하는 임베딩 생성기를 사용할 수도 있습니다.
텍스트 청크와 해당 색인을 데이터베이스에 추가합니다.

수집 흐름을 자주 실행하지 않거나 안정적인 데이터 소스로 작업 중인 경우 한 번만 실행할 수 있습니다. 반면에 자주 변경되는 데이터를 사용하여 작업하는 경우 수집 흐름을 지속적으로 실행할 수 있습니다(예: Cloud Firestore 트리거에서 문서가 업데이트될 때마다).

삽입기

삽입기는 콘텐츠(텍스트, 이미지, 오디오 등)를 가져와 원본 콘텐츠의 시맨틱 의미를 인코딩하는 숫자 벡터를 만드는 함수입니다. 위에서 언급했듯이 삽입기는 색인 생성 프로세스의 일부로 활용되지만 색인 없이 임베딩을 만드는 데 독립적으로 사용할 수도 있습니다.

검색기

검색기는 모든 종류의 문서 검색과 관련된 로직을 캡슐화하는 개념입니다. 가장 많이 사용되는 검색 사례로는 일반적으로 벡터 저장소에서 검색을 포함하지만, Genkit에서 검색기는 데이터를 반환하는 모든 함수가 될 수 있습니다.

검색기를 만들려면 제공된 구현 중 하나를 사용하거나 직접 만들 수 있습니다.

지원되는 색인 생성기, 검색기, 삽입 도구

Genkit는 플러그인 시스템을 통해 색인 생성기와 검색기 지원을 제공합니다. 공식적으로 지원되는 플러그인은 다음과 같습니다.

Cloud Firestore 벡터 저장소
Vertex AI 벡터 검색
Chroma DB 벡터 데이터베이스
Pinecone 클라우드 벡터 데이터베이스

또한 Genkit는 데이터베이스 구성 및 스키마에 대해 맞춤설정할 수 있는 사전 정의된 코드 템플릿을 통해 다음 벡터 저장소를 지원합니다.

pgvector를 사용하는 PostgreSQL

임베딩 모델 지원은 다음 플러그인을 통해 제공됩니다.

플러그인	모델
Google 생성형 AI	Gecko 텍스트 임베딩
Google Vertex AI	Gecko 텍스트 임베딩

RAG 흐름 정의

다음 예시는 식당 메뉴 PDF 문서 컬렉션을 벡터 데이터베이스에 수집하고 어떤 음식을 주문할 수 있는지 결정하는 흐름에서 사용할 수 있도록 검색하는 방법을 보여줍니다.

PDF 처리를 위한 종속 항목 설치

npm install llm-chunk pdf-parse @genkit-ai/dev-local-vectorstore
npm i -D --save @types/pdf-parse

구성에 로컬 벡터 저장소 추가

import {
  devLocalIndexerRef,
  devLocalVectorstore,
} from '@genkit-ai/dev-local-vectorstore';
import { textEmbeddingGecko, vertexAI } from '@genkit-ai/vertexai';

configureGenkit({
  plugins: [
    // vertexAI provides the textEmbeddingGecko embedder
    vertexAI(),

    // the local vector store requires an embedder to translate from text to vector
    devLocalVectorstore([
      {
        indexName: 'menuQA',
        embedder: textEmbeddingGecko,
      },
    ]),
  ],
});

색인 생성기 정의

다음 예시에서는 색인 생성기를 만들어 PDF 문서 컬렉션을 수집하고 로컬 벡터 데이터베이스에 저장하는 방법을 보여줍니다.

간단한 테스트와 프로토타입 제작을 위해 Genkit에서 제공하는 즉시 사용 가능한 로컬 파일 기반 벡터 유사성 검색기를 사용합니다(프로덕션에서는 사용하지 마세요).

색인 생성기 만들기

import { devLocalIndexerRef } from '@genkit-ai/dev-local-vectorstore';

export const menuPdfIndexer = devLocalIndexerRef('menuQA');

청크 생성 구성 만들기

이 예에서는 llm-chunk 라이브러리를 사용합니다. 이 라이브러리는 간단한 텍스트 스플리터를 제공하여 문서를 벡터화가 가능한 세그먼트로 분할합니다.

다음 정의는 1, 000~2, 000자(영문 기준)의 문서 세그먼트를 문장의 끝으로 나누고 100자(영문 기준)의 청크 간에 중첩되도록 청킹 함수를 구성합니다.

const chunkingConfig = {
  minLength: 1000,
  maxLength: 2000,
  splitter: 'sentence',
  overlap: 100,
  delimiters: '',
} as any;

이 라이브러리의 더 많은 청킹 옵션은 llm-chunk 문서에서 확인할 수 있습니다.

색인 생성기 흐름 정의

import { index } from '@genkit-ai/ai';
import { Document } from '@genkit-ai/ai/retriever';
import { defineFlow, run } from '@genkit-ai/flow';
import { readFile } from 'fs/promises';
import { chunk } from 'llm-chunk';
import path from 'path';
import pdf from 'pdf-parse';
import * as z from 'zod';

export const indexMenu = defineFlow(
  {
    name: 'indexMenu',
    inputSchema: z.string().describe('PDF file path'),
    outputSchema: z.void(),
  },
  async (filePath: string) => {
    filePath = path.resolve(filePath);

    // Read the pdf.
    const pdfTxt = await run('extract-text', () =>
      extractTextFromPdf(filePath)
    );

    // Divide the pdf text into segments.
    const chunks = await run('chunk-it', async () =>
      chunk(pdfTxt, chunkingConfig)
    );

    // Convert chunks of text into documents to store in the index.
    const documents = chunks.map((text) => {
      return Document.fromText(text, { filePath });
    });

    // Add documents to the index.
    await index({
      indexer: menuPdfIndexer,
      documents,
    });
  }
);

async function extractTextFromPdf(filePath: string) {
  const pdfFile = path.resolve(filePath);
  const dataBuffer = await readFile(pdfFile);
  const data = await pdf(dataBuffer);
  return data.text;
}

색인 생성기 흐름 실행

genkit flow:run indexMenu "'../pdfs'"

indexMenu 흐름을 실행한 후에는 벡터 데이터베이스에 문서가 입력되고 검색 단계와 함께 Genkit 흐름에서 사용할 수 있게 됩니다.

검색기를 사용하여 흐름 정의

다음 예시는 RAG 흐름에서 검색기를 사용하는 방법을 보여줍니다. 색인 생성기 예시와 마찬가치로 이 예시에서는 Genkit의 파일 기반 벡터 검색기를 사용합니다. 이는 프로덕션에서 사용해서는 안 됩니다.

import { generate } from '@genkit-ai/ai';
import { retrieve } from '@genkit-ai/ai/retriever';
import { devLocalRetrieverRef } from '@genkit-ai/dev-local-vectorstore';
import { defineFlow } from '@genkit-ai/flow';
import { gemini15Flash } from '@genkit-ai/vertexai';
import * as z from 'zod';

// Define the retriever reference
export const menuRetriever = devLocalRetrieverRef('menuQA');

export const menuQAFlow = defineFlow(
  { name: 'menuQA', inputSchema: z.string(), outputSchema: z.string() },
  async (input: string) => {
    // retrieve relevant documents
    const docs = await retrieve({
      retriever: menuRetriever,
      query: input,
      options: { k: 3 },
    });

    // generate a response
    const llmResponse = await generate({
      model: gemini15Flash,
      prompt: `
    You are acting as a helpful AI assistant that can answer 
    questions about the food available on the menu at Genkit Grub Pub.
    
    Use only the context provided to answer the question.
    If you don't know, do not make up an answer.
    Do not add or change items on the menu.

    Question: ${input}
    `,
      context: docs,
    });

    const output = llmResponse.text();
    return output;
  }
);

자체 색인 생성기 및 검색기 작성

자체 검색기를 만들 수도 있습니다. 이는 문서가 Genkit에서 지원되지 않는 문서 저장소(예: MySQL, Google Drive 등)에서 관리되고 있는 경우에 유용합니다. Genkit SDK는 유연한 메서드를 제공하여 문서를 가져오기 위한 커스텀 코드를 제공할 수 있습니다. 또한 포드 내에서 Genkit의 기존 리트리버 위에 빌드되고 고급 RAG 기법 (예: 순위 조정 또는 프롬프트 확장)

간단한 리트리버

간단한 검색 프로그램을 사용하면 기존 코드를 쉽게 검색기로 변환할 수 있습니다.

import {
  defineSimpleRetriever,
  retrieve
} from '@genkit-ai/ai/retriever';
import { searchEmails } from './db';
import { z } from 'zod';

defineSimpleRetriever({
  name: 'myDatabase',
  configSchema: z.object({
    limit: z.number().optional()
  }).optional(),
  // we'll extract "message" from the returned email item
  content: 'message',
  // and several keys to use as metadata
  metadata: ['from', 'to', 'subject'],
} async (query, config) => {
  const result = await searchEmails(query.text(), {limit: config.limit});
  return result.data.emails;
});

커스텀 검색기

import {
  CommonRetrieverOptionsSchema,
  defineRetriever,
  retrieve,
} from '@genkit-ai/ai/retriever';
import * as z from 'zod';

export const menuRetriever = devLocalRetrieverRef('menuQA');

const advancedMenuRetrieverOptionsSchema = CommonRetrieverOptionsSchema.extend({
  preRerankK: z.number().max(1000),
});

const advancedMenuRetriever = defineRetriever(
  {
    name: `custom/advancedMenuRetriever`,
    configSchema: advancedMenuRetrieverOptionsSchema,
  },
  async (input, options) => {
    const extendedPrompt = await extendPrompt(input);
    const docs = await retrieve({
      retriever: menuRetriever,
      query: extendedPrompt,
      options: { k: options.preRerankK || 10 },
    });
    const rerankedDocs = await rerank(docs);
    return rerankedDocs.slice(0, options.k || 3);
  }
);

extendPrompt 및 rerank는 직접 구현해야 합니다. 제공되지 않음)

그런 다음 리트리버를 바꿀 수 있습니다.

const docs = await retrieve({
  retriever: advancedRetriever,
  query: input,
  options: { preRerankK: 7, k: 3 },
});