저는 지난 6개월간 HolySheep AI를 활용하여 여러 기업의 PDF 문서 지능형 검색 시스템을 구축한 경험이 있습니다. 이번 튜토리얼에서는 LangChain 기반 RAG(Retrieval Augmented Generation)를 사용하여 PDF 문서 기반 질의응답 시스템을 구축하는 방법과 HolySheep AI의 실질적인 사용 경험을 상세히 공유하겠습니다.
왜 PDF 기반 RAG인가?
기업 내부에는 수천 개의 PDF 문서가 누적되어 있습니다. 계약서, 매뉴얼, 규정집, 기술 문서 등ですね。전통적인 키워드 검색으로는 관련 문서를 찾기가 어렵고, 사용자가 정확한 용어를 알아야만 결과를 얻을 수 있었습니다. LangChain RAG를 활용하면 자연어로 질문하면 관련 문서 내용을 기반으로 정확한 답변을 생성할 수 있습니다.
시스템 아키텍처
┌─────────────────────────────────────────────────────────────┐
│ PDF RAG 시스템 아키텍처 │
├─────────────────────────────────────────────────────────────┤
│ │
│ ┌──────────┐ ┌─────────────┐ ┌──────────────────┐ │
│ │ PDF │───▶│ Document │───▶│ Text Splitter │ │
│ │ Files │ │ Loader │ │ (Chunking) │ │
│ └──────────┘ └─────────────┘ └────────┬─────────┘ │
│ │ │
│ ▼ │
│ ┌──────────┐ ┌─────────────┐ ┌──────────────────┐ │
│ │ User │───▶│ Query │───▶│ Vector Search │ │
│ │ Question│ │ Processing │ │ (Embedding) │ │
│ └──────────┘ └─────────────┘ └────────┬─────────┘ │
│ │ │
│ ▼ │
│ ┌──────────┐ ┌─────────────┐ ┌──────────────────┐ │
│ │ Final │◀───│ Response │◀───│ LLM Generation │ │
│ │ Answer │ │ Synthesizer│ │ (HolySheep API) │ │
│ └──────────┘ └─────────────┘ └──────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────┘
필수 패키지 설치
# 핵심 의존성 설치
pip install langchain langchain-community langchain-openai
pip install pypdf tiktoken faiss-cpu openai python-dotenv
pip install --upgrade langchain-huggingface sentence-transformers
핵심 구현 코드
1단계: PDF 문서 로더 및 텍스트 분할
"""
PDF 문서 로더 및 전처리 모듈
저의 실무 경험상, PDF 로더 선택이 RAG 품질의 30%를 좌우합니다.
"""
import os
from dotenv import load_dotenv
from langchain_community.document_loaders import PyPDFLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_openai import OpenAIEmbeddings
HolySheep AI API 키 로드
load_dotenv()
HOLYSHEEP_API_KEY = os.getenv("HOLYSHEEP_API_KEY")
HolySheep AI 커스텀 클라이언트 설정
import openai
HolySheep AI 설정 - 핵심 부분
openai.api_key = HOLYSHEEP_API_KEY
openai.api_base = "https://api.holysheep.ai/v1"
class PDFDocumentProcessor:
"""PDF 문서를 로드하고 청크로 분할하는 클래스"""
def __init__(self, chunk_size: int = 1000, chunk_overlap: int = 200):
self.chunk_size = chunk_size
self.chunk_overlap = chunk_overlap
# 텍스트 분할기 설정 - 문장 경계 보존
self.text_splitter = RecursiveCharacterTextSplitter(
chunk_size=self.chunk_size,
chunk_overlap=self.chunk_overlap,
length_function=len,
separators=["\n\n", "\n", "。", "！", "？", " ", ""]
)
# HolySheep AI 임베딩 모델 - 실제로 테스트 결과 text-embedding-3-small이
# 가격 대비 정확도가 가장 우수했습니다
self.embeddings = OpenAIEmbeddings(
model="text-embedding-3-small",
api_key=HOLYSHEEP_API_KEY,
base_url="https://api.holysheep.ai/v1"
)
def load_pdf(self, pdf_path: str):
"""단일 PDF 파일 로드"""
loader = PyPDFLoader(pdf_path)
pages = loader.load()
# 메타데이터에 파일명 저장
for page in pages:
page.metadata["source"] = os.path.basename(pdf_path)
return pages
def load_multiple_pdfs(self, directory: str):
"""디렉토리 내 모든 PDF 로드"""
all_pages = []
pdf_files = [f for f in os.listdir(directory) if f.endswith('.pdf')]
print(f"📂 {len(pdf_files)}개의 PDF 파일 발견")
for pdf_file in pdf_files:
pdf_path = os.path.join(directory, pdf_file)
try:
pages = self.load_pdf(pdf_path)
all_pages.extend(pages)
print(f" ✅ {pdf_file}: {len(pages)}페이지 로드 완료")
except Exception as e:
print(f" ❌ {pdf_file}: 로드 실패 - {str(e)}")
return all_pages
def split_documents(self, documents):
"""문서를 청크로 분할"""
chunks = self.text_splitter.split_documents(documents)
print(f"📄 총 {len(chunks)}개의 청크로 분할 완료")
return chunks
사용 예시
if __name__ == "__main__":
processor = PDFDocumentProcessor(chunk_size=800, chunk_overlap=150)
documents = processor.load_multiple_pdfs("./pdf_documents")
chunks = processor.split_documents(documents)
2단계: 벡터 스토어 생성 및 검색
"""
벡터 스토어 생성 및 의미론적 검색 모듈
HolySheep AI를 사용하면 API 응답 속도가 매우 빠른 편입니다.
"""
import time
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain.retrievers import EnsembleRetriever
from langchain_community.retrievers import BM25Retriever
import numpy as np
class PDFVectorStore:
"""PDF 문서 벡터 스토어 및 검색기"""
def __init__(self, api_key: str, embedding_model: str = "text-embedding-3-small"):
self.api_key = api_key
# HolySheep AI 임베딩 설정
self.embeddings = OpenAIEmbeddings(
model=embedding_model,
api_key=self.api_key,
base_url="https://api.holysheep.ai/v1"
)
self.vectorstore = None
self.chunks = None
def create_vectorstore(self, chunks, save_path: str = "./faiss_index"):
"""
벡터 스토어 생성
FAISS는 로컬에서 작동하므로 대규모 문서도低成本로 처리 가능합니다
"""
print