RAG (Retrieval-Augmented Generation) เป็นสถาปัตยกรรมที่ผสมผสานการค้นหาข้อมูลเวกเตอร์เข้ากับโมเดลภาษาขนาดใหญ่ ทำให้ AI สามารถตอบคำถามจากฐานความรู้เฉพาะทางได้อย่างแม่นยำ แต่การประเมินคุณภาพของระบบ RAG เป็นความท้าทายสำคัญสำหรับนักพัฒนา บทความนี้จะอธิบายการใช้งาน RAGAS Framework เพื่อวัดผลและตรวจสอบคุณภาพของ RAG Pipeline อย่างเป็นระบบ พร้อมแนะนำ การเชื่อมต่อผ่าน HolySheep AI ที่ให้บริการ API ราคาประหยัดสำหรับงานประเมินผล

ทำความเข้าใจ RAG Assessment พื้นฐาน

ก่อนจะเข้าสู่ RAGAS Framework เราต้องเข้าใจองค์ประกอบหลักของการประเมินระบบ RAG อย่างครอบคลุม ซึ่งประกอบด้วยเมตริกหลายมิติที่ต้องพิจารณา

ในการคำนวณต้นทุนสำหรับระบบประเมิน RAG ที่ประมวลผล 10 ล้าน tokens ต่อเดือน เราสามารถเปรียบเทียบราคาระหว่างผู้ให้บริการต่างๆ ได้ดังนี้:

จะเห็นได้ว่า DeepSeek V3.2 มีความคุ้มค่าสูงสุดสำหรับงานประเมินผลที่ต้องการปริมาณมาก โดย HolySheep AI สมัครที่นี่ ให้บริการด้วยอัตราแลกเปลี่ยน ¥1=$1 ทำให้ประหยัดได้มากกว่า 85% เมื่อเทียบกับราคามาตรฐาน รองรับการชำระเงินผ่าน WeChat และ Alipay พร้อม latency ต่ำกว่า 50ms

RAGAS Framework คืออะไร

RAGAS (Retrieval Augmented Generation Assessment) เป็น Framework สำหรับประเมินระบบ RAG ที่พัฒนาโดย Exploding Gradients โดยมีจุดเด่นด้านการใช้งานง่ายและครอบคลุมหลายมิติของคุณภาพ RAGAS แบ่งเมตริกออกเป็น 4 กลุ่มหลัก ได้แก่ Faithfulness, Answer Relevance, Context Relevance และ Context Precision โดยแต่ละเมตริกจะวัดคุณภาพในมิติที่แตกต่างกันของ Pipeline

การติดตั้งและเตรียม Environment

ก่อนจะเริ่มใช้งาน RAGAS เราต้องติดตั้ง dependencies ที่จำเป็นและเตรียม API keys สำหรับการเชื่อมต่อกับโมเดลประเมินผล ซึ่งในที่นี้จะใช้ HolySheep AI เป็น provider หลักเนื่องจากมีราคาที่ประหยัดและรองรับโมเดลหลากหลาย

pip install ragas langchain langchain-community
pip install sentence-transformers numpy pandas
pip install openai tiktoken


สร้าง environment file

cat > .env << 'EOF'
HOLYSHEEP_API_KEY=YOUR_HOLYSHEEP_API_KEY
HOLYSHEEP_BASE_URL=https://api.holysheep.ai/v1
EOF


Load environment variables

from dotenv import load_dotenv
import os
load_dotenv()

api_key = os.getenv("HOLYSHEEP_API_KEY")
base_url = os.getenv("HOLYSHEEP_BASE_URL")

การสร้าง RAG Pipeline และ Data Preparation

ขั้นตอนต่อไปคือการสร้าง RAG Pipeline พื้นฐานและเตรียม test dataset สำหรับการประเมินผล เราจะใช้ LangChain เป็น framework หลักในการสร้าง chain และใช้ HolySheep AI เป็น LLM backend

import os
from openai import OpenAI
from langchain_community.vectorstores import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.document_loaders import DirectoryLoader


Initialize HolySheep AI client

client = OpenAI(
    api_key="YOUR_HOLYSHEEP_API_KEY",
    base_url="https://api.holysheep.ai/v1"
)


Custom embedding class for HolySheep

class HolySheepEmbeddings:
    def __init__(self, client):
        self.client = client
    
    def embed_documents(self, texts):
        response = self.client.embeddings.create(
            model="text-embedding-3-small",
            input=texts
        )
        return [item.embedding for item in response.data]
    
    def embed_query(self, text):
        return self.embed_documents([text])[0]


Load documents

loader = DirectoryLoader("./knowledge_base", glob="**/*.txt")
documents = loader.load()


Split documents

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200
)
chunks = text_splitter.split_documents(documents)


Create vector store with HolySheep embeddings

embeddings = HolySheepEmbeddings(client)
vectorstore = Chroma.from_documents(
    documents=chunks,
    embedding=embeddings,
    persist_directory="./chroma_db"
)


Create retriever

retriever = vectorstore.as_retriever(
    search_type="mmr",
    search_kwargs={"k": 5, "fetch_k": 20}
)

print("RAG Pipeline initialized with HolySheep AI successfully!")

การคำนวณ RAGAS Metrics

หลังจากสร้าง RAG Pipeline แล้ว ขั้นตอนถัดไปคือการคำนวณเมตริกต่างๆ ของ RAGAS โดย RAGAS จะใช้ LLM ในการประเมินคุณภาพของ response, context และความสัมพันธ์ระหว่าง question, answer และ context

from ragas import evaluate
from ragas.metrics import (
    faithfulness,
    answer_relevancy,
    context_precision,
    context_recall,
    answer_similarity,
    answer_correctness
)
from ragas.testset import TestsetGenerator
from datasets import Dataset
import pandas as pd


Function to query RAG system

def query_rag(question, retriever, client):
    """Query RAG system and return answer with context"""
    docs = retriever.get_relevant_documents(question)
    context = "\n\n".join([doc.page_content for doc in docs])
    
    response = client.chat.completions.create(
        model="gpt-4.1",
        messages=[
            {"role": "system", "content": "ตอบคำถามจาก context ที่ให้มา"},
            {"role": "user", "content": f"Context:\n{context}\n\nQuestion: {question}"}
        ],
        temperature=0.3,
        max_tokens=500
    )
    
    return {
        "question": question,
        "answer": response.choices[0].message.content,
        "contexts": [doc.page_content for doc in docs]
    }


Prepare evaluation dataset

questions = [
    "What are the main components of a RAG system?",
    "How does vector similarity search work?",
    "What is the purpose of chunking in RAG?"
]

ground_truths = [
    "The main components are retriever, vector database, and LLM.",
    "Vector similarity measures how close two vectors are in embedding space.",
    "Chunking breaks documents into smaller pieces for better retrieval."
]


Generate RAG responses

results = []
for q in questions:
    result = query_rag(q, retriever, client)
    results.append(result)


Create evaluation dataset

eval_data = {
    "user_input": [r["question"] for r in results],
    "response": [r["answer"] for r in results],
    "reference": ground_truths,
    "contexts": [r["contexts"] for r in results]
}

dataset = Dataset.from_dict(eval_data)


Evaluate with RAGAS metrics

score = evaluate(
    dataset,
    metrics=[
        faithfulness,
        answer_relevancy,
        context_precision,
        context_recall,
    ],
)


Convert to DataFrame for analysis

scores_df = score.to_pandas()

แหล่งข้อมูลที่เกี่ยวข้อง
บทความที่เกี่ยวข้อง