RAG ภาพลวง: การควบคุมและตรวจสอบความน่าเชื่อถือของคำตอบ

ผมเคยเจอสถานการณ์ที่ทำให้ทีมงานต้องออกไปขอโทษลูกค้าโดยตรง — ระบบ RAG ของเราตอบคำถามเรื่องสิทธิ์การใช้งานซอฟต์แวร์ผิดพลาด ลูกค้าส่งเอกสารหลักมาให้ดู เราพบว่า AI สร้าง "ข้อกำหนด" ที่ไม่มีอยู่ในสัญญาเลย มันเป็นสิ่งที่เรียกว่า "ภาพลวง" หรือ Hallucination ซึ่งเป็นปัญหาหลักที่ทุกคนที่ใช้ RAG ต้องเผชิญ

บทความนี้จะสอนวิธีควบคุม RAG Hallucination ด้วยเทคนิค Citation Tracing และ Confidence Scoring โดยใช้ HolySheep AI เป็นตัวอย่างการทำงานจริง

RAG Hallucination คืออะไร และทำไมต้องกังวล

เมื่อ LLM ตอบคำถามจากเอกสารที่ดึงมา บางครั้งมัน "สร้าง" ข้อมูลที่ไม่มีอยู่จริง อาจเป็นตัวเลขที่ผิดเล็กน้อย วันที่ไม่ตรง หรือบทสรุปที่บิดเบือนความหมาย นี่คือตัวอย่างความผิดพลาดที่พบบ่อย:

# ตัวอย่าง: RAG ตอบด้วยข้อมูลที่ไม่มีในเอกสารต้นฉบับ
query = "สัญญานี้มีระยะเวลากี่ปี?"
retrieved_docs = vector_db.similarity_search(query, k=3)

เอกสารต้นฉบับระบุ: "ระยะเวลาสัญญา 3 ปี (1 มกราคม 2567 - 31 ธันวาคม 2569)"
แต่ LLM ตอบ: "สัญญานี้มีระยะเวลา 5 ปี"

response = llm.invoke(f"""
เอกสาร: {retrieved_docs}
คำถาม: {query}
""")
ได้คำตอบที่ผิด! ทั้งที่เอกสารมีข้อมูลถูกต้องอยู่แล้ว

หลักการ Citation Tracing

Citation Tracing คือการบังคับให้ LLM อ้างอิงแหล่งที่มาทุกครั้ง โดยมีเทคนิคหลักดังนี้:

1. Document-Groundness Check

ตรวจสอบว่าคำตอบทุกประโยคมีหลักฐานในเอกสารต้นทางหรือไม่

import openai

client = openai.OpenAI(
    api_key="YOUR_HOLYSHEEP_API_KEY",
    base_url="https://api.holysheep.ai/v1"
)

def rag_with_citation(question: str, retrieved_docs: list) -> dict:
    """
    RAG พร้อม Citation Tracing
    ส่งคืน: {answer, citations, confidence_score}
    """
    
    docs_text = "\n\n".join([
        f"[Doc {i+1}]: {doc.page_content}" 
        for i, doc in enumerate(retrieved_docs)
    ])
    
    response = client.chat.completions.create(
        model="gpt-4.1",
        messages=[
            {
                "role": "system",
                "content": """คุณเป็นผู้ช่วยตอบคำถามจากเอกสาร
กฎ:
1. ทุกประโยคในคำตอบต้องมี [Doc N] อ้างอิง
2. ถ้าไม่มีหลักฐาน ให้ตอบว่า "ไม่พบข้อมูลในเอกสาร"
3. ให้คะแนนความมั่นใจ 0-100%
"""
            },
            {
                "role": "user", 
                "content": f"""เอกสาร:
{docs_text}

คำถาม: {question}

ตอบในรูปแบบ JSON:
{
    "answer": "...",
    "citations": [{"doc_id": 1, "quote": "..."}],
    "confidence": 85
}"""
            }
        ],
        temperature=0.1,  # ลดความสุ่ม ลด hallucination
        response_format={"type": "json_object"}
    )
    
    import json
    return json.loads(response.choices[0].message.content)

ทดสอบ
docs = vector_db.similarity_search("ระยะเวลาสัญญา?", k=3)
result = rag_with_citation("สัญญานี้มีระยะเวลากี่ปี?", docs)
print(f"คำตอบ: {result['answer']}")
print(f"ความมั่นใจ: {result['confidence']}%")
print(f"อ้างอิง: {result['citations']}")

2. Self-Verification Loop

ให้ LLM ตรวจสอบคำตอบของตัวเองก่อนส่งออก

def self_verify_rag(question: str, retrieved_docs: list) -> dict:
    """RAG พร้อม Self-Verification"""
    
    docs_text = "\n\n".join([
        f"[Doc {i+1}]: {doc.page_content}" 
        for i, doc in enumerate(retrieved_docs)
    ])
    
    # ขั้นตอนที่ 1: สร้างคำตอบ
    initial_response = client.chat.completions.create(
        model="gpt-4.1",
        messages=[
            {"role": "system", "content": "ตอบคำถามจากเอกสาร อ้างอิงทุกประโยค"},
            {"role": "user", "content": f"เอกสาร:\n{docs_text}\n\nคำถาม: {question}"}
        ],
        temperature=0.1
    )
    initial_answer = initial_response.choices[0].message.content
    
    # ขั้นตอนที่ 2: ตรวจสอบตัวเอง
    verification = client.chat.completions.create(
        model="gpt-4.1",
        messages=[
            {"role": "system", "content": """คุณเป็นตัวตรวจสอบความถูกต้อง
ตรวจสอบว่าคำตอบตรงกับเอกสารหรือไม่
ถ้ามีส่วนที่ไม่ตรง ให้แก้ไขและอธิบายว่าผิดตรงไหน"""},
            {"role": "user", "content": f"""เอกสาร:
{docs_text}

คำตอบที่ต้องตรวจสอบ:
{initial_answer}

คำถาม: {question}"""}
        ],
        temperature=0.0
    )
    
    return {
        "initial_answer": initial_answer,
        "verified_answer": verification.choices[0].message.content
    }

Confidence Scoring Framework

การให้คะแนนความมั่นใจช่วยให้รู้ว่าควรแสดงคำตอบหรือควรขอความชัดเจนจากผู้ใช้

def calculate_confidence(retrieved_docs: list, question: str, answer: str) -> dict:
    """คำนวณคะแนนความมั่นใจหลายมิติ"""
    
    docs_text = "\n\n".join([
        f"[Doc {i+1}]: {doc.page_content}" 
        for i, doc in enumerate(retrieved_docs)
    ])
    
    scoring_prompt = client.chat.completions.create(
        model="gpt-4.1",
        messages=[
            {"role": "system", "content": """ให้คะแนนความมั่นใจ 0-100% ในแต่ละด้าน:
1. relevance: เอกสารที่ดึงมาตรงกับคำถามแค่ไหน
2. coverage: คำตอบครอบคลุมเนื้อหาในเอกสารแค่ไหน
3. hallucination_risk: มีความเสี่ยงว่า LLM สร้างข้อมูลเท็จแค่ไหน
4. ambiguity: คำถาม/คำตอบมีความกำกวมแค่ไหน"""},
            {"role": "user", "content": f"""คำถาม: {question}
เอกสาร: {docs_text}
คำตอบ: {answer}

ตอบ JSON format เท่านั้น""" }
        ],
        temperature=0.0,
        response_format={"type": "json_object"}
    )
    
    import json
    scores = json.loads(scoring_prompt.choices[0].message.content)
    
    # คะแนนรวม = weighted average
    overall = (
        scores['relevance'] * 0.3 +
        scores['coverage'] * 0.3 +
        (100 - scores['hallucination_risk']) * 0.3 +
        (100 - scores['ambiguity']) * 0.1
    )
    
    scores['overall'] = round(overall, 1)
    
    # แนะนำการดำเนินการ
    if overall >= 85:
        scores['action'] = "แสดงคำตอบได้เลย"
    elif overall >= 70:
        scores['action'] = "แสดงคำตอบ + แนะนำตรวจสอบเพิ่มเติม"
    else:
        scores['action'] = "ขอความชัดเจนจากผู้ใช้ หรือส่งต่อทีมงาน"
    
    return scores

ข้อผิดพลาดที่พบบ่อยและวิธีแก้ไข

กรณีที่ 1: ConnectionError: timeout

อาการ: API timeout ระหว่าง retrieval หรือ generation ทำให้คำตอบค้าง

from tenacity import retry, stop_after_attempt, wait_exponential
import openai

client = openai.OpenAI(
    api_key="YOUR_HOLYSHEEP_API_KEY",
    base_url="https://api.holysheep.ai/v1",
    timeout=60.0  # เพิ่ม timeout
)

@retry(
    stop=stop_after_attempt(3),
    wait=wait_exponential(multiplier=1, min=2, max=10)
)
def robust_rag_call(messages: list) -> str:
    """เรียก API พร้อม retry logic"""
    try:
        response = client.chat.completions.create(
            model="gpt-4.1",
            messages=messages,
            temperature=0.1
        )
        return response.choices[0].message.content
    except openai.APITimeoutError:
        # fallback ไป model เล็กกว่า ถ้า timeout
        response = client.chat.completions.create(
            model="gpt-4.1-mini",  # fallback model
            messages=messages,
            temperature=0.1
        )
        return response.choices[0].message.content

กรณีที่ 2: 401 Unauthorized

อาการ: API key ไม่ถูกต้องหรือหมดอายุ

import os
from dotenv import load_dotenv

load_dotenv()

วิธีแก้: ตรวจสอบ API key ก่อนใช้งาน
def validate_api_key() -> bool:
    api_key = os.getenv("HOLYSHEEP_API_KEY")
    
    if not api_key:
        print("❌ ไม่พบ API Key")
        return False
    
    if api_key == "YOUR_HOLYSHEEP_API_KEY":
        print("⚠️ กรุณาเปลี่ยน API Key เป็นค่าจริง")
        return False
    
    # ทดสอบ API key ด้วยการเรียกครั้งเดียว
    try:
        client = openai.OpenAI(
            api_key=api_key,
            base_url="https://api.holysheep.ai/v1"
        )
        client.models.list()
        return True
    except openai.AuthenticationError:
        print("❌ API Key ไม่ถูกต้อง")
        return False
    except Exception as e:
        print(f"❌ ข้อผิดพลาด: {e}")
        return False

ใช้งาน
if validate_api_key():
    print("✅ API Key พร้อมใช้งาน")
else:
    print("🔗 สมัคร API key ที่: https://www.holysheep.ai/register")