LlamaIndex Reranking: วิธีปรับปรุงความแม่นยำของการค้นหาข้อมูลให้ดีขึ้น

หากคุณเคยใช้ระบบค้นหาข้อมูลแล้วพบว่าผลลัพธ์ไม่ตรงกับที่ต้องการ บทความนี้จะช่วยคุณได้ เราจะมาเรียนรู้เรื่อง Reranking ซึ่งเป็นเทคนิคที่ช่วยให้ระบบค้นหาข้อมูลแม่นยำขึ้นอย่างมาก ทำให้ผู้ใช้งานเจอสิ่งที่ต้องการได้ง่ายขึ้น

Reranking คืออะไรและทำไมต้องใช้

ลองนึกภาพว่าคุณมีห้องสมุดขนาดใหญ่ที่มีหนังสือหลายล้านเล่ม เมื่อคุณถามว่า "หนังสือเกี่ยวกับการทำอาหารไทย" ระบบจะไปค้นหาหนังสือที่เกี่ยวข้องก่อน ซึ่งอาจได้ผลลัพธ์มาประมาณ 100 เล่ม จากนั้น Reranking จะทำหน้าที่ "คัดกรองคุณภาพ" โดยดูว่าหนังสือเล่มใดตรงกับคำถามมากที่สุด แล้วจัดเรียงให้ผลลัพธ์ที่ดีที่สุดอยู่ด้านบน

ขั้นตอนที่ 1: ค้นหาเบื้องต้น จะใช้วิธีดูว่าคำในคำถามตรงกับคำในหนังสือมากแค่ไหน แต่ขั้นตอนที่ 2: Reranking จะใช้ความฉลาดของ AI ในการ "เข้าใจ" ว่าคำถามหมายถึงอะไร แล้วเลือกผลลัพธ์ที่เข้าใจตรงกับความต้องการจริง

เริ่มต้นใช้งาน LlamaIndex Reranking กับ HolySheep AI

HolySheep AI เป็นแพลตฟอร์มที่ให้บริการ AI ราคาประหยัดกว่าค่ายอื่นถึง 85% รองรับการชำระเงินผ่าน WeChat และ Alipay พร้อมความเร็วในการตอบสนองน้อยกว่า 50 มิลลิวินาที คุณสามารถ สมัครที่นี่ เพื่อรับเครดิตฟรีเมื่อลงทะเบียน

ขั้นตอนที่ 1: ติดตั้งโปรแกรมที่จำเป็น

ก่อนเริ่มต้น คุณต้องมี Python ติดตั้งในเครื่องก่อน หากยังไม่มีสามารถดาวน์โหลดได้จาก python.org เมื่อติดตั้งเสร็จแล้ว ให้เปิดหน้าต่าง Command Prompt หรือ Terminal แล้วพิมพ์คำสั่งติดตั้งโปรแกรมที่จำเป็น

pip install llama-index llama-index-postprocessor-huggingface sentence-transformers

รอให้การติดตั้งเสร็จสมบูรณ์ ซึ่งอาจใช้เวลาประมาณ 2-5 นาที ขึ้นอยู่กับความเร็วอินเทอร์เน็ตของคุณ

ขั้นตอนที่ 2: เตรียมข้อมูลสำหรับทดสอบ

สร้างไฟล์ใหม่ชื่อ prepare_data.py เพื่อเตรียมข้อมูลทดสอบง่ายๆ คุณจะได้เห็นว่าระบบค้นหาทำงานอย่างไรก่อนและหลังใช้ Reranking

# prepare_data.py
documents = [
    "วิธีทำต้มยำกุ้งน้ำข้น อร่อยเด็ดทุกคำ",
    "การดูแลสุขภาพในชีวิตประจำวัน",
    "สูตรต้มยำปลาน้ำปลา แบบเด็ดๆ",
    "วิธีออกกำลังกายที่บ้านง่ายๆ",
    "ต้มยำกุ้งแบบจัดเต็ม รสชาติครบ",
    "เรื่องราวน่าสนใจเกี่ยวกับประเทศไทย",
    "สูตรน้ำพริกตาแดง กินกับผักสด",
    "การทำสมาธิเพื่อสุขภาพจิตที่ดี",
    "ต้มยำมังสวิรัติ ใส่เห็ดหอมหลายชนิด",
    "วิธีทำน้ำซุปใส่ไก่ง่ายๆ"
]

บันทึกข้อมูลลงไฟล์
with open("my_documents.txt", "w", encoding="utf-8") as f:
    for i, doc in enumerate(documents, 1):
        f.write(f"[doc_{i}] {doc}\n")

print("เตรียมข้อมูลเสร็จแล้ว มีทั้งหมด", len(documents), "ชิ้น")

รันคำสั่งนี้ด้วย python prepare_data.py แล้วคุณจะได้ไฟล์ my_documents.txt ที่มีข้อมูลพร้อมใช้งาน

ขั้นตอนที่ 3: สร้างระบบค้นหาพื้นฐาน

ต่อไปเราจะสร้างระบบค้นหาที่ใช้ Reranking กับ HolySheep AI โดยใช้โมเดล bge-reranker-base สำหรับการจัดลำดับความสำคัญของผลลัพธ์

# search_with_reranking.py
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.postprocessor.huggingface import HuggingFaceRerank
from llama_index.core.settings import Settings
import os

ตั้งค่า API Key ของ HolySheep AI
os.environ["HOLYSHEEP_API_KEY"] = "YOUR_HOLYSHEEP_API_KEY"
os.environ["LLAMA_CLOUD_API_KEY"] = "YOUR_HOLYSHEEP_API_KEY"

ตั้งค่า base URL สำหรับใช้งานกับ HolySheep
Settings.llm_base_url = "https://api.holysheep.ai/v1"

โหลดเอกสารที่เตรียมไว้
reader = SimpleDirectoryReader(input_files=["my_documents.txt"])
documents = reader.load_data()

สร้างดัชนีสำหรับค้นหา
index = VectorStoreIndex.from_documents(documents)

ตั้งค่า Reranking ด้วยโมเดลจาก HuggingFace
reranker = HuggingFaceRerank(
    top_n=3,
    model="BAAI/bge-reranker-base"
)

สร้างระบบค้นหา
query_engine = index.as_query_engine(
    similarity_top_k=10,
    node_postprocessors=[reranker]
)

ทดสอบการค้นหา
question = "สูตรต้มยำกุ้งทำอย่างไร"
print("คำถาม:", question)
print("-" * 50)

response = query_engine.query(question)
print("ผลลัพธ์ที่ดีที่สุด:")
print(response.response)

ทดสอบระบบเพื่อเปรียบเทียบผลลัพธ์

เมื่อรันโปรแกรมข้างต้น คุณจะเห็นว่าระบบสามารถค้นหาข้อมูลเกี่ยวกับต้มยำกุ้งได้อย่างแม่นยำ โดยผลลัพธ์จะถูกจัดเรียงตามความเกี่ยวข้องกับคำถามมากที่สุด 3 อันดับแรก หากไม่ใช้ Reranking ระบบอาจแสดงผลลัพธ์ตามลำดับที่พบคำ ไม่ใช่ตามความหมายที่ตรงกับความต้องการของผู้ใช้

สำหรับการใช้งานจริงกับข้อมูลขนาดใหญ่ คุณสามารถปรับค่า top_n ในฟังก์ชัน Reranker ได้ตามต้องการ ค่ายิ่งมากก็จะให้ผลลัพธ์มากขึ้นแต่ใช้เวลาประมวลผลนานขึ้นด้วย

ข้อผิดพลาดที่พบบ่อยและวิธีแก้ไข

ปัญหาที่ 1: ได้รับข้อผิดพลาด Authentication Error

อาการ: เมื่อรันโปรแกรมแล้วขึ้นข้อผิดพลาดว่า "Authentication error" หรือ "Invalid API key"

สาเหตุ: API Key ที่ใส่ไม่ถูกต้องหรือหมดอายุการใช้งาน

วิธีแก้ไข: ตรวจสอบว่าได้คัดลอก API Key จากหน้าบัญชีผู้ใช้ของ HolySheep AI อย่างถูกต้อง โดยไม่มีช่องว่างเพิ่มเติม

# วิธีแก้ไข: ตรวจสอบการตั้งค่า API Key
import os

วิธีที่ถูกต้อง
api_key = "YOUR_HOLYSHEEP_API_KEY"  # แทนที่ด้วย Key จริง
os.environ["HOLYSHEEP_API_KEY"] = api_key

ตรวจสอบว่าตั้งค่าถูกต้อง
print(f"API Key length: {len(api_key)} characters")
print(f"Starts with: {api_key[:7]}...")

ปัญหาที่ 2: ได้รับข้อผิดพลาด Connection Timeout

อาการ: โปรแกรมค้างนานแล้วขึ้นข้อผิดพลาด "Connection timeout" หรือ "Request timeout"

สาเหตุ: เครือข่ายอินเทอร์เน็ตไม่เสถียร หรือมีปัญหาการเชื่อมต่อกับเซิร์ฟเวอร์

วิธีแก้ไข: เพิ่มการตั้งค่า timeout และใช้โมเดลที่เบาลงสำหรับการทดสอบ

# วิธีแก้ไข: เพิ่มการตั้งค่า timeout และลองใหม่
from llama_index.core import Settings

เพิ่ม timeout สำหรับการเชื่อมต่อ
Settings.timeout = 120  # 120 วินาที

หากยังมีปัญหา ให้ลองใช้โมเดลที่เบากว่า
reranker = HuggingFaceRerank(
    top_n=3,
    model="BAAI/bge-reranker-base",
    device="cpu"  # ใช้ CPU แทน GPU หากไม่มี GPU
)

ลองรันใหม่หลังจากแก้ไข
print("กำลังเชื่อมต่อใหม่...")

ปัญหาที่ 3: ได้รับข้อผิดพลาด File Not Found

อาการ: เมื่อรันโปรแกรมขึ้นข้อผิดพลาดว่า "FileNotFoundError" หรือ "my_documents.txt not found"

สาเหตุ: ไฟล์เอกสารไม่อยู่ในโฟลเดอร์เดียวกับที่รันโปรแกรม หรือชื่อไฟล์ไม่ตรงกัน

วิธีแก้ไข: ตรวจสอบว่าไฟล์อยู่ในตำแหน่งที่ถูกต้องและใช้ path ที่สมบูรณ์

# วิธีแก้ไข: ตรวจสอบและใช้ path ที่ถูกต้อง
import os
from pathlib import Path

หาตำแหน่งของไฟล์สคริปต์ปัจจุบัน
script_dir = Path(__file__).parent.absolute()
data_file = script_dir / "my_documents.txt"

ตรวจสอบว่าไฟล์มีอยู่จริง
if data_file.exists():
    print(f"พบไฟล์ที่: {data_file}")
    reader = SimpleDirectoryReader(input_files=[str(data_file)])
else:
    # หากไม่พบ ให้แสดงตำแหน่งที่ควรมีไฟล์
    print(f"ไม่พบไฟล์ my_documents.txt")
    print(f"โปรดตรวจสอบว่าไฟล์อยู่ที่: {script_dir}")
    
    # แสดงไฟล์ทั้งหมดในโฟลเดอร์
    print("ไฟล์ในโฟลเดอร์นี้:")
    for f in script_dir.iterdir():
        print(f"  - {f.name}")

ปัญหาที่ 4: ผลลัพธ์ไม่ตรงกับความต้องการ

อาการ: แม้ใช้ Reranking แล้วแต่ผลลัพธ์ยังไม่แม่นยำตามที่ต้องการ

สาเหตุ: คำถามคลุมเครือหรือข้อมูลในฐานข้อมูลไม่เพียงพอ

วิธีแก้ไข: ปรับจำนวนผลลัพธ์ที่นำมา rerank ให้มากขึ้น หรือใช้คำถามที่ชัดเจนกว่า

# วิธีแก้ไข: ปรับค่าต่างๆ เพื่อให้ได้ผลลัพธ์ที่ดีขึ้น
query_engine = index.as_query_engine(
    similarity_top_k=20,  # เพิ่มจาก 10 เป็น 20
    node_postprocessors=[
        HuggingFaceRerank(
            top_n=5,  # แสดงผลลัพธ์ที่ดีที่สุด 5 อันดับ
            model="BAAI/bge-reranker-base"
        )
    ]
)

ลองใช้คำถามที่ชัดเจนขึ้น
response = query_engine.query(
    "ต้มยำกุ้งน้ำข้น สูตรแบบไทยโบราณ"
)
print("ผลลัพธ์ที่ได้:")
print(response.response)

สรุป

การใช้ Reranking กับ LlamaIndex ช่วยให้ระบบค้นหาข้อมูลมีความแม่นยำมากขึ้น โดยทำงานเป็น 2 ขั้นตอน ขั้นตอนแรกค้นหาเอกสารที่เกี่ยวข้องให้ได้มากที่สุด จากนั้น Reranking จะจัดเรียงผลลัพธ์ตามความสอดคล้องกับความต้องการของผู้ใช้

HolySheep AI เป็นตัวเลือกที่น่าสนใจสำหรับการใช้งาน AI เพราะมีราคาประหยัด ให้ความเร็วสูง และรองรับวิธีการชำระเงินที่หลากหลาย หากต้องการทดลองใช้งานสามารถ สมัครที่นี่ เพื่อรับเครดิตฟรีเมื่อลงทะเบียน โดยราคาเริ่มต้นเพียง $0.42 ต่อล้านตัวอักษรสำหรับ DeepSeek V3.2 ซึ่งเป็นราคาที่ประหยัดกว่าบริการอื่นๆ อย่างมาก

👉 สมัคร HolySheep AI — รับเครดิตฟรีเมื่อลงทะเบียน