ผมเพิ่งผ่านเหตุการณ์ที่ทำให้หัวใจเต้นแรงเมื่อเดือนที่แล้ว ลูกค้าของผมเป็นแบรนด์อีคอมเมิร์ชรายใหญ่ในเอเชียตะวันออกเฉียงใต้ที่เพิ่งเปิดตัวแชทบอท AI สำหรับบริการลูกค้า เราใช้สถาปัตยกรรม RAG (Retrieval-Augmented Generation) ดึงข้อมูลจากคลังสินค้า 12,000 รายการและนโยบายการคืนเงิน 47 ข้อ ทุกอย่างทำงานได้ดีในช่วงเปิดตัว แต่หลังจากโปรโมชั่น 11.11 กระแสลูกค้าพุ่งขึ้น 8 เท่าภายใน 3 ชั่วโมง คำถามแรกที่ผู้บริหารถามผมในเช้าวันรุ่งขึ้นคือ "เราใช้เงินไปเท่าไหร่" "ลูกค้า 1,000 คนที่ถามเรื่องคืนเงินได้คำตอบถูกต้องกี่คน" และ "ทำไมบอทตอบช้าในช่วงพีค" ผมเปิดดู log ใน console แล้วพบว่าเราไม่มี audit log ที่เชื่อถือได้เลย มีแค่ log ของ provider ซึ่งบอกแค่ว่า "API called" แต่ไม่บอกว่า prompt อะไร retrieval คืนอะไร และ token ใช้เท่าไหร่ นั่นคือจุดเริ่มต้นที่ผมต้องออกแบบระบบ audit log สำหรับ AI API อย่างจริงจัง และตัวเลือกที่ผมเปรียบเทียบคือ Langfuse ทั้งในโหมด Self-Hosted และ SaaS
ทำไม AI Audit Log ไม่ใช่ "มีก็ดี" แต่ "ขาดไม่ได้"
Audit log สำหรับ LLM แตกต่างจาก log ของ REST API ทั่วไปอย่างสิ้นเชิง เพราะต้องบันทึก 4 มิติพร้อมกัน
- Prompt และ Completion ฉบับเต็ม ไม่ใช่แค่ status code แต่ต้องเก็บข้อความทั้งหมดที่ส่งเข้าและออก เพื่อ debug กรณีลูกค้าบ่นว่าบอทตอบผิด
- Token และค่าใช้จ่ายจริง ใบแจ้งหนี้จาก provider มักมาเป็นรายเดือน แต่ถ้าเกิด overage ผู้บริหารต้องการรู้ทันทีว่าวันไหน feature ไหน burn เงิน
- Latency แยกตามขั้นตอน เวลารวมของ RAG ประกอบด้วย embedding retrieval LLM และ post-processing ถ้า latency พุ่งต้องรู้ทันทีว่าคอขวดอยู่ตรงไหน
- Trace ID ที่เชื่อมโยงทั้ง pipeline เมื่อลูกค้าแจ้งปัญหา ต้องดึง trace เดียวที่เห็นทุกอย่างตั้งแต่ query retrieval prompt completion
จากมาตรฐาน OpenTelemetry ที่ผมใช้อ้างอิง ข้อมูล 1 trace ประกอบด้วย spans หลายสิบตัวเมื่อรวม RAG การที่จะเก็บข้อมูลระดับนี้ได้ คุณต้องมีเครื่องมือที่ออกแบบมาเฉพาะ ไม่ใช่ log แบบ ELK ทั่วไป
Langfuse คืออะไร และทำไมถึงเป็นตัวเลือกอันดับ 1
Langfuse เป็น open-source LLM observability platform ที่ได้รับความนิยมสูงสุดในปี 2026 ด้วยเหตุผล 3 ข้อ
- License MIT แท้ ไม่ใช่ source-available แบบ OpenTelemetry collector บางตัว คุณ fork และแก้ไขได้เต็มที่
- OpenTelemetry native ทุก span ส่งออกมาเป็น OTLP format ทำให้ integrate กับ Datadog, Grafana, Honeycomb ได้ทันที
- Prompt management ในตัว ไม่ต้องสร้าง CMS