จากประสบการณ์ตรงของผมในการออกแบบระบบ RAG ขนาดใหญ่ที่ต้องเรียกใช้ LLM หลายล้าน token ต่อวัน ผมพบว่า Context Cache ไม่ใช่แค่ฟีเจอร์เสริมอีกต่อไป แต่เป็นหัวใจสำคัญของการควบคุมต้นทุน เมื่อเร็วๆ นี้ผมได้ทดลองใช้ Gemini 3.1 Pro ผ่าน HolySheep AI ซึ่งเป็นเกตเวย์ที่รองรับโมเดล Gemini เต็มรูปแบบ พร้อมอัตราคงที่ ¥1 = $1 (ประหยัดกว่า 85% เมื่อเทียบกับราคาตลาด) รองรับการชำระเงินผ่าน WeChat/Alipay และมีเวลาแฝงต่ำกว่า 50ms ผมพบว่ากลยุทธ์ cache ที่ออกแบบมาดีสามารถลดค่าใช้จ่ายรายเดือนได้หลักแสนบาท
1. ทำไม Context Cache ถึงสำคัญกับการประมวลผล Million Token
ปัญหาคลาสสิกของการเรียกใช้ LLM กับ context ขนาด 1 ล้าน token คือ ค่าใช้จ่ายทวีคูณ ทุกครั้งที่มีคำถามใหม่ คุณต้องส่ง context เต็มทั้ง 1 ล้าน token กลับเข้าไปใหม่ ทำให้ต้นทุนพุ่งสูงขึ้นแบบเชิงเส้น Context Cache ของ Gemini 3.1 Pro แก้ปัญหานี้โดยอนุญาตให้คุณ:
- อัปโหลด context ขนาดใหญ่ (สูงสุด 1M tokens) เพียงครั้งเดียว
- ตั้ง TTL (Time-To-Live) ตั้งแต่ 1 นาที ถึง 24 ชั่วโมง
- อ้างอิง cache ผ่านชื่อ cache name โดยไม่ต้องส่ง context ซ้ำ
- จ่ายค่า cache hit ในราคาที่ถูกกว่า uncached token ถึง 75%
2. สถาปัตยกรรม Context Cache ของ Gemini 3.1 Pro
กลไก Context Cache ของ Gemini 3.1 Pro ทำงานเป็น 3 ชั้นหลัก:
- Storage Layer: เก็บ token embeddings ไว้ในหน่วยความจำ KV-cache ของ accelerator (TPU/GPU)
- Routing Layer: จับคู่ prefix ของ prompt ใหม่กับ cache name ที่มีอยู่ โดยใช้ hash ของ token sequence
- Pricing Layer: ค