ในโลกของ AI ที่ใช้งานจริงในธุรกิจ ความเร็วของการตอบกลับเป็นปัจจัยสำคัญที่สุดปัจจัยหนึ่ง บทความนี้จะพาคุณไปดูว่าผมเพิ่มประสิทธิภาพ P99 Latency ได้อย่างไร ตั้งแต่กรณีศึกษา e-commerce ไปจนถึงระบบ RAG ขนาดใหญ่ พร้อมโค้ดที่นำไปใช้ได้จริง
P99 Latency คืออะไร และทำไมต้องสนใจมากกว่า Average
P99 Latency หมายถึงเวลาที่ 99% ของคำขอเสร็จสิ้นภายใน หากระบบของคุณมี P99 ที่ 500ms แปลว่า 1% ของคำขอจะใช้เวลามากกว่านั้น ในระบบ e-commerce ที่มี 10,000 คำขอต่อนาที นั่นหมายถึง 100 คำขอที่ผู้ใช้ต้องรอนานผิดปกติ ซึ่งส่งผลเสียต่อประสบการณ์ผู้ใช้โดยตรง
จากประสบการณ์ของผม การ optimize เฉพาะ average latency ไม่เพียงพอ เพราะ spike ที่เกิดขึ้นนานๆ ครั้งแม้จะน้อย แต่กระทบ user experience อย่างมาก โดยเฉพาะในช่วง peak season อย่าง Black Friday หรือการเปิ