การเลือกโมเดล AI ที่เหมาะสมสำหรับโปรเจกต์ของคุณไม่ใช่เรื่องง่าย โดยเฉพาะเมื่อมีโมเดลใหม่ๆ เปิดตัวอยู่เสมอ ในบทความนี้เราจะอธิบาย Benchmark ยอดนิยม 3 ตัว ได้แก่ MMLU, HumanEval และ MATH พร้อมวิธีอ่านผลลัพธ์และเปรียบเทียบประสิทธิภาพจริงของแต่ละโมเดล

สารบัญ

Benchmark คืออะไร ทำไมต้องสนใจ?

Benchmark คือชุดทดสอบมาตรฐานที่ใช้วัดประสิทธิภาพของโมเดล AI อย่างเป็นระบบ โดยทุกโมเดลจะถูกทดสอบด้วยข้อสอบชุดเดียวกัน ทำให้สามารถเปรียบเทียบกันได้อย่างยุติธรรม

ทำไมต้องดู Benchmark?

MMLU — Massively Multitask Language Understanding

MMLU เป็น Benchmark ที่ทดสอบความรู้ทั่วไปของโมเดลใน 57 สาขาวิชา ตั้งแต่คณิตศาสตร์ ฟิสิกส์ เคมี ไปจนถึงกฎหมายและจริยธรรม คะแนน MMLU วัดเป็นเปอร์เซ็นต์ (%) ยิ่งสูงยิ่งดี

ตัวอย่างคำถาม MMLU:

คำถาม: หากอนุกรมเลขค�