สวัสดีครับ ผมเป็นวิศวกรด้านข้อมูลที่ทำงานกับระบบเทรดอัตโนมัติมาประมาณ 5 ปี เดือนที่แล้วทีมผมต้องเลือกฐานข้อมูลสำหรับเก็บข้อมูล Tick ระดับ 1 พันล้านแถว เลยตัดสินใจทดสอบจริงระหว่าง ClickHouse กับ DuckDB แล้วใช้ HolySheep AI ช่วยวิเคราะห์ผลแบบอัตโนมัติ บทความนี้เขียนสำหรับผู้เริ่มต้นที่ไม่เคยใช้ API มาก่อน ผมจะอธิบายทุกขั้นตอนตั้งแต่ติดตั้งไปจนถึงวัดผลลัพธ์จริง พร้อมแชร์ปัญหาที่เจอและวิธีแก้
ClickHouse คืออะไร? อธิบายแบบเข้าใจง่าย
ClickHouse คือฐานข้อมูลแบบ Column-oriented ที่พัฒนาโดย Yandex (บริษัท search engine ของรัสเซีย) เน้นความเร็วในการอ่านข้อมูลจำนวนมาก คิดง่ายๆ คือแทนที่จะเก็บข้อมูลเป็นแถวๆ เหมือน Excel ทั่วไป ClickHouse จะเก็บข้อมูลเป็นคอลัมน์ ทำให้เวลาคำนวณค่าเฉลี่ยหรือสรุปข้อมูลจำนวนมากจะเร็วมาก เหมาะกับงาน OLAP (Online Analytical Processing) โดยเฉพาะ
จากที่ผมลองใช้มา ClickHouse เหมาะกับระบบ production ที่ต้องรับ query จากผู้ใช้หลายคนพร้อมกัน รองรับการขยายเครื่อง (distributed) ได้ ปัจจุบันมีดาว GitHub กว่า 35,000 ดาว และเป็นที่นิยมในชุมชน Quant อย่างมาก ตามที่ผมเห็นใน Reddit r/quant ห