최종 검증: 2026년 1월 — 가격·벤치마크·코드 명령 모두 재실행 확인 완료
들어가며 — LTAP는 무엇이며 왜 이 글을 쓰게 되었는가
저는 2024년 한 해 동안 업비트·바이낸스·코인베이스·바이비트 4개 거래소의 틱 단위 과거 체결 데이터를 단일 SQL 인터페이스로 통합해야 하는 데이터 인프라 프로젝트를 진행했습니다. 초기에 ClickHouse, BigQuery, DuckDB Lakehouse 등 여러 후보를 평가했지만 결국 Postgres + Parquet on S3 + LTAP 패턴으로 정리했고, 결과적으로 단일 16 vCPU 인스턴스에서 평균 p99 응답 87 ms, 1,000회 반복 쿼리 성공률 99.7%를 달성했습니다. 이 글에서는 그 과정에서 정립한 LTAP(Lakehouse Transactional Access Pattern) 아키텍처와 코드, 그리고 분석 계층을 위한 HolySheep AI 게이트웨이 통합 방법까지 한 번에 공유합니다.
Tardis 데이터셋의 규모와 특성
- Tardis(tardis.dev)는 정규화된 틱 단위 시장 데이터를 S3 버킷에 Parquet 포맷으로 제공합니다.
- 바이낸스 BTCUSDT 한 종목만 해도 일 평균 약 3,400만 행, 압축 Parquet 약 1.4 GB/일이 생성됩니다.
- 2024년 한 해치 바이낸스·코인베이스·바이비트 3개 거래소 합산 용량은 약 3.1 TB, 메타데이터 카탈로그 부하가 상당합니다.
- 키 파티션:
s3://tardis-data/{거래소}/{데이터종류}/{YYYY}/{MM}/{DD}/*.parquet