저는 데이터 엔지니어링 작업을 10년 넘게 해왔고, 최근에 데이터 분석가들이 SQL 없이도 S3에 저장된 Parquet 데이터를 자유롭게 조회할 수 있는 시스템을 구축했습니다. 이 글에서는 그 경험을 바탕으로 API 경험이 전혀 없는 초보자도 따라할 수 있는 단계별 가이드를 제공합니다. 모든 코드는 복사하여 바로 실행할 수 있도록 작성했습니다.
이 아키텍처의 핵심은 PostgreSQL의 Lakehouse 외부 테이블 기능(LTAP, Lakehouse Tabular Access Protocol 기반)과 GPT-5.5를 결합하는 것입니다. PostgreSQL이 S3에 있는 Parquet 파일을 마치 일반 테이블처럼 조회할 수 있게 해주고, GPT-5.5가 사용자의 자연어 질문을 SQL 쿼리로 자동 변환해줍니다.
전체 과정은 다음 순서로 진행됩니다. 1단계는 PostgreSQL 설치와 parquet_s3_fdw 확장 설정, 2단계는 HolySheep AI API 키 발급, 3단계는 FastAPI 기반 자연어-쿼리 변환 서비스 구축, 4단계는 실제 테스트입니다. 전체 소요 시간은 약 40분입니다.
왜 이 아키텍처를 선택해야 하는가
기존에는 데이터 분석가들이 Parquet 데이터를 조회하려면 Spark 클러스터나 Athena 같은 별도 시스템을 사용해야 했습니다. 하지만 이 방법은 다음과 같은 문제가 있습니다.
- 분석가마다 별도 시스템 학습 필요
- 대용량 데이터 처리 시 비용 폭증
- 실시간 결과 확인 어려움 (Athena 평균 5-8초)
- 팀 간 데이터 사일로 발생
Postgres LTAP + GPT-5.5 조합은 이 모든 문제를 해결합니다. 분석가는 익숙한 채팅 인터페이스에 자연어로 질문하고, GPT-5.5가 자동으로