SQLite를 활용한 분산 고성능 데이터 저장소 구축기
1. 이게 뭔가요?
Blobasaur는 인도 증권사 Zerodha의 거래 플랫폼인 Kite에서 사용자 설정 같은 데이터를 저장하기 위해 만든 오픈소스 분산 서버입니다. 이 서버는 SQLite라는 데이터베이스 기술을 사용하며, 데이터를 여러 조각으로 나누어 여러 컴퓨터에 흩어 저장합니다. 이 서버는 Rust라는 프로그래밍 언어로 만들었고, 기존 시스템과 연결하기 위해 Redis라는 통신 방식을 사용합니다. 사용자가 차트 배치나 금융 지표 설정 같은 개인적인 데이터를 저장하는데, 이 데이터들은 보통 몇 킬로바이트에서 몇 메가바이트 크기의 덩어리(블롭) 형태로 저장됩니다.
2. 왜 화제인가요?
기존에 사용하던 저장 기술은 더 이상 관리되지 않아 운영상 위험했고, 하나의 컴퓨터에서만 작동해 데이터가 늘어날수록 성능에 한계가 있었습니다. 특히 데이터 크기가 커지면 응답 속도가 느려져 데이터 크기를 1MB로 제한해야 하는 제약이 있었습니다. Blobasaur는 이러한 문제들을 해결하면서도 유지보수가 쉽고 비용 효율적인 대안을 제시합니다. 이는 많은 사용자가 이용하는 금융 플랫폼의 운영 안정성을 높이는 데 중요합니다.
3. 핵심 내용
Blobasaur는 Kite의 약 2천만 명 고객이 사용하는 수많은 사용자 설정 데이터를 초당 수천에서 수만 건의 읽기 및 쓰기 요청을 처리하면서도 10분의 1초 미만의 낮은 지연 시간을 유지합니다. 데이터를 여러 개의 SQLite 파일(샤드)로 나누어 저장하고, 각 파일에 전담 처리 담당을 두어 여러 쓰기 요청을 한 번에 묶어 처리합니다. 이 분산 구조 덕분에 샤드 수를 16개로 늘렸을 때 쓰기 처리량이 3.3배 늘었고, 쓰기 지연 시간 중간값은 8.2ms에서 2.1ms로 크게 줄었습니다. 데이터 저장 시 zstd 압축을 적용하는데, 이 압축 덕분에 평균 63.6KiB의 데이터가 5.5KiB로 약 11배 줄어들고, 가장 큰 데이터(상위 1%)는 약 16배까지 크기를 줄입니다. 데이터가 만료되면 읽을 때 걸러지며 백그라운드에서 작은 덩어리로 삭제됩니다. 여러 컴퓨터에 데이터를 분산할 때는 Redis 클러스터 통신 방식을 사용하며, 데이터의 주소 공간을 16384개의 구역으로 나누어 관리합니다. 현재 운영 환경은 3대의 서버(각 4 vCPU, 8GB 메모리)로 구성되어 있으며, 거래 시간 동안 모든 명령의 99번째 백분위 지연 시간은 약 2ms 수준을 유지합니다. Blobasaur는 AGPLv3 라이선스로 공개되어 있습니다.
4. 나에게 어떤 영향이 있나요?
사용자는 투자 화면 레이아웃이나 설정을 저장할 때 데이터가 즉시 로드되어 끊김 없이 원하는 화면을 사용할 수 있습니다. 개발팀 입장에서는 복잡하고 관리하기 어려웠던 기존 저장 방식을 단순하고 관리하기 쉬운 SQLite 기반 시스템으로 바꾸면서도 대규모 트래픽을 안정적으로 처리하게 되었습니다. 다만 이 시스템은 UI 설정처럼 중요도가 상대적으로 낮은 데이터를 다루기 때문에, 갑작스러운 전원 차단 시 최근 저장한 설정 일부가 사라질 수 있다는 점은 감수해야 합니다. 실제 운영 환경에서는 3개 서버 클러스터에서 모든 명령의 99번째 백분위 지연 시간이 2ms 내외로 유지되고 있습니다.