분산형 SQLite 기술의 12년 발전사

이 글은 '분산형 SQLite'라는 기술이 지난 12년간 어떻게 발전해 왔는지 설명합니다. SQLite는 데이터를 저장하는 작은 데이터베이스 프로그램인데, 보통 하나의 컴퓨터에서만 사용됩니다. 이 기술의 핵심 아이디어는 이 SQLite 데이터베이스를 여러 대의 컴퓨터(클러스터)에 복제하여 저장하는 것입니다. 이렇게 복제해 두면 한 대의 컴퓨터가 고장 나더라도 데이터가 사라지지 않습니다. 필자가 2014년에 처음 선보인 'rqlite'는 바로 이 SQLite에 'Raft'라는 합의 기술을 붙여, 하나의 컴퓨터가 고장 나도 데이터가 안전하게 유지되도록 만든 공개 소프트웨어 시스템이었습니다. Raft는 여러 컴퓨터가 데이터를 일관성 있게 유지하도록 합의를 이끌어내는 규칙이라고 이해할 수 있습니다.

이 기술이 주목받은 이유는 데이터의 안정성을 높이는 다양한 해결책들이 계속 등장했기 때문입니다. 처음 rqlite가 나왔을 때는 독보적인 아이디어였지만, 시간이 지나면서 여러 접근 방식이 나왔습니다. 예를 들어, 일부 프로젝트는 데이터가 완전히 복제되기 전에 임시로 데이터를 저장하는 방식을 시도했고, 또 다른 프로젝트는 데이터베이스를 아예 서비스 형태로 제공하는 방향으로 발전했습니다. 이처럼 '데이터를 어떻게 안전하게 여러 곳에 나누어 저장할 것인가'라는 근본적인 질문에 대해 각기 다른 기술적 해답들이 제시되면서 이 분야가 꾸준히 관심을 받아왔습니다.

필자는 2014년 9월, SQLite에 'Raft 로그' 기술을 붙여 모든 데이터 변경 사항을 여러 대의 컴퓨터에 복제해 데이터 손실을 막는 rqlite를 공개했습니다. 당시 이는 Raft와 SQLite를 결합한 최초의 공개 소프트웨어 시스템이었습니다. 이후 이 분야에는 약 12개의 프로젝트가 생겼고, 일부는 투자나 인수까지 받았습니다. 2017년에는 dqlite가 등장했는데, 이는 rqlite와 목적은 비슷하지만 사용자가 프로그램 안에 넣는 '라이브러리' 형태라는 점에서 차이가 있었습니다. 2021년에는 Litestream이 등장했는데, 이 기술은 복잡한 합의 규칙 대신 데이터 변경 기록을 감시해 클라우드 저장소에 보내 단일 컴퓨터의 데이터베이스를 저렴하게 복구할 수 있게 했습니다. 2022년에는 여러 새로운 시도가 나왔습니다. 'cr-sqlite'는 리더 없이 여러 사용자가 충돌 없이 데이터를 수정하게 했고, 'Turso'는 SQLite 코드를 독립적으로 가져와 사용자와 가까운 분산 서버에 복제하는 호스팅 서비스를 만들었습니다. 이후 클라우드플레어 같은 회사들은 자체 네트워크 내에서 작동하는 관리형 데이터베이스 형태로 이 기술을 제공하기 시작했습니다.

이 기술이 일상생활에서 직접 체감되지는 않지만, 온라인 쇼핑몰이나 모바일 앱이 갑자기 서버 다운 없이 계속 작동하는 것이 이러한 분산 데이터베이스 기술 덕분일 수 있습니다. 개발자 입장에서는 데이터를 한 컴퓨터에만 두었을 때 발생할 수 있는 데이터 유실 위험을 줄이고 서비스 중단에 대비할 수 있습니다. 이 기술을 도입하는 방식은 크게 세 가지로 나뉩니다. 첫째는 하나의 관리자가 모든 것을 통제하는 방식(rqlite 등)이고, 둘째는 데이터 변경 기록을 스트리밍하여 복구하는 방식(Litestream)이며, 셋째는 여러 사용자가 동시에 데이터를 수정하고 나중에 합치는 방식입니다. 돈이 되는 영역은 이 기술을 서비스 형태로 만들어 판매하는 플랫폼 쪽으로 이동했습니다. 필자는 여전히 스스로 실행하고 이해할 수 있으며 비용을 지불할 필요가 없는 도구를 제공하는 rqlite의 위치에 만족하고 있습니다.