[기획특집] 실시간 데이터 복제·활용의 첨병 ‘CDC’

오세연

2024-05-21 15:59:42

실시간 데이터 반영 요건 강조되며 필수 제품으로 부상

오픈소스 DB 수요 증가 등 DB 변화도 시장 성장에 일조

데이터는 모든 산업 분야에서 혁신을 가속화 할 수 있는 필수요소로 자리 잡았다.

기업은 데이터를 활용해 비즈니스 성과를 높이고 새로운 가치를 창출한다. 최근 들어 클라우드와 빅데이터, 인공지능(AI) 등 신기술을 기반으로 하는

다양한 시스템에서 실시간으로 데이터가 수집되고 있으며 수집되는 데이터의 양 또한 기하급수적으로 늘고 있다. 이에 따라 실시간으로 변화하는

데이터를 데이터베이스(DB)나 시스템에 반영하고자 하는 수요도 많아지고 있다. 이런 상황에서 데이터의 변경 사항을 실시간으로 추적하고

효율적으로 통합·처리할 수 있는 기술인 변경데이터캡쳐(CDC, Change Data Capture)가 주목받고 있다.

DB 성능 부하 최소화하며 실시간 복제

변경데이터캡처(CDC)는 원천 데이터베이스(DB)에서 새롭게 추가되거나 변경된 데이터를 식별해 실시간으로 다른 시스템이나 타깃 DB로 복제하는 기술이다.

기본적으로 원천 DB에 부하를 주지 않도록 별도의 타깃 DB를 생성하고 최초 1회 데이터 이관을 수행한다.

원천 DB의 데이터 변경 내역만 읽어 타깃 DB에 동일한 작업을 수행하는 구조다. 원천 DB에 직접 데이터를 요청하지 않고

변경 이력이 담긴 로그 데이터만 가져와 타깃 DB에 반영하기 때문에 부하를 최소화한다.

‘원천 DB의 영향을 최소화하면서 실시간 복제가 가능하다’는 CDC의 특징은 대규모 스케일 아웃(Scale Out)에 유리하고,

이기종 DBMS 간 복제, DR 시스템 구축, 무중단 마이그레이션, 부하분산 시스템 구축 등에 용이하다.

(중략)

이기종 DB 이용 확대 및 클라우드 전환 증가…빅데이터 DB 활용 요구도

기업들이 사용하는 DB의 종류가 다양해지면서 이에 대응하려는 CDC 솔루션 기업들의 움직임도 빨라지고 있다.

과거에는 기업의 핵심 업무에는 대부분 오라클 DB가 사용됐다. 현재도 이러한 상황은 계속되고 있지만 오라클의 영향력은 과거에 비해 점차 줄어드는 추세다.

비용 등의 여러 이유로 기업들이 다양한 DB를 사용하기 시작한 것이다. 이러한 DB 시장변화는 CDC 기업들의 행보에도 직접적인 영향을 미치고 있다.

과거의 CDC는 오라클 DB에서 그 외의 DB로의 데이터 전송이 대부분이었지만, 지금은 다양한 DB들끼리 실시간 데이터 전송이 요구되고 있다.

기업의 인프라가 클라우드 환경으로 변하고 있는 것도 CDC 시장의 중요 이슈로 꼽힌다.

기존 온프레미스 환경에 구축된 DB를 클라우드 환경으로 마이그레이션하는 경우, 보통은 DB 전체를 옮겨 담기보다는 비용효율적인 서비스를 위해 클라우드 인프라를 구축하는 경향이 있다.

기존 온프레미스 DB를 클라우드 DB로 대체하는 것이 아닌, 기존의 온프레미스 인프라를 그대로 유지한 채 클라우드 DB를 추가적으로 도입하는 것이다.

따라서 온프레미스 상에서 데이터는 여전히 생산되며, 최초의 1회 클라우드 마이그레이션 이후 지속적인 변경 데이터 반영이 필요하다.

또한 클라우드로 마이그레이션하는 단계에서도 비즈니스 다운타임의 최소화가 중요한 만큼, CDC를 활용한 무중단 마이그레이션 역시 주목받고 있다.

데이터 원본을 최초로 클라우드로 전송하고, 그동안 실시간으로 발생하고 있는 변경 내역 역시 CDC를 통해 수 분 안에 반영할 수 있다.

(후략)

▼ ▼ 기사 전문 보러가기 ▼ ▼

자료실