- Hadoop Connector 연동을 통한 기존 CDC 기술 적용 범위 확장

최근 빅데이터 분석에도 실시간 데이터 처리가 중요시됨에 따라 실시간 데이터 복제 솔루션 전문 기업인

아크데이타(대표 고광연)와 빅데이터 전문기업인 빅아이디언(대표 곽상민)이 공동으로 정형데이터(RDBMS)의

데이터 변동내역을 실시간으로 하둡(Hadoop)으로 실시간 복제가 가능한 ‘아크 커넥터 포 하둡 (Ark Connector for

Hadoop)’ 제품을 출시하였다.

 주로 빅데이터 분석에 사용되는 하둡(Hadoop)은 대규모 데이터 처리를 위한 오픈 소스 프레임워크로,

분산 저장(HDFS)과 분산 처리(MapReduce)를 통해 데이터를 효율적으로 처리한다는 이점을 가지고 있으며

여러 대의 서버를 이용해 데이터와 작업을 분산시켜 대규모 데이터 처리 성능을 향상시킨다.

일반적으로 정형데이터를 빅데이터 플랫폼인 하둡으로 적재하기 위한 방법으로 ETL(Extract, Transform, Load) 솔루션을

이용하여 배치(batch) 방식으로 데이터를 추출 및 적재하는 방법이 주로 사용되었다. 하지만 이 경우 데이터 소스 서버에

부하를 가중시켜 데이터 추출이 원활하게 이루어 지지 않아 결과적으로 실시간 분석이 어렵다는 문제점이 있었다.

아크데이타는 배치 방식의 문제점을 해결하기 위해 원천DB의 변경된 데이터를 실시간으로 하둡으로 복제할 수 있는

CDC(Changed Data Capture) 기반의 하둡 커넥터(Hadoop Connector)를 개발하여 데이터베이스의 변경 사항을

실시간으로 하둡에 반영해 실시간 빅데이터 분석을 수행할 수 있도록 하였다. 이는 기업에서 최신 데이터를 기반으로

빠르고 정확한 의사 결정을 내릴 수 있게 하여 기업 경쟁력을 강화하고 서비스 운영 효율성을 크게 높일 수 있다는

이점을 가지고 있다.

또한 전통적인 ETL프로세스는 전체 데이터를 주기적으로 덤프하고 다시 로드하는 방식으로 인해 비용이 많이 들고

비효율적일 수 있다. 반면에 아크데이타의 하둡 커넥터는 변경된 데이터만 전송하는 CDC기술을 사용하여 데이터의

변경 사항만 전송하기 때문에 네트워크와 하둡 클러스터의 리소스를 보다 효율적으로 사용하여 시스템의 성능을

최적화 함은 물론 처리 비용을 크게 절감할 수 있다.

아크데이타는 하둡 뿐만 아니라 현재 CDC 기반의 카프카 커넥터(Kafka connector)도 제공하여 카프카 환경에서

실시간 빅데이터 구축이 가능하도록 제품을 제공하고 있으며 향후 더 다양한 빅데이터 플랫폼 지원을 위한

지속적인 기술 개발을 진행중이다.