▲ 아크데이타 로고 (사진 제공=아크데이타)



빅데이터 시장 진출을 본격적으로 준비중 이라며 공언한 데이터 복제 통합 솔루션 전문기업 아크데이타(대표 고광연, 장윤철)가 RDBMS 의 데이터 변동내역을 Hadoop과Hive 으로 준실시간 복제가 가능한 ‘Ark forBigdata’의 개발을 완료하였다고 16일 밝혔다.

일반적으로 정형데이터를 빅데이터 플랫폼인 Hive(하이브)에 적재하기 위한 방법으로 ETL 솔루션을이용하여 batch 방식으로 데이터를 추출 및 적재하는 방법이 주로 사용되었다. 하지만 이 경우 데이터 소스 서버에 부하를 가중 시켜 데이터 추출이 원활하게 이루어 지지 않아 결과적으로 실시간분석이 어렵다는 문제점이 있었다. 아크데이타가 개발중인 아크 포 빅데이터는 이를 해결하기 위해 데이터 추출 과정에 테이블을 스캔하는 방식을 대신에 트랜잭션 로그를 직접 읽어 데이터의변경 내역만을 추출하였다. 이 방법을 통해 운영 서버의 부하를 대폭 줄여 실시간으로 데이터 추출 및복제를 하여 빅데이터의 즉각적 활용이 가능하게 한다.

아크 포 빅데이터의 또 다른 특징 중 하나는 사용의간편성이다. 과거 데이터 복제를 위해 테이블 단위로 복제 구성을 스크립트화 하거나, ETL 로 data flow를 구성해야 했던 것과는 달리 아크 포 빅데이터의 경우 간단하게 복제 대상 테이블 목록에테이블을 추가하면 복제가 완료된다. 예를 들어 Hive에 managed table만 생성해 주면 RDBMS 의 table과 준실시간 동기를 유지하게 된다. 이는 불필요한 staging 과정을 생략할 수 있게 해주며, ETL을 대신해 ELT방식을 검토하는 것과도 일맥상통한다.

추가적으로 빅데이터를 다양한 용도로 사용할 수 있도록 정형데이터의 변경이력을 지정간격으로 하둡 파일시스템에 delta file로 누적시키는 기능이 지원된다. 기업들은 누적된 delta file을 이용하여 하이브와 스파크 등다양한 분석 DB에서 여러 목적으로 효율적인 데이터 이용이 가능하도록 지원한다.

아크데이타 고광연 대표는 “아크 포 빅데이터는아크데이타의 데이터 추출 및 복제의 모든 노하우를 녹여 넣은 노력의 산물이다. 빅데이터 시장 진출을위한 첫 단추를 잘 꿰어 기대가 높다.”며 “지속적인 제품기능을 확대를 통해 타사의 솔루션둘과 차별화된기술과 서비스로 빅데이터 시장에 자리매김 하겠다.” 고 신제품에 대한 포부를 밝혔다.
 
​