string(15) "/blog/?pageid=3"

HOME

ABOUT US

Blog

Blog

카프카 (Kafka)
세계 최대 비즈니스 네트워크 사이트인 LinkedIn 은 하나의 서비스에 과도하게 많은 시스템이 연결되어 있어 서비스를 유지하고 관리하는데 어려움을 겪고 있다. 또한 시스템 유지 보수 및 서비스 관리에도 많은 부담이 가해졌다. 이를 극복하기 위해 컨플루언트 공동 창업자인 '제이 크랩스(Jay Kreps)'는 카프카(Kafka)라는 메시징 분산 스트리밍 플랫폼을 고안하게 되었다. ​ 카프카는 웹사이트, 어플리케이션, 센서 등에 취합한 데이터를 스트림 파이프라인을 통해 실시간으로 관리하고 보내기 위한 분산 스트리밍 ...
[Ark Article] 데이터를 통해 가 본 2021 인기 여행지
코로나가 앗아간 평범한 일상, 매해 설 연휴가 되면 북적이던 인천공항도 올해는 오지 않는 여행객을 기다리며 조용할 것 같습니다. ​ 작년 상반기만 해도 2020년 말에는 나아지겠지, 2021년은 괜찮아질거야! 하며 설 연휴에 맞춰 여행계획을 세워둔 분들도 나아지지 않는 상황에 눈물로 취소를 하시는 분들도 계실텐데요. 나만 그런게 아니라고 애써 위안을 해봅니다. ​ NICE Data & Research (이하 NICE디앤알)에서 조사한 자료에 따르면 코로나19로 인해 사전에 예약했던 여행, 또는 ...
데이터웨어하우스(DW)와 HIVE
4차산업혁명의 시대의 한복판에 있는 지금, 기업에선 방대한 데이터를 바탕으로 비즈니스 모델을 만들어내고 정립하는 데 데이터의 활용을 매우 중시하고 있다. 디지털 생태계를 구축하여 기업의 사업 방향, 의사결정, 정확한 수치를 통한 심층화된 고객 분석과 보고를 하기 위해 BI(Business Intelligence)가 생겼으며 이를 활용하여 빠른 변화에 대응할 수 있게 되었고 비즈니스를 성장시키는 데 도움이 되는 전략 모델이 되었다. 하지만 ...
빅데이터(Big Data)와 하둡(Hadoop)
빅데이터(Big Data)는 빠른 속도로 쏟아져 오는 다양한 종류의 데이터를 수집하고 분석하여 가치를 찾아내는 거대한 데이터 세트라고 볼 수 있다. 인공지능, 자율주행 등과 같이 머신러닝이 기반이 되는 첨단 IT기술에서 수많은 데이터들을 학습시키기 위해 빅데이터의 기술이 요구되고 있으며 ...
[Ark Article] CDC 기술을 이용한 Zero Downtime Migration
데이터가 곧 자산이 되는 시대에서 업무의 중단 없이 기업의 비즈니스를 실시간으로 운영하고자하는 기업의 요구는 날이 갈수록 높아지고 있다. 매 순간 변화하는 데이터를 분석, 가공하여 기업의 경쟁력을 높이기 위한 시도 또한 계속되고 있다. 이번 편에서는 업무 중 실시간으로 변경된 데이터를 반영하여 활용이 가능하게 하는 데이터 캡쳐 기술(Changed Data Capture, 이하 CDC)를 이용한 무중단 마이그레이션 방법에 대해 ...
[Ark for CDC] 데이터 충돌 가이드
Ark for CDC를 통해 실시간 변경 데이터 추출을 하는 과정에서 테이블 전체 또는 부분 초기 복제 이후 타겟에서 SQL문을 적용할 때 중복 레코드 및 누락 레코드 오류가 발생할 수 있다. 이는 초기 복제시에 적용된 트랜잭션이 데이터 변경 분 복제에서 중복으로 추출되기 때문이며, 이를 방지하기 위한 제어 방법이 ...
[Ark Article] 잊고 있던 랜섬웨어의 악몽, 떠오르는 재해복구시스템
지난 11월 22일, 국내 대형 백화점 E사의 네트워크가 랜섬웨어 공격을 받아 전국 점포의 절반에 달하는 23개 유통 지점에서 영업이 중단되는 이례적인 사고가 발생했다. E사는 24시간 이내 정상 영업을 할 수 있도록 1차 조치를 취하였으나 시스템을 완벽하게 원상복구를 하기 위해서는 수 일이 걸릴 수 있다고 전했다. 랜섬웨어란 '몸값'(Ransom)과 '소프트웨어'(Software)의 합성어다. 사용자의 시스템을 해킹하여 시스템을 잠그거나 데이터를 암호화해 사용할 수 없도록 만든 뒤, 이를 인질로 금전을 요구하는 악성 프로그램을 일
[Ark for CDC] 실시간 변경 데이터 추출
운영시스템에서 정보계시스템(DW)으로 데이터를 동기화할 경우 동기화하는 방법은 우선 전체 데이터를 동기화하는 초기 복제를 수행하고, 다음으로 변경된 데이터만 동기화 시키는 방식으로 진행하게 된다. ​ 지난번
[Ark for CDC] 초기복제 과정
실시간으로 데이터를 복제하여 시스템 정보를 통합하기 위해 우리는 Ark for CDC의 기능을 이용해 이기종 DB 또는 상이한 플랫폼 환경에서 데이터를 실시간으로 캡처, 변환하여 반영한다. ​ 소스와 타겟간 변경된 데이터를 복제하기 전에 복제 대상인 소스 데이터 전체를 최초 복제하는 과정이 필요하다. Ark for CDC에서는 이를 초기복제라고 한다. 초기 복제가 완료된 다음에 실시간 변경 데이터를 복제하게 된다. ​ 초기복제는 Target DB의 유형에 따라 최적의 데이터 복제의 방법이 요구되며, 성능/부하/안정성
[Ark Article] IT 비용절감, 과연 진짜 비용절감일까?
몇 년 전 씨티은행의 전산이 마비되어 6시간이 넘도록 운영이 중단되었다. 한파로 인해 전산실의 냉각기가 동파되어 침수로 인한 장애가 일어난 것이다. 은행 시스템이 동절기 한파로 중단될 것이라 누가 상상이나 했을까? 하지만 모든 사고가 그러하듯 전산장애 역시 생각지도 못한 타이밍에 예상치 못하게 발생한다. 오늘날 기업은 물론 사회 대부분의 기반 시설에서 IT는 기본 인프라다. 비단 자연재해로 발생한 장애를 제외하고도 IT 인프라 시스템에 전산 장애가 발생해 사회 전체에 영향을 준 사례도 그동안 빈번하게 있었다. 미연에 일어날 수 있는