string(15) "/blog/?pageid=1"

HOME

ABOUT US

Blog

Blog

[Ark Article] 스파크(Spark)란 무엇인가?
스파크 정의: 아파치 스파크(Apache Spark)는 인메모리 기반의 대용량 데이터 고속 처리 엔진으로 범용 분산 오픈 소스 클러스터 컴퓨팅 프레임워크입니다. 암시적(Implicit Mode) 데이터 병렬성과 장애 허용과 더불어 완전한 클러스터를 프로그래밍하기 위한 인터페이스를 제공합니다.
[Ark Article] 하둡 에코시스템
 하둡은 분산 환경에서 대규모의 데이터를 저장하고 처리할 수 있는 자바 기반의 오픈소스 프레임워크로서 핵심 구성요소는 분산 파일 시스템(HDFS: Hadoop Distributed File System)과 맵리듀스(MapReduce)로 구성된다. ■ 일반적으로는 하둡이라고 하면 하둡뿐만 아니라 하둡을 중심으로 한 데이터 엔지니어링 프로젝트와 프레임워크 전부, 즉 하둡 에코시스템을 의미하고 대표적으로 다음과 같이 핵심 컴포넌트, 연산 프레임워크, 분석용 SQL 엔진, 스토리지 엔진으로 구성된다. 
[Ark Article] 빅데이터란?
세상의 모든 것이 빅데이터 안에 있고, 모든 것이 빅데이터가 되는 세상에 우린 살고 있다.
[Ark Article] Cloud와 HCI (Hyper Converged Infrastructure)
요즘 인프라 구축의 대세는 클라우드이다. 과학기술정보통신부에 따르면 국내 '퍼블릭 클라우드' 시장 규모는 2017년부터 올해까지 연평균 20.5%씩 증가해 작년 2조 9200억 원, 올해 3조 4400억 원에 달할 전망이다.
Event Driven Architecture (EDA)와 CDC
Event Driven Architecture 
[Ark Article] 빅데이터가 분석한 2021 여름휴가 트렌드
코로나 바이러스가 확산되고 답답한 일상이 이어진지 어느덧 1년 6개월이 넘어갔습니다. 무더운 날씨에 마스크를 쓰고 있는 것도 숨이 막히는데, 다시 늘어나버린 확진자 수에 사회적 거리 두기 4단계 격상은 여름휴가 계획마저 취소하게 만들어 의욕마저 잃어버린 요즘입니다.
[Ark for CDC] 로그마이너
Logminer는 Oracle 8i 이상에서 사용 가능한 Tool로써, Oracle에 기본 내장되어 있으며, Redo log와 Archived log file의 내용을 분석하여 DML/DDL 이력을 확인할 수 있다. ​ Logminer로 Redo 와 Archived log file을 분석하게 되면 해당 Log file에 기록된 모든 DML 및 DDL(9i 이상) 문을 확인할 수 있어 특정 트랜잭션의 발생 시점 및 실행 유저를 확인할 수 있고, UNDO SQL을 추출해서 해당 쿼리를 Rollback 할 수도 있다.
[HIVE] Transaction
HIVE는 HDFS (하둡 분산 파일 시스템)에 저장된 데이터를 조회할 뿐만 아니라 HDFS에 데이터를 삽입, 삭제, 변경(Insert, Delete, Update)을 가할 수 있는 SQL 문을 지원하는 트랜잭션을 지원한다.
열 기반 데이터 베이스 (Columnar Database)
행(row)기반 및 열(column)기반 데이터 베이스의 저장 방식의 차이는 데이터 저장 순서를 행 순서로 저장을 할지 열 순서로 저장을 할지에 따라 나뉘게 된다. 행 기반의 경우 쓰기(write)에 적절한 구조로 데이터를 한 번에 처리하는 방식에는 유리하다. 하지만 유사한 데이터가 일렬로 나열되어 있지 않아 특정 데이터를 가져와서 처리하는 데는 한계가 있다.
Real-Time ODS의 이해
요즘 각 조직의 시스템 구성을 살펴보면, 계정계와 정보계 같은 운영 시스템을 중심으로 매우 많은 연계 시스템이 연동하는 복잡한 구조로 동작한다. 데이터의 원천인 운영 시스템에서 연계 시스템으로의 정보 이동 수단은 ETL, EAI 등 다양한 수단이 존재한다. 이 중 Real-time ODS를 이용한 구조의 장점과 Ark for CDC 의 역할을 살펴보자.