string(27) "/blog/?uid=169&mod=document"

HOME

ABOUT US

Blog

Blog

Blog

[Ark for CDC] Ark for CDC의 Exadata 지원

2021.04.08


 

4차 산업혁명 및 디지털 트랜스 포메이션의 영향으로 기업의 데이터는 급속하게 증가하고 있다. 데이터의 증가는 DBMS에서 관리되는 정보의 증가로 이어진다. 이로 인해 저장 공간의 부족으로 하드웨어 비용의 증가와 데이터 처리 성능에 많은 문제점이 나타나고 있다.

이러한 문제점을 좀 더 자세히 들여다보면, 표준 Oracle Architecture에서는 대용량의 데이터를 처리할 때 좁은 네트워크 대역 때문에 DB 서버와 Storage 사이에 I/O 병목이 발생하게 된다. 그뿐만 아니라 하나의 로우만 Access 하는데도 로우를 포함한 블록 전체를 DB 서버로 전송해야만 한다. Oracle은 이러한 I/O 병목을 해결하기 위해 Exadata라는 새로운 Appliance 제품을 출시하였다.

즉, Exadata 란 대용량 데이터베이스에서 Disk Storage 데이터베이스 서버로 많은 데이터를 이동시킬 때 발생하는 많은 비효율을 하드웨어와 소프트웨어의 조합을 통해 해결하고자 한 것이라 볼 수 있다.

 

20210408173746_g23x5uw.png 

1. Exadata Architecture

20210408173757_dbducvo.png

1. Infiniband network

DB 서버와 Storage 서버 사이에 Infiniband network를 두어 기존보다 더 큰 파이프를 통해 많은 양의 데이터를 전송하도록 한다. Infiniband는 40Gb/Sec의 Bandwidth를 가지며 기존 대비 5배 이상 처리량을 제공한다.

2. Storage에 MPP(Massively Parallel Processing) 개념을 도입

이 방식은 Storage를 Parallel Storage Grid(여러 개의 Cell Server)로 구성하여 각 Cell Server에 데이터를 분할하여 저장하고 처리하는 방식이다. 이렇게 구성하면 Storage 내에서 발생했던 병목 현상을 해결할 뿐만 아니라 Shared Nothing 형태로 Storage를 관리할 수 있어 진정한 H/W의 Scale-out을 구성할 수 있다. 따라서, 시스템을 확장 시에 용량과 성능을 동시에 향상시킬 수 있다.

3. Flash Cache

Disk의 느린 속도 때문에 발생했던 Random I/O의 병목을 Storage 서버 내에 Flash Cache라는 Disk Cache를 두어 해결한다.

4. Offloading

Offloading 이란 기존 DB 서버에서 수행한 처리를 Storage 계층으로 “Offload” 하여 처리한다는 개념이다. 기존의 Storage 시스템은 단지 데이터를 저장하는 용도로 사용되었지만 Exadata의 Storage 서버는 질의 처리를 수행할 수 있도록 CPU와 Memory를 가지고 있는 Intelligence 한 서버로 아키텍처가 변경되었다. Offloading을 통해 최소한의 결과 데이터만 DB 서버로 전송하게 되므로 기존에 Storage에서 DB 블록 전체를

전송하는 것보다 전송량이 훨씬 줄어들게 된다.

 

2. Exadata 주요 기능

1. Smart Scan

Smart Scan은 Storage 서버에서 DB 서버로 전송하는 데이터양을 최소화하기 위해 필요한 블록만 액세스하고, 조건을 만족하는 로우 중 필요한 컬럼만 선별하여 DB 서버로 전송하는 처리 방식을 말한다.

2. Storage Index

Storage Index는 Smart Scan을 지원하는 용도로 사용된다. 테이블을 Storage Region으로 나누고, 각 Region 별로 컬럼의 최대/최소 값을 저장한다. Where 절 조건을 판단하여 컬럼이 Storage Unit의 최소, 최대 범위에 속하지 않는다면 해당 블록은 액세스하지 않는다.

3. Flash Cache

Random I/O 성능 향상을 위해 Storage 서버에 내장된 Disk Cache이다. Random I/O 시 Disk에서 블록을 탐색하기 전에 Flash Cache에 해당 블록이 존재한다면 Flash Cache에서 해당 블록을 탐색한다.

4. HCC(Hybrid Columnar Compression)

스토리지 비용 절감과 Disk I/O를 줄이기 위해 Compression Unit 내에서 컬럼 별로 데이터를 재구성하여 정렬한 후 압축하는 기법으로 약 10x 정도로 데이터를 압축할 수 있다.


3. Ark 제품군의 Exadata 지원 버전

Ark for CDC v1.4.0

l CDC(Change Data Capture) 솔루션으로 소스 DB로 Exadata 지원

l 다양한 통계 정보(DML, DDL 별 추출 레코드 수, 마지막 작업시간 등) 제공

l Non-key Table에 대한 사용자 지정 Key Columns 지원

l 다양한 Data Mapping(Column Mapping, Data Conversion, Data Filtering) 지원

Ark for Oracle v6.5.0

l Oracle DB 전용 복제 솔루션으로 Exadata 지원