string(27) "/blog/?uid=195&mod=document"

HOME

ABOUT US

Blog

Blog

Blog

[Ark Article] 빅데이터란?

2021.09.30

세상의 모든 것이 빅데이터 안에 있고, 모든 것이 빅데이터가 되는 세상에 우린 살고 있다.

 

세상의 모든 것이 빅데이터 안에 있고, 모든 것이 빅데이터가 되는 세상에 우린 살고 있다.

아래 그림과 같이 1분 동안 구글에서는 200만 건의 검색, 유튜브에서는 72시간의 비디오, twitter에서는 27만 건의 트윗이 생성된다. 세계적인 컨설팅 기관인 매켄지(Mckinsey)는 빅데이터를 기존 데이터베이스 관리도구의 데이터 수집, 저장, 관리, 분석하는 역량을 넘어서는 규모로서 그 정의는 주관적이며 앞으로도 계속 변화될 것이라고 언급하고 있다.

 

 20210930131251_qclbdrs.jpg

 

그럼 정확히 빅데이터가 무엇일까?

빅데이터는 본질적으로 여러 데이터들이 모인 것들을 빅데이터라 하는데

더 구체적으로 빅데이터의 정의특징을 한번 살펴보자.

그럼 정확히 빅데이터가 무엇일까?

빅데이터는 본질적으로 여러 데이터들이 모인 것들을 빅데이터라 하는데

더 구체적으로 빅데이터의 정의특징을 한번 살펴보자.


20210930130943_78ulso4.jpg

빅데이터는 전통적인 데이터 처리방식으로는 감당할 수 없을 정도로 대규모이거나 다양하고 복잡한 데이터

 

빅데이터 정의

 

빅데이터는 전통적인 데이터 처리방식으로는 감당할 수 없을 정도로 대규모이거나 다양하고 복잡한 데이터말하며 기술의 발달로 인해 가치있는 것으로 처리될 수 있는 데이터라고 할 수 있다.

 

20210930131251_4vinvga.jpg데이터 정의

빅데이터는 전통적인 데이터 처리방식으로는 감당할 수 없을 정도로 대규모이거나 다양하고 복잡한 데이터

말하며 기술의 발달로 인해 가치있는 것으로 처리될 수 있는 데이터라고 할 수 있다.

 

말하며 기술의 발달로 인해

가치있는 것으로 처리될 수 있는 데이터라고 할 수 있다.

 

빅데이터 특징

3V: Volume, Variety, Velocity

특징으로는 볼륨(Volume), 다양성(Variety), 속도(Velocity)으로 구성되며

볼륨은 대규모 크기를 의미하고

다양성은 정형/반정형/비정형 등의 광범위한 데이터 종류를 의미하며

속도는 신속하고 효율적으로 처리되어야 하는 특성을 의미한다.

 

데이터 특징3V: Volume, Variety, Velocity

특징으로는 볼륨(Volume), 다양성(Variety), 속도(Velocity)으로 구성되며

볼륨은 대규모 크기를 의미하고

다양성은 정형/반정형/비정형 등의 광범위한 데이터 종류를 의미하며

속도는 신속하고 효율적으로 처리되어야 하는 특성을 의미한다.

 

20210930131615_8m3c77z.jpg

 


 

 

 

 


빅데이터 3V: Volume, Variety, Velocity

특징으로는 볼륨(Volume), 다양성(Variety), 속도(Velocity)으로 구성되며

볼륨은 대규모 크기를 의미하고

다양성은 정형/반정형/비정형 등의 광범위한 데이터 종류를 의미하며

속도는 신속하고 효율적으로 처리되어야 하는 특성을 의미한


20210930130943_1uk4yt2.jpg

 

빅데이터 활용의 가장 큰 목적은 과거에 일어난 데이터를 분석하여 그 원인과 그에 따른 결과로 앞으로 어떤 일이 발생할 것인지에 대한 예측을 하는 것이다. 비즈니스 관점에서 보면, 과거 소비 데이터를 기반으로 고객이 어떤 소비를 할 가능성이 높은지 확률적으로 예측이 가능하여 고객 자신도 모르는 소비 패턴들까지 발견하여 필요한 프로모션 서비스를 제공 할 수 있다. 이를 통해 기업은빅데이터 활용의 가장 큰 목적은 과거에 일어난 데이터를 분석하여 그 원인과 그에 따른 결과로 앞으로 어떤 일이 발생할 것인지에 대한 예측을 하는 것이다. 비즈니스 관점에서 보면, 과거 소비 데이터를 기반으로 고객이 어떤 소비를 할 가능성이 높은지 확률적으로 예측이 가능하여 고객 자신도 모르는 소비 패턴들까지 발견하여 필요한 프로모션 서비스를 제공 할 수 있다. 이를 통해 기업은 사업 역량을 강화와 성장에 기여를 하는 것이 비즈니스 관점에서의 빅데이터 처리의 목적이다.


사업 역량을 강화와 성장에 기여를 하는 것이 비즈니스 관점에서의 빅데이터 처리의 목적이다.

빅데이터 활용의 가장 큰 목적은 과거에 일어난 데이터를 분석하여 그 원인과 그에 따른 결과로 앞으로 어떤 일이 발생할 것인지에 대한 예측을 하는 것이다. 비즈니스 관점에서 보면, 과거 소비 데이터를 기반으로 고객이 어떤 소비를 할 가능성이 높은지 확률적으로 예측이 가능하여 고객 자신도 모르는 소비 패턴들까지 발견하여 필요한 프로모션 서비스를 제공 할 수 있다. 이를 통해 기업은 사업 역량을 강화와 성장에 기여를 하는 것이 비즈니스 관점에서의 빅데이터 처리의 목적이다.

20210930132218_upr4od8.jpg

기업의 빅데이터 활용 방안/사례

요즘은 보편적으로 많은 기업에서 빅데이터를 활용하고 있으며 그 선두 주자로 뽑히는 것이 구글이다. 구글의 경우 사용자에게 양질의 데이터를 제공하기 위하여 가능한 많은 데이터가 필요하며 그 양에 비례하여 정보의 품질이 향상된다. 이를 위해 구글은 접근할 수 있는 모든 웹 페이지를 탐색해서 제목과 내용이 검색어와 얼마나 밀접한 관계를 가지는지를 측정해 지수로 환산한다. 이렇게 방대한 작업을 빠른 시간에 처리하기 위해서 구글 분산파일 시스템과 맵리듀스라는 새로운 처리 기술을 개발하여 적극적으로 빅데이터를 활용하고 있다.

또한 대표적인 미디어 콘텐츠 유통기업인 넷플릭스(Netflix)는 이용자의 영화 대여 목록에 기초해서 새로운 영화를 추천해주는 시네매치(Cinematch) 시스템을 개발했고, 빅데이터 활용의 역사가 깊은 온라인 쇼핑몰의 선구자 아마존(Amazon)은 고객의 도서 구매 데이터를 분석해 특정 책을 구매한 사람이 추가로 구매할 것으로 예상되는 도서 추천 시스템을 개발하여 사용중이다.

이 외에도 많은 기업들은 이미 빅데이터를 적극 활용하고 있지만 빅 데이터 분석 분야는 여전히 연구 개발해야 할 급성장할 기술이며, 이에 충족할 수 있는 시장의 기회도 빨리 포착해야 하는 게 기업들이 당면한 과제다.

아크데이타는 많은 기업들이 빅데이터를 더 효율적으로 활용이 가능하도록 현재 Ark for Bigdata를 개발중에 있다. Ark for Bigdata를 통해 실시간으로 추출된 데이터베이스의 데이터를 가공처리 하여 HDFS, Hive 그리고 Kafka에 실시간으로 데이터를 전달해줌으로써 고객사가 실시간으로 데이터 분석이 가능하게끔 기능을 제공할 예정이다.



기업의 빅데이터 활용 방안/사례

요즘은 보편적으로 많은 기업에서 빅데이터를 활용하고 있으며 그 선두 주자로 뽑히는 것이 구글이다. 구글의 경우 사용자에게 양질의 데이터를 제공하기 위하여 가능한 많은 데이터가 필요하며 그 양에 비례하여 정보의 품질이 향상된다. 이를 위해 구글은 접근할 수 있는 모든 웹 페이지를 탐색해서 제목과 내용이 검색어와 얼마나 밀접한 관계를 가지는지를 측정해 지수로 환산한다. 이렇게 방대한 작업을 빠른 시간에 처리하기 위해서 구글 분산파일 시스템과 맵리듀스라는 새로운 처리 기술을 개발하여 적극적으로 빅데이터를 활용하고 있다.

또한 대표적인 미디어 콘텐츠 유통기업인 넷플릭스(Netflix)는 이용자의 영화 대여 목록에 기초해서 새로운 영화를 추천해주는 시네매치(Cinematch) 시스템을 개발했고, 빅데이터 활용의 역사가 깊은 온라인 쇼핑몰의 선구자 아마존(Amazon)은 고객의 도서 구매 데이터를 분석해 특정 책을 구매한 사람이 추가로 구매할 것으로 예상되는 도서 추천 시스템을 개발하여 사용중이다.

이 외에도 많은 기업들은 이미 빅데이터를 적극 활용하고 있지만 빅 데이터 분석 분야는 여전히 연구 개발해야 할 급성장할 기술이며, 이에 충족할 수 있는 시장의 기회도 빨리 포착해야 하는 게 기업들이 당면한 과제다.

아크데이타는 많은 기업들이 빅데이터를 더 효율적으로 활용이 가능하도록 현재 Ark for Bigdata를 개발중에 있다. Ark for Bigdata를 통해 실시간으로 추출된 데이터베이스의 데이터를 가공처리 하여 HDFS, Hive 그리고 Kafka에 실시간으로 데이터를 전달해줌으로써 고객사가 실시간으로 데이터 분석이 가능하게끔 기능을 제공할 예정이다.

기업의 빅데이터 활용 방안/사례

요즘은 보편적으로 많은 기업에서 빅데이터를 활용하고 있으며 그 선두 주자로 뽑히는 것이 구글이다. 구글의 경우 사용자에게 양질의 데이터를 제공하기 위하여 가능한 많은 데이터가 필요하며 그 양에 비례하여 정보의 품질이 향상된다. 이를 위해 구글은 접근할 수 있는 모든 웹 페이지를 탐색해서 제목과 내용이 검색어와 얼마나 밀접한 관계를 가지는지를 측정해 지수로 환산한다. 이렇게 방대한 작업을 빠른 시간에 처리하기 위해서 구글 분산파일 시스템과 맵리듀스라는 새로운 처리 기술을 개발하여 적극적으로 빅데이터를 활용하고 있다.

또한 대표적인 미디어 콘텐츠 유통기업인 넷플릭스(Netflix)는 이용자의 영화 대여 목록에 기초해서 새로운 영화를 추천해주는 시네매치(Cinematch) 시스템을 개발했고, 빅데이터 활용의 역사가 깊은 온라인 쇼핑몰의 선구자 아마존(Amazon)은 고객의 도서 구매 데이터를 분석해 특정 책을 구매한 사람이 추가로 구매할 것으로 예상되는 도서 추천 시스템을 개발하여 사용중이다.

이 외에도 많은 기업들은 이미 빅데이터를 적극 활용하고 있지만 빅 데이터 분석 분야는 여전히 연구 개발해야 할 급성장할 기술이며, 이에 충족할 수 있는 시장의 기회도 빨리 포착해야 하는 게 기업들이 당면한 과제다.

아크데이타는 많은 기업들이 빅데이터를 더 효율적으로 활용이 가능하도록 현재 Ark for Bigdata를 개발중에 있다. Ark for Bigdata를 통해 실시간으로 추출된 데이터베이스의 데이터를 가공처리 하여 HDFS, Hive 그리고 Kafka에 실시간으로 데이터를 전달해줌으로써 고객사가 실시간으로 데이터 분석이 가능하게끔 기능을 제공할 예정이다.