빅데이터 시스템 구성도(패키지) 클라우드/빅데이터/가상화

빅데이터 구축은 어떻게 사용하느냐에 따라 구성이나 사용하는 패키지가 다르겠지만
오픈소스를 기반으로 일반적인 구성과 일반적인 오픈 패키지로 구성도를 작성해봤다.
여기서 약간씩 추가,변경하며 사용한다고 생가하면될것이다.

[ 그림 1 ]
아주 간단한 구성으로 HDFS를 사용하지 않고 최종 데이터 저장을 HBase로 했다.
보통 ETL, ETCL이라고하여 추출(E)->변환(T)->정제(C)->적재(L) 과정을 거친다.
[ 그림 2 ]
많은 부분이 모듈화되어 각 단계별로 다양한 행위를 한다.
어느정도 규모가있는 회사에선 이와같은 구성으로 한다.

덧글

댓글 입력 영역