태그 : bigdata 요약보기전체보기목록닫기

1

데이터 정제 도구(SW) - OpenRefine

빅데이터를 분석하기 전에 대상 데이터를 정제하는 작업이 거의 필수로 들어간다.이런 작업을 지원하는 도구를 소개한다.[ 특징 ]- CVS, 엑셀, JSON, XML등 다양한 데이터 포맷 지원- 로컬, 원격(URL), Clipboard, 구글독 등 다양한 방식의 데이터 연동 지원- Python, ruby, node.js API지원 함- 처음에 구글에서 만들...

Sqoop 설치 - ubuntu

[ Sqoop 설치 - ubuntu ]스쿱은 DBMS의 데이터를 추출하여 NoSQL에 저장하고 반대로 NoSQL데이터를 DBMS에 저장하는데이터 마이그레이션 역할을 하는 패키지이다.시스템 구성은 다음과 같다.1. 패키지 다운로드http://sqoop.apache.org/2. 환경 설정$ tar -vczf sqoop-1.4.6.bin__hadoop-1.0...

빅데이터 시스템 구성도(패키지)

빅데이터 구축은 어떻게 사용하느냐에 따라 구성이나 사용하는 패키지가 다르겠지만오픈소스를 기반으로 일반적인 구성과 일반적인 오픈 패키지로 구성도를 작성해봤다.여기서 약간씩 추가,변경하며 사용한다고 생가하면될것이다.[ 그림 1 ]아주 간단한 구성으로 HDFS를 사용하지 않고 최종 데이터 저장을 HBase로 했다.보통 ETL, ETCL이라고하여 추출...

elasticsearch 설치 - ubuntu

elasticsearch는 json기반의 스키마가 없는 저장소이다.1. 파일 다운로드https://download.elastic.co/elasticsearch/release/org/elasticsearch/        distribution/tar/elasticsearch/2.3.5/elasticsearch-2.3....
1