태그 : 빅데이터 요약보기전체보기목록닫기

1

Zeppelin에 Mariadb 연결하기

1. 우선 connector를 다운받자   https://mariadb.com/kb/en/mariadb/about-mariadb-connector-j/2. 다운받은 connector를 Zeppelin interpreter 디렉토리에 올린다.   나의 경우 Mariadb Interpreter group으로 jdbc를 선...

Sqoop 설치 - ubuntu

[ Sqoop 설치 - ubuntu ]스쿱은 DBMS의 데이터를 추출하여 NoSQL에 저장하고 반대로 NoSQL데이터를 DBMS에 저장하는데이터 마이그레이션 역할을 하는 패키지이다.시스템 구성은 다음과 같다.1. 패키지 다운로드http://sqoop.apache.org/2. 환경 설정$ tar -vczf sqoop-1.4.6.bin__hadoop-1.0...

빅데이터 시스템 구성도(패키지)

빅데이터 구축은 어떻게 사용하느냐에 따라 구성이나 사용하는 패키지가 다르겠지만오픈소스를 기반으로 일반적인 구성과 일반적인 오픈 패키지로 구성도를 작성해봤다.여기서 약간씩 추가,변경하며 사용한다고 생가하면될것이다.[ 그림 1 ]아주 간단한 구성으로 HDFS를 사용하지 않고 최종 데이터 저장을 HBase로 했다.보통 ETL, ETCL이라고하여 추출...

apache flume 설치 - ubuntu

flume은 로그 데이터를 수집->집계->이동하는 목적으로 만들어졌다.운영중인 데이터를 수집하고 kafka와 같은 큐 클러스터에 전달한다.1. 파일 다운로드http://mirror.apache-kr.org/flume/stable/2. 일반계정으로 압축 해제$ cd /home/user/ && tar -vxzf apache-flum...

apache kafka 설치 - ubuntu

kafka는 큐 클러스터이다. 데이터를 채널(토픽)에 저장하고 관리한다.spark stream을 통해 데이터를 변조하고 재등록하거나 spark stream의 맵리듀를통하여 빅데이터에 저장을 한다.kafka의 장점은 zero-copy기법을 사용한다. 즉, Kernel버퍼에서 APP버퍼를 통하지 않고 NIC버퍼로 바로 데이터를 전달한다.또한, 메시지가 디스...

apache zookeeper 설치 - ubuntu

zookeeper는 데몬 관리하고 설정을 배포하는 구성관리 프로그램이다.1. 파일 다운로드http://www.apache.org/dyn/closer.cgi/zookeeper/2. 일반계정으로 압축 해제$ cd /home/user/ && tar -vxzf zookeeper-3.4.8.tar.gz3. 환경설정 $ cd /home/us...

logstash 설치 - ubuntu

logstash는 자바로 만들어졌다. jdk를 설치해야 한다.0. jdk설치# apt-cache search jdk# apt-get install default-jdk# vi /root/.profileexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64# source ~/.profile1. 파일 다운로드https:/...

elasticsearch 설치 - ubuntu

elasticsearch는 json기반의 스키마가 없는 저장소이다.1. 파일 다운로드https://download.elastic.co/elasticsearch/release/org/elasticsearch/        distribution/tar/elasticsearch/2.3.5/elasticsearch-2.3....
1