태그 : 하둡 요약보기전체보기목록닫기

1

Hive를 통한 HDFS접속(R->Hive->HDFS)

library(rJava)library(RJDBC)library(DBI) Sys.setenv("HADOOP_CMD"="/usr/hdp/2.3.2.0-2950/hadoop/bin/hadoop")Sys.setenv("HADOOP_HOME"="/usr/hdp/2.3.2.0-2950/hadoop")Sys.setenv("HADOOP_PREFIX"="/u...

하둡 파일 암호화

KMS(Key Management Server)는암호화 구역에 저장되는 파일은 자동으로 암호화된다. KMS는 암호화 키 저장을 담당한다.KMS에서 저장되는 Key에 대한 REST API 및 액세스 제어를 제공한다.[ 파일 복사 ]# mkdir -p /usr/kms# cp /usr/hdp/current/hadoop-client/mapreduce.tar.g...

빅데이터 시스템 구성도(패키지)

빅데이터 구축은 어떻게 사용하느냐에 따라 구성이나 사용하는 패키지가 다르겠지만오픈소스를 기반으로 일반적인 구성과 일반적인 오픈 패키지로 구성도를 작성해봤다.여기서 약간씩 추가,변경하며 사용한다고 생가하면될것이다.[ 그림 1 ]아주 간단한 구성으로 HDFS를 사용하지 않고 최종 데이터 저장을 HBase로 했다.보통 ETL, ETCL이라고하여 추출...

우분투에 Hadoop설치하기

1. 의존성 패키지/라이브러리 설치(root권한)# apt-get -y install ssh rsync java7-jdk   rsync는 다중 하둡 운영 시 하둡 계정을 동기화하기 위한 것이다.# adduser hadoop (비밀번호 설정하고 넘어간다.)# su - hadoop2. localhost에 대하여 무인증 로그인 설정(여기부터...
1