태그 : hdfs 요약보기전체보기목록닫기

1

Hive를 통한 HDFS접속(R->Hive->HDFS)

library(rJava)library(RJDBC)library(DBI) Sys.setenv("HADOOP_CMD"="/usr/hdp/2.3.2.0-2950/hadoop/bin/hadoop")Sys.setenv("HADOOP_HOME"="/usr/hdp/2.3.2.0-2950/hadoop")Sys.setenv("HADOOP_PREFIX"="/u...

HDFS NFS gateway 사용하기

hadoop을 사용하다보면 상당히 많고 큰 용량의 파일이 등록된다. 파일을 hadoop명령을 통하여 등록할 수 있지만 상당히 느리고 명령을 실행하는게 귀찮은 일이다. 이때 NFS Gateway를 이용하면 cp명령으로 쉽게 파일을 등록할 수 있다.FUSE(Filesystem in Userspace)를 통한 마운트 방식도있는데 좀 복잡하다.아래는 환경 구축...
1