1. 의존성 패키지/라이브러리 설치(root권한)
# apt-get -y install ssh rsync java7-jdk
rsync는 다중 하둡 운영 시 하둡 계정을 동기화하기 위한 것이다.
# adduser hadoop (비밀번호 설정하고 넘어간다.)
# su - hadoop
2. localhost에 대하여 무인증 로그인 설정(여기부터 hadoop권한)
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ chmod 644 ~/.ssh/authorized_keys
2. 자바 홈 설정
$ vi ~/.profile
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64;PATH=$PATH:$JAVA_HOME/bin
3. Hadoop패키지 설치
$ wget http://apache.mirror.cdnetworks.com/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz
$ tar -vxzf hadoop-2.2.0.tar.gz
4. Hadoop환경 설정
$ cd ./hadoop-2.2.0/etc/hadoop
$ vi conf/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
$vi core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<final>true</final>
</property>
</configuration>
$
$ vi hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop-2.2.0/dfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop-2.2.0/dfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value> => Node가 증가하면 숫자를 올린다.
</property>
</configuration>
$
$ vi mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>file:/home/hadoop/hadoop-2.2.0/mapred/system</value>
<final>true</final>
</property>
<property>
<name>mapred.local.dir</name>
<value>file:/home/hadoop/hadoop-2.2.0/mapred/local</value>
<final>true</final>
</property>
</configuration>
$
$ vi conf/master
master
# slave가 증가하면 호스트 네임을 추가한다.
# 물론 /etc/hosts에 IP DOMAIN 형식으로 등록되어야 한다.
$ vi conf/slaves
slave01
5. Hadoop실행
$ cd /home/hadoop/hadoop-2.2.0/bin/
$ ./hdfs namenode -format
$ cd /home/hadoop/hadoop-2.2.0/etc/hadoop/
$ ./start-all.sh
6. 프로세스 확인
$ cd /home/hadoop/hadoop-2.2.0/bin
$ ./jps
22940 DataNode
23214 SecondaryNameNode
23594 NodeManager
23362 ResourceManager
23879 Jps
7. 웹확인
클러스터 확인
http://localhost:8088
HDFS확인
http://localhost:50070
* 설정이 완료되면 Hadoop디렉토리를 통째로 압축하여 Slave로 옮겨서 실행 한다.
덧글