hadoop 2.5.X 설치 -3

1. 연결설정까지 완료되었으면 다운받은 hadoop-2.5.1.tar 파일을 hadoop 계정의 홈인 /home/hadoop/hadoop 으로 업로드 한다. 업로드 후 압축을 풀면 hadoop-2.5.1 이라는 폴더가 생기는데 그냥 써도 되고 hadoop 이라는 폴더명으로 바꾸면된다.

(본인은 그냥 hadoop-2.5.1 이라는 폴더로 사용)

hardoop@master:~$ tar xvfz hadoop.tar.gz 

2. 압축을 푼후 bashrc 파일을 변경해주어야 한다.

hardoop@master:~$  vi .bashrc

bashrc 최하단에 환경변수를 등록해준다.(본인기준)

 export HADOOP_HOME=/home/hadoop/hadoop/hadoop-2.5.1
 export HADOOP_MAPRED_HOME=$HADOOP_HOME
 export HADOOP_COMMON_HOME=$HADOOP_HOME
 export HADOOP_HDFS_HOME=$HADOOP_HOME
 export YARN_HOME=$HADOOP_HOME
 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
 export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
 export JAVA_HOME=/usr/lib/jvm/java-8-oracle

3. 환경변수 등록후 bash를 갱신한다.

hardoop@master:~$  source .bashrc

4.모든 작업이 완료되었으면 hadoop 환경설정 을 작업한다.hadoop 환경설정은 설치된 디렉토리 hadoop-2.5.1/etc/hadoop 폴더 에 존재하고있다.

5.아래부터는 설정변경할 파일들이다. 일부파일의 경우 파일명.temp 형태로 존재하는데 직접 변경해줘야 한다.

(설정파일의 경우 한군데서 작업하여 나머지에 배포하는게 편하다)

coresite.xml

   fs.default.name
   hdfs://master:8020
 
 
   hadoop.tmp.dir
   /home/hadoop/hadoop/hadoop-data/
 

hdfs 의 경우 9000 포트를 평균적으로 사용하나 설정시 문제가 발생하여 8020 포트로 변경하니 안정적으로 작동하게되어 나같은 경우 8020포트로 설정하였다.

hdfs-site.xml

  
    dfs.replication
    3
  
  
  
    dfs.http.address
    master:50070
  
 
    
    dfs.webhdfs.enabled
    true
  
  
    dfs.secondary.http.address
    slave1:50090
  
  
     dfs.permissions
     false
   
   
     dfs.namenode.checkpoint.dir
     /home/hardoop/hardoop/yarn_data/hdfs/namesecondary
   

네임노드의 경우 혹시몰라서 slave1 에 second 네임노드 까지 세팅 하였다.복사본의 경우 3대까지만 저장하도록 세팅

mapred-site.xml

 
     mapreduce.framework.name
     yarn
   
 

yarn-site.xml

  yarn.nodemanager.aux-services
  mapreduce_shuffle
 
 
  yarn.nodemanager.aux-services.mapreduce.shuffle.class
  org.apache.hadoop.mapred.ShuffleHandler
 
 
  yarn.resourcemanager.resource-tracker.address
  master:8025
 
 
  yarn.resourcemanager.scheduler.address
  master:8030
 
 
  yarn.resourcemanager.address
  master:8040
 

slaves

slave1
slave2
slave3
slave4

slaves 의 경우 namenode 서버에만 세팅한다. 나머지 그냥 localhost로 기입

6. 설정 파일 변경이 끝났으면 hadoop-2.5.1 폴더를 압축하여 각 서버 같은 위치에 배포하여 푼다.