hadoop 2.5.X 설치 -2

1. 우분투 설치시 최대한 hostname을 상황에 맞게 쓴다.(ssh 연동을 위해 필수)

나같은 경우

master

slave1

slave2

slave3

slave4

의 형태로 설정 하였다. 아래 설치 메뉴얼은 다르게 강조하지 않는 이상 모든 서버에 동일하게 적용되어야 한다.

2. 우분투 설치가 완료되면 ssh 를 설치한다.

sudo apt-get install openssh-client openssh-server

/etc/ssh/sshd_config를 수정한다.

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys 

3. HOST 설정

/etc/hosts 에 호스트 정보 등록

127.0.0.1	localhost
127.0.1.1  master
192.168.0.192    master
192.168.0.193    slave1
192.168.0.194    slave2
192.168.0.195    slave3
192.168.0.196	 slave4

# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

4. HOSTNAME 확인
/etc/hostname 에서 각서버별로 호스트명이 맞는지 확인 틀리면 변경해줘야 한다.

5. 5.각서버간의 통신을 위해 동일계정을 생성한다.(나같은 경우 hadoop 이라는 계정을 생성하였다.)

sudo adduser hadoop --home /home/hadoop/hadoop

계정생성후 해당 디렉토리에 생성된 하둡 계정으로 권한을 부여한다(필수)

sudo chown -R hadoop:hadoop /home/hadoop

6. 각서버별로 계정이 다생성되었으면 각서버간의 통신을 위해 hadoop 계정으로 로그인 하여 SSH 공개키 생성

su hadoop #하둡계정으로 로그인
ssh-keygen -t rsa

7. 공개키 생성후 생성된 공개키를 각서버에 배포한다.(마스터 기준으로 만 설명 했지만 모든 서버에서 공개키 생성후 다른서버로 배포해야한다.)

ssh-copy-id -i /home/hadoop/hadoop/.ssh/id_rsa.pub hadoop@slave1
ssh-copy-id -i /home/hadoop/hadoop/.ssh/id_rsa.pub hadoop@slave2
ssh-copy-id -i /home/hadoop/hadoop/.ssh/id_rsa.pub hadoop@slave3
ssh-copy-id -i /home/hadoop/hadoop/.ssh/id_rsa.pub hadoop@slave4
ssh-copy-id -i /home/hadoop/hadoop/.ssh/id_rsa.pub hadoop@master

마지막에 local 에도 공개키를 등록한이유는 부팅시 local server 인증도 물어보아서 같이 등록하였다.

8. 공개키를 다 배포하였으면 확인

ssh master

정상적으로 접속되면 연결설정은 완료

9 . 자바를 설치 (그냥 java8로 설치했다.)

http://ramuz.tistory.com/43  참조

10. 동시에 작업하다보니 외부 shell 에서 많이 해서 vsftpd 도 설치

http://ramuz.tistory.com/35 참조