infection...

1. 각서버에 hadoop 배포 하였으면 hadoop을 실행하면 된다. 하지만 네트워크 상에 방화벽 관계로 방화벽부터 제어한다. hardoop@master:~$ sudo ufw status 방화벽 상태가 on이면 off 시켜준다. hardoop@master:~$ sudo apt-get install sysv-rc-conf hardoop@master:~$ sudo sysv-rc-conf iptables off hardoop@master:~$ sudo sysv-rc-conf -list sysv-rc-conf 를 설치하여 iptables 도 off 시켜준다. 2. 모든 작업이 끝났으면 namenode 서버에서 hadoop 설정을 포멧한다. (namenode 서버에서 hadoop 계정으로 해야 한다) (실행경로..

1. 연결설정까지 완료되었으면 다운받은 hadoop-2.5.1.tar 파일을 hadoop 계정의 홈인 /home/hadoop/hadoop 으로 업로드 한다. 업로드 후 압축을 풀면 hadoop-2.5.1 이라는 폴더가 생기는데 그냥 써도 되고 hadoop 이라는 폴더명으로 바꾸면된다. (본인은 그냥 hadoop-2.5.1 이라는 폴더로 사용) hardoop@master:~$ tar xvfz hadoop.tar.gz 2. 압축을 푼후 bashrc 파일을 변경해주어야 한다. hardoop@master:~$ vi .bashrc bashrc 최하단에 환경변수를 등록해준다.(본인기준) export HADOOP_HOME=/home/hadoop/hadoop/hadoop-2.5.1 export HADOOP_MAPRED..

1. 우분투 설치시 최대한 hostname을 상황에 맞게 쓴다.(ssh 연동을 위해 필수) 나같은 경우 master slave1 slave2 slave3 slave4 의 형태로 설정 하였다. 아래 설치 메뉴얼은 다르게 강조하지 않는 이상 모든 서버에 동일하게 적용되어야 한다. 2. 우분투 설치가 완료되면 ssh 를 설치한다. sudo apt-get install openssh-client openssh-server /etc/ssh/sshd_config를 수정한다. RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile .ssh/authorized_keys 3. HOST 설정 /etc/hosts 에 호스트 정보 등록 127.0.0.1localh..

회사 sns 프로젝트에서 데이터 관리를 하둡으로 하기로 결정되어 하둡 헤딩 시작 OS : ubuntu-14.04.1-server-amd64Hadoop : hadoop-2.5.1.tarJava : oracle java8 OS와 하둡의 경우 최신버전 으로 사용 우분투의 경우 최소설치를 위해 서버 버전 선택 namenode 서버와 datenode 서버의 동기화를 위해 우분투 설치시 기본외에 다른것을 일절 설치 하지 않았다. 시스템 구조는 namenode 서버 1대second namenode 및 datenode 서버 1대datenode 전용서버 3대 총 5대의 서버로 구성 하였다. 참고 사이트는 여러군데를 참고하였고 최대한 이것저것 찾아가며 구성완료 참고 사이트 http://acet.pe.kr/496 http:..