slave 설정_완전 분산 모드

3대에 모두 설정한다

-- JDK 설치 --
~$ sudo apt-get update
~$ sudo apt-get install default-jdk -y
        만약 이게 안 되면 sudo apt-get install openjdk-8-jdk 입력
        그래도 안 되면 장비 재부팅 후 다시 시도
~$ java -version
        openjdk version "11.0.4" 2019-07-16 버전 확인
~$ which java
        /usr/bin/java
~$ readlink -f /usr/bin/java
        바로가기의 원본 위치 확인 명령어
        /usr/lib/jvm/java-11-openjdk-amd64/bin/java 확인
~$ sudo vim /etc/profile
        가장 아래에 다음 내용 추가 후 저장

        export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

~$ source /etc/profile
        변경 내용 적용


-- 사용자 등록 --
~$ sudo addgroup hadoop
~$ sudo adduser --ingroup hadoop manager
        암호는 1
        나머지는 기본값으로 엔터
        정보가 올바릅니까? y
~$ groups manager
        manager : hadoop 확인
~$ sudo adduser manager sudo


-- hosts 파일 변경 --
~$ sudo vim /etc/hosts
        중간에 다음 내용 입력 후 저장
        192.168.8.128 master
        192.168.8.129 slave1
        192.168.8.130 slave2
        192.168.8.131 slave3

 

 

-- .bashrc 수정 --
~$ sudo vim .bashrc
        다음 내용을 추가 후 저장
        #HADOOP VARIABLES START
        export HADOOP_HOME=/usr/local/hadoop
        export PATH=$PATH:$HADOOP_HOME/bin
        export PATH=$PATH:$HADOOP_HOME/sbin
        export HADOOP_MAPRED_HOME=$HADOOP_HOME
        export HADOOP_COMMON_HOME=$HADOOP_HOME
        export HADOOP_HDFS_HOME=$HADOOP_HOME
        #HADOOP VARIABLES END

~$ source .bashrc
        source 명령어를 통해 환경 설정 파일이나
        스크립트에서 정의한 환경변수값을 바로 적용할 수 있다


-- hdfs-site --
~$ sudo mkdir -p /usr/local/hadoop/hdfs/datanode
~$ sudo chown -R manager:hadoop /usr/local/hadoop/hdfs
~$ sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
        <configuration>과 </configuration> 사이에 아래 내용을 입력 후 저장
        <property>

                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/hdfs/datanode</value>
        <property>

 

~$ ls /usr/local/hadoop/hdfs/datanode/
~$ sudo rm -rf /usr/local/hadoop/hdfs/datanode/*


-- hadoop 파일 시스템 포맷 --
~$ hadoop namenode -format