[Hadoop] Ubuntu 16.01 에 Hadoop 2.7.2 설치하기

1. JAVA 설치

1.1 oracle-java-8 설치

$ sudo apt-get purge openjdk*

$ sudo add-apt-repository ppa:webupd8team/java

$ sudo apt-get update

$ sudo apt-get install oracle-java8-installer

1.2 openjdk-8 설치

$ sudo apt-get install openjdk-8-jdk

1.3 설치 확인

$ java -version

$ javac -version

2. JAVA_HOME 설정 ( openjdk-8 기준 )

2.1 java path 확인

$ update-alternatives --config java

2.2 JAVA_HOME 추가 ( etc/environment 수정 )

$ sudo gedit /etc/environment

>> JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64"

2.3 변경 내용 적용

$ source /etc/environment

2.4 설정 확인

$ echo $JAVA_HOME

3. SSH 설치

3.1 SSH 설치

$ sudo apt-get install ssh

3.2 RSA 공유키, 개인키 생성

$ ssh-keygen -t rsa -P ""

>> Enter file in which to save the key : 그냥 Enter

3.3 Make the generated public key authorized by running

$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

3.4 작동 확인

$ ssh localhost

4. Hadoop 2.7.2 설치

4.1 하둡 다운로드.

>> https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.2/ 접속하여 hadoop-2.7.2.tar.gz 다운

4.2 하둡 압축 풀기

$ tar -xvzf '하둡 다운로드 경로/hadoop-2.7.2.tar.gz'

4.3 

4.4

5. Hadoop 2.7.2 설정

5.1 ~/.bashrc 설정

$ sudo gedit ~/.bashrc

>> 가장 아래에 추가

#HADOOP VARIABLES START

export JAVA_HOME= 자바 path

export HADOOP_INSTALL= 하둡 설치 위치

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

5.2 변경 내용 적용

$ source ~/.bashrc

5.3 hadoop-env.sh 파일 설정 변경

$ cd 하둡 설치 위치/etc/hadoop/

$ sudo gedit hadoop-env.sh

>> export JAVA_HOME=자바 path 추가

5.4 하둡 저장 폴더 만들기 ( 원하는 위치에 ) : HDFS (namenode, datanode), 

$ mkdir hadoop_store

$ cd hadoop_store

$ mkdir hdfs     ( hdfs 폴더 생성 )

$ cd hdfs

$ mkdir namenode     ( namenode 폴더 생성 )

$ mkdir datanode     ( datanode 폴더 생성 )

5.5 hdfs-site.xml 파일 설정 변경

$ cd 하둡 설치 위치/etc/hadoop/

$ sudo gedit hdfs-site.xml

>> <configuration> </configuration> 안에 삽입.

 <property>

  <name>dfs.replication</name>

  <value>1</value>

  <description>Default block replication.

  The actual number of replications can be specified when the file is created.

  The default is used if replication is not specified in create time.

  </description>

 </property>

 <property>

   <name>dfs.namenode.name.dir</name>

  <value>file:namenode 폴더 위치</value>

 </property>

 <property>

   <name>dfs.datanode.data.dir</name>

   <value>file:datanode 폴더 위치</value>

 </property>

5.6 core-site.xml 파일 설정 변경

$ cd 하둡 설치 위치/

$ mkdir tmp    ( tmp 임시 폴더 생성)

$ cd etc/hadoop/

$ sudo gedit core-site.xml

>> <configuration> </configuration> 안에 삽입.

 <property>

  <name>hadoop.tmp.dir</name>

  <value>tmp 폴더 위치</value>

  <description>A base for other temporary directories.</description>

 </property>

 

 <property>

  <name>fs.default.name</name>

  <value>hdfs://localhost:54310</value>

  <description>The name of the default file system.  A URI whose

  scheme and authority determine the FileSystem implementation.  The

  uri's scheme determines the config property (fs.SCHEME.impl) naming

  the FileSystem implementation class.  The uri's authority is used to

  determine the host, port, etc. for a filesystem.</description>

 </property>

5.7 mapred-site.xml 파일 설정 변경

$ cd 하둡 설치 위치/etc/hadoop/

$ cp mapred-site.xml.template mapred-site.xml     ( mapred-site.xml 파일 복사 )

>> <configuration> </configuration> 안에 삽입.

 <property>

  <name>mapred.job.tracker</name>

  <value>localhost:54311</value>

  <description>The host and port that the MapReduce job tracker runs

  at.  If "local", then jobs are run in-process as a single map

  and reduce task.

  </description>

 </property>

5.8 namenode 포맷

$ cd

$ hadoop namenode -format

5.9 하둡 실행

$ cd 하둡 설치 위치/sbin

$ start-all.sh

5.10 실행 확인

$ jps

출처

https://www.youtube.com/watch?v=CtOhsZ0Sb1E