Hadoop3编译安装
基本环境:Centos 7.7
编译环境手机软件安装文件目录
mkdir -p /export/server
Hadoop编译安装
- 安装编译有关的依靠
1、yum install gcc gcc-c -y
#下边这种指令不用实行 手动安装cmake
2、yum install make cmake #(这儿cmake版本强烈推荐为3.6版本以上,版本低源代码没法编译!可手动安装)
3、yum install autoconf automake libtool curl -y
4、yum install lzo-devel zlib-devel openssl openssl-devel ncurses-devel -y
5、yum install snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst -y
- 手动安装cmake
#yum卸载已安装cmake 版本低
yum erase cmake
#缓解压力
tar zxvf cmake-3.13.5.tar.gz
#编译安装
cd /export/server/cmake-3.13.5
./configure
make && make install
#认证
[root@node4 ~]# cmake -version
cmake version 3.13.5
#要是没有恰当表明版本 请断掉SSH联接 重新写过登陆
- 手动安装snappy
#卸载掉已经安装的
cd /usr/local/lib
rm -rf libsnappy*
#提交缓解压力
tar zxvf snappy-1.1.3.tar.gz
#编译安装
cd /export/server/snappy-1.1.3
./configure
make && make install
#认证是不是安装
[root@node4 snappy-1.1.3]# ls -lh /usr/local/lib |grep snappy
-rw-r--r-- 1 root root 511K Nov 4 17:13 libsnappy.a
-rwxr-xr-x 1 root root 955 Nov 4 17:13 libsnappy.la
lrwxrwxrwx 1 root root 18 Nov 4 17:13 libsnappy.so -> libsnappy.so.1.3.0
lrwxrwxrwx 1 root root 18 Nov 4 17:13 libsnappy.so.1 -> libsnappy.so.1.3.0
-rwxr-xr-x 1 root root 253K Nov 4 17:13 libsnappy.so.1.3.0
- 安装配备JDK 1.8
#缓解压力安装包
tar zxvf jdk-8u65-linux-x64.tar.gz
#配备环境自变量
vim /etc/profile
export JAVA_HOME=/export/server/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
source /etc/profile
#认证是不是安装取得成功
java -version
java version \"1.8.0_65\"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
You have new mail in /var/spool/mail/root
- 安装配备maven
#缓解压力安装包
tar zxvf apache-maven-3.5.4-bin.tar.gz
#配备环境自变量
vim /etc/profile
export MAVEN_HOME=/export/server/apache-maven-3.5.4
export MAVEN_OPTS=\"-Xms4096m -Xmx4096m\"
export PATH=:$MAVEN_HOME/bin:$PATH
source /etc/profile
#认证是不是安装取得成功
[root@node4 ~]# mvn -v
Apache Maven 3.5.4
#加上maven 阿里云仓库详细地址 加速中国编译速率
vim /export/server/apache-maven-3.5.4/conf/settings.xml
<mirrors>
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
</mirrors>
- 安装ProtocolBuffer 2.5.0
#缓解压力
tar zxvf protobuf-2.5.0.tar.gz
#编译安装
cd /export/server/protobuf-2.5.0
./configure
make && make install
#认证是不是安装取得成功
[root@node4 protobuf-2.5.0]# protoc --version
libprotoc 2.5.0
- 编译hadoop
#提交缓解压力源代码包
tar zxvf hadoop-3.1.4-src.tar.gz
#编译
cd /export/server/hadoop-3.1.4-src
mvn clean package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib
#主要参数表明:
Pdist,native :把再次编译形成的hadoop动态库;
DskipTests :绕过检测
Dtar :最终把文档以tar打包
Dbundle.snappy :加上snappy缩小适用【默认设置官网下载的是不兼容的】
Dsnappy.lib=/usr/local/lib :指snappy在编译设备上安装后的库途径
- 编译以后的安装包途径
/export/server/hadoop-3.1.4-src/hadoop-dist/target
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。