snappy压缩算法详解(hive存储格式和压缩格式)

Hadoop3编译安装 基础环境:Centos7.7 编译环境软件安装目录 mkdir-p/export/server Hadoop编译安装 安装编译相关的依赖 1、yuminstallgccgcc-c++-y #下面这个命令不需要执行手动安装cmake 2、yuminstallmakecmake#(这里cmake版本推荐为3.6版本以上,版本低源码无法编译!可手动安装) 3、yuminstall…

Hadoop3编译安装

基本环境:Centos 7.7

编译环境手机软件安装文件目录

mkdir -p /export/server

Hadoop编译安装

  • 安装编译有关的依靠
1、yum install gcc gcc-c   -y
#下边这种指令不用实行 手动安装cmake
2、yum install make cmake  #(这儿cmake版本强烈推荐为3.6版本以上,版本低源代码没法编译!可手动安装)
3、yum install autoconf automake libtool curl -y
4、yum install lzo-devel zlib-devel openssl openssl-devel ncurses-devel -y
5、yum install snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst -y
  • 手动安装cmake
#yum卸载已安装cmake 版本低
yum erase cmake

#缓解压力
tar zxvf cmake-3.13.5.tar.gz

#编译安装
cd /export/server/cmake-3.13.5

./configure

make && make install

#认证
[root@node4 ~]# cmake -version      
cmake version 3.13.5

#要是没有恰当表明版本 请断掉SSH联接 重新写过登陆
  • 手动安装snappy
#卸载掉已经安装的
cd /usr/local/lib
rm -rf libsnappy*
#提交缓解压力
tar zxvf snappy-1.1.3.tar.gz 

#编译安装
cd /export/server/snappy-1.1.3
./configure
make && make install

#认证是不是安装
[root@node4 snappy-1.1.3]# ls -lh /usr/local/lib |grep snappy
-rw-r--r-- 1 root root 511K Nov  4 17:13 libsnappy.a
-rwxr-xr-x 1 root root  955 Nov  4 17:13 libsnappy.la
lrwxrwxrwx 1 root root   18 Nov  4 17:13 libsnappy.so -> libsnappy.so.1.3.0
lrwxrwxrwx 1 root root   18 Nov  4 17:13 libsnappy.so.1 -> libsnappy.so.1.3.0
-rwxr-xr-x 1 root root 253K Nov  4 17:13 libsnappy.so.1.3.0
  • 安装配备JDK 1.8
#缓解压力安装包
tar zxvf jdk-8u65-linux-x64.tar.gz

#配备环境自变量
vim /etc/profile

export JAVA_HOME=/export/server/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

#认证是不是安装取得成功
java -version

java version \"1.8.0_65\"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
You have new mail in /var/spool/mail/root
  • 安装配备maven
#缓解压力安装包
tar zxvf apache-maven-3.5.4-bin.tar.gz

#配备环境自变量
vim /etc/profile

export MAVEN_HOME=/export/server/apache-maven-3.5.4
export MAVEN_OPTS=\"-Xms4096m -Xmx4096m\"
export PATH=:$MAVEN_HOME/bin:$PATH

source /etc/profile

#认证是不是安装取得成功
[root@node4 ~]# mvn -v
Apache Maven 3.5.4

#加上maven 阿里云仓库详细地址 加速中国编译速率
vim /export/server/apache-maven-3.5.4/conf/settings.xml

<mirrors>
     <mirror>
           <id>alimaven</id>
           <name>aliyun maven</name>
           <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
           <mirrorOf>central</mirrorOf>
      </mirror>
</mirrors>
  • 安装ProtocolBuffer 2.5.0
#缓解压力
tar zxvf protobuf-2.5.0.tar.gz

#编译安装
cd /export/server/protobuf-2.5.0
./configure
make && make install

#认证是不是安装取得成功
[root@node4 protobuf-2.5.0]# protoc --version
libprotoc 2.5.0
  • 编译hadoop
#提交缓解压力源代码包
tar zxvf hadoop-3.1.4-src.tar.gz

#编译
cd /export/server/hadoop-3.1.4-src

mvn clean package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib

#主要参数表明:

Pdist,native :把再次编译形成的hadoop动态库;
DskipTests :绕过检测
Dtar :最终把文档以tar打包
Dbundle.snappy :加上snappy缩小适用【默认设置官网下载的是不兼容的】
Dsnappy.lib=/usr/local/lib :指snappy在编译设备上安装后的库途径
  • 编译以后的安装包途径
/export/server/hadoop-3.1.4-src/hadoop-dist/target

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2022年5月13日 下午4:29
下一篇 2022年5月13日 下午4:30

相关推荐

  • 微营销怎么做,微营销的五个技巧

    一、微信好友必须多、或建立微信群做营销 通过微信建立沟通互动的渠道,配合己方在微信群的宣传和回复营销客户。 1、定位,定位很重要,要么是相同兴趣爱好,要么是人脉聚集。 2、价值,这个微信群,究竟能给群成员带来多大的价值。他为什么要加入你的微信群? 3、群规,一个微信群,必须有一个人人都遵守的规则。违反规则的,则选择淘汰。有了这样的筛选机制,就能将不遵守规则的人淘汰出局。连规则都不能遵守,留在群内也…

    2022年5月19日
    750
  • 市场推广计划书怎么写,市场推广方案范文格式

    产品市场营销计划是企业的业务单位计划下的一个分支计划. 在市场导向下的企业战略系统中,产品市场营销计划又是业务单位计划的主要部分,是其核心,其他计划往往都围绕着这一计划制定。简单地讲,产品市场计划就是要为特定的产品类别指定一个市场推广的计划,包括市场环境的分析、企业在该产品类别上要达到的目标、企业实施的市场营销策略、企业行动的具体方案、营销预算、控制和反馈过程等。 产品市场营销计划书是用文字系统地…

    2022年6月22日
    730
  • 菠萝蜜怎么种才能结果,果农一定要掌握这三大种植技巧

    今天想要分享的是一种体型较大又好吃的水果,它就是菠萝蜜。菠萝蜜是作为桑科植物的一种,别名又称木菠萝,吃过菠萝蜜的朋友,都知道菠萝蜜的体型是比较大的,并且它的用处是非常多的,金黄色的果肉既能够直接食用,又可以制作成其它的美食佳肴,是不是一想到就直流口水呢? 菠萝蜜原本不是属于我国的原产的水果,不过,现在引入我国已经有几千年的历史,所以我国菠萝蜜的种植技术还是比较娴熟的。由于菠萝蜜浑身上下都是宝,于是…

    2022年10月13日
    470
  • 如何做到搜索引擎优化,搜索引擎优化的常用方法

    分享SEO的12点经验: 1、SEO需要长期坚持。不要觉得SEO太简单,可以几天之内让网站流量翻几倍,这些都是不现实的。搜索引擎也一直在变化着算法,所以尝试不同的优化手段也是有必要,旧的方法或将被淘汰。 2、耐心决定成败。SEO优化短期内是没有效果的,如果你负责新站,需要不断增加高质量文章及优质外链,需要耐心,坚持下去,网站长期累积的资源,可以给网站带来不错的流量。 3、不断学习新知识、积累经验。…

    2022年6月25日
    620
  • 怎么安装linux系统版本,详细安装linux系统步骤图解

    1.先下载对应的Linux版本系统,请参考本站以下教程 目前主流的服务器版本有RHEL/CentOS、Ubuntu Server,当然还有其他版本,但其它版本的占有率并不高。其中RHEL是红帽官方发布的版本,可申请原厂技术支持,但需要收费,一般是较大的企业使用,因为服务费并不低,比如金融/证券行业一般使用原厂服务。由于RHEL的源代码是公开的,所以就衍生出了社区编译版CentOS。原理上,同一版本…

    2022年8月19日
    970
  • 国防生和军校生哪个好考,最全的军校生和国防生对比

    拿破仑说过“不想当将军的士兵不是好士兵”,但你又知道兵与兵也是有差别。而军校生和国防生也有许多差别,你知道吗? 近几年来,军校生与国防生逐渐成为一股热潮,受到广大考生们的青睐。那么,国防生和军校生的区别是什么呢?国防生和军校生哪个好呢?国防生和军校生要怎么选择呢?本期乔布简历小编将为大家介绍的就是国防生和军校生的区别,还在纠结要怎么选择的小伙伴们下面就一起来了解一下吧 军校生与国防生有什么区别? …

    2022年10月12日
    440
  • 小米9配置参数详情(讲解小米参数配置对比)

    无论是性能还是拍照,小米9无疑都是顶尖水平,这是一台几乎没有弱点的机型,很难想象售价仅定在3000元档,小米厚道本色依旧。 2月20日,小米年度旗舰手机小米9正式发布,小米官方用“长得好看超级能打”来定义这款不太一样的旗舰机型,最明显的不一样是价格,小米9的售价调至2999元起步,为了对得起这个价格,小米9硬件方面“有料”十足。 高通骁龙855处理器、索尼4800万超广角微距三摄、20W无线闪充、…

    2022年5月4日
    1000
  • wps文档怎么加密,wps文档设置密码保护步骤

    昨晚,WPS君本来想早点睡觉,没想到手机就持续发出微信提醒的声音。 我拿起一看,才发现我的老友又遇到了棘手的麻烦:文档加密,却忘记了密码。 尝试记忆解密无效之后,WPS君也陆续为他推荐了几款知名的加密破解软件。 可结果要么显示破解失败,要么就是破解后文档打开完全乱码!! 破解无望,WPS君也只能安慰老友后面再根据记忆尝试解锁,并向他推荐了更为科学的文档加密方式,WPS独家功能——账号加密。 01 …

    2022年6月26日
    1020
  • 怎么做网络推广,32种精准引流的网络推广方法

    互联网推广指利用互联网平台进行宣传推广,推广内容可以是企业、品牌、产品个人等等,互联网推广可以达到很好的效果,未来每个企业都应该有互联网推广这个岗位。广义上讲,企业从开始申请域名、租用空间、建立网站开始就算是介入了网络推广活动,而通常我们所指的网络推广是指通过互联网手段进行的宣传推广等活动。那么到底有哪些方式呢?跟文汇建站的小编一起看一下吧。 通过网盟平台推广 通过网盟平台,需要推广的内容将会进入…

    2022年8月19日
    1170
  • 长城雪茄怎么抽(抽长城雪茄详细图解)

    雪茄烟是生活中常见的卷烟,雪茄是烟叶最本真的味道,都是最原始最纯真原味的东西。雪茄怎么抽不过肺,对于新手来说雪茄的正确抽法是什么?雪茄和红酒是绝配吗?下面中国香烟网小编为大家整理介绍雪茄怎么抽图解。 雪茄怎么抽图解(雪茄的正确抽法) 对于真正爱雪茄的人,没有什么什么所谓雪茄的正确抽法,有时间有情绪有想法,按照自己喜欢的抽法来就是最适合的抽雪茄方式,别把雪茄抽成了烟,先来看看雪茄的四部分: CAP(…

    2022年9月2日
    2400

发表回复

登录后才能评论

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信