centos7安装hive

lomi / 2024-03-20 / 原文

三种模式的区别

安装模式 matedata位置存放位置 matestore部署方式
内嵌模式 本地内嵌数据derby中 内嵌
本地模式 独立数据库中 独立启动
远程模式 独立数据库中 独立启动

hive依赖hadoop，安装hive之前需要确保hadoop集群正常启动

内嵌模式

  1. 修改hadoop配置文件，设置代理用户主机和代理组

    cd /opt/hadoop-3.3.6/etc/hadoop
    vi core-site.xml

    	<!--hive代理用户配置,登录到hiveserve2的用户会被模拟成指定用户，下面是配置不限制任何用户模拟 hadoop程序当前用户  -->
	<!--xxx是安装hadoop的用户名，如果是root用户安装的就是root，如果用的是hadoop用户安装的就是hadoop  -->
	<!--这两个配置如果没有正常配置，beeline客户端 就不能正常连接到 hiveserver2  -->
	<property>
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
	</property>

    分发配置，然后重启hadoop集群

  2. 用hadoop里面guava新版本的jar包替换hive里面的jar包

    #复制hadoop中版本较新的guava包到hive
cp /opt/hadoop-3.3.6/share/hadoop/common/lib/guava-27.0-jre.jar  /opt/apache-hive-3.1.3-bin/lib/

#删除或者改后缀让老的包失效
cd /opt/apache-hive-3.1.3-bin/lib/
mv guava-19.0.jar guava-19.0.jar.bak

  3. 下载hive包(apache-hive-3.1.3-bin.tar.gz),然后解压,我再放/opt下面

    tar -zxvf apache-hive-3.1.3-bin.tar.gz

  4. 修改hive配置文件

    cd /opt/apache-hive-3.1.3-bin/conf
cp hive-env.sh.template hive-env.sh

    vi hive-env.sh

    #配置hadoop根目录(如果配置了环境变量可以不配置)
HADOOP_HOME=/opt/hadoop-3.3.6

#hive配置文件目录，默认就在这里，可以不用配置
export HIVE_CONF_DIR=/opt/apache-hive-3.1.3-bin/conf

#hive 依赖jar包的位置，默认就是这里，所以也可以不配
export HIVE_AUX_JARS_PATH=/opt/apache-hive-3.1.3-bin/lib

  5. 初始化数据库

    ./schematool -dbType derby -initSchema

    初始化以后在当前目录多了一个存储metastore_db,和一个derby.log文件

    [root@vm200 bin]# ll
total 68
-rwxr-xr-x 1 hadoop hadoop   881 Oct 24  2019 beeline
-rw-rw-r-- 1 hadoop hadoop 22226 Mar 19 15:23 derby.log
drwxrwxr-x 3 hadoop hadoop  4096 Mar 19 14:12 ext
-rwxr-xr-x 1 hadoop hadoop 10158 Mar 29  2022 hive
-rwxr-xr-x 1 hadoop hadoop  2085 Feb 28  2022 hive-config.sh
-rwxr-xr-x 1 hadoop hadoop   885 Oct 24  2019 hiveserver2
-rwxr-xr-x 1 hadoop hadoop   880 Oct 24  2019 hplsql
-rwxr-xr-x 1 hadoop hadoop  3064 Oct 24  2019 init-hive-dfs.sh
drwxrwxr-x 5 hadoop hadoop   133 Mar 19 15:23 metastore_db
-rwxr-xr-x 1 hadoop hadoop   832 Oct 24  2019 metatool
-rwxr-xr-x 1 hadoop hadoop   884 Oct 24  2019 schematool

  6. 启动hive客户端
    只能在执行了初始化的目录启动，并且如果不同目录方位的到的metastore不一样，读取到的数据也不一样

    ./hive

本地模式

  1. 安装mysql

  2. 修改hadoop配置文件，设置代理用户主机和代理组

    cd /opt/hadoop-3.3.6/etc/hadoop
    vi core-site.xml

    	<!--hive代理用户配置,登录到hiveserve2的用户会被模拟成指定用户，下面是配置不限制任何用户模拟 hadoop程序当前用户  -->
	<!--xxx是安装hadoop的用户名，如果是root用户安装的就是root，如果用的是hadoop用户安装的就是hadoop  -->
	<!--这两个配置如果没有正常配置，beeline客户端 就不能正常连接到 hiveserver2  -->
	<property>
		<name>hadoop.proxyuser.xxx.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.xxx.groups</name>
		<value>*</value>
	</property>

    分发配置，然后重启hadoop集群

  3. 下载hive包(apache-hive-3.1.3-bin.tar.gz),然后解压,我再放/opt下面

    tar -zxvf apache-hive-3.1.3-bin.tar.gz

  4. 用hadoop里面guava新版本的jar包替换hive里面的jar包

    #复制hadoop中版本较新的guava包到hive
cp /opt/hadoop-3.3.6/share/hadoop/common/lib/guava-27.0-jre.jar  /opt/apache-hive-3.1.3-bin/lib/

#删除或者改后缀让老的包失效
cd /opt/apache-hive-3.1.3-bin/lib/
mv guava-19.0.jar guava-19.0.jar.bak

  5. 上传mysql驱动包(mysql-connector-java-8.0.15.jar),到hive的 lib目录

  6. 创建配置文件hive-site.xml。(hive-default.xml.template里面有很多默认配置，下面的配置里面都有)

    cd /opt/apache-hive-3.1.3-bin/conf
cp hive-env.sh.template hive-env.sh

    vi hive-site.xml

    <configuration>

	<!-- mysql配置 -->
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://192.168.100.66:3306/hive?createDatabaseIfNotExist=true&amp;rewriteBatchedStatements=true&amp;useUnicode=true&amp;characterEncoding=utf8&amp;autoReconnect=true&amp;zeroDateTimeBehavior=convertToNull&amp;allowMultiQueries=true&amp;serverTimezone=Hongkong&amp;useSSL=false&amp;allowPublicKeyRetrieval=true</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.cj.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>root</value>
	</property>
	
	<!-- 关闭metastore授权 -->
	<property>
		<name>hive.metastore.event.db.notification.api.auth</name>
		<value>false</value>
	</property>
	<!-- 关闭元数据存储版本验证,如果你使用了之前版本hive初始化的元数据可能会报错，这个配置是关闭验证 -->
	<!-- metastore存放的版本本信息在version表中 -->
	<property>
		<name>hive.metastore.schema.verification</name>
		<value>false</value>
	</property>
	


</configuration>

  7. 初始化数据库

    #初始化数据库
cd /opt/apache-hive-3.1.3-bin/bin
./schematool -initSchema -dbType mysql -verbos

  8. 初始化数据库以后会在mysql 中创建对应的数据库和表
    image-20240319162005647

  9. 启动客户端

    ./hive

远程模式

image-20240319174307860

  1. 安装mysql

  2. 修改hadoop配置文件，设置代理用户主机和代理组

    cd /opt/hadoop-3.3.6/etc/hadoop
    vi core-site.xml

    	<!--hive代理用户配置,登录到hiveserve2的用户会被模拟成指定用户，下面是配置不限制任何用户模拟 hadoop程序当前用户  -->
	<!--xxx是安装hadoop的用户名，如果是root用户安装的就是root，如果用的是hadoop用户安装的就是hadoop  -->
	<!--这两个配置如果没有正常配置，beeline客户端 就不能正常连接到 hiveserver2  -->
	<property>
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
	</property>

    分发配置，然后重启hadoop集群

  3. 下载hive包(apache-hive-3.1.3-bin.tar.gz),然后解压,我再放/opt下面

    tar -zxvf apache-hive-3.1.3-bin.tar.gz

  4. 用hadoop里面guava新版本的jar包替换hive里面的jar包

    #复制hadoop中版本较新的guava包到hive
cp /opt/hadoop-3.3.6/share/hadoop/common/lib/guava-27.0-jre.jar  /opt/apache-hive-3.1.3-bin/lib/

#删除或者改后缀让老的包失效
cd /opt/apache-hive-3.1.3-bin/lib/
mv guava-19.0.jar guava-19.0.jar.bak

  5. 上传mysql驱动包(mysql-connector-java-8.0.15.jar),到hive的 lib目录

  6. 创建配置文件hive-site.xml。(hive-default.xml.template里面有很多默认配置，下面的配置里面都有)

    cd /opt/apache-hive-3.1.3-bin/conf
cp hive-env.sh.template hive-env.sh

    vi hive-site.xml

    <configuration>

	<!-- mysql配置 -->
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://192.168.100.66:3306/hive?createDatabaseIfNotExist=true&amp;rewriteBatchedStatements=true&amp;useUnicode=true&amp;characterEncoding=utf8&amp;autoReconnect=true&amp;zeroDateTimeBehavior=convertToNull&amp;allowMultiQueries=true&amp;serverTimezone=Hongkong&amp;useSSL=false&amp;allowPublicKeyRetrieval=true</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.cj.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>root</value>
	</property>
	
	<!-- 关闭metastore授权 -->
	<property>
		<name>hive.metastore.event.db.notification.api.auth</name>
		<value>false</value>
	</property>
	<!-- 关闭元数据存储版本验证,如果你使用了之前版本hive初始化的元数据可能会报错，这个配置是关闭验证 -->
	<!-- metastore存放的版本本信息在version表中 -->
	<property>
		<name>hive.metastore.schema.verification</name>
		<value>false</value>
	</property>
	
	<!-- 远程部署的metastore服务地址(如果不配置这个，就会本地启动一个metastore，配了就需要独立启动) -->
	<!--- hive客户端就是通过这个配置找到 metastore的 -->
	<property>
		<name>hive.metastore.uris</name>
		<value>thrift://vm200:9083</value>
	</property>
	
	<!-- H2S 运行在哪里机子上 -->
	<property>
		<name>hive.server2.thrift.bind.host</name>
		<value>vm200</value>
	</property>
	

</configuration>

  7. 初始化数据库

    #初始化数据库
cd /opt/apache-hive-3.1.3-bin/bin
./schematool -initSchema -dbType mysql -verbos

  8. 初始化数据库以后会在mysql 中创建对应的数据库和表
    image-20240319162005647

  9. 启动metastore

    #默认是前台启动
./hive --service metastore


#后台启动
 nohup ./hive --service metastore &

  10. 启动客户端

    ./hive

  11. 启动 hiveserver2

     nohup ./hive --service hiveserver2 &

  12. 启动beeline并且连接hiveserver2

    ! connect jdbc:hive2://vm200:10000

centos7安装hive更多相关文章

今日报告-66

设置Windows10暂停更新3000天

AQS公平锁的流程

AMD锐龙7 7800X3D网游专项测试：竟比i9-13900KS强了15%

常用总线技术基本参数对比

探索图像数据中的隐藏信息：语义实体识别和关系抽取的奇妙之旅

设置Chrome浏览器自动升级

JavaScript – 小技巧 Tips

Winform无边框窗体实现拖动

STM32基础（一）

技术人的修炼---九五小庞

vue自定义事件用法及$emit

ODOO 科目配置4

sqlite 触发器 c#

postgresql在插入数据后怎么获取自增id

EF Core 的基本使用

error: failed to push some refs to 'https://github.com/*******/********.github.io.git'

欧拉降幂

编程语言能力对比

基于机器视觉的小车轨迹控制软件界面展示

随机推荐

划水

命令拼接技巧

Fiddler抓包Android7以内版本

SD NAND 与 SPI NAND

C语言中的编译过程详解

step7 V5.x上的SCL

yolo --- 核心思想

【游记】CCPC 济南 2024 游记

AJAX & AXIOS-2024/11/1

验证码处理在自动化测试中的应用

一些学科笑话

NOIP2024模拟赛20 & 11.1 小记

20241101 数据结构与算法期中机试收获

Java，启动！

什么是IT技术

即将到来！

2024/11/1日 日志 关于JavaScript简介&引入方式 以及基础语法的学习

舍得-时间-工作是人的一生最重要的事情-自己要有私房钱-人的一生最重要的事情是书写自己的人生

2.TiUP 部署 DM 集群

原型模式的C++实现

热门话题

Ethernaut Level 11: Elevator Attack and Blockchain Interaction

快速部署开源spug运维平台的Docker安装指南

驱动调试之printk的原理与使用

计算机思维模型及其应用

华为云发布代码大模型PanGu-Coder2，实现高效代码生成

Linux多硬盘数据存储和分区操作

构建高可用架构: 分层冗余与自动故障转移

LoRA：高效调参的大语言模型适应方法

《分布式系统的基本原理及互联网分层架构的本质》

Hadoop写流程解析

Java架构师的系统架构设计方法论中的规范要点

使用observeDOM解决BetterScroll插件在移动端无法滑动的问题

互联网一致性架构设计实践

高并发系统架构与水平扩展

混合应用的崛起：跨平台开发取代原生应用

  穗舟网 （www.seizhou.com）

本站除标明"本站原创"外所有文章版权归创作人所有，本站不承担任何法律责任和连带责任，如有冒犯请直接联系，我们将立即予以纠正并致歉。

Powered by WordPress  ·  v1.0.0-alpha