您的位置 首页 > 数码极客

如何用hive实现无限递归

作者:2551529836

hive

** Facebook开源

** 官网:

** Hive是基于Hadoop的一个数据仓库工具

Hive与数据库:

数据库: mysql、oracle、DB2、sqlserver

数据仓库 !== 数据库 换言之, Hive不是数据库

为什么要选择hive

** MapReduce编程成本高

** 针对传统的DBA,不会不熟悉java,要想数据分析,借助Hive

Hive简介:

** 流程

** HQL --> Hive(java) --> mapreduce -->yarn --> HDFS

** 本质: 将HQL转化成MapReduce程序

** 使用MapReduce计算模型,运行在yarn平台之上

** Hive适合离线批量处理,延时比较大

** 不适合在线业务实时分析结果,业务要求延时较低的场景不适合

Hive体系结构

** 用户接口: Client

** 终端命令行CLI --主要的一种使用方式

** jdbc方式 --几乎不用

** 元数据:metastore

** 默认apache使用的是derby数据库(只能有一个客户端使用),CDH使用postgreDB

** 企业通常我们会选择另外一种mysql来存储

** 元数据包括:表名、表所属的数据库(默认是default)、

表的拥有者、列/分区字段、表的类型(是否是外部表)、

表的数据所在目录等

** 这里并没有存储Hive表的真实数据

** Hadoop

** 使用HDFS进行存储

** 使用MapReduce进行计算

** 驱动器: Driver

** 解析器: 解析Hql语句

** 编译器: 把sql语句翻译成MapReduce程序

** 优化器: 优化sql语句

** 执行器: 在yarn平台运行MapReduce程序

====Hive安装======================================================

** 版本 0.13.1(和后面使用到的框架兼容性好)

hive安装所需要的环境:

1、安装JDK,然后测试

$ java -version

2、安装Hadoop

** 确保Hadoop可以正常使用(测试:上传文件、或者运行jar)

$ hdfs dfs -mkdir /input2 #在HDFS上创建文件夹,没有类似-cd进入目录的参数

$ hdfs dfs -mkdir -p /aaa/bbb/ccc #级联创建目录

$ hdfs dfs -ls / #查看

$ hdfs dfs -put b.txt /input #把本地文件拷到HDFS

$ hdfs dfs -cat /input2 #查看文件

$ hdfs dfs -rm /input2 #删除文件

$ hdfs dfs -rmr /input? #递归删除文件夹和里面的文件,推荐使用'-rm -r'格式;单字符通配符'?'

$ hdfs dfs -help

3、安装mysql

$ su -

# yum -y install mysql --安装mysql客户端、常用命令

# yum -y install mysql-server --mysql服务

# yum -y install mysql-devel --mysql develop扩展包

***以上可以合并为一句,-y表示所有提问回答都为yes

# yum -y install mysql mysql-server mysql-devel

# rpm -qa|grep mysql --查看安装的mysql

# rpm -ql my --查看安装位置

# rpm -e --nodeps my --卸载,nodeps:不检查依赖

# service mysqld start --启动mysql服务

# chkconfig mysqld on --设置开机启动

# /usr/bin/mysqladmin -uroot password 'root' --初始化密码,只能执行一次

给用户授权:

# mysql -uroot -proot

*** grant 权限 on 数据库对象(数据库.表) to 用户

mysql> grant all on *.* to root@'blue01.mydomain' identified by 'root';

mysql> flush privileges; #刷新授权表,可以不执行

mysql> set password for root@localhost = password('root'); --修改密码

mysql> show databases;

** mysql数据库默认只允许root用户通过localho)来登录使用

** 想要使用Windows上的Navicat登录,需要授权

** mysql> grant all on *.* to root@'192.168.122.1' identified by 'root';

附:yum命令和rpm命令安装的都是rpm包

yum安装包的来源: 来自互联网(由仓库配置文件指定)

rpm安装包的来源: 先提取现在需要安装的软件包

----------------------

4、开始安装Hive

# su - tom

$ tar zxf /opt/software

** 在conf/目录:

$ cp -a --重命名,-a连同原来属性一起复制

$ cp -a

5、修改

JAVA_HOME=/opt/module

HADOOP_HOME=/opt/module

export HIVE_CONF_DIR=/opt/module

6、配置,注意:用户名和密码不可以有空格

<property>

<name>javax.jdo.o;/name>

<value>jdbc:mysql://blue01.mydomain:3306/metastore?createDatabaseIfNotExist=true</value>

</property>

<property>

<name>javax.jdo.o;/name>

<value>com.my;/value>

</property>

<property>

<name>javax.jdo.o;/name>

<value>root</value>

</property>

<property>

<name>javax.jdo.o;/name>

<value>root</value>

</property>

7、拷贝mysql驱动到lib/

** 若是jar已解压,则不必执行这步:$ tar zxf my

$ cp my /opt/module

8、进入Hadoop目录,修改目录权限

** /tmp存放临时文件

$ bin/hadoop fs -chmod g+w /tmp #给用户组加上写的权限

** /user/hive/warehouse为Hive存放数据的目录

$ bin/hdfs dfs -mkdir -p /user/hive/warehouse

$ bin/hadoop fs -chmod g+w /user/hive/warehouse

9、启动客户端使用Hive

$ bin/hive --用法几乎跟mysql一样

hive> show databases;

责任编辑: 鲁达

1.内容基于多重复合算法人工智能语言模型创作,旨在以深度学习研究为目的传播信息知识,内容观点与本网站无关,反馈举报请
2.仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证;
3.本站属于非营利性站点无毒无广告,请读者放心使用!

“如何用hive实现无限递归,Hive实现递归”边界阅读