luda 创建文档的目的
上一句《5.16.2-如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》说明了如何将包含厘米的PostgreSQL迁移到外部PostgreSQL。这是因为包含CM的PostgreSQL数据库不支持直接迁移到MySQL。
本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。注意：不支持直接从Cloudera Manager嵌入式PostgreSQL迁移到MySQL / Oracle数据库。您必须首先从Cloudera Manager嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器。
只有在成功从嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器后，才能迁移到外部MySQL或Oracle数据库。
- 内容概述
- 安装Mariadb服务
- 数据库迁移
- 验证
- 总结
- 测试环境
- CM和CDH版本均为5.16.2
- 采用root用户
迁移前集群环境确认
CM元数据库类型为postgresql
cat /etc/cloudera-scm-serverHue用户及用户组
Hue的数据库类型为PostgreSQL
用户信息
用户组信息
管理员信息
hive数据库及表信息
Hive的数据库类型为PostgreSQL
如下所示，当前hive中有default和test两个数据库；default数据库中有两个表。
查看table_partitioned表的数据
Sentry授权信息
Sentry的数据库类型为PostgreSQL
Sentry的授权信息如下
安装MySQL
选一台节点安装MariaDB服务
yum -y install mariadb mariadb-server启动mariadb服务并设置为开机自启动
systemctl start mariadb systemctl enable mariadbsystemctl status mariadb | grep Active初始化MariaDB数据库
/usr/bin/mySQL_secure_installation使用root用户登录查看当前数据库
安装MySQL JDBC驱动
将mysql驱动上传至/usr/share/java目录，并以软链接的方式去掉驱动版本号
迁移CM元数据库
导出Cloudera Manager配置文件
获取当前支持的API版本
curl -u admin:admin ";导出json格式配置文件
curl -u admin:admin "; > /root/cm执行如下命令，保留Cloudera Manager的GUID号
sudo -u postgres psql -qtAX scm -c "select GUID from CM_VERSION" > /etc/cloudera-scm-server/uuid停止集群和Cloudera Management Service服务
在CM节点上执行如下命令停止cloudera-scm-server服务
systemctl stop cloudera-scm-serversystemctl status cloudera-scm-server | grep Active登录MySQL执行如下SQL语句创建scm数据库及用户并授权
create database scm default character set utf8;CREATE USER 'scm'@'%' IDENTIFIED BY 'password';GRANT ALL PRIVILEGES ON scm.* TO 'scm'@'%';FLUSH PRIVILEGES;执行如下命令，初始化Cloudera Manager数据库配置
/usr/share/cmf/schema mysql scm scm password清空所有节点的/var/run/cloudera-scm-agent/process/目录
使用批量命令，停止集群所有节点的agent和supervisor服务
sh node.list 'service cloudera-scm-agent next_stop_hard'sh node.list 'systemctl stop cloudera-scm-agent'查看进程是否已被停止
ps -ef | grep cmf-agentps -ef | grep supervisord使用批量命令，使用mv命令将集群所有节点的agent目录备份
sh node.list 'mv /var/run/cloudera-scm-agent /var/run/cloudera-scm-agent-BU'使用批量命令，启动集群所有节点的cloudera-scm-agent服务
sh node.list 'systemctl start cloudera-scm-agent'sh node.list 'systemctl status cloudera-scm-agent | grep Active'启动Cloudera Manager Server
systemctl start cloudera-scm-servernetstat -lnpt | grep 7180使用超级管理员用户登录CM
接收许可条款，【继续】
如果有许可证，上传许可证，没有许可证选择企业试用版，【继续】，然后单击左上角返回CM主页
注意：必须要上传许可证或者选择试用版继续之后再返回主页，否则会导致使用curl导入集群配置时失败。
当前CM主页状态如下：
执行如下命令调用CM API接口，恢复Cloudera Manager配置
curl -v -H "Content-Type: application/json" --upload-file /root/cm -u admin:admin ";再次查看CM主页，CM配置已导入成功
启动服务
启动Cloudera Mangement Service
Cloudera Management Service启动成功后，等待parcel分发完成，然后启动集群服务并分发客户端配置。
查看集群CM元数据库使用的数据库服务器，如下所示，此时已迁移至MySQL
cat /etc/cloudera-scm-server迁移集群其他服务元数据库
此时只有CM的数据库scm迁移到了MySQL，集群其他服务的元数据库（Hive、Sentry、Hue、Oozie等）仍然配置的为PostgreSQL，接下来主要介绍通过使用工具将PostgreSQL数据库迁移至MySQL数据库，如下示例以迁移Hive元数据库为例。
下载安装数据库转换工具 DBConvert for MySQL & PostgreSQL，下载地址如下：
下载完成之后解压，执行dbconvert_mysql_postgresql文件夹下的进行安装
安装完成后打开该软件，选择【Try】使用版
这里以hive元数据库转换为例，配置PostgreSQL数据库连接信息
测试连接成功，单击下一步
此时会显示数据库中的所有表，全部勾选；然后单击【OK】
配置目标数据库连接信息（即我们要迁移的MySQL信息）
测试连接成功后单击【Next】
自定义要转换的表，然后单击【Next】
单击【commit】开始进行转换
转换成功后显示如下
然后依次转换其他数据库即可
注意：转换hue数据库时，有些表因为外键的原因不能被转换，根据提示取消相关外键即可
数据库迁移完成后，登录mysql查看数据库如下：
创建用户并授予数据库上的权限
CREATE USER 'hive'@'%' IDENTIFIED BY 'password';GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%';FLUSH PRIVILEGES;CREATE USER 'sentry'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON sentry. * TO 'sentry'@'%'; FLUSH PRIVILEGES;CREATE USER 'rman'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON rman. * TO 'rman'@'%'; FLUSH PRIVILEGES;CREATE USER 'hue'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON hue. * TO 'hue'@'%'; FLUSH PRIVILEGES;CREATE USER 'oozie'@'%' IDENTIFIED BY 'password'; GRANT ALL PRIVILEGES ON oozie. * TO 'oozie'@'%'; FLUSH PRIVILEGES;更换数据库服务器
进入Hive配置页面，修改Hive的Metastore数据库类型为MySQL，然后修改其在 MySQL中的数据库名称
oozie服务重启失败，报错如下
Caused by: com.my 'oozie.VALIDATE_CONN' doesn't exist解决方式：为oozie服务创建数据库
完成上述修改后，然后回到CM主页，根据提示重启相关服务
服务重启完成后，此时数据库已迁移至MySQL数据库服务器。
迁移后验证
Hue验证
查看Hue当前数据库类型为MySQL
使用管理员账号admin登录Hue验证数据是否完整
admin用户的管理员权限与迁移前一致
迁移后的用户信息与迁移前数据一致
用户组信息与迁移前信息一致
Hive验证
查看Hive当前数据库类型为MySQL
通过Hue查看Hive数据库以及表信息如下：
查看分区表数据如下：
查看分区表结构如下：
由上图可知，数据库迁移完成后Hive的数据库、表、表结构以及表数据均迁移成功。
Sentry验证
查看Sentry当前数据库类型为MySQL
通过Hue查看Sentry的授权信息如下：
使用hive用户进行建表测试
建表成功
向表中插入数据，数据插入成功
执行查询操作，查询成功
总结
- 将Cloudera Manager服务使用的PostgreSQL迁移至MySQL时，主要通过CM API接口导出集群配置信息json文件，再通过CM API接口导入完成数据库的迁移。
- 集群其它服务（Hive、Sentry、Oozie、Hue等）在迁移时并未相应的API接口实现，主要是通过DBConvert for MySQL & PostgreSQL工具将PostgreSQL数据的数据转换为MySQL数据库的方式解决。
- 在进行Hue数据库转换的过程中由于部分表外键的问题，导致转换失败，需要将报错的外键取消勾选。
- Oozie服务重启失败，报错如下：
解决方式：为oozie服务创建数据库