搭建CDH环境，部署并使用mysql（CDH配置使用mysql）

搭建CDH环境，部署并使用mysql

CDH（Cloudera Distribution of Hadoop）是一种分布式计算平台，用于快速处理大数据。它是由Cloudera公司发布的Hadoop，Zookeeper，HBase，Hive，Impala等工具的集合。本文将介绍如何搭建CDH环境并部署mysql。

一、准备工作

1、操作系统需求：CentOS 6.x或Red Hat Enterprise Linux 6.x，推荐64位系统。

2、硬件要求：至少4GB内存和2核心CPU。

3、软件需求：CDH发行版和mysql。

二、安装CDH

1、下载CDH发行版

可以从Cloudera官方网站下载CDH发行版，也可以使用以下命令从Cloudera托管源安装：

wget https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo
sudo mv cloudera-cdh5.repo /etc/yum.repos.d/
sudo yum install hadoop-hdfs hadoop-mapreduce hadoop-yarn hive impala

2、安装和启动mysql

可以通过以下命令安装mysql：

sudo yum install mysql-server mysql

安装完成后，使用以下命令启动mysql服务：

sudo service mysqld start

然后可以在终端中登录mysql：

mysql -u root -p

三、配置mysql

1、创建数据库

可以通过以下命令创建一个名为”testdb”的数据库：

CREATE DATABASE testdb;

2、创建用户和授权

可以通过以下命令创建名为”tester”的用户并为其授权：

CREATE USER 'tester'@'localhost' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON * . * TO 'tester'@'localhost';
FLUSH PRIVILEGES;

3、测试mysql连接

可以通过以下命令测试mysql连接是否正常：

mysql -u tester -p -h localhost

如果连接成功，将输入密码并进入mysql客户端。

四、在CDH上使用mysql

1、安装mysql驱动

可以通过以下命令安装mysql驱动：

sudo yum install mysql-connector-java

2、配置hive

找到hive-site.xml文件并添加以下配置：

  javax.jdo.option.ConnectionURL
  jdbc:mysql://localhost:3306/testdb?createDatabaseIfNotExist=true
  JDBC connect string for a JDBC metastore.


  javax.jdo.option.ConnectionDriverName
  com.mysql.jdbc.Driver
  Driver class name for a JDBC metastore


  javax.jdo.option.ConnectionUserName
  tester
  username to use agnst metastore database


  javax.jdo.option.ConnectionPassword
  password
  password to use agnst metastore database

3、测试连接

可以通过以下命令测试hive是否可以连接mysql：

hive -e "show tables;"

如果连接成功，将显示数据库中的所有表。

总结

本文介绍了如何搭建CDH环境并在其中部署mysql。通过这个过程，您将学习到如何安装和配置CDH，如何安装和启动mysql，如何在mysql中创建数据库和用户以及如何在CDH上使用mysql。希望这篇文章对您有所帮助。