百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程文章 > 正文

0723-6.2.0-如何在RedHat7.2使用rpm安装CDH(有CM)

qiyuwang 2024-10-19 08:58 21 浏览 0 评论

文档编写目的

在之前的文档《0722-6.2.0-如何在RedHat7.2使用rpm安装CDH(无CM)》和《0722-6.2.0-如何在RedHat7.2使用rpm安装CDH(无CM)-2》中介绍了如何在CM上使用rpm的方式安装CDH6.2.0集群,本文档将介绍如何在CM上使用rpm的方式安装CDH6.2.0集群。

环境介绍:

  • 安装部署使用root用户进行操作
  • 安装的CDH和CM版本为6.2.0
  • OS为RedHat7.2
  • CDH集群的三个节点信息如下:



安装前置准备

2.1 服务器相关设置


安装CDH集群时需要做一些前置的准备,本次安装使用的环境已经做好前置准备,需要做的准备如下:

1.hosts以及hostname配置正确

2.服务器没有启用IPv6且配置了静态IP

3.禁用SELinux

4.关闭防火墙

5.设置swappiness为1

6.关闭透明大页面

7.配置NTP时钟同步

8.安装元数据库MySQL并创建好需要的数据库和用户




2.2 配置本地yum源


1.在官网下载好安装CDH集群需要的rpm包,地址如下:

https://archive.cloudera.com/cdh6/6.2.0/redhat7/yum/RPMS/




将上面所有的rpm包下载到服务器,如下:




在浏览器进行验证




2.执行createrepo命令

createrepo .





3.创建repo文件

创建cdh的repo

[cdhrepo]
name = cdh_repo
baseurl = http://192.168.0.178/cdh6_rpm/
enable = true
gpgcheck = false





创建cm的repo

[cm6.2.0]
name=cm_repo
baseurl=http://192.168.0.178/cm6.2.0/
enabled=1
gpgcheck=0





4.执行yum命令,查看本地yum源是否配置成功

yum clean all
yum repolist





安装Cloudera Manager

1.yum安装Cloudera Manager Server

yum -y install cloudera-manager-server





2.初始化数据库

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm cm password





3.启动Cloudera Manager Server

systemctl start cloudera-scm-server
systemctl status cloudera-scm-server





4.访问CM




安装CDH

1.登陆CM,admin/admin,进入欢迎页




2.同意许可




3.选择试用版




4.CDH安装欢迎页




5.集群名称




6.指定要安装的主机




7.选择存储库

CDH选择数据包的方式





指定CM的自定义存储库




8.JDK的安装




9.输入主机密码




10.集群安装需要的包



11.检测CDH版本




12.检查主机正确性




13.选择服务




14.为服务分配角色




15.设置数据库




16.集群设置




17.首次运行集群




18.集群安装完成




19.CM主页如下图




CDH组件测试


1.HDFS

[root@cdh178 ~]# sudo -u hdfs hdfs dfs -mkdir /user/root
[root@cdh178 ~]# sudo -u hdfs hdfs dfs -chown root:root /user/root
[root@cdh178 ~]# hadoop fs -put data.txt /user/root
[root@cdh178 ~]# hadoop fs -cat /user/root/data.txt





2.Hive

建表




插入数据




查询




3.Impala




4.MapReduce







总结

1.用CM以rpm安装与parcel安装在步骤上没有太大的区别,只是在指定存储库的那一步,rpm安装需要指定自己制作的存储库地址,而parcel安装只需要指定parcel包所在目录。

2.与rpm安装CDH6.2相比,除了CM界面上有些许不同之外,在步骤上也没有太大的差异,只是C6与C5的cm初始化脚本那一步不一样,需要注意。

相关推荐

基于Docker方式安装与部署Camunda流程引擎

1Camunda简介官网:https://docs.camunda.org/manual/7.19/installation/docker/Camunda是一个轻量级、开源且高度灵活的工作流和决策自...

宝塔Linux面板如何部署Java项目?(宝塔面板 linux)

通过宝塔面板部署Java还是很方便的,至少不需要自己输入tomcat之类的安装命令了。在部署java项目前,我还是先说下目前的系统环境,如果和我的系统环境不一样,导致部署不成功,那你可能需要去找其他资...

浪潮服务器如何用IPMI安装Linux系统

【注意事项】此处以浪潮服务器为例进行演示所需使用的软件:Chrome浏览器个人PC中需要预先安装java,推荐使用jdk-8u181-windows-x64.exe【操作步骤】1、在服务器的BIOS中...

Centos7环境Hadoop3集群搭建(hadoop集群环境搭建实验报告)

由于项目需要存储历史业务数据,经过评估数据量会达到100亿以上,在原有mongodb集群和ES集群基础上,需要搭建Hbase集群进行调研,所以首先总结一下Hadoop集群的搭建过程。一、三个节点的集群...

Hadoop高可用集群搭建及API调用(hadoop高可用原理)

NameNodeHA背景在Hadoop1中NameNode存在一个单点故障问题,如果NameNode所在的机器发生故障,整个集群就将不可用(Hadoop1中虽然有个SecorndaryNameNo...

使用Wordpress搭建一个属于自己的网站

现在开源的博客很多,但是考虑到wordpress对网站的seo做的很好,插件也多。并且全世界流量排名前1000万的网站有33.4%是用Wordpress搭建的!所以尝试用Wordpress搭建一个网站...

Centos 安装 Jenkins(centos 安装ssh)

1、Java安装查看系统是否已安装Javayumlistinstalled|grepjava...

Java教程:gitlab-使用入门(java中的git)

1导读本教程主要讲解了GitLab在项目的环境搭建和基本的使用,可以帮助大家在企业中能够自主搭建GitLab服务,并且可以GitLab中的组、权限、项目自主操作...

Dockerfile部署Java项目(docker部署java应用)

1、概述本文主要会简单介绍什么是Docker,什么是Dockerfile,如何安装Docker,Dockerfile如何编写,如何通过Dockerfile安装jar包并外置yaml文件以及如何通过do...

如何在Eclipse中搭建Zabbix源码的调试和开发环境

Zabbix是一款非常优秀的企业级软件,被设计用于对数万台服务器、虚拟机和网络设备的数百万个监控项进行实时监控。Zabbix是开放源码和免费的,这就意味着当出现bug时,我们可以很方便地通过调试源码来...

Java路径-02-Java环境配置(java环境搭建及配置教程)

1Window环境配置1.1下载...

35.Centos中安装python和web.py框架

文章目录前言1.Centos7python:2.Centos8python:3.进行下载web.py框架然后应用:4.安装好之后进行验证:5.总结:前言...

《我的世界》服务器搭建(我的世界服务器如何搭建)

1.CentOS7环境1.1更改YUM源#下载YUM源文件curl-o/etc/yum.repos.d/CentOS-Base.repohttps://mirrors.aliyun.com...

CentOS 7 升级 GCC 版本(centos7.4升级7.5)

1.GCC工具介绍GCC编译器:...

Linux安装Nginx详细教程(linux安装配置nginx)

环境准备1.因为Nginx依赖于gcc的编译环境,所以,需要安装编译环境来使Nginx能够编译起来。命令:yuminstallgcc-c++显示完毕,表示安装完成:2.Nginx的http模块需要...

取消回复欢迎 发表评论: