虚拟机VMware下centos7安装ambari并搭建hdp集群

2020年5月19日14:43:10 发表评论 36 views

虚拟机安装centos7教程:

安装环境:centos7

集群环境:(第一次安装,建议使用两台机器即可,成功后根据需要配置多台)

机器名 IP 备注

1968.635 主节点 centos 7(2G + 40G)

1968.636 子节点 centos 7(3G + 40G)

注意:子节点虚拟机先不用安装,因为主节点和子节点的许多配置需要保持一致,因此为了方便,在上配置好后,直接克隆该虚拟机作为子节点即可,在子节点上只需更改hostname、IP地址、MAC地址等即可,不需要再重复配置。

配置环境()

1、 修改主机名并查看

[root@localhost ~]# hostnamectl set-hostname

[root@localhost ~]# hostname

2、 配置hosts

[root@localhost ~]# vi /etc/hosts

添加如下信息(用于节点之间互相通信)

1968.635

1968.636

3、 关闭防火墙(节点之间访问端口,不关闭防火墙访问不了,后期可根据需要开放指定端口)

[root@localhost ~]# systemctl disable firewalld.service

[root@localhost ~]# systemctl stop firewalld.service

4、 关闭selinux

[root@localhost ~]# vi /etc/sysconfig/selinux

修改 SELINUX = enforcing 为 SELINUX = disabled

5、 更改yum源(下载更快)

​ 备份

​ [root@localhost ~]# mv /etc/CentOS-Base.repo /etc/CentOS-Base.repo.backup

​ 更换

​ [root@localhost ~]# cd /etc/

​ [root@localhost yum.repos.d]# wget

​ 更新

​ [root@localhost yum.repos.d]# yum clean all

​ [root@localhost yum.repos.d]# yum makecache

6、 配置时钟同步

​ 安装

​ [root@localhost yum.repos.d]# yum install -y ntp

​ 设置开机自启

​ [root@localhost yum.repos.d]# systemctl enable ntpd

​ 启动ntp

​ [root@localhost yum.repos.d]# systemctl start ntpd

​ 查看ntp状态

​ [root@localhost yum.repos.d]# systemctl is-enabled ntpd

虚拟机VMware下centos7安装ambari并搭建hdp集群

7、 安装JDK

​ 解压

​ [root@localhost yum.repos.d]# cd /usr/local

​ [root@localhost local]# mkdir jdk8

​ [root@localhost local]# cd jdk8

​ [root@localhost jdk8]# mkdir /downloads

​ [root@localhost jdk8]# tar -zxvf /downloads/

​ 配置环境变量

​ [root@localhost jdk8]# vi /etc/profile

​ 添加如下信息:

#java

export JAVA_HOME=/usr/local/jdk8/jdk.0_251

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

​ 环境变量生效

​ [root@localhost jdk8]# source /etc/profile

​ 检查是否安装成功

​ [root@localhost jdk8]# java -version

虚拟机VMware下centos7安装ambari并搭建hdp集群

以上配置为基本配置,每个节点都需要上述的相同配置,因此配置好主节点后,克隆该虚拟机,避免重复配置

9、 克隆子节点

虚拟机VMware下centos7安装ambari并搭建hdp集群

虚拟机VMware下centos7安装ambari并搭建hdp集群

虚拟机VMware下centos7安装ambari并搭建hdp集群

虚拟机VMware下centos7安装ambari并搭建hdp集群

虚拟机VMware下centos7安装ambari并搭建hdp集群

10、子节点修改hostname

​ [root@ambari ~]# hostnamectl set-hostname

下面的配置只针对主节点

11、设置ssh免密登录

​ 测试各个节点互通

​ server主机:ping 或 ping 1968.636(agent主机ip)

​ agent主机:ping 或 ping 1968.665(server主机ip)

​ 生成密钥文件

​ [root@ambari ~]# ssh-keygen -t rsa

虚拟机VMware下centos7安装ambari并搭建hdp集群

​ 到生成的目录查看

​ [root@ambari ~]# cd .ssh

​ [root@ambari .ssh]# ls

虚拟机VMware下centos7安装ambari并搭建hdp集群

​ id_rsa为私钥文件,为公钥文件

​ 将公钥文件复制到子节点

​ [root@ambari .ssh]# ssh-copy-id -i ~/.ssh/ root@1968.636

​ 期间输入yes和子节点主机密码

虚拟机VMware下centos7安装ambari并搭建hdp集群

​ 测试免密登录

​ [root@ambari .ssh]# ssh 1968.636

​ [root@ambari ~]# exit(退出子节点登录)

虚拟机VMware下centos7安装ambari并搭建hdp集群

离线安装ambari

主节点准备工作完成后,开始离线安装ambari(在线安装太慢)

1、 部署本地库

​ 下载 Ambari与HDP 官网:Hortonworks

​ http://public-repo-1.hortonworks.com/HDP-UTILS-.0.21/repos/centos7/HDP-UTILS-.0.21-centos7.tar.gz

​ 利用Xftp 6将下载的文件复制到/downloads目录下

​ 安装本地源工具

​ [root@ambari .ssh]# yum install yum-utils createrepo yum-plugin-priorities -y

​ [root@ambari .ssh]# vi /etc/yum/

​ 文件中添加gpgcheck = 0

​ 配置http服务

​ [root@ambari .ssh]# yum install httpd

​ [root@ambari .ssh]# systemctl enable httpd

​ [root@ambari .ssh]# systemctl start httpd

​ 创建本地源(将下载的3个tar包解压到/var/www/html 相应目录下)

​ [root@ambari .ssh]# cd /var/www/html/

​ [root@ambari html]# mkdir ambari

​ [root@ambari html]# mkdir hdp

​ [root@ambari html]# cd /downloads/

​ [root@ambari downloads]# ls

虚拟机VMware下centos7安装ambari并搭建hdp集群

​ [root@ambari downloads]# tar -zxvf -centos7.tar.gz -C /var/www/html/ambari

​ [root@ambari downloads]# tar -zxvf -centos7-rpm.tar.gz -C /var/www/html/hdp

​ [root@ambari downloads]# tar -zxvf HDP-UTILS-.0.21-centos7.tar.gz -C /var/www/html/hdp

​ 1.6 createrepo

​ [root@ambari downloads]# cd /var/www/html/ambari/

​ [root@ambari ambari]# createrepo ./

​ 下载、,配置为本地源

​ [root@ambari ambari]# cd /etc/

​ [root@ambari yum.repos.d]# ls

虚拟机VMware下centos7安装ambari并搭建hdp集群

​ [root@ambari yum.repos.d]# wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/.0.3/

​ [root@ambari yum.repos.d]# vi

​ 配置如下 :

#VERSION_NUMBER=

[]

name=ambari Version - 

baseurl=http:///ambari/ambari/centos7/

gpgcheck=1

gpgkey=http:///ambari/ambari/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

​ [root@ambari yum.repos.d]# wget -nv

​ [root@ambari yum.repos.d]# vi hdp.repo

​ 配置如下 :

#VERSION_NUMBER=

[]

name=HDP Version - 

baseurl=http:///hdp/HDP/centos7/

gpgcheck=1

gpgkey=http:///hdp/HDP/centos7/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1


[HDP-UTILS-.0.21]

name=HDP-UTILS Version - HDP-UTILS-.0.21

baseurl=http:///hdp/

gpgcheck=1

gpgkey=http:///hdp/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

​ 执行yum命令

​ [root@ambari yum.repos.d]# yum clean all

​ [root@ambari yum.repos.d]# yum makecache

​ 访问本地源,检查是否安装成功

​ 1968.635/hdp(主节点ip)

​ 1968.635/ambari(主节点ip)

2、 现在可以开始安装ambari了

​ 检查仓库是否可用

​ [root@ambari hdp]# yum repolist

虚拟机VMware下centos7安装ambari并搭建hdp集群

​ 安装

​ [root@ambari yum.repos.d]# yum install ambari-server

​ 配置ambari-server(主要配置用户、jdk和数据库,ambari默认使用PostgreSQL,可配置为mysql,此处略过)

​ [root@ambari yum.repos.d]# ambari-server setup

虚拟机VMware下centos7安装ambari并搭建hdp集群

​ 启动Ambari-server(出现如图错误原因可不用理会)

​ [root@ambari yum.repos.d]# service ambari-server start

虚拟机VMware下centos7安装ambari并搭建hdp集群

​ 配置本机host(用于访问虚拟机)

​ C:\Windows\System32\drivers\etc目录下配置hosts文件

1968.635    

1968.636    

安装hdp集群

现在可以安装hdp集群了

1、 登录http://:8080/(admin/admin)

虚拟机VMware下centos7安装ambari并搭建hdp集群

2、 创建集群

虚拟机VMware下centos7安装ambari并搭建hdp集群

3、 集群名称

虚拟机VMware下centos7安装ambari并搭建hdp集群

4、 版本选择 (和下载版本一致)

虚拟机VMware下centos7安装ambari并搭建hdp集群

5、 选择本地库、配置本地源地址

虚拟机VMware下centos7安装ambari并搭建hdp集群

6、 配置子节点,上传master私钥

​ [root@ambari hdp]# cd ~/.ssh/

​ [root@ambari .ssh]# vi id_rsa

虚拟机VMware下centos7安装ambari并搭建hdp集群

虚拟机VMware下centos7安装ambari并搭建hdp集群

8、正在安装

虚拟机VMware下centos7安装ambari并搭建hdp集群

9、失败处理情况的处理。点击failed 查看日志错误信息

虚拟机VMware下centos7安装ambari并搭建hdp集群

10、根据日志错误信息处理

虚拟机VMware下centos7安装ambari并搭建hdp集群

​ 我遇到的错误:

ERROR 2020-05-18 22:16:11,389 NetUtil.py:93 - [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed ()
ERROR 2020-05-18 22:16:11,390 NetUtil.py:94 - SSLError: Failed to connect. Please check openssl library versions. 

​ 解决方案:

​ 登录子节点

​ [root@ambari ~]# vi /etc/python/

​ verify项改为verify=disable

​ [root@ambari ~]# vi /etc/ambari-agent/conf/

虚拟机VMware下centos7安装ambari并搭建hdp集群

​ [root@ambari ~]# ambari-agent restart

11、点击 retry failed 重新安装注册成功

虚拟机VMware下centos7安装ambari并搭建hdp集群

虚拟机VMware下centos7安装ambari并搭建hdp集群

虚拟机VMware下centos7安装ambari并搭建hdp集群

12、安装服务(hdfs+hbase+zookeeper+ambari metrics)

虚拟机VMware下centos7安装ambari并搭建hdp集群

13、选择每个host节点需要安装的组件

虚拟机VMware下centos7安装ambari并搭建hdp集群

14、配置每个节点是否需要安装client、nodemanager等

虚拟机VMware下centos7安装ambari并搭建hdp集群

15、依次选择具有红色提示的列(主要是设置密码)

虚拟机VMware下centos7安装ambari并搭建hdp集群

16、设置完毕后 ,点击下一步

虚拟机VMware下centos7安装ambari并搭建hdp集群

17、等待安装(过程比较漫长)

虚拟机VMware下centos7安装ambari并搭建hdp集群

虚拟机VMware下centos7安装ambari并搭建hdp集群

18、点击 installing …可查看服务安装信息

虚拟机VMware下centos7安装ambari并搭建hdp集群

19、安装成功,点击完成

虚拟机VMware下centos7安装ambari并搭建hdp集群

20、安装成功后,所有服务会自动启动。如下图节点的服务信息

虚拟机VMware下centos7安装ambari并搭建hdp集群

21、刚开始启动可能有报错信息,等待几分钟后还报错,根据报错信息处理

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: