当我们决定要自己动手做一个Hadoop生态集群管理服务的时候我们已经入了运维的坑了。如果我们对于Hadoop生态集群管理服务到底有哪些功能，应该如何设计的话我们需要对现有的成熟的Hadoop生态安装管理服务进行剖析，帮助明确我们需要的功能以及系统的设计。

Ambari的运维部分是基于Puppet搞的，那么我们不会Ruby感觉Puppet上手很难怎么办？其实这种集群运维工具有很多，大家一起来看这张对比表。

​

puppet由Ruby编写，为server-client模式的系统。运行时由客户端定时去获取自己的配置文件进而应用更改。也可以通过master的push命令即可触发变更。

将命令，文件，服务等抽象成资源，概念比较统一，时间悠久，文档较多。

就可用操作，模块，用户界面等等功能而言，是三者之中最全面的，安装部署难度一般，配置清单相对于其他工具较复杂。

SaltStack

saltStack由Python编写，为server-client模式的系统（在salstack中叫Master-Minion），自己本身支持多master，而puppet则需要依赖于web服务器。saltstack除了可以通过在节点安装客户端进行管理还支持直接通过ssh进行管理。运行模式为master端下发指令，客户端接收指令执行。

saltstack依赖于zeromq消息队列，采用yaml格式编写配置文件，比较简单。

支持api及自定义python模块，能轻松实现功能扩展。

Ansible

类似与saltstack，基于python开发，关注的重点是精简和快速。不需要在节点安装代理软件，通过ssh执行所有功能。安装运行简单。

其模块可以用任何语言开发，采用yaml格式编写配置文件。

没有客户端，较难扩展。

我们发现Saltstack好像还比较满足我们的需要哈，同样是S/C架构，基于Python语言方便我们入手学习。那我们的集群管理服务底层的运维工具就基于Saltstack来扩展好了。选定了工具我们当然是要部署测试一下了，Saltstack安装部署大家可以看方文档。# 在Master机器sudo yum install https://repo.saltstack.com/yum/redhat/salt-repo-latest-2.el7.noarch.rpm yum clean expire-cache# 安装master服务sudo yum install salt-master# 安装minion服务sudo yum install salt-minion# 安装api服务sudo yum install salt-api #启动服务sudo systemctl restart salt-mastersudo systemctl restart salt-minionsudo systemctl restart salt-api # 在Minion机器sudo yum install https://repo.saltstack.com/yum/redhat/salt-repo-latest-2.el7.noarch.rpm yum clean expire-cache# 安装minion服务sudo yum install salt-minion#启动服务sudo systemctl restart salt-minion

安装完成之后我们需要对Minion进行简单配置：

修改Minion配置文件vi /etc/salt/minion # 添加master地址#master: saltmaster: 192.168.1.131 # 如果为分布式master配置添加多个#master: saltmaster: - {master1} - {master2}

修改Minion节点配置文件中的master为我们部署了salt-master的机器ip地址，然后我们在Master机器上进行如下操作：

1. 查看salt-minion节点，并签发证书，在salt-master节点执行以下命令。# 输入salt-key -L# 输出Accepted Keys:Denied Keys:Unaccepted Keys:datanode-1datanode-2datanode-3datanode-4namenode-1Rejected Keys: # 可见未签发证书的Minion节点，执行命令签发证书 # 输入salt-key -A -y #添加salt-key# 输出The following keys are going to be accepted:Unaccepted Keys:datanode-1datanode-2datanode-3datanode-4namenode-1Key for minion datanode-1 accepted.Key for minion datanode-2 accepted.Key for minion datanode-3 accepted.Key for minion datanode-4 accepted.Key for minion namenode-1 accepted. # 证书已签发，查看所有节点 # 输入salt-key -L# 输出Accepted Keys:datanode-1datanode-2datanode-3datanode-4namenode-1Denied Keys:Unaccepted Keys:Rejected Keys: # 测试ping命令# 输入salt datanode-* test.ping#输出datanode-2: Truedatanode-3: Truedatanode-1: Truedatanode-4: True # 测试shell命令# 输入salt datanode-* cmd.run 'uname -r'# 输出datanode-1: 3.10.0-514.26.2.el7.x86_64datanode-4: 3.10.0-514.26.2.el7.x86_64datanode-3: 3.10.0-514.26.2.el7.x86_64datanode-2: 3.10.0-514.26.2.el7.x86_64

这波操作看上去是不是非常的简单，简直666.除了通过命令行操作saltstack还提供了restful api供我们调用，还记得我们安装了salt-api这个模块吗，这个就是saltstack的api服务模块。当然它也需要简单的进行配置。# 配置用户useradd -M -s /sbin/nologin adminpasswd admin # 配置salt-master vi /etc/salt/master.d/saltapi.conf# 插入如下内容 rest_cherrypy: port: 8000 host: 0.0.0.0 disable_ssl: trueexternal_auth: pam: admin: - .* - '@runner' - '@wheel'

重启master和apisystemctl restart salt-mastersystemctl restart salt-api # 查看api是否启动netstat -tnlp | grep 8000

1. api相关用法及api接口参考官方文档 官方文档

2. 安装web ui进行访问 主流web ui有halite 和saltshaker 。

这里我们只讲述如何通过程序调用Salt-Api，由于SaltStack是基于Python语言开发的，所以我们简单介绍一下如何通过Python程序操作SaltStack，当然我们也可以通过Java调用salt-api，Java可以通过开源模块salt-netapi-client salt-netapi-client实现，通过pom引用即可，详情可看其示例代码。

无论是通过Python还是Java两者逻辑一致，大概分为如下几个步骤：

1. 构造saltclient示例，使用saltstack用户名和密码进行登录，获取访问token

2. 执行相关指令，获取返回值

3. 解析返回结果进行展示

测试程序：import salt.client import salt.config client = salt.client.LocalClient() master = salt.config.client_config('/etc/salt/master') minion = salt.config.minion_config('/etc/salt/minion') ping_result = client.cmd('*', 'test.ping') print ping_result{'datanode-1': True, 'namenode-1': True, 'datanode-3': True, 'datanode-2': True, 'datanode-4': True}

salt-api含有很多模块，各个模块的调用方式一致，均为：client.cmd('cluster_node_iporname', 'module.command', ['arg1','arg2'])

示例如下（包括命令行与api调用）：# 指定datanode-1压缩某个文件 salt 'datanode-1' archive.gzip /home/hadoop/test.sh # 命令行示例 client.cmd('datanode-1','archive.gunzip',['/home/hadoop/test.sh']) # python 调用示例 # 远程调用命令 salt '*' cmd.run 'ls' # 命令行示例 client.cmd('*', 'cmd.run', ['ls']) # python 调用示例 # copy命令 client.cmd('*','cp.get_file',['salt://1,sh','/root/1.sh']) #salt://1,sh可以换成http://ww.baidu.com/1.tar.gz之类的进行下载到指定目录 # 删除文件命令 salt '*' file.remove /tmp/foo # 命令行示例 client.cmd('*','file.remove',['/tmp/foo']) # python 调用示例

通过上面的样例程序我们对于saltstack的安装使用已经有了一个简单的认识，我们的目的是仿照Ambari基于puppet的架构来开发一个基于Saltstack的Hadoop生态集群安装管理服务。有兴趣的话大家可以思考一下我们到底怎么设计，都有哪些功能呢？