随着公司业务发展，大数据集群规模正在不断扩大，一些大型集群物理机节点甚至已近上千。面对如此规模庞大的集群，一套优秀的监控系统是运维人员发现及处理故障的关键利器。经过多次选型和迭代，笔者选择了Prometheus，这款时下火热而强大的开源监控组件为核心来构建大数据集群监控平台。
最初的监控平台选型
公司最初采用的监控平台为Nagios+Ganglia或Zabbix+Grafana组合，但经过上线后长时间实践验证，发现这两个组合存在如下不尽人意之处：
Nagios+Ganglia
该搭配的主要问题在于Nagios只能对主机性能指标进行常规监控，在对大数据集群各组件进行监控时，则需要进行大量的自定义开发工作，且对集群的监控维度并不全面。而且由于Nagiso没有存储历史数据的功能，在面对一些集群性能分析或故障分析工作时，Nagios+Ganglia的搭配效果并不能达到运维人员的预期。
Zabbix+Ganglia
相比于前者，该搭配优点在于可以完成监控数据可视化的工作，在集群性能分析和故障分析方面能够实现运维人员的各类需求，且对外提供web管理页面，能够简化上手难度。虽然如此，该搭配还是存在一些问题，例如当集群达到一定数量规模时，监控存储数据库就会成为性能瓶颈，面对大规模的数据读写会捉襟见肘，导致Grafana查询缓慢甚至卡死。
监控平台选型优化
鉴于以上两种组合存在的缺点，根据实际工作需要，笔者对监控平台的选型进行了优化，选择了Prometheus+Alertmanager+Grafana的组合。之所以选择该组合作为平台核心，是因为其具有以下几点优势：
内置优秀的TSDB数据库，可以轻松应对大数据量并发查询，为运维人员提供关键指标;
强大的Promql，可以通过各类内置函数，获取各维度搜索监控数据用于Grafana出图;
Prometheus基于Go语言开发，Go高效的运行效率，使其拥有天生的速度优势;
活跃的Github社区，提供丰富的Client库。
