一、环境介绍

二、安装elasticsearch_exporter

注：elasticsearch_exporter只运行一个服务，不需要每个node都运行

[root@es-01 ~]# wget https://github.com/justwatchcom/elasticsearch_exporter/releases/download/v1.1.0/elasticsearch_exporter-1.1.0.linux-amd64.tar.gz
[root@es-01 ~]# tar zxvf elasticsearch_exporter-1.1.0.linux-amd64.tar.gz
[root@es-01 ~]# cd elasticsearch_exporter-1.1.0.linux-amd64
[root@es-01 elasticsearch_exporter-1.1.0.linux-amd64]# tree
.
├── CHANGELOG.md
├── dashboard.json              #grafana 模板
├── deployment.yml              #elasticsearch部署在k8s使用
├── elasticsearch_exporter      #exporter执行文件
├── elasticsearch.rules         #告警规则
├── LICENSE
└── README.md

[root@es-01 elasticsearch_exporter-1.1.0.linux-amd64]# mv elasticsearch_exporter /usr/local/bin/
[root@es-01 elasticsearch_exporter-1.1.0.linux-amd64]# yum -y install golang
[root@es-01 elasticsearch_exporter-1.1.0.linux-amd64]# cat > /etc/systemd/system/elasticsearch_exporter.service << EOF
[Unit]
Description=Prometheus elasticsearch_exporter
After=local-fs.target network-online.target network.target
Wants=local-fs.target network-online.target network.target

[Service]
User=root
Nice=10
ExecStart = /usr/local/bin/elasticsearch_exporter \
             --es.all --es.indices \
             --es.cluster_settings \
             --es.indices_settings \
             --es.shards --es.snapshots \
             --web.listen-address ":9114" \
             --es.uri http://192.168.10.200:9200
ExecStop= /usr/bin/killall elasticsearch_exporter

[Install]
WantedBy=default.target
EOF
[root@es-01 elasticsearch_exporter-1.1.0.linux-amd64]# cd ~
[root@es-01 ~]# systemctl daemon-reload
[root@es-01 ~]# systemctl enable elasticsearch_exporter
[root@es-01 ~]# systemctl start elasticsearch_exporter
[root@es-01 ~]# ps -ef|grep elasticsearch_exporter
root      95123      1  0 16:45 ?        00:00:00 /usr/local/bin/elasticsearch_exporter --es.all --es.indices --es.cluster_settings --web.listen-address :9114 --es.uri http://192.168.10.73:9200

启动成功后，可以访问 http://192.168.10.200:9114/metrics ，看抓取的信息

参数说明： --es.uri 　　　　默认http://localhost:9200，连接到的Elasticsearch节点的地址（主机和端口）。 这可以是本地节点（例如localhost：9200），也可以是远程 Elasticsearch服务器的地址 --es.all 默认flase，如果为true，则查询群集中所有节点的统计信息，而不仅仅是查询我们连接到的节点。 --es.cluster_settings 默认flase，如果为true，请在统计信息中查询集群设置 --es.indices 默认flase，如果为true，则查询统计信息以获取集群中的所有索引。 --es.indices_settings 默认flase，如果为true，则查询集群中所有索引的设置统计信息。 --es.shards 默认flase，如果为true，则查询集群中所有索引的统计信息，包括分片级统计信息（意味着es.indices = true）。 --es.snapshots 默认flase，如果为true，则查询集群快照的统计信息。

三、添加prometheus configmap

    - job_name: 'elasticsearch'
      scrape_interval: 60s
      scrape_timeout:  30s
      metrics_path: "/metrics"
      static_configs:
      - targets:
        - '192.168.10.200:9114'
        labels:
          service: elasticsearch
      relabel_configs:
      - source_labels: [__address__]
        regex: '(.*)\:9114'
        target_label:  'instance'
        replacement:   '$1'
      - source_labels: [__address__]
        regex:         '.*\.(.*)\.lan.*'
        target_label:  'environment'
        replacement:   '$1'

四、Grafana导入json

4.1、使用Grafana中的Dashboard,ID为:2322

https://grafana.com/dashboards/2322

4.2、使用官方dashboard(解压后的dashboard.json)

五、prometheus.rules告警规则

# alert if too few nodes are running
ALERT ElasticsearchTooFewNodesRunning
  IF elasticsearch_cluster_health_number_of_nodes < 3
  FOR 5m
  LABELS {severity="critical"}
  ANNOTATIONS {description="There are only {{$value}} < 3 ElasticSearch nodes running", summary="ElasticSearch running on less than 3 nodes"}

# alert if heap usage is over 90%
ALERT ElasticsearchHeapTooHigh
  IF elasticsearch_jvm_memory_used_bytes{area="heap"} / elasticsearch_jvm_memory_max_bytes{area="heap"} > 0.9
  FOR 15m
  LABELS {severity="critical"}
  ANNOTATIONS {description="The heap usage is over 90% for 15m", summary="ElasticSearch node {{$labels.node}} heap usage is high"}

六、exporter 参数说明