Elasticsearch技术问答系列-NO3（elasticsearch curator）

一.elasticsearch在部署时，对Linux的设置有哪些优化过程？

1. 文件描述符限制：Elasticsearch需要大量的文件描述符来处理数据和连接。因此，需要确保调整系统的文件描述符限制。这可以通过修改 /etc/security/limits.conf 文件来增加限制，例如设置 elasticsearch soft nofile 和 elasticsearch hard nofile 的值。
2. 虚拟内存设置：禁用虚拟内存的交换可以防止系统过度使用磁盘，从而提升性能。这有助于确保Elasticsearch在处理大量数据时能够稳定地运行。
3. 内核参数调整：根据Elasticsearch的要求，可以调整内核参数来提高性能。例如，调整 vm.max_map_count 的值可以允许Elasticsearch使用更多的内存映射区域，从而提高其处理数据的能力。这可以在 /etc/sysctl.conf 中进行设置，并使用 sysctl -p 命令加载。
4. 禁用透明大页面：透明大页面（Transparent Huge Pages）在某些情况下可能会影响Elasticsearch的性能。因此，考虑禁用透明大页面以提高系统的稳定性。
5. 存储选择：使用SSD（固态硬盘）可以获得更好的性能。基于SSD的节点可以提升查询和索引的性能。如果经济条件允许，SSD是一个不错的选择。
6. JVM设置：确保运行应用程序的JVM和服务器上运行的JVM完全相同。在Elasticsearch中，堆内存的大小设置非常重要。需要配置堆大小以确保Elasticsearch具有足够的堆可用。可以通过设置 Xms（最小堆大小）和 Xmx（最大堆大小）来指定整个堆栈的大小。这些值应根据服务器上可用的内存大小进行合理设置。
7. 集群布局：应避免跨越多个数据中心的集群部署，尽量减少跨大的地理距离的部署，以优化网络性能和降低延迟。

二.lucence内部结构是什么？

Lucene的内部结构主要由以下几个组件组成：

1. 索引结构：这是Lucene的核心组件之一。数据被存储在称为索引的文件中，该索引是一个包含文档及其属性的有序数据结构。Lucene使用B+树数据结构来组织磁盘上的倒排索引，每个叶子节点包含多个文档ID和对应的词汇信息。
2. 分析器：分析器的主要任务是将文本转换成一系列的词汇符号。在这个过程中，分析器会对文本进行标准化处理，如去除标点符号、转换大小写等。
3. 倒排索引：为了提高搜索效率，Lucene使用倒排索引。倒排索引将词汇符号映射到包含该符号的文档列表。这使得Lucene能够快速地找到与查询相关的文档。
4. 查询处理：Lucene提供了一系列查询处理器来处理各种查询请求。查询可以包括单个词汇符号、多个词汇符号、短语、通配符等。

此外，Lucene的存储结构也值得注意。它采用目录和索引的概念，一个目录对应一个索引，索引又由多个段组成。每个段都有自己的索引，可以独立被查询，但数据一旦写入段中就不能更改。文档是建立索引的基本单位，它们被保存在不同的段中。每个文档可以包含不同类型的信息，这些信息可以分开索引，保存在不同的域里。

三.elasticsearch中的节点（比如共20个），其中的10个选举了一个master，另外10个选了另外一个master，怎么办？

在Elasticsearch中，正常情况下，整个集群中只会有一个活动的master节点。20个节点中的10个选举了一个master，另外10个选了另外一个master，这通常表示集群发生了分裂，也称为脑裂（split-brain）现象。脑裂是一个严重的问题，因为它可能导致数据不一致和其他相关问题。

为了解决这个问题，你可以采取以下步骤：

1. 识别问题：首先，需要确认确实发生了脑裂。这可以通过检查集群的健康状态、节点状态以及日志来确定。
2. 停止选举：如果可能，尝试停止正在进行的选举过程。这可能需要手动干预，因为自动恢复可能不适用。
3. 修复网络通信：检查网络连接，确保所有节点之间的通信畅通无阻。网络分区是导致脑裂的常见原因。
4. 最小主节点数（discovery.zen.minimum_master_nodes）：调整这个设置以确保在发生网络分区时，至少有一定数量的节点必须达成一致才能选举master。这个值通常设置为(总节点数 / 2) + 1，以确保在发生分区时，只有一个分区能够拥有足够的节点来选举master。
5. 重新加入集群：如果可能，尝试将分裂的节点重新加入集群。这可能涉及到重新启动节点并让它们重新发现集群。
6. 数据恢复：如果数据因为脑裂而受到影响，你可能需要从备份中恢复数据。确保在进行任何恢复操作之前备份所有现有数据。
7. 预防措施：为了避免将来再次发生脑裂，建议采取以下预防措施：

• 定期检查集群的健康状态和节点状态。
• 确保网络稳定并配置适当的防火墙和路由规则。
• 监控集群的日志以识别潜在问题。
• 定期备份数据以防止数据丢失。