1. 项目概述为什么要在Ubuntu上部署Elastic Stack如果你正在处理日志、指标或者任何需要被搜索和分析的结构化或非结构化数据那么Elasticsearch这个名字你一定不陌生。它早已超越了“只是一个搜索引擎”的范畴成为了现代数据栈中处理海量数据实时检索和分析的核心组件。而Kibana作为Elastic Stack的“眼睛”则是将Elasticsearch中冰冷的数据转化为直观图表和可交互仪表盘的关键。今天我们不谈云端服务也不讲容器化部署就回归最经典、最可控的方式——在Ubuntu服务器上从零开始手动安装和配置Elasticsearch与Kibana。为什么选择Ubuntu对于大多数开发者和小型团队而言Ubuntu Server以其稳定的LTS版本、活跃的社区和丰富的软件包生态成为了搭建生产或测试环境的首选。手动安装的过程虽然比一键脚本或Docker镜像稍显繁琐但能让你透彻理解每一个组件的依赖、配置项和它们之间的协作关系。这对于后续的故障排查、性能调优和安全加固至关重要。这篇文章我将带你走一遍我多次在Ubuntu 22.04 LTS上部署Elastic Stack 8.x的完整流程分享其中的关键决策、避坑技巧和优化心得目标是让你部署出一套稳定、可用且安全基线达标的环境。2. 环境准备与核心依赖解析在开始下载安装包之前充分的准备工作能避免后续80%的奇怪错误。我们的目标是在一台干净的Ubuntu 22.04 LTS系统上部署Elasticsearch和Kibana 8.x版本。这里我强烈建议使用8.x而非更老的7.x因为8.x版本在安全默认开启TLS、用户认证、性能和功能上都有显著提升并且官方支持周期更长。2.1 系统资源评估与规划Elasticsearch是Java应用也是资源消耗大户尤其是内存。在规划阶段你需要对目标机器有清晰的认知。内存RAM这是最重要的资源。Elasticsearch的Java堆内存Heap Size默认设置为初始和最大均为4GB。官方建议堆内存不超过物理内存的50%且不超过32GB超过32GB会因JVM指针压缩失效而降低效率。剩余的内存将用于操作系统文件缓存File System Cache这对搜索和索引性能至关重要。对于学习和测试4GB内存的虚拟机勉强可以运行但对于生产环境16GB或以上是更稳妥的起点。我个人的经验是如果物理内存小于8GB建议先调整堆内存大小例如设置为2GB避免系统因内存不足而频繁使用Swap导致性能雪崩。磁盘DiskElasticsearch的数据目录会持续增长。你需要考虑容量根据你的数据量、副本数量和保留策略来估算。预留足够的增长空间。类型强烈推荐使用SSD。机械硬盘HDD的IOPS每秒输入输出操作次数会成为严重的性能瓶颈尤其是在索引和查询密集的场景下。文件系统Ext4或XFS都是成熟的选择。确保noatime挂载选项已启用以减少不必要的磁盘写入。CPUCoresElasticsearch能有效利用多核CPU进行并行处理。更多的核心意味着更好的并发索引和查询能力。对于中等负载4核是一个合理的起点。网络Network低延迟、高带宽的网络对于集群内节点通信和客户端访问都至关重要。在开始前请使用以下命令检查你的系统资源概况# 查看内存和交换空间 free -h # 查看磁盘空间和挂载选项 df -h # 查看CPU信息 lscpu2.2 系统基础配置与优化一个未经优化的默认Linux系统可能无法满足Elasticsearch的运行要求。我们需要进行几项关键配置。创建专用运行用户永远不要以root身份运行Elasticsearch或Kibana这是基本的安全准则。我们将创建一个名为elastic的系统用户和用户组。sudo adduser --system --no-create-home --group elastic--system创建系统用户--no-create-home不创建家目录--group同时创建同名的用户组。调整系统资源限制Elasticsearch可能会打开大量文件描述符File Descriptors和内存映射区域Memory Map Areas。我们需要提高这些限制。 编辑/etc/security/limits.conf文件在文件末尾添加elastic soft nofile 65536 elastic hard nofile 65536 elastic soft memlock unlimited elastic hard memlock unlimitednofile 65536将用户elastic能打开的最大文件数设置为65536。memlock unlimited允许elastic用户锁定所需的所有内存防止内存被交换Swap出去这对性能很重要。调整虚拟内存映射数量Elasticsearch使用大量的内存映射文件。需要增加vm.max_map_count的值。# 临时生效 sudo sysctl -w vm.max_map_count262144 # 永久生效编辑 /etc/sysctl.conf添加或修改 echo vm.max_map_count262144 | sudo tee -a /etc/sysctl.conf # 使永久配置生效 sudo sysctl -p关闭Swap交换分区虽然生产环境强烈建议禁用Swap但在内存有限的测试机上完全禁用可能导致OOM内存溢出杀死进程。一个折中的方案是尽量减少Swap的使用倾向。# 临时生效 sudo swapoff -a # 永久生效注释掉 /etc/fstab 中所有包含 swap 的行 sudo sed -i /swap/s/^/#/ /etc/fstab如果内存紧张可以配置Elasticsearch本身的内存锁定和Swap控制但这属于更高级的调优。注意以上所有系统限制的修改在用户elastic下次登录即启动Elasticsearch进程时才会生效。如果你在配置后立即启动服务并遇到问题可以尝试重新登录或重启系统。3. Elasticsearch 8.x 安装与核心配置详解完成系统准备后我们进入核心环节——安装和配置Elasticsearch。我将采用官方APT仓库的方式安装这便于后续的版本管理和安全更新。3.1 通过APT仓库安装Elasticsearch首先导入Elasticsearch的GPG密钥以确保下载软件包的完整性。wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo gpg --dearmor -o /usr/share/keyrings/elasticsearch-keyring.gpg接下来添加Elasticsearch的APT仓库源。这里我们安装8.x版本。echo deb [signed-by/usr/share/keyrings/elasticsearch-keyring.gpg] https://artifacts.elastic.co/packages/8.x/apt stable main | sudo tee /etc/apt/sources.list.d/elastic-8.x.list更新APT包列表并安装Elasticsearch。sudo apt update sudo apt install elasticsearch安装过程会自动完成几件事创建必要的系统目录、将Elasticsearch注册为systemd服务、生成默认配置文件等。3.2 深度解析与定制elasticsearch.yml安装完成后配置文件位于/etc/elasticsearch/elasticsearch.yml。这是整个Elasticsearch的“大脑”我们需要仔细调整。在修改前建议先备份原文件。1. 集群与节点名称cluster.name: my-application node.name: node-1cluster.name集群内所有节点必须一致。给你的集群起个有意义的名字。node.name每个节点的唯一标识默认是机器主机名。建议显式设置便于在监控中识别。2. 网络与发现配置单节点关键network.host: 0.0.0.0 http.port: 9200 discovery.type: single-nodenetwork.host: 0.0.0.0允许从任何网络接口访问。生产环境请务必谨慎你应该绑定到具体的内网IP如192.168.1.100并结合防火墙规则。这里为了演示方便设置为0.0.0.0。http.portREST API端口默认9200。discovery.type: single-node这是单节点部署最重要的配置它告诉Elasticsearch这是一个单节点集群跳过引导检查Bootstrap Checks中关于至少需要3个主节点的要求。对于学习和开发环境这是必须的。3. 内存与路径配置path.data: /var/lib/elasticsearch path.logs: /var/log/elasticsearch数据目录和日志目录。确保elastic用户对这些目录有读写权限安装包通常已设置好。4. 安全配置8.x默认开启Elasticsearch 8.x默认开启了安全功能TLS和用户认证。首次启动时它会在/etc/elasticsearch目录下生成一个certs文件夹包含HTTP层端口9200和节点间通信的TLS证书和密钥。同时会在日志中打印出内置elastic用户的初始密码。请务必保存这个密码如果你想在开发初期暂时禁用安全不推荐可以设置xpack.security.enabled: false xpack.security.enrollment.enabled: false但请记住在暴露到网络前一定要重新启用安全配置。5. JVM堆内存调整配置文件位于/etc/elasticsearch/jvm.options。默认的-Xms4g和-Xmx4g表示堆内存初始和最大均为4GB。请根据你的机器内存调整。例如在4GB内存的机器上可以设置为-Xms2g -Xmx2g重要原则-Xms和-Xmx必须设置成相同的值以避免运行时堆内存调整带来的性能开销。3.3 启动服务与验证安装配置完成后将文件所有权赋予elastic用户然后启动服务。sudo chown -R elastic:elastic /etc/elasticsearch sudo systemctl daemon-reload sudo systemctl enable elasticsearch sudo systemctl start elasticsearch使用systemctl status elasticsearch检查服务状态。如果状态为active (running)恭喜你Elasticsearch服务已经跑起来了。现在我们来验证安装。由于8.x默认开启了HTTPS和认证我们需要使用curl命令并携带首次启动时生成的密码。# 假设你的密码是 ‘your-initial-password’ curl --cacert /etc/elasticsearch/certs/http_ca.crt -u elastic:your-initial-password https://localhost:9200如果一切正常你会看到一个包含you Know, for Search的JSON响应其中包含了集群名称、节点名称、Elasticsearch版本等信息。实操心得第一次启动时务必查看Elasticsearch的日志以获取elastic用户的初始密码。命令是sudo journalctl -u elasticsearch --no-pager | grep password。如果错过了可以运行/usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic来重置密码。4. Kibana 8.x 安装与可视化界面对接Elasticsearch已经就绪现在我们需要安装它的“驾驶舱”——Kibana。Kibana也是一个独立的服务通过HTTP与Elasticsearch通信。4.1 安装Kibana并建立安全连接同样通过APT仓库安装Kibana。sudo apt install kibanaKibana的主要配置文件是/etc/kibana/kibana.yml。关键的配置项如下1. 服务端口与绑定地址server.port: 5601 server.host: “0.0.0.0”server.host同样生产环境应绑定到特定IP。2. 连接Elasticsearch核心配置这是最关键的一步。Kibana需要知道如何连接到一个开启了安全的Elasticsearch。elasticsearch.hosts: [“https://localhost:9200”] elasticsearch.username: “kibana_system” elasticsearch.password: “your-kibana-system-password”elasticsearch.hosts: 数组格式指向你的Elasticsearch节点。注意是https协议。elasticsearch.username: 使用kibana_system这个内置用户。这个用户是专门为Kibana连接Elasticsearch而设计的拥有必要的权限。elasticsearch.password:kibana_system用户的密码。这个密码不是elastic用户的密码它是在Elasticsearch首次启动时与elastic用户密码一同生成的。你可以在Elasticsearch的日志中查找或者使用以下命令在Elasticsearch中重置# 在Elasticsearch所在服务器执行 /usr/share/elasticsearch/bin/elasticsearch-reset-password -u kibana_system -i交互式命令会提示你输入并确认新密码。3. 提供CA证书为了让Kibana信任Elasticsearch的HTTPS证书需要配置CA证书路径。elasticsearch.ssl.certificateAuthorities: [ “/etc/elasticsearch/certs/http_ca.crt” ]4.2 启动Kibana并完成初始化引导配置完成后启动Kibana服务。sudo systemctl enable kibana sudo systemctl start kibana使用sudo systemctl status kibana检查状态。当Kibana服务成功启动后打开浏览器访问http://你的服务器IP:5601。第一次访问时Kibana会检测到Elasticsearch已开启安全并引导你进行令牌Enrollment Token验证或直接使用用户名密码登录。推荐流程在浏览器中Kibana会提示你需要一个验证码。回到Elasticsearch服务器终端运行以下命令生成一个一次性使用的注册令牌/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana将生成的令牌一串长字符复制到浏览器的输入框中点击“配置Elastic”。接下来Kibana会引导你登录。使用内置的超级用户elastic和你在启动Elasticsearch时保存的密码进行登录。登录成功后你就进入了Kibana的主界面至此Elasticsearch和Kibana的安装与基础对接全部完成。5. 基础功能验证与数据初体验安装完成不是终点而是起点。我们现在用最快速的方式验证整套系统是否工作正常并建立对Elastic Stack工作流的直观感受。5.1 使用Kibana Dev Tools操作ElasticsearchKibana提供了一个非常强大的交互式开发工具——Dev Tools左侧导航栏 Management Dev Tools。在这里你可以直接编写和执行REST API请求来操作Elasticsearch无需在命令行中使用curl。让我们完成一个经典的“Hello World”流程创建索引、插入文档、搜索文档。1. 创建索引在Dev Tools的Console标签页中输入以下命令并点击发送按钮三角形图标。PUT /my-first-index { “settings”: { “number_of_shards”: 1, “number_of_replicas”: 0 } }PUT /my-first-index创建一个名为my-first-index的索引。number_of_shards: 主分片数设置为1。分片是Elasticsearch分布式存储的基础单元。number_of_replicas: 副本分片数设置为0。单节点环境下副本无法分配因为副本不能和主分片在同一节点所以设为0避免黄色健康状态。右侧返回“acknowledged”: true即表示创建成功。2. 插入一个文档POST /my-first-index/_doc { “title”: “My First Elasticsearch Document”, “content”: “This is the content of the document, and it’s searchable!”, “timestamp”: “2023-10-27T10:00:00”, “user”: “alice” }POST /my-first-index/_doc向my-first-index索引中添加一个文档。_doc是端点Elasticsearch会自动生成一个唯一的_id。返回结果中会包含生成的_id。3. 搜索文档GET /my-first-index/_search { “query”: { “match”: { “content”: “searchable” } } }这是一个简单的匹配查询match query在content字段中查找包含“searchable”这个词的文档。右侧会返回匹配的文档详情包括我们插入的数据。通过这个简单的流程你已经完成了对Elasticsearch最基本的写入和查询操作。5.2 探索Kibana核心功能模块完成基础操作后花点时间浏览一下Kibana的各个模块了解它能做什么Discover发现这是你探索数据的起点。你可以选择索引模式Index Pattern然后以表格形式查看原始文档并进行简单的过滤和搜索。你可以在这里验证数据是否被正确摄入。Dashboard仪表盘Kibana的精华所在。你可以将各种可视化组件图表、地图、表格组合在一起形成综合性的业务监控大屏。例如将日志错误数、响应时间趋势、地理分布图放在一个屏幕上。Visualize可视化创建各种图表的工具如柱状图、折线图、饼图、指标卡等。它基于Elasticsearch的聚合Aggregation功能。Machine Learning机器学习用于异常检测和预测的高级功能。Stack Management堆栈管理管理索引生命周期策略ILM、快照与恢复、用户与角色权限等。注意事项在Discover中查看数据前你需要先创建一个“索引模式”Index Pattern。例如我们的索引叫my-first-index你可以创建模式my-first-*来匹配它。Kibana通过索引模式来知道哪些Elasticsearch索引可以被分析。6. 生产环境考量与常见故障排查将这套系统用于开发测试或许已经足够但如果要迈向生产环境还有一系列重要的步骤和考量。同时了解常见问题的排查思路也至关重要。6.1 安全加固与权限管理默认安装虽然开启了安全但密码是自动生成的且网络绑定在0.0.0.0。生产环境必须加固。修改默认密码立即修改elastic超级用户和kibana_system用户的密码。/usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic -i /usr/share/elasticsearch/bin/elasticsearch-reset-password -u kibana_system -i别忘了同步更新Kibana配置文件(kibana.yml)中的密码。配置防火墙使用ufwUncomplicated Firewall或iptables严格限制访问。sudo ufw allow from 192.168.1.0/24 to any port 9200 proto tcp # 只允许内网访问ES sudo ufw allow from 192.168.1.0/24 to any port 5601 proto tcp # 只允许内网访问Kibana sudo ufw enable将192.168.1.0/24替换为你的实际内网网段。使用角色-Based访问控制RBAC不要所有应用都使用elastic用户。在Kibana的Stack Management Security Roles中创建具有最小权限原则的角色如log_writer,dashboard_viewer然后在Users中创建对应用户并分配角色。在应用程序中使用这些专用用户而非超级用户进行连接。6.2 性能调优与监控JVM堆内存如前所述根据物理内存调整/etc/elasticsearch/jvm.options。监控堆内存使用情况长期超过75%就需要考虑扩容或优化。线程池与队列对于高写入场景可以监控/_cat/thread_pool端点如果出现rejected拒绝可能需要调整thread_pool.write.queue_size等参数。索引设计优化分片大小单个分片建议在10GB-50GB之间。分片过多会增加集群开销过大会影响恢复和再平衡速度。在创建索引时合理设置number_of_shards。使用索引生命周期管理ILM对于时序数据如日志使用ILM策略自动实现热Hot、温Warm、冷Cold、删除Delete的数据管理优化存储成本和性能。启用监控Elastic Stack自带监控功能。在Kibana的Stack Management Monitoring中启用可以集中查看集群健康、节点状态、索引性能等指标这是运维的千里眼。6.3 常见问题与解决方案实录在实际部署中你几乎一定会遇到下面这些问题。这里是我的排查笔记问题1Elasticsearch启动失败日志显示bootstrap checks failed现象服务状态为failed日志中有“max virtual memory areas vm.max_map_count [65530] is too low”或“max file descriptors [4096] for elasticsearch process is too low”等错误。原因系统资源限制未正确配置。解决返回章节2.2确保已正确修改/etc/security/limits.conf和sysctl设置并且使用elastic用户重启服务。修改limits.conf后需要重新登录会话生效。问题2Kibana无法连接Elasticsearch报错Connection Error或Unauthorized现象Kibana页面显示红色错误条或服务日志报错。排查步骤检查网络和端口在Kibana服务器上执行curl -k https://localhost:9200(如果ES在本机) 或telnet es_host 9200看ES服务是否可达。检查证书路径确认kibana.yml中elasticsearch.ssl.certificateAuthorities路径指向的文件http_ca.crt是否存在且可读。检查用户名密码这是最常见的原因。使用curl命令验证凭据curl --cacert /etc/elasticsearch/certs/http_ca.crt -u kibana_system:your_password https://localhost:9200如果返回401错误说明密码错误。使用elasticsearch-reset-password工具重置kibana_system用户密码并更新kibana.yml。检查Elasticsearch日志查看/var/log/elasticsearch/cluster-name.log看是否有关于认证失败的更详细记录。问题3索引状态为黄色Yellow现象访问https://localhost:9200/_cat/health?vstatus列为yellow。原因单节点集群中索引的副本分片replica无法被分配因为副本不能与主分片primary位于同一节点。解决对于单节点开发环境这是预期状态。你可以通过将索引的副本数设置为0来消除黄色状态如我们在创建索引时所做。对于生产多节点集群黄色状态可能意味着有节点离线导致副本未分配。问题4写入或查询速度慢可能原因与排查磁盘IO瓶颈使用iostat -x 1查看磁盘使用率%util和等待时间await。如果持续很高考虑升级为SSD。内存不足使用free -h和top查看内存和Swap使用情况。如果Swap被频繁使用性能会急剧下降。确保为ES分配了足够堆内存并且系统有充足的空闲内存供文件缓存使用。GC垃圾回收频繁查看ES日志或使用jstat工具监控JVM GC情况。如果Full GC频繁说明堆内存可能不足或存在内存泄漏需要调整堆大小或分析内存使用。复杂的查询或聚合使用_search接口的profile: true参数来分析查询各个阶段的耗时优化查询语句或索引映射。这套从系统准备、软件安装、配置详解、功能验证到生产考量的流程是我在多次部署中总结下来的。手动安装的过程就像组装一台精密仪器每一步的拧紧和校准都是为了最终运行的稳定和高效。当你看到Kibana仪表盘上数据流动起来的那一刻前面的所有繁琐都会变得值得。记住在数据的世界里清晰的可视化不仅是结果的展示更是发现问题、理解系统的起点。