ELK日志分析单机系统详解,2过程笔记

我们用ELK做日志分析系统,Elasticsearch1.7.3运行了近一年,最近已经将一个集群升级到ES5.1.1,但是遇到问题比较多。所以将另一个集群升级到社区推荐比较稳定的2.4.2。为了便于升级管理,操作都是用ansible来统一执行。

日志分析ELK平台,由ElasticSearch、Logstash和Kiabana三个开源工具组成。

一:停止monit守护进程

官方网站:

#集群的所有logstash、es进程都是由monit监控守护,先停止监控守护。感兴趣monit的可以看我另一篇文章《使用M/Monit进行可视化集中进程管理》

Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

$ ansible elksjs -m shell -a ‘/opt/monit/bin/monit -c
/opt/monit/conf/monitrc unmonitor all’

Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。

二:停止es集群写入

Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和
ElasticSearch 提供的日志分析友好的 Web
界面,可以帮助您汇总、分析和搜索重要数据日志。

#由于前端顶了kafka集群,所以后端停止写入,数据会堆积在kafka中。集群启动后继续消费。数据不会丢失。

ELK原理图:
永利集团304com 1

$ ansible elksjs -m shell -a ‘/etc/init.d/logstash start’

如图:Logstash收集AppServer产生的Log,并存放到ElasticSearch集群中,而Kibana则从ES集群中查询数据生成图表,再返回给Browser。

三:停止logstash写入后,同步副本commitd

ELK平台搭建
系统环境
System: CentOS release
6.7(Final)
ElasticSearch: elasticsearch-5.3.1.tar.gz
Logstash: logstash-5.3.1.tar.gz
Kibana: kibana-5.3.1-linux-x86_64.tar.gz
Java: openjdk version  ”1.8.0_131″

#和linux命令sync的类似,停机前将内存中数据刷到磁盘中。

ELK官网下载:

$ curl -XPOST localhost:9200/_flush/synced

永利集团304com 2

四:停机前禁止分片分配

JAVA环境配置

#禁止分片分配,防止集群启动后,某些节点没有及时加入而导致数据在集群中分配均衡,增加负载。应该等所有节点加入后,再开启分片分配。

下载最新版本1.8.0_131

$ curl -XPUT  localhost:9200/_cluster/settings -d
‘{“transient”:{“cluster.routing.allocation.enable”: “none”}}’

cd /tmp/

五:停止es

wget

#永利集团304com,停止所有es的节点。

tar zxf jdk-8u131-linux-x64.tar.gz -C /usr/local/
vim /etc/profile
添加如下内容
JAVA_HOME=/usr/local/jdk1.8.0_131

$ ansible elksjs -m shell -a ‘/etc/init.d/elasticsearch stop’

PATH=$JAVA_HOME/bin:$PATH

六:卸载es老版本

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#卸载所有es的安装包

export JAVA_HOME PATH CLASSPATH

$ ansible elksjs -m shell -a ‘rpm -e elasticsearch-1.7.3-1’

source /etc/profile

七:安装新包

ElasticSearch配置
wget

  useradd elktest           

#安装新的es2.4.2安装包

tar -zxvf elasticsearch-5.3.1.tar.gz
cd elasticsearch-5.3.1
vi config/elasticsearch.yml

ansible elksjs -m shell -a ‘wget

-P /opt’

修改以下配置项:
(路径需要先自行创建,并且elktest用户可读写)
cluster.name: elk_cluster
node.name: node0
path.data: /tmp/elasticsearch/data
path.logs: /tmp/elasticsearch/logs
network.host: 192.168.1.5
http.port: 9200

ansible elksjs -m shell -a ‘rpm -iv /opt/elasticsearch-2.4.2.rpm’

其他的选项保持默认,然后启动ES:
  su elktest            #ES不允许root启动服务 必须是普通用户
./bin/elasticsearch &

八:恢复配置文件和启动文件

配置Logstash
wget

tar -zxvf logstash-5.3.1.tar.gz
cd logstash-5.3.1

#做这一步的前提是本次升级配置文件没有变化,1.7.3和2.4.2的配置变化不大,我的配置中都适配2.4.2版本,所以直接用原配置了。稍后再做优化和调整。如果有变化,请更新配置文件。

vi config/test_es.conf

$ ansible elksjs -m shell -a ‘cd /etc/init.d/ &&rm elasticsearch && mv
elasticsearch.rpmsave elasticsearch’

input {
        file {
        path => “/tmp/test.log”          #测试文件
    }
}
filter {

$ ansible elksjs -m shell -a ‘cd  /etc/elasticsearch/&& rm -rf
elasticearch.yml &&mv elasticsearch.yml.rpmsave elasticsearch.yml’

}
output {
        stdout { codec => rubydebug }
        elasticsearch {
                index => “test_%{+YYYY.MM.dd}”        #索引信息
                hosts => [ “192.168.1.5:9200” ]
        }
}

九:修改数据目录属主

    ./bin/logstash -f config/test_es.conf  &            #启动服务

#由于卸载es安装包的时候也删除了es用户,又新建了es用户,所以要重新给es的data目录属主改成elasticsearch。

配置Kibana:
wget

tar -zxvf kibana-5.3.1-linux-x86.tar.gz
cd kibana-5.3.1-linux-x86
vi config/kibana.yml

$ ansible elksjs -m shell -a ‘chown -R elasticsearch.elasticsearch
/data/elk/es’

server.port: 5601
server.host: “192.168.1.5”
elasticsearch.url:
kibana.index: “.kibana.yml”

$ ansible elksjs -m shell -a ‘chown -R elasticsearch.elasticsearch
/data/es’

./bin/kibana

十:启动elasticsearch

部署中的常见错误及解决方法

#启动es进程,这一步没有报错就万事大吉了,事实上不是。。。经历了多次报错,多次回滚到老版本,调整后终于升级成功了。

1、启动 elasticsearch 如出现异常  can not run elasticsearch as root 
解决方法:创建ES 账户,修改文件夹 文件 所属用户 组

1 ansible elksjs -m shell -a ‘/etc/init.d/elasticsearch start’

2、启动异常:ERROR: bootstrap checks failed
system call filters failed to install; check the logs and fix your
configuration or disable system call filters at your own risk

十一:检查集群是否健康

解决方法:在elasticsearch.yml中配置bootstrap.system_call_filter为false,注意要在Memory下面:
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

#集群启动后,通过下面来检查集群节点是否都加入集群,集群是否健康。事实上,我的五个master启动后自动加入集群,但是数据节点升级后启动时基本都在做索引升级操作。es2.x和es1.x对多目录索引路径的存放策略是不同的。需要将所有的数据move一遍。等待时间很长。

3、启动后,如果只有本地可以访问,尝试修改配置文件 elasticsearch.yml
中network.host(注意配置文件格式不是以 # 开头的要空一格, :
后要空一格)
为 network.host: 0.0.0.0

$ curl localhost:9200/_cat/health?v

默认端口是 9200
注意:关闭防火墙 或者开放9200端口

$ curl localhost:9200/_cat/nodes?v

4、ERROR: bootstrap checks failed
max file descriptors [4096] for elasticsearch process likely too low,
increase to at least [65536]
max number of threads [1024] for user [lishang] likely too low,
increase to at least [2048]

十二:集群启动后启动分片分配

解决方法:切换到root用户,编辑limits.conf 添加类似如下内容
vi /etc/security/limits.conf
添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

#等所有节点都加入集群后,可以开启分片分配

5、max number of threads [1024] for user [lish] likely too low,
increase to at least [2048]

1 curl -XPUT  localhost:9200/_cluster/settings -d ‘{“transient”:
{“cluster.routing.allocation.enable”: “all”}}’

解决方法:切换到root用户,进入limits.d目录下修改配置文件。
vi /etc/security/limits.d/90-nproc.conf
修改如下内容:
* soft nproc 1024
#修改为
* soft nproc 2048

十三:下载新版本head和kopf插件

6、max virtual memory areas vm.max_map_count [65530] likely too low,
increase to at least [262144]

#之前1.X用的head插件和kopf-1.5发现在es2.4.2中都无法正常显示,只好卸载重装了,安装了新的版本。

解决方法:切换到root用户修改配置sysctl.conf
vi /etc/sysctl.conf
添加下面配置:
vm.max_map_count=655360
并执行命令:
sysctl -p
然后,重新启动elasticsearch,即可启动成功。

$ wget

Linux上安装部署ElasticSearch全程记录 
http://www.linuxidc.com/Linux/2015-09/123241.htm

$ wget

Elasticsearch安装使用教程
http://www.linuxidc.com/Linux/2015-02/113615.htm

$ tar xf elasticsearch-kopf-2.1.2.tar.gz

ElasticSearch 配置文件译文解析
http://www.linuxidc.com/Linux/2015-02/114244.htm

$ unzip elasticsearch-head-master.zip

ElasticSearch集群搭建实例 
http://www.linuxidc.com/Linux/2015-02/114243.htm

发表评论

电子邮件地址不会被公开。 必填项已用*标注