基于ElasticSearch+Logstash+ Kibana 实时日志(zhì)分(fēn)析平台

客户需求

Customer demand

根据ISMS8-1关于日志(zhì)的收集、保存、分(fēn)析的要求并结合总公(gōng)司“信息安(ān)全与个人信息保护基本规定”,进行基盘系统的日志(zhì)服務(wù)器搭建,实现基盘系统日志(zhì)的统一收集和管理(lǐ):

· 按要求完成日志(zhì)的收集,明确日志(zhì)收集的范围、类型、保存的方法及期限。

· 收集部署过程中(zhōng)不能(néng)对现有(yǒu)业務(wù)造成影响。

· 实现日志(zhì)系统与监控系统联动。

· 具(jù)有(yǒu)扩展能(néng)力,支持群集部署的方式,具(jù)有(yǒu)横向扩展的能(néng)力。

· 為(wèi)未来的数据分(fēn)析提供有(yǒu)效数据,支持日志(zhì)多(duō)种方式的输出存储。


解决方案
Solution

我们推荐采用(yòng)ELK Stack构建一个实时日志(zhì)分(fēn)析平台。ELK Stack就可(kě)以登陆到Kibana页(yè)面进行查看日志(zhì),查看不同类型的日志(zhì)只需要点动鼠标切换一下索引即可(kě)。

  • Logstash

    日志(zhì)收集工(gōng)具(jù),可(kě)以从本地磁盘,网络服務(wù)(自己监听端口,接受用(yòng)户日志(zhì)),消息队列中(zhōng)收集各种各样的日志(zhì),然后进行过滤分(fēn)析,并将日志(zhì)输出到ElasticSearch中(zhōng)。
  • ElasticSearch

    日志(zhì)分(fēn)布式存储/搜索工(gōng)具(jù),原生支持集群功能(néng),可(kě)以将指定时间的日志(zhì)生成一个索引,加快日志(zhì)查询和访问。
  • Kibana

    可(kě)视化日志(zhì)Web展示工(gōng)具(jù),对ElasticSearch中(zhōng)存储的日志(zhì)进行展示,还可(kě)以生成炫丽的仪表盘。
方案效果
Scheme effect

                                                                                               

• 收集-能(néng)够采集多(duō)种来源的日志(zhì)数据                      • 传输-能(néng)够稳定的把日志(zhì)数据传输到中(zhōng)央系统                                                • 存储-如何存储日志(zhì)数据



• 分(fēn)析-可(kě)以支持 UI 分(fēn)析                   • 警告-能(néng)够提供错误报告,监控机制                                              • 高效的满足了很(hěn)多(duō)场合的应用(yòng)


• 收集-能(néng)够采集多(duō)种来源的日志(zhì)数据  

• 传输-能(néng)够稳定的把日志(zhì)数据传输到中(zhōng)央系统

• 存储-如何存储日志(zhì)数据

• 分(fēn)析-可(kě)以支持 UI 分(fēn)析

• 警告-能(néng)够提供错误报告,监控机制

• 高效的满足了很(hěn)多(duō)场合的应用(yòng)


Copyright © 2021 上海合联電(diàn)子科(kē)技(jì )有(yǒu)限公(gōng)司 All Rights Reserved 京ICP证000000号

Copyright © 2021 上海合联電(diàn)子科(kē)技(jì )有(yǒu)限公(gōng)司 All Rights Reserved 京ICP证000000号