中科日志大数据安全整体解决方案


客户需求:

    客户根据目前对业务系统中大数据管理需求,需要建立日志大数据集中管理平台,实现全量系统日志数据、网络日志数据、中间件日志数据及重要系统应用日志数据的集中管理,实现日志数据的统一存储;搭建日志大数据统一检索平台,实现快速检索需求;实现敏感数据信息脱敏处理,异常登录、操作风险的检查分析,满足合规检查需求;实现应用系统业务指标及系统性能指标的分析及预警;支持定期生产系统关键指标的报表;支持依据日志建立运维知识库。

    中科日志大数据安全方案

中科日志大数据系统采用云计算大数据分布式存储技术,并参照业内先进的大数据架构,日志大数据系统从逻辑架构上应分为四层:数据采集层、数据存储检索层、数据分析层、数据可视化呈现层。各层需采用大数据业内先进的技术实现,相应的要求。

日志大数据系统从物理架构上应分为:数据采集集群、数据存储检索安全分析集群、系统配置管理服务器三部分组成,物理架构示意图如下:



各系统功能描述如下:

(1) 数据采集集群:

该服务器集群主要负责实时采集数据源数据,并将采集数据安全的传送到数据存储/检索分析服务器集群。

(2) 数据存储/检索分析服务器集群:

该服务器集群主要负责对数据的进行解析规整、入库存储、检索、分析及数据建模等操作。

(3) 系统配置管理服务器:

该服务器主要负责对系统Web UI展现、配置管理、以及统计报表的存储等。