本发明公开了一种分布式的日志收集方法,包括:采用双缓冲机制对日志数据进行收集;采用基于主/从Reactor模式对日志数据进行分级转发;采用LVS+Keepalived模式将并发的业务请求合理分配给各服务节点;采用基于FlumeNG复合双通道对日志数据进行清洗、过滤;最终对日志数据进行读取。相较于传统日志收集方法,本分布式日志收集方法创新性地提出基于双缓冲机制的非阻塞日志收集方案、基于主/从Reactor模式的分级日志转发方案、基于FlumeNG复合双通道的日志系统与数据清洗平台方案,使得系统对日志的收集效率更高,并且收集并落地存储的日志数据更加符合分析人员的需求,降低后期数据分析的时间成本。
咨询热线:020-38033421
传真号码:020-38061201
电子邮箱:jm@jiaquanip.cn
Copyright © 嘉权专利商标事务所 All Rights Reserved. 粤ICP备2023151901号