基于日志可视化分析的微服务系统调试方法

被引:13
作者
李文海
彭鑫
丁丹
向麒麟
郭晓峰
周翔
赵文耘
机构
[1] 复旦大学计算机科学技术学院
[2] 上海市数据科学重点实验室(复旦大学)
基金
国家重点研发计划;
关键词
微服务; 调用链; 日志; 可视化; 故障; 调试;
D O I
暂无
中图分类号
TP311.53 [];
学科分类号
摘要
云计算时代,越来越多的企业开始采用微服务架构进行软件开发或者传统巨石应用改造。然而,微服务系统具有较高的复杂性和动态性,当系统出现故障时,目前没有方法或者工具能够有效支持对故障根源的定位。为此,文中首次提出通过调用链信息关联单次业务请求在所有服务上产生的业务日志,并在此基础上研究基于日志可视化分析的微服务系统调试方法。首先定义了微服务的日志模型,规范化微服务日志可视化分析所需要的数据信息;然后针对4种典型的微服务故障(有异常抛出的普通故障、无异常抛出的逻辑故障、服务异步调用序列未控制导致的故障以及服务多实例版本或状态不一致导致的故障)总结出5种可视化调试策略,用于支持对故障根源的定位,5种策略包括:单条调用链日志查看、不同调用链对比、服务异步调用分析、服务多实例分析以及调用链分段。为了实现服务异步调用分析和服务多实例分析,文中设计了两个算法,同时,设计并实现了一个原型工具LogVisualization。LogVisua-lization可以收集微服务系统运行时产生的日志信息、调用链数据以及集群的节点和服务实例信息,能够以较小的代码侵入性,实现通过调用链信息关联所有业务日志,支持用户使用5种策略进行可视化调试。最后,将该原型工具应用于实际的微服务系统,通过与现有工具(Zipkin+ELK)的实验对比,验证了该原型工具在4种微服务故障根源定位上的有用性和高效性。
引用
收藏
页码:145 / 155
页数:11
相关论文
共 18 条
  • [1] 网络安全日志可视化分析研究进展
    张胜
    赵珏
    陈荣元
    [J]. 计算机科学与探索, 2018, (05) : 681 - 696
  • [2] 海量数据日志系统架构分析与应用
    刘锴
    [J]. 长春工业大学学报, 2016, 37 (06) : 581 - 586
  • [3] 基于Kubernetes的分布式ELK日志分析系统
    陈建娟
    刘行行
    [J]. 电子技术与软件工程, 2016, (15) : 211 - 212+214
  • [4] OPAC搜索日志可视化系统的设计与实现
    鲁丹
    [J]. 现代计算机(专业版), 2016, (12) : 67 - 70+75
  • [5] 海量域名日志数据分析与可视化研究及应用
    陈文文
    吴开超
    [J]. 计算机应用研究, 2016, 33 (02) : 335 - 338
  • [6] 国家域名日志可视化分析监控系统设计与实现[D]. 董再旺.中国科学院大学(工程管理与信息技术学院). 2014
  • [7] 网络安全日志数据可视分析系统的研究与实现[D]. 胡钢.北京邮电大学. 2012
  • [8] 可视化日志分析系统的研究与实现[D]. 杨华.西安电子科技大学. 2010
  • [9] 基于Web日志的网站可用性及用户行为可视化分析方法研究[D]. 赵刚.山西大学. 2007
  • [10] Microservices
    Larrucea, Xabier
    Santamaria, Izaskun
    Colomo-Palacios, Ricardo
    Ebert, Christof
    [J]. IEEE SOFTWARE, 2018, 35 (03) : 96 - 100