作者：云智慧算法工程师 Hugo Guo 运维日志领域研究方向主要包含异常日志检测、日志模式解析、日志内容分类、日志告警等。本篇文章介绍了热门异常检测模型 DeepLog、A2Log 等模型，以及云智慧自研模型 Translog 等。与此同时，在文章最后介绍了未来基于深度学习的运维日志领域主要研究方向。日志研究概述日志任务与数据 日志是运维领域中的必不可少的一种半结构化数据类型，基于此开展的研究任务也多种多样。 日志数据实时处理主要包含以下几方面：Log Compression：在运行时压缩软件日志。Log Parsing：从软件日志中自动提取事件模板和关键参数。Log Mining：提高系统的可靠性，主要关注异常检测。 日志模式解析 海量日志数据之间语义相似性较高，实际需求需要将日志表示化。因此学者期望对日志提取出固定的模版以求代表整个日志数据库。 下方为四个经典的日志模式解析算法：Drain（基于树结构相似度）Spell（最长公共子序列）AEL （常数和变量的发生频率）IPLoM（迭代分区策略，根据消息长度、令牌位置和映射关系等） 下图为日志模版提取过程，从上到下依次是原始日志，解析后的日志模版。 学术前沿工作分享DeepLog DeepLog 是日志深度学习开山之作，采用LSTM编码提取好模板的日志并为给定序列中的下一个模板提供了一个具有概率的排序输出，以此进行异常检测。 A2Log A2Log 采用无监督的方式去寻找正常和异常之间的boundary，基于Attention机制和最新的Transformer框架，对正常的日志输出得分根据阈值去判别boundry。 LogRobust LogRobust 双向LSTM+Attention进行编码分类，对原始日志的模版进行word vector的向量化送入模型进行分类。 HitAnomaly HitAnomaly 是对于日志模版和参数分别采用Transformer进行编码。 Logsy Logsy 测试数据来源于新的系统，同时最后将异常分数加入考虑。 自研模型分享Translog Translog 首次考虑多来源、资源不对齐的日志源异常检测。是基于 Transfer learning 和 Transformer 的全新框架 Pretraining 和 Tuning 的学习范式，通过 Translog 消耗可降低为原来的5%，但是效果达到 SOTA。 Adapter Adapter 的结构十分简单，像一个适配器为大模型的知识流动进行贯通。 下图右所示的是不同的日志源有着相同的异常问题，为迁移学习提供可能性。 云智慧将 Adapter 在三个公开数据集上进行测试，最终 Adapter 算法都获得了SOTA。同时 Adapter 的参数量减少了将近百分之95% 下图左方的试验说明预训练的方式会比直接从头开始训练更快收敛，同时会在较少的step下得到更高的F1分数。下图右方试验说明不同数据源的预训练的模型会产生不同的效果，发现BGL的预训练模型效果更好。 下图试验说明 Translog 在 low-resource 会表现出比正常的更好的结果。说明对于其他分布不均衡的日志源我们的模型也会有一定较好的效果。 LogLG LogLG 是日志 parsing 和 detection 一体的 end-to-end 框架，以弱监督的方式提取日志 raw 语料中的关键词。与此同时，LogLG 是一种全新的日志模版数据结构，提出了模版图的概念。 Motivation 日志中有些关键词之间的联系模型往往忽略，例如warning这个关键词，既存在正常日志中，也存在异常日志。需要建立细粒度的关键词联系。日志的标签获取较难，弱监督或者无监督的方式会更易于用在实际中。以往的日志异常检测对于解析和检测分开，或者没有解析，这都会造成日志信息的冗余或者消失。 Multimodality for AIOps Multimodality for AIOps 是日志(logs)、调用链(traces)、指标（metres）三者相辅相成构成运维领域的多模态问题。任务设计方面输入为多种模态数据，预测下一个template（Next Template Prediction）。模型采用Transformer架构，embedding方式采用bert，最大程度的保存原始多模态信息。 未来研究方向 因日志和运维数据本身的结构特点，预测接下来该领域深度学习研究的痛点和可能发展方向主要为以下三方面：日志本身的标签获取较难，无监督或者弱监督的深度方法将大量涌现，帮助该领域人员在无标签的数据情况下更好的从事实际研究和落地发展。日志领域多模态领域的发展，扩充日志本身的原始信息，因此会出现很多的基于自监督的方法和多种模态数据相结合的方向，朝着运维一体化更好的发展。大规模预训练日志模型被需求，一个学习各种运维知识和日志模式的大模型将在未来充当AIOps的研究典范。更好服务下游各种任务。开源项目推荐 云智慧已开源数据可视化编排平台 FlyFish 。通过配置数据模型为用户提供上百种可视化图形组件，零编码即可实现符合自己业务需求的炫酷可视化大屏。 同时，飞鱼也提供了灵活的拓展能力，支持组件开发、自定义函数与全局事件等配置， 面向复杂需求场景能够保证高效开发与交付。 如果喜欢我们的项目，请不要忘记点击下方代码仓库地址，在 GitHub / Gitee 仓库上点个 Star，我们需要您的鼓励与支持。此外，即刻参与 FlyFish 项目贡献成为 FlyFish Contributor 的同时更有万元现金等你来拿。 GitHub 地址： https://github.com/CloudWise-OpenSource/FlyFish Gitee 地址： https://gitee.com/CloudWise/fly-fish
大国工匠总师即将亮相淘宝直播间！带你了解大国重器息壤1月16日晚8点将有大事发生！继国资小新在淘宝推出的最硬核购物车火爆出圈后史上最硬核直播间又来了！超重磅嘉宾大国工匠总师们将在大国重器淘宝直播间为大家带来大国重器的深度科普并云送新深度合成技术多点开花，各国规范有哪些不同法治护我心互联网信息服务深度合成管理规定系列解读光明网记者穆子叶雷渺鑫作为人工智能领域的新应用，深度合成技术以深度学习虚拟现实为代表的生成合成类算法制作文本图像及音视频，因较强娱乐米切尔伤退！加兰德阿伦携手发威，鹈鹕末节断电负骑士多诺万米切尔因腹股沟伤势提前离场，但骑士在达柳斯加兰德和贾勒特阿伦带领下统治第四节，113103主场击败鹈鹕。加兰德全场贡献30分6个篮板11次助攻，阿伦24分11个篮板5次助攻，90后学霸博士8年进击战，用机器学习为化学工程研究叠BUFF本文首发自公众号HyperAI超神经内容一览ScienceAI作为近两年的技术热点，引起了业界广泛关注和讨论。本文将围绕ScienceAdvances的一篇论文，介绍如何利用机器学科学家实现化学反应的立体动力学精准调控新华社沈阳1月14日电（记者王莹张泉）如何精确调控化学反应是化学科学研究的核心目标之一。近日，中国科学院大连化学物理研究所杨学明院士肖春雷研究员实验团队联合张东辉院士张兆军副研究员小品之王陈佩斯30岁成名11次登春晚，曾为维权打官司这应该是迄今为止甚至百年内都无法超越的经典一段不按正常套路出牌的台词更是堪称神来之笔这是陈佩斯和朱时茂第11次在春晚上表演谁也没想到他们竟然把真家伙带上了舞台因为这个过于老旧的真家台湾古典美人韩瑜神似高圆圆，被八点档乡土剧埋没太可惜提起韩瑜这名字，估计八成的观众都不知道是谁。不过如果说起几百集的长寿剧意难忘，8090后小伙伴或许还会有印象，当年央视八套播了好久好久，应该或多或少跟着家里的奶奶妈妈们看过几集。韩武侠肉鸽黄老饼梦游惊奇Steam特别好评限时特惠WanbaStudio搞笑古风对战新作黄老饼梦游惊奇正式版于本周五（1月13日）在Steam发售正式版，截至撰稿时游戏总体评价特别好评（97好评率），目前游戏处于首发特惠阶段，国区鹅鸭杀官方回应商标遭抢注流水5亿，央视报道社交App涉嫌诈骗案一周说法系列文章将搜集当期游戏行业的相关资讯，并以法律角度进行盘点和解读。01鹅鸭杀商标遭抢注，官方回应近日，狼人杀类游戏鹅鸭杀（GooseGooseDuck）引起广泛关注，这款派59岁的Sylvie完胜貌美年轻的艾米丽？法式穿搭还真得看她！59岁的Sylvie完胜貌美年轻的艾米丽？法式穿搭还真得看她！随着艾米丽在巴黎第三季热播，艾米丽的花哨穿搭依然获得褒贬不一的评价，但有一位女士的穿搭却收获一致好评，并从第一季火到了打造三园一基地！南开区这样做2023年，南开区要集中精力抓经济谋发展做项目，推动经济运行整体好转，实现质的有效提升和量的合理增长用好创新资源和文化资源做好科教立区文化强区商贸兴区加速构建双核两翼发展空间通过千