SEAL: Storage-efficient Causality Analysis on Enterprise Logs with Query-friendly Compression abstract。

解决的问题

因果分析使攻击取证自动化,并通过关联因果相关但在时间上遥远的系统时间来寸进行为检测。
尽管该方法是有效的,但是该分析在存储和处理大量系统事件方面存在固有的大数据挑战,这些系统事件是从现实网络中数十万终端主机不断收集的。

此外,安全漏洞的分析有效性依赖于存储长期综合历史事件的假设,因此,为了使因果关系分析实用并适用于企业环境,解决扩展性(scalability)的问题迫在眉睫。

Architecture

arch

因此提出了 SEAT,一种新的应用于因果分析的数据压缩方法。基于对系统时间数据的信息论观察,我们的方法实现了无损压缩并支持对历史事件的近实时检索。

在压缩阶段,研究了由系统日志引起的因果图,并探索了丰富的边缘减少的可能方法。

在查询阶段,最大速率下解压缩是有可能执行的,实验表明 SEAL 在真实数据集上分别提供了 2.63 倍和 12.94 倍的数据压缩。并且 89% 的压缩数据集上的查询比不压缩数据集上要快,二者返回了相同的结果。

思路与实现

LogGC、NodeMerge和本方法SEAL的比较:

graph cmp

一个溯源图精简的实例:

eg process

查询友好的压缩算法 Query-friendly Compression, QFC

对数据进行了图结构压缩和边属性压缩,具体压缩算法如下:

algo

边属性压缩案例:

edge compression