SEAL: Storage-efficient Causality Analysis on Enterprise Logs with Query-friendly Compression
SEAL: Storage-efficient Causality Analysis on Enterprise Logs with Query-friendly Compression abstract。
解决的问题
因果分析使攻击取证自动化,并通过关联因果相关但在时间上遥远的系统时间来寸进行为检测。
尽管该方法是有效的,但是该分析在存储和处理大量系统事件方面存在固有的大数据挑战,这些系统事件是从现实网络中数十万终端主机不断收集的。
此外,安全漏洞的分析有效性依赖于存储长期综合历史事件的假设,因此,为了使因果关系分析实用并适用于企业环境,解决扩展性(scalability)的问题迫在眉睫。
Architecture
因此提出了 SEAT,一种新的应用于因果分析的数据压缩方法。基于对系统时间数据的信息论观察,我们的方法实现了无损压缩并支持对历史事件的近实时检索。
在压缩阶段,研究了由系统日志引起的因果图,并探索了丰富的边缘减少的可能方法。
在查询阶段,最大速率下解压缩是有可能执行的,实验表明 SEAL 在真实数据集上分别提供了 2.63 倍和 12.94 倍的数据压缩。并且 89% 的压缩数据集上的查询比不压缩数据集上要快,二者返回了相同的结果。
思路与实现
LogGC、NodeMerge和本方法SEAL的比较:
一个溯源图精简的实例:
查询友好的压缩算法 Query-friendly Compression, QFC
对数据进行了图结构压缩和边属性压缩,具体压缩算法如下:
边属性压缩案例:
All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.