POST-TRAINING DETECTION OF BACKDOOR ATTACKS FOR TWO-CLASS AND MULTI-ATTACK SCENARIOS
POST-TRAINING DETECTION OF BACKDOOR ATTACKS FOR TWO-CLASS AND MULTI-ATTACK SCENARIOS abstract。
Architectrue
文章定义了一个新的量 期望可转移性(Expected Transferablitiy),作为统计量独立检查每个类,并且能够根据经验评估。
该方法的特点:
可以对二分类网络进行后门检测
需要干净的数据
一致的阈值,1/2
Demon in the Variant: Statistical Analysis of DNNs for Robust Backdoor Contamination Detection
Demon in the Variant: Statistical Analysis of DNNs for Robust Backdoor Contamination Detection abstract。
Architecture
该文章实现具体架构如图,步骤为:
将嵌入表示作为分析对象,恶意图片肉眼难以区分但是在嵌入表示层区别明显,并且恶意图片在嵌入表示上并不是所有恶意攻击样本如现有研究所假设的那样跟正常图片泾渭分明
将嵌入表示分离为目标类和其他类两层,“误分类是后门攻击的目的,因此存在后门的模型,在分恶意类时模型错误地学到了两种或者更多类的特征”,由此才导致分类恶意类时会被误分类
直接检查某一类的嵌入表示可能效果不好,将其它类别的也纳入考虑,并且假设每一类具有相似的分布,然后依据如下准则判断是否存在后门
Practical Detection of Trojan Neural Networks: Data-Limited and Data-Free Cases
Practical Detection of Trojan Neural Networks: Data-Limited and Data-Free Cases abstract。
Architecture
主要贡献
data-limite TrojanNet detector(DL-TND)
data-free TrojanNet detector(DF-TND)
后门攻击
后门攻击可以被分为两类:
trigger-driven,触发器驱动的,当图片中存在特定图案时该样本被错误分类至目标分类
clean-label,干净的标签,意思是污染样本的标签是正确的,但是注入的数据在嵌入空间内导致错误表示,使得网络学习到错误的映射,因而该网络会在分类该测试输入类别时,将其识别为目标类别。
扰动表示
DL-TND:有限数据下的后门网络检测
通过将通用扰动和每张图的对抗性结合来设计检测器。
**无指定目标的通用扰动:**在被错误分类的集合中寻找一个通用扰动,并且保证正确分类的数据不被影响。
上式确保扰动会改变 Dk−D_{k-}Dk− 的分类预测,下式会确保不改变原有 DkD_k ...
RATSCOPE: Recording and Reconstructing Missing RAT Semantic Behaviors for Forensic Analysis on Windows
RATSCOPE: Recording and Reconstructing Missing RAT Semantic Behaviors for Forensic Analysis on Windows abstract。
Main Contribution
53个真实世界中的RAT家族研究
提出针对RAT的取证工具
针对RAT建模行为系统模块
Large-study of Real-world RATs
workflow
RAT 包括两个重要的组成部分:
RAT stub,受控端,在受害者主机上执行
RAT controller,控制端,在攻击者主机上远程控制受害者主机
收集到的 RAT 样本
关于 RAT 的主要发现
通常使用高级编程语言实现 RAT stubs,如C++,Delphi 和 Java
RATs 通常装备了非常多恶意功能,如键盘记录,屏幕录制,远程控制等
不同的 RAT 家族通常装备了相同的恶意功能
90% 的 RATs 只针对 WINDOWS 系统
系统设计
整个过程分为三个阶段:
离线训练,通过正负样本对 RAT 的 phfs 进行建模,阐述 ...
SLEUTH: Real-time Attack Scenario Reconstruction from COTS Audit Data
SLEUTH: Real-time Attack Scenario Reconstruction from COTS Audit Data abstract。
解决的问题
安全人员很难从传统的 ISD/SIEM 工具中大量的告警信息中快速有效提取出实际攻击场景。
因此本文设计了一种基于标签的攻击分析技术实时生成攻击场景。
Architecture
整体系统架构大致分为溯源信息采集、图生成、基于图的分析和攻击场景重现四个部分:
溯源信息采集
图生成
基于图的分析
攻击场景重现
挑战
本文需要实时对攻击告警进行检测、分析和重现攻击场景,由此对以下地方提出了更高的要求:
事件存储和分析
事件实体优先级
场景重建
处理攻击期间的正常活动
快速、交互式的推理能力
主存内的依赖图设计
为了尽量降低内存占用,通过多种方法降低内存的使用:
存储数据结构
指针
相对时间戳
etc.
标签和攻击检测
标签分为两类,机密性标签和可信度标签,其中可信度标签有:
Benign authentic
Benign
Unknown
机密性标签分为:
Secret
Sensitive
Privat ...
Neural Cleanse: Identifying and Mitigating Backdoor Attacks in Neural Networks
Neural Cleanse: Identifying and Mitigating Backdoor Attacks in Neural Networks 读书笔记。
Architecture
后门原理
后门修改了B和C的决策边界,在B与C附近构造了后门区域,使得模型成生误分类。
具体检测方法
基本检测原理
感染的模型需要非常小的修改就可以造成误分类,因此计算每一个标签修改后会被误分类的距离。
步骤
给定一个标签,将该标签视为存在潜在后门的标签,然后设计了一种优化方案寻找最小的误分类触发距离。
对每一种标签,重复步骤1。
使用异常值检测来确定出发距离是否远比其他的小。
Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering
Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering 读书笔记。
Architecture
局部快速频谱滤波
定义卷积过滤器有两种策略:
空域,存在本地邻居匹配问题
频域,有定义良好的本地卷积操作
图简化
采用 Graclus 多级聚类算法进行处理,该方法已经被证明在对大量图进行聚类时非常有效。
池化例子
总结
提出了一种基于 gsp 的有效的 CNN 通用方法,可以应用在图上。
EigenPool:Graph Convolutional Networks with EigenPooling
Graph Convolutional Networks with EigenPooling 读书笔记。
Architecture
contribution
EigenPooling 可以总结子图信息,使得整图分类可以利用上子图结构细腻些
EigenPooling 的理论解释,局部和整图视角的解释
EigenGCN
具体实现
具体操作为两个GCN加一个Eigen池化层。
每个池化层将图上定义的图信号汇集到输入图的粗化版本上的图信号,该图由更少的节点组成。
因此,池化层包含两个部分:
图简化(graph coarsening)
图信号转化(graph signal transform)
基于图划分的图简化
给定无重叠的子图划分,将每个子图转化为一个高级节点(简化后的图上的一个节点),并且通过跨子图的边确定高级节点之间的连通性。
基于特征的池化 Eigenvector-Based Pooling
因为图傅立叶变换可以将图心寒转化到谱域(spectral domain)并且考虑到图结构和图信号信息。
所以池化操作采用了图傅立叶变换来进行。
总结
本文研究图级别的表示学习,并且面向 ...
SortPool:An End-to-End Deep Learning Architecture for Graph Classification
SortPool:An End-to-End Deep Learning Architecture for Graph Classification 读书笔记。
Architecture
具体实现
图卷积层
图卷积可以分为四步:
XWXWXW,线性变换
A YA^~ YA Y,Y := XW节点信息传播
正则化,Dii−1XWD^{-1}_{ii} XWDii−1XW
逐点非线性激活函数 f
SortPooling 层
排序依据:根据节点在图中的结构化角色来进行排序。
由文中证明可得,在图卷积层输出的正好是连续的WL颜色(continuous WL colors)。
在 SortPooling layer,输入首先根据ZhZ^hZh逐行排序,然后将输出作为节点最精炼的连续WL颜色,然后使用该颜色对节点进行排序。
总结
本文提出的架构主要面向图分类任务。
DiffPool:Hierarchical Graph Representation Learning with Differentiable Pooling
关于diffpool的读书笔记。
Architecture
池化操作主要分为两步:
使用 GNN 获得节点的特征
聚类获得池化后的池化网络
具体实现
使用分配矩阵来进行池化操作
通过学习获得分配矩阵
需要注意到是,上述公式中使用的 GNN 输入相同的数据但是具有不同参数和起到不同作用:
嵌入GNN生成节点特征
池化GNN生成输入节点到 {n_{l+1}} 个集群的分配概率
排列不变性
请注意,为了对图分类有用,池化层在节点排列下应该是不变的。 对于 DIFFPOOL,我们得到以下肯定结果,这表明任何基于 DIFFPOOL 的深度 GNN 模型都是置换不变的,只要组件 GNN 是置换不变的。
辅助链接预测目标和熵正则化
在训练早期,存在非凸优化问题,在训练早期很难将池化 GNN 推离虚假的局部最小值。
为了缓解这个问题,我们使用辅助链接预测目标来训练池化 GNN,该目标编码了附近节点应该被池化在一起的直觉。