人本网络态势感知研究

原创于 2025-10-19 11:56:13 发布 · 625 阅读

本内容遵循CC 4.0 BY-SA版权协议

计算机辅助的人本网络态势感知

1 什么是网络态势感知

网络作战——在任务保障的背景下——尤其在大型企业中，引发了网络态势感知（Cyber SA）所关注的核心问题。通常而言，态势感知进程可视为一个三阶段过程：态势感知、态势理解和态势预测。态势感知获取有关企业网络内相关要素的状态、属性和动态的信息；态势理解涵盖分析人员如何融合、关联和解释信息；态势预测则指基于通过感知和理解所获得的知识，对未来短期内的情境进行预测的能力。

示意图0

图1展示了一个大型企业中网络作战的简化示意图。本质上，当对手发起网络攻击时，网络作战的核心是回答四个关键问题：
- 联网企业信息系统（简称“企业网络”）发生了什么？
- 有何影响？
- 为什么会发生？
- 我们该怎么办？

在我们看来，前三个问题构成了网络态势感知的“核心”，而网络态势感知是回答最后一个问题“我们应该做什么”的关键推动因素。换句话说，网络态势感知旨在了解已发生的事件或对手所采取的行动、网络攻击的影响，以及当前情境是如何形成的。这里的“影响”至少包括两个方面：损害评估和任务影响分析。关于当前情境为何如此，安全分析师应识别被利用的漏洞。在许多情况下，这些被利用的漏洞既包括与企业网络相关的已知漏洞，也包括未知漏洞。

从“从数据到决策”的角度来看，网络态势感知可被视为一种特定的数据分诊系统。如图2所示，图1中所示任何数据源的输出均可视为一个数据源。由于现实中存在大量不同类型的传感器，因此实际上存在多种多样的数据源。此处，我们将数据源大致分类如下：

A类：带内数据

A1：静态数据 。此类数据很少更新。例如，网络拓扑、命名数据、路由表、漏洞扫描数据（如NESSUS报告）、攻击图以及某些主机配置均属于此类。
A2：动态数据 。此类数据要么是数据流，要么是动态更新的数据。每个数据项都明确或隐式地关联一个时间戳。这些时间戳清楚地体现了网络态势感知的有状态特性。
A2.1：原始数据（例如，流量转储，操作系统审计日志，防火墙日志）
A2.2：入侵检测系统警报（例如，Snort告警，Tripwire告警）
A2.3：抗攻击企业系统行为数据（例如，操作系统级依赖图）
A3：安全分析师之间的通信 。在此类别中，数据包括由分析人员手动生成的事件报告。

B类：带外情报

在此类别中，数据包括来自外部的情报源。所谓“外部”，是指（a）企业自身与一组其他合作伙伴组织（例如计算机应急响应小组、其他兄弟企业）之间存在信息共享；且（b）带内数据在生成这些情报源时不发挥作用。

示意图1

如图2所示，我们将A类和B类数据源都视为数据分诊系统的输入（该系统位于图2的中心）。此外，我们将所描述的态势视为数据分诊系统的主要输出。我们注意到，数据分诊系统还可能产生其他输出或影响，例如新的经验和新的安全信息和事件管理系统（安全信息和事件管理）规则。

在我们看来，数据分诊系统是一种人机混合系统。一方面，系统的人类部分包括安全分析师的大脑以及大脑之间的相互作用。在这里，大脑不仅是一个信息处理单元，还是一个持有记忆（例如领域知识、过往经验）和人类学习能力的认知神经网络。另一方面，系统的网络部分包含了软件、硬件和人机交互（Human Computer Interaction）设计的无限可能性。如今，安全分析师已经在使用告警关联工具和SIEM系统。未来，开发智能软件代理和机器人系统无疑是可能的。

如所定[ZYL17]，数据分诊系统是一个动态人机协同系统。在时刻t，该动态系统的状态包含以下要素[ZYL17]：
- 企业网络上每个攻击链中发生的攻击活动集合。
- 截至目前从多个传感器收集的数据源。
- 分析人员截至目前检测到的一组事件。这些事件通过相关的网络事件以及这些事件之间的时间与因果关系来描述。
- 分析人员’在时间t时关于网络和攻击的领域知识，以及他们在数据分析方面的经验知识。
- 每位分析人员’在时间t的心理模型。每个心理模型都包含一组关于可能攻击的假设，以及这些假设之间的关系。
- 分析人员在时间t执行的一组数据分诊操作。根据fiZYL17]，的定义，主要的数据分诊操作包括数据过滤、数据搜索、假设生成以及假设确认或否定。

从性能的角度来看，网络态势感知的性能可以通过所描述的态势（见图2）与真实情况之间的比较进行部分评估。当然，由于在许多情况下企业仅掌握部分真实情况的知识，因此通常使用对真实情况的估计来进行比较。

2 为何需要研究

关于为何需要开展网络态势感知领域的研究，一方面，实际网络作战的网络运营中心迫切需要提高分析人员的工作性能；另一方面，现有的网络安全研究，特别是当前的入侵检测与响应研究，无法满足实际网络作战的需求。

关于第一方面，美国拥有超过20家计算机网络防御服务提供商（CNDSPs），其运营依赖于人类分析师。目前，这些计算机网络防御服务提供商面临严峻挑战：
分析人员的工作表现不稳定。分析人员很难全面掌握整体情况：功能领域之间存在“壁垒”。需要更好的分析技术和工具来提高分析人员的工作表现。

关于第二个方面，我们发现现有的入侵检测与响应工具与理想的网络态势感知能力之间存在巨大差距。

尽管已经开发了许多工具，包括漏洞扫描器、事件日志工具、流量分类工具、入侵检测系统、告警关联工具、特征生成工具、静态和动态污点分析工具、入侵溯源工具、完整性检查器、静态分析工具、漏洞发现工具、攻击图工具、符号执行工具、沙箱工具和虚拟机监控器，但现有工具仍不足以向网络运营中心（例如CNDSPs）提供以下高度期望的网络态势感知能力：

能力1：创建解决问题的工作流程或过程的能力。
能力2：看清网络防御格局全局的能力。
能力3：管理不确定性的能力。
能力4：尽管知识不完整或存在噪声仍能推理的能力。
能力5：快速在 haystack 中找到针的能力。
能力6：进行战略规划的能力。
能力7：预测对手可能下一步行动的能力。

例如，考虑能力1。对于不同的攻击链或攻击活动，在网络运营中心通常需要不同的解决问题的工作流程。一个可执行的解决问题的工作流程必须明确告知分析人员在何时以何种方式对哪些数据源使用哪些工具。从数学上讲，解决问题的工作流程是分析人员的数据分检操作之间的一种偏序。

尽管如今已有许多入侵检测与诊断工具，但尚未开发出能够针对不同攻击活动自动生成功能差异化的解决问题工作流程的通用工具包。将一组工具放入 “一个篮子”并不能自动使这些工具彼此“学习”并解决解决问题工作流程中的“难题”。事实上，真实世界的网络运营中心严重依赖人类分析师及其专业知识/经验，在面对前所未有的攻击活动时即时生成合适的问题解决工作流程。

3 研究目标和科学原理

鉴于现有入侵检测与响应工具与理想的网络态势感知能力之间存在的差距，网络态势感知领域的研究目标应包括以下内容。

目标A：

深入理解为什么专家与新手分析师之间的工作表现差距如此之大？我们如何弥合这一工作绩效差距？
为什么许多工具无法有效提升工作表现？
需要哪些模型、工具和分析技术来有效提升工作表现？

目标B：

开发网络态势感知系统设计、实施与评估的新范式。

科学障碍

在实现这些研究目标的过程中，应特别关注以下科学障碍。
- 大量感知信息与这些信息目前被许多分析人员 poorly 使用之间的紧张关系。
- 硅速信息感知与神经速度的人类认知之间的不匹配。
- 需要“全局意识”与烟囱式感知在很大程度上仍是网络运营中心实践现状之间的紧张关系。除了烟囱式感知外，人为信息孤岛在现实世界中也存在。组织往往不愿与其他组织共享信息，而组织内的各个分析人员之间也往往不愿相互共享。
- “我们自身的知识”[TS09]尚未得到研究人员和网络运营中心的足够关注。
- 缺乏真实情况与需要科学严谨的模型之间的紧张关系。
- 未知的对手意图与公开已知的漏洞类别之间的紧张关系。

一方面，上述科学障碍给研究界带来了严峻的挑战。另一方面，这些障碍也创造了众多令人振奋的研究机遇。通过突破这些科学障碍，潜在的科学进步包括以下方面：
- 理解人类分析员的网络安全态势感知认知与决策的本质。
- 启发设计能够体现人类认知过程特点的创新性网络安全态势感知系统。
- 打破纵向（隔离部门之间）和横向（抽象层之间）的信息孤岛。
- 推动任务保障分析的发展（例如，资产图谱、损害、影响、缓解、恢复）。
- 发现盲点情境知识。
- 将对手意图作为网络安全态势感知分析的有机组成部分。

科学原理

在实现这些潜在的科学进步时，我们认为应遵循以下科学原理：

原则1. 网络安全研究呈现出新趋势：从定性科学转向定量科学；从数据不足的科学转向数据丰富的科学。

示意图2

网络安全信息的可获得性为通过建模和分析技术来理解任务及对手活动带来了令人振奋的机遇。这将需要在存在显著不确定性和不可靠性的情况下，对具有跨密级隔离区和跨抽象层依赖关系的异构数据进行创造性的任务感知分析。

原则2. 网络态势感知工具在设计阶段应结合人类认知和决策特征。

4 多学科方法的必要性

我们认为，解决前一节指出的科学障碍的有效研究策略是采取多学科方法。特别是，我们发现一些基本的网络态势感知研究问题无法通过单一学科的方法得到系统性解答。例如，下面列出的三个问题都是重要的研究问题，但如果将研究工作局限于单一学科内，则无法充分回答这些问题。

问题1：专家分析师与新手分析师之间有何区别？
问题2：需要哪些分析技术和工具来有效提升工作表现？
问题3：我们如何开发出更好的工具？

例如，考虑问题Q1。如图3所示，可以从三个不同的角度分析并归类专家与新手安全分析师之间的差异。

从计算机与信息科学的角度来看

专家分析师可能会使用新手分析师不会使用的工具；
专家分析师对工具的内部工作原理有更深入的理解；
专家分析师能够创建新的工具链来诊断前所未见的攻击活动，而新手分析师则无法做到。

从认知科学的角度来看[Gardner87]

即使在诊断同一攻击活动时，专家与新手分析师也具有不同的认知过程和心理状态；
专家分析师的推理过程更为复杂且不易出错；
专家与新手分析师在团队认知行为上有所不同。

从决策与学习科学的角度来看

即使在诊断同一攻击活动时，专家与新手分析师生成的“网络”假设也不同；
专家与新手分析师在执行入侵检测分析时具有不同的基于实例的学习行为。

因此，在本章作者于2009年至2015年开展的名为“计算机辅助以人为本的网络态势感知”的MURI项目中，主要重点是这三个视角的整合，而非对单一视角的深入研究。

5 端到端整体方法

如[TS09]中所述，网络态势感知是一个涉及相互依赖操作的进程。当将网络态势感知系统视为数据分诊系统时（如图2所示），该数据分诊系统采用混合数据分诊过程来生成指定的输出。

因此，在前面提到的MURI项目中，我们采用了端到端整体方法来解决网络态势感知问题。

如图4所示，所提出的端到端解决方案是一枚“硬币”，有两面：
- “硬币”的生命周期侧展示了网络态势感知在每个阶段的任务，包括计算机网络中的感知阶段、数据处理与关联阶段、信息聚合与融合阶段、自动化推理阶段以及人机交互阶段（即分析人员与自动化推理之间的交互）。
- “硬币”的计算机辅助认知侧包括针对网络态势感知的特定认知模型以及认知友好的网络安全态势感知工具的开发。
- 为了开展这一双向“硬币”的研究，我们使用测试平台（分析人员任务环境的复现），(a) 使我们能够了解网络分析背后的认知科学；(b) 使我们能够了解协作背后的认知科学；(c) 提供了真实情况；以及 (d) 使我们能够在有人在回路的情况下测试技术解决方案。

提出解决方案的计算机辅助认知“方面”的目标是从认知任务分析、仿真、分析师认知与决策建模以及相关研究成果中得出新的见解。

提出解决方案的生命周期“方面”旨在利用通过计算机辅助认知“方面” 获得的洞察，开发一种计算机辅助网络态势感知的新范式。这一新范式包括新的分析技术和更先进的工具，使工具与分析人员协同工作，并弥合分析人员的认知与网络态势感知传感器及工具之间的差距。

6 MURI项目的网络态势感知愿景

我们所采用的端到端整体方法源于在启动MURI项目时提出的网络态势感知愿景。

愿景的第一部分指出，当今的网络态势感知实践存在两个根本性局限：
- 人类认知与网络态势感知工具及算法之间存在巨大差距：网络态势感知工具收集的“原始”情境数据所包含的信息量比人类分析人员的“认知吞吐量”高出几个数量级，且从数据到决策的关键“链接”缺失。
- 主要“盲点”的存在：现有的网络态势感知工具和系统——包括审计、漏洞扫描器、攻击图工具、入侵检测系统、损害评估工具和取证工具——在对网络态势图景的“视野”中仍存在显著的“盲点”。

愿景的第二部分说明了MURI项目将如何解决这两个局限性。特别是，
- 该项目将通过在网络态势感知特定的信息与知识融合、认知自动化、人工智能和可视化分析方面的创新，构建缺失的链接，以解决第一个局限性。一个设想的研究方向是将人类智能与人工智能相结合。
- 该项目将通过打破横向和垂直烟囱来解决第二个局限性。设想的技术包括跨层依赖分析与知识融合、跨部门依赖分析与知识融合、用于不确定性分析与管理的概率图模型，以及将“我们自身的知识”与“我们对攻击活动的了解”进行整合。

7 MURI项目的主要研究方向

在MURI项目的网络态势感知愿景指导下，该项目已沿以下方向开展了研究。

重点方向1：认知自动化
开发展现智能行为的交互式网络安全态势感知系统。
研究网络态势感知特有的认知行为。
追踪安全分析师的数据分检操作和推理过程。
开发基于经验的自动态势识别与预测技术。
开发协助人类分析师获取网络态势感知的智能代理：这些智能代理应具备从人类数据分诊操作和推理过程中学习的能力。
进行网络态势感知特有的认知吞吐量评估。
发现基于团队的网络态势感知中的瓶颈。
重点研究方向二：“盲点”监控
进行跨层依赖分析和影响评估（例如，[NNL12]和[PNJ12]）。
进行跨域依赖分析和影响评估。
进行跨数据源安全事件关联。
开展博弈论分析。
应用大数据分析和机器学习技术。
重点研究方向三：态势知识融合
开发用于态势知识表示与管理的网络态势知识参考模型[DSL12]。
构建概率图模型以进行不确定性分析与管理。
重点研究方向四：可视化分析
开发网络态势感知专用的可视化分析技术。

8 MURI项目的关键研究成果

8.1 重点研究方向一研究成果

8.1.1 一种用于网络防御认知科学研究的方法论

我们的MURI团队遵循实境实验室方法。这种方法包含一个循环方法论，始于并终于现实世界。团队通过与领域专家的访谈、查阅文档和文献以及观察网络演练来理解网络分析师的任务。这些信息被用于构建网络分析师任务的实验室版本[RSC11]。我们开发了包含对网络攻击的场景。由于我们设计了这些场景，因此我们知道真实情况。我们招募了人类参与者并对其进行了测试平台任务的培训。一些场景需要具有信息保障背景的参与者。该测试平台配备了测量个人和团队绩效及认知的手段，并提供了操控场景的方法。这些测试平台实验的结果可以以用户为中心的工具、算法或模型的形式反馈到现场。

8.1.2 构建用于网络态势感知的混合人机数据分诊系统

许多知名的公司、政府机构和军事部门已投入大量财务资源来构建其网络防御系统。通常，他们会设立安全运营中心（SOC）以执行全天候监控、入侵检测和诊断（即实际发生的情况）。安全运营中心通常部署多种自动化安全工具，例如流量监控器、防火墙、漏洞扫描器以及入侵检测/防御系统（IDS/IPS）。

此外，安全运营中心高度依赖网络安全分析师对安全工具生成的数据进行调查，从中识别出真正的“信号”，并“关联线索”以回答有关网络情境的一些更高层次的问题，例如：网络是否正在遭受攻击；攻击者做了什么；以及他们接下来可能采取什么行动。安全运营中心无法完全实现自动化，因为在许多情况下，即使通过高级的关联诊断，安全工具仍无法“理解”复杂的网络攻击策略。具体而言，分析人员需要进行一系列分析，包括数据分检、升级分析、关联分析、威胁分析、事件响应和取证分析。

我们的MURI团队构建了一种创新的混合人机网络数据分检系统（例如，[CLY12, ZK13, ZSY14]），以获取网络态势感知。数据分检包括检查多种数据源（如IDS警报、防火墙日志、操作系统审计跟踪、漏洞报告和数据包转储）的详细信息，剔除误报，并将相关指标进行分组，从而将不同的攻击活动（即攻击图谋）彼此区分开来。数据分检为后续分析中的深入检查提供了基础，最终生成具有置信度边界的攻击事件报告。这些事件报告将作为进一步决策的主要依据，用以确定如何调整当前安全配置以及应对攻击。数据分检是获得网络态势感知过程中最基本但最耗时的阶段。尽管安全信息与事件管理（SIEM）系统在生成更强大的数据分检自动化程序方面取得了重大进展，但SIEM系统成本极高，且每个组织都需要使用定制化的SIEM系统。此外，SIEM系统的实施涉及大量人工工作量。

我们的目标是利用人工智能技术，大幅降低生成数据分检自动化程序的成本。我们旨在根据分析人员的工作经验和数据分检操作轨迹，自动学习数据分检自动化程序。为此，我们采用了一种计算机辅助认知过程追踪方法，以捕捉专家分析师在执行数据分检时的操作行为。我们开发了一种三步法，从操作轨迹中自动学习数据分检自动化程序。
- 步骤1 ：我们将记录在操作轨迹中的分析人员的数据分检操作及其时间与逻辑关系，表示为新定义的特征约束图（CC‐图）。
- 步骤2 ：我们挖掘了有用的SIEM规则要素。通过对特征约束图（CC‐图）进行分析，找出关键数据特征约束。进一步将这些关键约束与数据源相关联，以识别它们之间的“可能发生于之前”关系。这些关键约束及其“可能发生于之前”关系代表了多种攻击模式，称为“攻击路径模式”。每种形式化表示的攻击路径模式都具有定义某一类攻击行为的语义含义，该模式描述了一条攻击路径指示多步攻击的网络连接类别。分析人员可以查看、修改和扩展这些类别。
- 步骤3 ：我们直接使用形式化表示的攻击路径模式来构建有限状态机，以执行自动化数据分检，就像向SIEM系统添加规则一样。

我们在一项人机协同案例研究中评估了我们的方法。研究招募了30名专业安全分析师，要求他们完成一项网络攻击分析任务，并记录其任务操作轨迹。通过选取若干组操作轨迹，从每组轨迹中发现了规则集，并用于构建一组数据分检状态机。通过将状态机的数据分检结果与真实情况进行比较，计算了误报率和漏报率，以评估状态机的性能。结果表明，所有状态机均能在几分钟内完成对更大规模数据集的处理。

8.1.3 网络防御分析中团队沟通与协作的观察

在MURI项目期间，我们的团队观察了多次网络防御演习，并对负责美国国防部和工业界网络安全的相关人员进行了调查（例如，[JCR12]中的研究）。这些实地研究的洞察不仅推动了测试平台的开发，提出了与网络防御中的团队合作相关的各种研究问题，还揭示了一些普遍现象。例如，在演习中发现了信息孤岛现象——无论是在美国国防部组织还是在工业界都存在，但在美国国防部尤为明显。我们还观察到，所有领域的分析人员都不太愿意主动开展协作或相互分享信息。来自分析人员的调查数据使我们能够建立工业界和军事部门网络防御的组织结构模型。这些模型揭示了军事部门与工业界在网络安全运营方面组织结构上的显著差异和细微差别。

分析人员的现场观察和调查为开发人机协同测试平台CyberCog提供了依据。该测试平台被用于在两个相关检测任务上开展基于实验室的团队协作实验：分检分析和关联分析。研究发现，团队协作和信息共享在分检分析过程中显著降低了分析人员的工作负荷。我们发现，分析人员通过交接和与其他合适的分析人员协作处理不确定的告警/事件，利用彼此的独特专长，能够实现更高的分检分析性能，而不是试图单独推理和分析所有告警。然而，对所有告警都进行协作分析也可能对性能产生不利影响。我们的实验还发现了团队在进行关联性分析时存在认知偏差[JCR16]的证据。通过协作汇集团队成员的新信息对关联分析至关重要。然而，研究发现团队反复讨论并汇集那些大多数团队成员已知的共有信息，导致决策次优。

我们发现，必须为网络防御团队提供以操作员为中心的协作工具，以缓解或减少此类认知偏差（例如信息汇集偏差和确认偏差）[RC16]。需要精心设计的团队培训方法，以帮助分析人员确定：何时与团队成员启动协作、与谁协作以及何时进行独立分析。

8.1.4 使用CYNETS捕捉网络安全仿真中的人类认知

我们构建了CYNETS（例如，[GM13]），一个用于捕捉人类在执行网络态势感知任务中人类认知的模拟器。我们使用学生作为人类主体进行了大量CYNETS仿真。在仿真过程中，人类主体的网络态势感知任务如下：为主体提供对两台服务器的远程访问权限，以防御实时的“红队”攻击者。同时向他们提供动态注入的任务，要求其执行–典型的系统管理任务，如账户创建、数据库更新等。典型任务包括枚举并保护具有管理员权限的账户（更改默认密码）、识别并通过补丁更新存在漏洞的软件、修改软件配置以关闭不需要的服务等。在演练过程中，人类主体需要识别出存在问题的地方（配置、补丁、账户、服务），确定攻击者是否正在利用这些漏洞来破坏系统，并在能够定位到攻击者已获得访问权限的情况下，切断攻击者的访问。

数据创建 ：实验模拟数据是在实验室环境中创建的。这些模拟数据来源于实验室中的一组计算机网络，该网络模拟了一个名为“ABC”的虚构组织的活跃计算机网络。在24小时周期内，账户在计算机系统上进行登录和注销操作，从而在服务器的Windows安全日志中生成实际的日志记录。提供给人类主体的数据集包含一定程度的正常噪声，但通常仅限于成功的登录、成功的注销以及登录失败事件。在提供的认证数据中嵌入了一系列登录失败尝试，随后是一次最终成功的登录事件。

此外，使用了相同的24小时周期，并将多个病毒复制到计算机上。杀毒程序被允许检测这些文件并采取适当措施——删除或隔离含有恶意代码的文件。结合新的杀毒程序定义更新，这两类记录均体现在杀毒程序数据中。

最后一组数据是补丁管理。在这种情况下，我们创建了一组正常应用的更新记录。

方法：招募了三个三人小组。每位成员在模拟中被随机分配一个角色，分别是（i）Windows认证分析师（WAA）、（ii）反病毒分析师（AVA）或（iii）Windows更新分析师（WUA）。当第一次训练情境结束时，参与者需填写一份调查问卷，以使用NASA‐TLX[HS88]和SART[Taylor90]来量化其个体的情境意识。调查完成后，参与者接受了第二个培训场景，然后进行了另一次个体态势感知（SA）调查。在完成两个培训场景后，参与者会收到关于该场景及正确应对措施的简要汇报。接下来，首个性能场景启动，完成后进行相同的个体SA测量，并增加共享态势感知清单（SSAI）[SST09]。随后，要求参与者完成第二个性能场景，以及相同的个体SA和SSAI调查。

结果：该模拟最初使用3个团队进行测试，以评估可行性并捕获上述性能指标。一切运行良好。模拟，学生能够以个人和团队网络分析师的身份执行任务，判断常规活动和威胁活动。

意义：CYNETS缩放世界模拟代表了一种具有挑战性的网络作战环境的发展，该环境模拟了现实世界中的威胁评估，涉及个人与团队协作功能之间的分布式认知。

8.1.5 基于实例的学习理论对网络攻击检测的认知建模

基于实例的学习理论（IBLT）将决策视为一个动态进程，在该进程中，分析人员在信息有限和存在不确定性的环境中进行交互，并必须依赖自身经验做出决策。这一研究方向将IBLT应用于获取网络态势感知。

网络攻击导致严重的工作中断。了解防御者’的行为（威胁经验与威胁容忍度）以及对抗行为（攻击策略）如何影响威胁的检测至关重要。在本研究中[DAG13]，我们采用认知建模对这些因素进行预测。基于实例的学习理论（IBLT）构建了代表不同防御者的模型类型，并面对不同的对抗行为。防御者’的模型由分析师’的威胁经验定义：易受威胁（90%为威胁，10%为非威胁）和不易受威胁（10%为威胁，90%为非威胁）；以及对威胁的不同容忍水平：风险规避（模型在八次中感知到一次威胁即宣告发生网络攻击）和风险寻求（模型在八次中感知到七次威胁才宣告发生网络攻击）。对抗行为通过模拟不同的攻击策略来实现：耐心型（威胁发生较晚）和急躁型（威胁发生较早）。

对于急躁的策略，具有易受威胁经验的风险规避模型相比具有不易受威胁经验的风险寻求模型表现出更优的检测效果。然而，这一情况在耐心策略中并不成立。根据模型预测，防御者的先前威胁经验及其对威胁的容忍度可能能够预测检测准确性，但同时考虑对抗行为的本质也非常重要。

8.2 重点2 研究成果

8.2.1 面向任务的网络态势感知框架

我们的MURI团队提出了一种以任务为中心的网络态势感知框架，该框架主要受攻击图局限性的驱动。首先，攻击图未能提供评估每种攻击模式发生可能性及其对企业或任务影响的机制。其次，告警关联的可扩展性问题尚未得到充分解决。

提出的解决方案（例如，[AJN12]）是一种用于实时分析大量原始安全数据的新型框架。该框架旨在自动回答分析人员可能提出的关于当前情境、攻击的影响与演变、攻击者行为、取证、可用信息与模型的质量以及未来攻击预测等多个问题。实际上，该框架为安全分析师提供了网络安全情境的高层次视图。

该框架的关键组成部分如下：
- 引入了广义依赖图的概念，用于描述网络组件之间的相互依赖关系。
- 通过引入时间跨度分布概念，扩展了攻击图的经典定义，以编码攻击者行为的概率性知识。
- 提出了攻击场景图的概念，将依赖关系与攻击图相结合，弥合了已知漏洞与可能最终受到影响的使命或服务之间的差距。
- 提出了用于检测和预测的高效算法，并证明这些算法在大规模图和大量警报情况下具有良好可扩展性。
- 为了评估零日漏洞的风险，开发了一种高效方法，该方法基于按需生成部分攻击图的技术。
- 为了回答分析师可能提出的问题，关键在于定义安全度量，以捕获和量化被保护系统的多个方面，例如对零日攻击的鲁棒性。为此，我们开发了一套基于攻击图的全网网络安全风险度量方法：研究了网络多样性作为一种安全度量，并评估了其对网络抵御零日攻击鲁棒性的影响。

8.2.2 自动解释安全警报

在真实世界的企业中，安全管理人员通常被大量收到的警报所淹没，任何有助于解释正在发生情况的努力都非常有帮助。我们提出了超图警报机制（HAM）这一全新的概念，并展示了如何从一组SNORT规则中自动学习得到HAM。接着，我们证明了通过使用经过适当修改以处理时间约束和超图结构的复杂图可达性属性，可以为分析师面前看到的一组特定警报生成合适的解释。

在HAM框架中（例如，[AMP11、AMP14、MMP14]），我们假设SNORT规则负责生成警报。超图警报机制由特定类型的节点和某些专用类型的超边组成。
- 一个节点是一对 ðm;aÞ，表示在企业网络中，SNORT 在机器 m 上生成了警报 a 的事实。
- 一个超边是一个三元组 e ¼ H;n,dð Þ，其中 H 是一组节点；n 是一个特定节点；d fe g是一个映射，为每个 n0 2 H 关联一个非负真实数。直观上，超边 e 表示 H 中的所有事件倾向于或多或少地同时发生，且 H 中事件发生的时间与事件 n 发生的时间之间存在时间延迟。对于给定的事件 n0 2H，d fe gðn 0Þ 表示 n0 发生与 n 发生之间的时间量。

我们开发了一种HAM的理论模型，该模型能够根据过去生成的警报历史，为当前机器以及其他机器上的警报提供解释。我们还开发了一种算法，以现有的SNORT规则和企业网络拓扑作为输入，自动生成一组HAM。

此外，我们研究了以下问题。给定一组实际发生的警报 A ¼fa1;.. ;akg，对该组警报的最佳解释是什么？一个解释 E 是一组具有各种属性的超边。为了解决这一问题，我们为给定的一组警报提出了一个解释的正式定义；我们定义了多个指标来评估每个解释；我们还将这些指标与 NIST 国家漏洞数据库和 MITRE 通用弱点评分系统相关联。利用这些指标，我们开发了一种初步算法，能够通过指标间的预定义序关系或帕累托最优性，找出在所有不同度量标准下最优的解释集合。

8.2.3 基于国家漏洞数据库的补丁部署博弈论分析

如今，大多数企业安全管理员的企业内部都有大量软件。由于时间和成本的限制，他们通常只会对被认为最易受攻击的软件（例如，根据美国国家标准与技术研究院国家漏洞数据库）应用补丁。

所提出的博弈论分析[SJP15]的目标是预测对手可能的行为，并利用该信息为防御者提供优势。我们提出了一种基于斯塔克尔伯格博弈的框架，通过该框架，防御者（企业安全经理）可以在其成本/时间约束范围内选择要应用的补丁集，以最小化攻击者最具损害性的策略所造成的预期损失’s 最具损害性的策略。

通过博弈论分析，我们从理论上证明了攻击者的最优策略（即利用哪些已知漏洞）能够轻易穿透此类防御。我们提出了攻击者最优策略的正式概念，表明对其而言找到最优策略是难解的，并开发了攻击者可以使用的算法。

此外，我们提出了以下问题：给定一组公开信息（例如修补漏洞的成本，任何人都可以轻易推断出），智能攻击者会采用何种策略来最大化其造成的预期损失？在此基础上，防御者可以制定能够最小化攻击者所能造成的预期损失的防御策略。我们允许防御者采取两种措施：（i）停用某些产品（例如，如果它们存在严重漏洞），从而降低攻击的影响；（ii）对某些漏洞应用补丁。第一种方法可能会影响企业的生产力，而第二种方法则涉及时间和成本影响。我们将防御者的最优策略定义为一个帕累托优化问题，并展示了如何找到防御者的所有最优策略集合。我们推导出与攻击者目标相关的若干复杂性结果，即寻找一种能最大化其预期影响的攻击方式，同时也推导出防御者目标的相关结果，即采取措施以最小化攻击者可能造成的影响上限。

我们实现了我们的算法，并在四个现实世界漏洞依赖图（攻击图的更通用版本）上进行了测试。结果表明，我们的算法在真实网络中能在合理的时间内运行，并为企业安全管理员提供了代表最大化生产力和最小化预期攻击影响不同组合的选项。我们的原型实现表明，即使对于包含30 K条边的大规模漏洞依赖图，计算的运行时间都在可接受的时间范围内，并且生产力与攻击影响之间的平衡也是可接受的。

8.2.4 基于大规模半监督学习的安全增强型Android自动策略分析与优化

在这项工作中，我们专注于对访问控制系统生成的审计日志进行自动化分析。对于大量用户，在以月或年为单位的时间段内，此类日志可能达到数百万条甚至更多。此类自动化分析的预期输出是一种安全策略，该策略可以被某种形式的强制访问控制解析并执行。

强制访问控制（MAC）由SELinux实施，相较于自主访问控制（DAC）具有多项优势。然而，由于安全策略的创建、理解、优化和维护较为困难，MAC通常被关闭，或采用较弱且通用的策略，从而难以有效防止滥用。理论上，如果能够提前识别每款可安装软件执行的所有潜在非恶意访问操作，则可以制定出仅允许这些操作的适当安全策略，而不再允许其他操作。但遗憾的是，这一目标并不现实。

然而，从大量用户中在足够长的时间间隔内捕获实际所需的大多数访问操作，并处理这些信息以派生出安全策略，是切实可行的。在此过程中必须回答若干研究问题：
1. 是否能够区分正常用户和软件执行的操作与恶意软件执行的操作？
2. 是否可以自动生成一种安全策略，允许正常访问并防止恶意访问，同时使该策略既人类可读又高效可执行？
3. 这种方法是否能够扩展到长期收集的数百万用户的信息？
4. 由安全分析师评估，所生成的安全策略的质量是否等于或优于手动制定的策略？

我们使用一台安卓智能手机作为演示系统来研究这一问题。通过与三星的合作，我们获得了来自数百万用户（经用户许可）的丰富用户访问操作数据集。

我们提出并评估了一种方法，用于自动创建可由安卓设备MAC层（SEAndroid）强制执行的安全策略。该方法在一定程度上肯定地回答了上述研究问题，但仍存在一些局限性。

半监督学习是一种机器学习方法，它同时利用标注数据（监督学习所使用）和未标注数据（无监督学习所使用）进行训练。当标注数据不足且收集成本较高，而存在大量未标注数据时，通常会采用这种方法。通过将未标注数据中的特征与标注数据相关联，半监督学习器可以推断出具有强相关性的未标注实例的标签。这种标注过程增加了标注数据集的规模，可用于进一步重新训练并提升学习准确率。半监督学习在信息抽取和知识库构建中广受欢迎。我们假设，安全策略的制定与优化过程类似于半监督学习：人类分析师将其关于各种访问模式的知识编码到策略中，并通过审查审计日志来不断完善这些知识。

学习的输入包括现有的安全策略（如果有的话）以及从用户设备记录的一组访问事件。每个访问事件条目标识了主体（即进程或应用程序）、对象（即文件或系统资源）以及主体对该对象请求执行的类型。需要注意的是，审计日志可能包含恶意软件、非恶意软件以及用户尝试的访问。一个主要思路是，非恶意访问远比恶意访问尝试更为常见，而恶意访问具有可被自动化方法学习的独特特征。

所提出的方法使用了三种机器学习算法，这些算法考虑了知识库和审计日志的不同角度。这些算法的输出被输入到一个组合器中，该组合器将新知识进行合并并添加到知识库中。该学习过程会多次迭代，直到无法从当前的审计日志输入中学到更多新知识为止。最后，策略生成器对安全策略提出改进建议。

该方法在SEAndroid平台上进行了测试，输入数据集包含超过1400万条被拒绝的访问事件，初始安全策略包含超过5000条安全规则。结果表明，该方法将目前SEAndroid允许的200多种访问类型分类为恶意行为。其中许多访问已被确认为此前未识别（因而未被阻止）的针对Android设备的攻击。

8.3 重点3 研究成果

8.3.1 使用贝叶斯网络获取网络态势感知

我们探索了两种使用贝叶斯网络获取网络态势感知（例如，[XLO10]）的方法：
1. 构建跨层贝叶斯网络以推断云中企业网络孤岛之间的隐蔽桥；
2. 利用贝叶斯网络进行自动化的异构证据融合，以检测零日攻击路径。

(1) 推断云中的隐蔽桥
在云环境中实现网络态势感知是网络态势感知领域中一个非常重要且新兴的研究领域。企业已经开始将部分IT系统（如Web服务器、邮件服务器等）从传统基础设施迁移到云计算环境。公共云可以为多个企业提供虚拟基础设施。除了某些公共服务外，企业网络在云中应表现为孤立的孤岛：从外部网络到受保护的内部网络的连接应当被禁止。因此，在企业网络中显示多步利用序列的攻击路径也应被限制在此孤岛内部。然而，随着企业网络向云迁移并将传统物理主机替换为虚拟机，孤立的企业网络孤岛之间可能会形成一些“隐蔽桥”。通过这些隐蔽桥，原本局限于一个企业网络内部的攻击路径能够跨越到云中的另一个企业网络。换句话说，隐蔽桥是在云中不同网络之间存在的、安全传感器未知的隐蔽信息隧道，并且本应被禁止的。隐蔽桥主要是通过利用漏洞扫描器未知的漏洞而形成的。这些隐蔽隧道将孤立的企业网络孤岛连接起来，使得信息（数据、命令等）能够被非法获取、传输或交换。

在这项工作中，我们构建了跨层贝叶斯网络（BN）来推断云中企业网络孤岛之间的隐蔽桥。具体而言，我们的主要贡献如下：
- 我们发现“隐蔽桥”的创建得益于公共云的两个独特特性：（i）云用户被允许创建虚拟机镜像（VMI）并与其他用户共享；（ii）属于不同租户的虚拟机可能共存于同一物理主机上。
- 我们通过在攻击图生成工具MulVAL中设计新的交互规则，构建了一个云级攻击图。该云级攻击图能够捕捉由隐蔽桥所启用的潜在攻击，并揭示以往单个企业网络攻击图所遗漏的可能隐藏攻击路径。
- 基于我们构建的云级攻击图，通过识别四种不确定性，建立了一个跨层贝叶斯网络（BN）。该跨层贝叶斯网络能够在其他入侵步骤提供证据的情况下，推断隐蔽桥的存在。该贝叶斯网络具有两个输入：网络部署模型（如网络连接、主机配置和漏洞信息等）和证据。其输出为特定事件的概率，例如隐蔽桥已建立的概率，或Web服务器被攻陷的概率。

在我们的评估实验中，我们考虑了三个主要的企业网络，即A、B和C。A和B完全在云中实现，而C部分在云中实现，部分作为传统基础设施实现（例如，服务器位于云中，工作站位于传统网络中）。攻击包括攻击者进行的七个步骤。在此场景中，建立了两个隐蔽桥：一个是从互联网通过利用未知漏洞进入企业网络A，另一个是通过利用虚拟机共存建立在企业网络B和C之间。攻击路径跨越位于同一云中的三个企业网络，并延伸至C的传统网络。构建了一个具体的跨层BN，并考虑了隐蔽桥的存在；云级攻击图能够揭示潜在的隐藏攻击路径。我们进行了四组模拟实验，每组都有特定的目的。结果表明：
- 隐蔽桥存在的概率最初非常低，随着收集到更多证据，该概率从34%上升到88%；
- BN通过结合整体证据集可以提供相对正确的答案；
- 即使证据顺序发生变化，BN仍能产生可靠的结果。

(2) 检测零日攻击路径
由于大型企业网络中的网络态势感知是通过对多个数据源进行综合分析而获得的，因此证据融合是网络态势感知的一项基本重要能力。在文献中，已经开发了多种同质证据融合技术（例如，告警关联）。然而，自动化的异质证据融合是一个研究不足的研究领域。在实践中，异质证据融合是主要依赖由安全分析师手动开发的安全信息和事件管理系统规则。不幸的是，生成高质量的安全信息和事件管理系统规则成本极高。

在这项工作中，我们迈出了第一步，利用贝叶斯网络对企业网络中的零日攻击路径进行证据融合以实现检测。检测零日攻击是迄今尚未解决的最具根本性挑战的网络态势感知问题之一。零日攻击通常由未知漏洞所引发。攻击者与防御者之间的信息不对称使得零日漏洞利用极难被检测。基于特征的检测假设每种漏洞利用都有现成的特征可用，因此无法检测未知的漏洞利用。异常检测或许能够检测到零日漏洞利用，但该方案必须应对较高的误报率。

鉴于检测单个零日漏洞利用的极端困难性，一种更为可行的策略是识别零日攻击路径。在现实世界中，攻击活动依赖于一系列攻击行为，从而形成一条攻击路径。每条攻击链都是漏洞利用的一个偏序，而每个漏洞利用都针对特定的漏洞。零日攻击路径是一种包含一个或多个零日漏洞利用的多步骤攻击路径。

应对零日攻击路径的一个关键洞察是分析其链式效应。通常，一条零日攻击链几乎完全由零日漏洞利用构成（即链中的每个漏洞利用均为零日漏洞利用）的可能性并不高。因此，防御者可以假设：（i）链中的非零日漏洞利用是可检测的；（ii）这些可检测的漏洞利用与链中的零日漏洞利用存在一定的链式关系。因此，通过路径连接已检测到的非零日片段，是揭示同一条链上零日片段的有效方法。

告警关联和攻击图都是生成潜在攻击路径的可能解决方案，但在揭示零日攻击路径方面仍然非常有限。主要原因在于，它们都执行同质证据融合，而在异质证据融合方面能力极为有限。一个关键观察是，零日攻击路径检测需要异质证据融合，而同质证据融合显然不足。

我们观察到，贝叶斯网络可以实际融入防御者关于零日攻击路径的各种知识；同时我们也发现，基于贝叶斯网络的方法具有弹性的特点。每当获得关于零日攻击的新知识时，这些新知识都可以被纳入贝叶斯网络中；一旦发现错误的知识，也可以轻松地将其移除。基于这些观察，我们开发了一种创新技术，利用贝叶斯网络对企业网络中的零日攻击路径进行异质证据融合以实现检测。

我们提出了通过引入对象实例图在系统对象级别构建贝叶斯网络的方法。我们设计、实现并评估了一个名为ZePro的系统原型，该原型能够有效且自动地识别零日攻击路径。

8.4 Thrust4 研究成果

8.4.1 使用集成方法的基于Web的Snort警报数据可视化

我们首先开发了一个网络流可视化工具[HH16]。该工具将相关的网络流和Snort告警以图表形式（例如柱状图、散点图）进行可视化，这种简洁的设计理念被选用是因为它已被分析人员广泛认知和理解，并且已被证明对分析人员执行的各类任务具有有效性。基于我们为适配分析人员的工作流程和心理模型而设计的构建工具模型，每位分析人员均可完全控制图表坐标轴上的数据属性，以及在不同图表位置上要聚合的数据。

我们进一步拓展了对集成可视化技术如何应用于我们的可视化工具中的研究。集成可视化研究的是如何对由“成员”组成的超大规模数据集进行可视化，这些成员代表数据中的事件或片段式重复。在物理科学界，集成数据通常编码模拟数据，其中每个成员是一次具有特定输入参数的模拟运行。在网络安全环境中，一个集成可能是网络数据的集合，其中每个成员代表某一类疑似攻击，或与特定活动类别相关的网络流量集合。

然后，我们在原有的基于图表的网络流可视化工具基础上，开发了一个原型Web应用程序，用于将网络流和Snort告警表示为集成成员，并应用集成可视化方法来展示这些数据。这项工作涉及两个重要挑战：（i）设计一种方法，将网络安全数据表示为符合集成可视化技术“成员集合”输入要求的形式；（ii）在现有集成可视化方法的基础上，以能够高效且有效地支持网络分析人员的方式，直观地呈现网络流和Snort告警数据。

为了解决这些挑战，我们开发了两种不同的方法来识别时间变化的集成成员中的模式。这使得集成方法在处理网络情境数据时更具适用性，因为所有对网络数据的分析都需要考虑时间维度。这些技术已被扩展并整合到我们的基于集成的网络分析框架中。