Arista Networks公司是以数据安全理念为驱动的云网络设备供应商，它在2020年10月收购了业界领先的网络检测和响应 (NDR) 平台 – Awake Security
Awake Security公司将AI人工智能与人类专业知识相结合，是网络流量安全领域威胁狩猎的一家独家兽公司，本篇文章是该公司的主要安全理念，由「先进攻防社群」甄选推荐给粉丝。
原文：
https://www.arista.com/assets/data/pdf/Whitepapers/Advent_Network_Traffic_Analysis_WP.pdf
简介
在过去的几年中，许多入侵事件表明，对于一个希望控制其安全风险的组织机构来说，仅仅依靠prevention-only（预防阻断策略）和perimeter-focused （边界安全策略）为重点的安全方案是远远不够的。攻击已经演变为长期行为，而传统的point-in-time（特定时间点）预防策略已经无法跟进。因此，行业分析师指出，检测和响应现在是企业的首要任务。伴随着这一趋势的是对云计算的拥抱，新的DevOps流程，物联网设备的蔓延，复杂交织的供应链，以及其他此类数字基建的涌现，使缺乏安全视野成为有效安全检测和响应的关键障碍。
为了说明这种变化的状况。先举个例子，比如你将如何发现一个使用SMB列举的文件共享，通过SMB登录并远程执行恶意进程的攻击者？或者，你如何快速知道是否有人窃取IP电话系统来记录和窃取语音通话？答案就在网络信号中，它能看到一切，并提供其他数据源无法比拟的真实情况。快速的网络检测和响应（NDR）最终降低了攻击者在网络环境中活动的时间，从而将影响降到最低。然而，为了有效，NDR必须不断迭代改进，以便客户能够保护他们的组织，即使网络本身的定义正在发生变化。
向检测和响应的安全方法进行转变，涉及人员、流程和技术要素，并将在未来五年内推动大部分的安全市场增长。虽然这并不意味着预防策略不再重要，也不意味着首席信息安全官（CISO）放弃了对安全事件的预防，但它表明了一个明确的信息，即除非与安全检测和响应能力相结合，否则预防是徒劳的 。
– Sid Deshpande，Gartner的首席研究分析师
网络安全的演变
在我们讨论今天的情况和未来的方向之前，建立一个框架是有帮助的，我们可以通过这个框架来理解这些演变。网络入侵检测系统（IDS）的有效前提是通过观察单个数据包或会话来检测已知的恶意软件，寻找恶意软件的特征。
这种模式充满了挑战，包括：
沙盒开始出现
攻击者能够通过对恶意软件底层进行简单而微妙的改变或利用所谓的0day漏洞来绕过IDS检测。这带来了未知恶意软件的新时代和一个无法逃避的新挑战：即如何在事先不知道被利用漏洞的情况下建立一个签名？答案提示：沙盒。沙盒检测可以是使用静态和动态分析的组合，以确定某些东西是否可能是恶意的。这在一段时间内是有效的，并且解决了挑战IDS的一些安全问题。
但攻击者从未停止创新。随着安全团队提高了他们阻止恶意软件的能力。攻击者也改变了战术，在攻击中不再使用恶意软件。行业统计数据显示，超过50%的漏洞没有恶意样本的痕迹。攻击也发展到攻击也越来越多，而且持续时间长，如果不是几周或几个月，也经常跨越几天，对数据包或文件的时间点分析已经不能满足需要。攻击者现在越来越关注目标组织中的人，窃取他们的合法身份凭证，然后利用这些合法凭据和已经部署在环境中的工具 – 想想脚本语言（如Python）或系统工具（如PowerShell、WMI或psexec），甚至是生产力工具（如Microsoft Word或Excel）
网络流量分析，行为分析
安全行业通过网络流量安全分析（NTA）来应对这些进化的攻击，方法从识别已知的安全问题转向建立一个正常的安全基线，然后从该基线检测出潜在安全问题的异常情况。这种方法在市场上被大量宣传，如数据科学、机器学习和人工智能。这些技术基本上适用于OSI模型第3和第4层的网络活动信息，例如，IP地址、端口和协议。虽然这些都是很好的技术，但它们最终不是达到目的的手段，最终目的是拥有发现异常的能力。例如，这个IP通常不会看到来自某国的连接，如果出现任何这样的连接，就会发出告警。
行为分析和异常检测遇到了一些重大挑战：
算法需要理解什么是“正常”的。这需要时间，通常是30到90天，在试图评估技术或在环境中部署它时，这可能是令人沮丧的。但更糟糕的是：如果环境已经被破坏了怎么办？那么攻击者的行为就会成为安全基线的一部分。换句话说，你已经把以前存在的恶意行为归为正常行为了。
在大多数情况下，基线也将行为归于第三层的IP地址。然而，在任何现代网络中，IP地址经常变化。一个给定的设备在一天内可能有多个IP地址，而一个独特的IP地址可能被分配给多个设备。如果系统基于IP地址发出警报，它将混合来自众多设备的行为，无法跟踪和描述跨IP移动的实际设备和用户的行为。另一方面，如果它依赖于MAC地址，它就会失去第一跳网络以外的安全视野，或者该解决方案需要一个具有大量传感器的复杂部署。那么，你如何才能真正知道一个给定的现实世界实体，比如设备或用户，到底谁是异常的？
现代网络是动态的，新的行为会合法地出现，而其他行为则会逐渐消失。例如，考虑到当基线建立后，IT部门推出了新的备份解决方案会发生什么。网络中的每个系统现在都表现出与基线不同的异常情况，因为它正在将数据上传到一个以前未知的地方，这导致了误报和需要对运营人员重新培训。
最终，虽然NTA解决方案已经显示出前景，但安全团队有时很难看到持续的价值，并将调整解决方案的运营成本降到最低。
高级网络检测和响应
在过去的十年里，网络安全数据处理、分析和安全研究都有了巨大的创新。出现了一类新的解决方案，利用这些进展来解决我们上述的缺点。重要的是，它们还增加了一些功能，帮助你对抗我们今天所面临的威胁。高级网络检测和响应解决方案在几个方面超越了第一代的行为分析解决方案。
数据来源
在一个无边界的世界里，工作负载正在转移到云端，远程工作者往往是常规而非例外，网络的定义正在发生变化。先进的NDR解决方案专注于分析通信，无论是传统的TCP/IP风格的数据包、穿越vSwitch的虚拟网络流量、来自云工作负载和云工作负载内部的流量，还是对SaaS应用或无服务器计算实例的API调用。这些解决方案还关注网络运营技术和未受管理的设备。这些设备往往是安全团队完全看不到的，这种广泛的情况要确保安全不会成为更广泛的自动化和互联工作场景举措的障碍。
攻击活动与元数据的比喻
如果你在执法部门并监控犯罪分子的通信，通常寻找新电话号码的注册是一种监控方法。不用说，这很可能会产生非常无效的噪音，而且容易错过真正的威胁。一个改进的方法是监测电话记录，它们告诉你谁在和谁说话，说了多长时间等等。因此，如果你有一个调查目标，你可以通过电话记录元数据进行排序，并试图区分给奶奶的电话和给犯罪同伙的电话。如果在实际的犯罪对话发生时，根据所说的内容自动向你发出告警，或者当一个新的一次性电话号码出现在网络上时，你会立即知道吗？
全部数据包分析与仅仅只是元数据
第一代NTA解决方案主要处理第3和第4层元数据，如协议头或NetFlow信息。为什么？因为通过第7层的完整数据包明显数据量更大，更难实时处理。但是，这个数据量也意味着更多的信号，这些信号对于提高检测的保真度、跟踪实体是很有用的，而且，也许具有讽刺意味的是，这些信号实际上有助于解决方案扩展到大型复杂网络。例如，像Kerberos数据包中的用户信息，这样的信号不会在协议头或NetFlow中显示出来。完整的数据包允许你理解和存储活动记录，即网络上实体之间发生的实际交互，而不是毫无意义的协议和比特字节。这种取证数据允许平台和调查人员回到过去，追溯性地检测那些在第一次发生时，可能没有被确认的恶意行为。其实更重要的是，专注于第一次异常活动数据的记录，这样的安全数据处理策略会比完整的数据包记录存储空间要小得多。
打破安全视野障碍
考虑这种情况：假设你发现在堪萨斯城办公室的两台主机之间有横向移动。看到这种活动的一种方法是监听这两个设备之间的网络。但在任何网络中，除了较小的网络环境，这种调查是不现实的。然而，许多通信都会产生网络痕迹，作为一种副作用产生。在横向移动的例子中，这可能是由域控制器发出的Kerberos票据，用于一个设备访问另一个设备。观察和深入解析这些东西的好处是，NDR传感器只需要部署在相对有限的位置，同时仍然提供广泛的安全视野。在这种情况下，Kerberos票据随之而来的工件（产生的日志或衍生数据）提供了横向移动的证据，而不需要亲身见证通信的过程。重要的是，攻击者对这些相应的工件没有控制权，所以不能做很多事情来隐藏其痕迹。
加密通信的使用越来越多，经常被讨论为网络流量不是一个可行的长期可见性和检测来源的主要原因。先进的NDR产品正在迎接这一挑战，加密流量分析要使分析人员能够通过分析全部有效载荷，而不实际窥视隐私来发现威胁。要使解密合规和避免隐私受影响，以及在TLS 1.3协议中做这样的技术挑战。
更聪明的数据科学
第一代行为分析解决方案的挑战之一是威胁行为被归因于短暂活跃的IP地址。随着全包数据中信号分析的深入，先进的NDR解决方案可以跟踪和描述网络上的实体，包括设备、用户、应用程序和目的地址等。然后，机器学习和分析可以将行为和重要的是，将关系归于这些命名的实体。显然，对于人类分析师来说，这种实体视图比IP地址列表更有意义，而且这种归因有助于减少假阳性和假阴性。
大多数IT环境随着业务需求在不断变化。如果没有持续的更新迭代，第一代NTA会在发生变化时产生误报，但再训练会很麻烦，而且在完成训练之前会让你直接抓瞎。先进的NDR解决方案正在采用一种更好的方法，与环境中的大部分实体相比，跟踪一个实体或少数实体的独特行为。与传统的以过去行为为安全基线的时间统计模型相比，这些较新的模型更容易学习，因为基础数据可以立即获得，而不是等待数周或数月。此外，随着整个企业行为的变化，安全基线也在实时演变。
考虑到实体跟踪，除了流量模式外，基线也从对源地址和目的地址实体的理解中大大受益。因此，这种更好的基线可以避免在IT部门推出一个新的备份系统时发现异常，就像我们上面的例子那样。相反，威胁分析师有一个完全可以解释的模型。
更广泛的使用案例
由于先进的NDR解决方案将行为归于实体，因此丰富的背景不仅可用于检测，还可用于启用调查和响应工作流程。分析师不再需要通过多种数据源，如DHCP和DNS日志、配置管理数据库和目录服务基础设施、开放源码和威胁情报库来拼凑这些信息。这对未受管理的设备来说尤其强大，因为这些设备不太可能出现在这些数据库中。在物联网、云计算和影子IT时代，每三个组织中就有两个组织在为全面的安全视野而奋斗，安全效力在很大程度上取决于你如何快速检测到一些东西，以及你如何快速和果断地追踪它，确定根本原因并作出反应。
所有这些能力结合起来所提供的东西，我们称之为恶意意图检测。因此，比如如果你看到PowerShell被用来连接到Twitter，而且这种行为经常出现，那么它极有可能是某种C2命令控制通道。
事实上，这是典型的现代攻击案例，对手使用的不是恶意软件，而是一些预先存在的工具，如PowerShell具有恶意的行为。今天，只有最先进的安全团队才能主要通过人工猎取威胁来发现这种活动。顾名思义，这涉及到拉动一条线，直到你遇到一个死胡同或找到一些东西，然后重复这个过程，一次又一次。
这很耗时，需要高度的安全技能及知识经验，而且不容易复制。善意的安全团队遇到的基本挑战是，大多数威胁分析师可以用口语表达他们想要寻找的东西，但却很难用一种可以通过安全技术栈自动化的方式来表达它。例如，如果看到一个来自我以前没有遇到过的国家的网络通联记录就提醒安全人员；如果有人连接到一个数据库服务器，并且传输的数据是历史平均量的2倍或更多就提醒安全人员。安全告警很难表达这样的内容。
先进的NDR解决方案专注于使这一过程自动化，并减少和改进技能知识不足的障碍，这种障碍阻止了大多数组织机构进行威胁狩猎。为了做到这一点，他们不仅支持机器学习和行为分析，还支持基于启发式的检测，可以寻找非常具体的攻击者战术、技术和过程（TTPs）。启发式检测本身很容易定义，并且可以自动关联实体、时间、协议和其他相关参数，同时映射到已知的攻击者杀伤链或Mitre的ATT&CK等框架，这使研究人员或分析人员能够寻找数周或数月内的事件序列。
例如，你可以通过寻找在HTTP文件下载后几分钟内开始的SMB文件传输，并与下载的文件大小相匹配来定义一个启发式方法。正如这些例子所说明的，这些规则允许搜索高层次的行为（例如，使用非浏览器客户端访问互联网），而不仅仅是低层次的原始数据（例如，端口和协议参数）。因此，这种行为机制更容易被更多的分析人员所接受，同时也比传统的签名更强大。
由于增加了基于启发式的检测，先进的NDR解决方案还可以为组织和内部的安全团队提供安全视野和管控能力。正如Gartner分析师Avivah Litan所说，安全供应商不能只出售盒子。相反，采用高级NDR解决方案的组织可以使这些平台适应特定网络的细微差别，而不需要数据科学团队来修改训练集或算法。此外，这种方法允许对特定组织的威胁进行定制检测（例如，对你的供应商域名进行仿冒查询）。
将机器学习、数学分析与基于启发式的高级方法结合起来，可以实现更高的保真度检测，假阳性和假阴性都很低。它使你能够检测到传统上在南北向（表现为组织与外部世界之间互动的威胁）以及东西向（表现为组织内部实体之间互动的威胁）流量上看到的行为。换句话说，无论攻击者是意外地或恶意地破坏安全的内部人员，还是已经闯入并正在通过内部环境进行破坏的外部攻击者，意图检测都是同样适用的。
从安全团队的角度来看，用于检测的丰富上下文也可用于加快响应，消除了调查威胁时对其他系统的需求。当发现一个新的恶意行为模式时，检测它仅仅是创建一个新的模型，并让系统自主地寻找这种行为。
结论
网络安全数据提供了关于实体行为的真实情况，而这是无法通过日志或终端代理复制的。攻击者可以禁用端点安全软件，从日志或文件系统中删除他们的痕迹，但他们不能取消发送的数据包，他们也无法避免由此行为产生的工件（衍生数据和样本）。使用适当的工具，网络数据也可以是一个内存，允许实时和回溯检测。最近在网络安全数据处理、分析和安全研究方面的进展，使检测和响应能力进入了一个新时代，消除了传统网络安全的许多挑战。先进的网络检测和响应解决方案正在挖掘不断发展的网络环境，从内部部署到云、虚拟和SaaS，以快速提供价值，而无需长时间的部署和对运营人员的反复培训。每个组织机构都应该考虑将这些作为其安全架构的一部分。
参考文献
-
https://www.gartner.com/en/newsroom/press-releases/2017-03-14-gartner-says-detection-and-response-is-top-security-priority-for-organizations-in-2017
-
https://www.gartner.com/en/newsroom/press-releases/2018-08-15-gartner-forecasts-worldwide-information-security-spending-to-exceed-124-billion-in-2019
-
https://awakesecurity.com/webinars/ja3-reasons-to-rethink-your-encrypted-traffic-analysis-strategies-webinar/
-
https://www.zdnet.com/article/snooping-on-https-is-about-to-get-harder-tls-1-3-internet-encryption-wins-approval/
-
https://www.helpnetsecurity.com/2018/09/11/internal-dysfunction-security-risk/
-
https://attack.mitre.org/wiki/Main_Page
-
https://blogs.gartner.com/avivah-litan/2017/07/27/can-we-trust-black-box-machine-learning-when-it-comes-to-security-or-is- there-a-better-way/
点击左下角“阅读全文”,加入「先进攻防社群」
原文始发于微信公众号（赛博攻防悟道）：高级威胁网络检测响应的秘密
