生成人工智能聊天机器人和大型语言模型增强网络安全的六种方法

       从风险的角度来看，生成式人工智能聊天机器人和大型语言模型可能是一把双刃剑，但如果使用得当，它们也可以在关键方面改善网络安全。

OpenAI公司开发的ChatGPT的迅速崛起是今年最大的新闻之一，生成式AI聊天机器人和大型语言模型对网络安全的潜在影响是讨论的关键领域。关于这些新技术可能带来的安全风险有很多讨论，从担心与高级自学习算法共享敏感业务信息到恶意行为者使用它们来显著增强攻击。

一些国家、各州和企业以数据安全、保护和隐私为由，下令禁止使用ChatGPT等生成式人工智能技术。显然，生成式人工智能聊天机器人和大型大型语言模型带来的安全风险是相当大的。然而，生成式人工智能聊天机器人可以通过多种方式增强企业的网络安全，为安全团队打击网络犯罪活动提供急需的助力。

以下是生成式人工智能聊天机器人和大型语言模型提高安全性的6种方法。

漏洞扫描和过滤

根据云安全联盟(CSA)一份探讨大型语言模型网络安全影响的报告，生成式人工智能模型可用于显著增强安全漏洞的扫描和过滤。在论文中，云安全联盟(CSA)证明了OpenAI的CodexAPI是针对C、c#、Java和JavaScript等编程语言的有效漏洞扫描器。“我们可以预见，大型语言模型，就像Codex家族中的那些一样，将成为未来漏洞扫描器的标准组成部分，”论文写道。例如，可以开发扫描器来检测和标记各种语言中的不安全代码模式，帮助开发人员在潜在的漏洞成为关键的安全风险之前解决它们。

至于过滤，生成式人工智能模型可以解释并为威胁标识符添加有价值的场景，否则可能会被人类安全人员遗漏。例如，MITREATT&CK框架中的技术标识符TT1059.001可能会被报告，但对于一些网络安全专业人员来说并不熟悉，因此需要进行简要的解释。ChatGPT可以准确地将代码识别为MITREATT&CK标识符，并提供与之相关的具体问题的解释，其中涉及使用恶意PowerShell脚本。它还详细阐述了PowerShell的性质及其在网络安全攻击中的潜在用途，并提供了相关示例。

今年5月，OXSecurity宣布推出OX-gpt，这是一个ChatGPT集成，旨在帮助开发人员提供定制的代码修复建议和剪切粘贴代码修复，包括代码如何被黑客利用，攻击的可能影响以及对组织的潜在损害。

反转附加组件，分析PE文件的api

DeepInstinct网络智能工程经理MattFulmer表示，基于IDA和Ghidra等逆向工程框架，生成式人工智能/大型语言模型(LLM)技术可用于帮助构建规则和逆转流行的附加组件。“如果你明确了自己的需求，并将其与MITRE的攻击和攻击策略进行比较，你就可以将结果离线，并更好地将其用作防御。”

llm还可以通过应用程序进行交流，分析可移植可执行文件(PE)的API，并告诉你它们的用途，他补充道。“这可以减少安全研究人员花在查看PE文件和分析其中API通信上的时间。”

威胁搜索查询

根据CSA的说法，安全防御者可以通过利用ChatGPT和其他llm来创建威胁搜索查询来提高效率并加快响应时间。通过为恶意软件研究和检测工具(如YARA)生成查询，ChatGPT有助于快速识别和减轻潜在威胁，使防御者能够专注于其网络安全工作的关键方面。事实证明，在不断发展的威胁环境中，这种能力对于保持稳健的安全态势是无价的。可以根据特定需求和组织希望在其环境中检测或监视的威胁来定制规则。

人工智能可以提高供应链的安全性

生成式人工智能模型可以通过识别供应商的潜在漏洞来解决供应链安全风险。今年4月，SecurityScorecard宣布推出一个新的安全评级平台，通过与OpenAI的GPT-4系统和自然语言全球搜索集成来实现这一目标。据该公司称，客户可以询问有关其业务生态系统的开放式问题，包括供应商的详细信息，并迅速获得答案，以推动风险管理决策。例如，“找到我的10个评级最低的供应商”或“显示我的哪些关键供应商在过去一年中被入侵”——SecurityScorecard声称，这些问题将产生结果，使团队能够快速做出风险管理决策。

检测攻击中的生成AI文本

据CSA称，大型语言模型不仅生成文本，而且还致力于检测和水印人工智能生成的文本，这可能成为电子邮件保护软件的常见功能。CSA表示，识别攻击中人工智能生成的文本可以帮助检测网络钓鱼邮件和多态代码，并且可以假设llm可以轻松检测非典型电子邮件地址发件人或其相应的域，同时能够检查文本中的底层链接是否指向已知的恶意网站。

安全代码的生成和传输

像ChatGPT这样的llm可以用来生成和传输安全代码。CSA引用了一个网络钓鱼活动的例子，该活动成功地针对了公司内的几名员工，可能暴露了他们的凭证。虽然知道哪些员工打开了网络钓鱼邮件，但尚不清楚他们是否无意中执行了旨在窃取他们凭证的恶意代码。

为了调查这个问题，可以使用Microsoft365Defender高级搜索查询来查找电子邮件收件人在收到已知恶意电子邮件后30分钟内执行的最近10次登录事件。该查询有助于识别任何可能与受损凭据相关的可疑登录活动。”

在这里，ChatGPT可以提供Microsoft365Defender搜索查询，以检查受感染的电子邮件帐户的登录尝试，这有助于阻止攻击者进入系统，并澄清用户是否需要更改密码。这是在网络事件响应期间减少行动时间的一个很好的例子。

基于相同的示例，您可能会遇到相同的问题并找到Microsoft365Defender查找查询，但是您的系统不使用KQL编程语言。可以进行编程语言风格转换，而不是用您想要的语言搜索正确的示例。

他说，“这个例子说明了ChatGPT的底层Codex模型可以采用源代码示例并用另一种编程语言生成示例。它还通过在其提供的答案和新创建背后的方法中添加关键细节，简化了最终用户的过程。”

根据CSA的说法，安全防御者可以通过利用ChatGPT和其他llm来创建威胁搜索查询来提高效率并加快响应时间。通过为恶意软件研究和检测工具(如YARA)生成查询，ChatGPT有助于快速识别和减轻潜在威胁，使防御者能够专注于其网络安全工作的关键方面。事实证明，在不断发展的威胁环境中，这种能力对于保持稳健的安全态势是无价的。可以根据特定需求和组织希望在其环境中检测或监视的威胁来定制规则。

人工智能可以提高供应链的安全性

生成式人工智能模型可以通过识别供应商的潜在漏洞来解决供应链安全风险。今年4月，SecurityScorecard宣布推出一个新的安全评级平台，通过与OpenAI的GPT-4系统和自然语言全球搜索集成来实现这一目标。据该公司称，客户可以询问有关其业务生态系统的开放式问题，包括供应商的详细信息，并迅速获得答案，以推动风险管理决策。例如，“找到我的10个评级最低的供应商”或“显示我的哪些关键供应商在过去一年中被入侵”——SecurityScorecard声称，这些问题将产生结果，使团队能够快速做出风险管理决策。

检测攻击中的生成AI文本

据CSA称，大型语言模型不仅生成文本，而且还致力于检测和水印人工智能生成的文本，这可能成为电子邮件保护软件的常见功能。CSA表示，识别攻击中人工智能生成的文本可以帮助检测网络钓鱼邮件和多态代码，并且可以假设llm可以轻松检测非典型电子邮件地址发件人或其相应的域，同时能够检查文本中的底层链接是否指向已知的恶意网站。

安全代码的生成和传输

像ChatGPT这样的llm可以用来生成和传输安全代码。CSA引用了一个网络钓鱼活动的例子，该活动成功地针对了公司内的几名员工，可能暴露了他们的凭证。虽然知道哪些员工打开了网络钓鱼邮件，但尚不清楚他们是否无意中执行了旨在窃取他们凭证的恶意代码。

为了调查这个问题，可以使用Microsoft365Defender高级搜索查询来查找电子邮件收件人在收到已知恶意电子邮件后30分钟内执行的最近10次登录事件。该查询有助于识别任何可能与受损凭据相关的可疑登录活动。”

在这里，ChatGPT可以提供Microsoft365Defender搜索查询，以检查受感染的电子邮件帐户的登录尝试，这有助于阻止攻击者进入系统，并澄清用户是否需要更改密码。这是在网络事件响应期间减少行动时间的一个很好的例子。

基于相同的示例，您可能会遇到相同的问题并找到Microsoft365Defender查找查询，但是您的系统不使用KQL编程语言。您可以进行编程语言风格转换，而不是用您想要的语言搜索正确的示例。

“这个例子说明了ChatGPT的底层Codex模型可以采用源代码示例并用另一种编程语言生成示例。它还通过在其提供的答案和新创建背后的方法中添加关键细节，简化了最终用户的过程。”领导者必须确保生成式人工智能聊天机器人的安全使用

Gigamon首席战略官ChaimMazal表示，与许多现代技术一样，从风险的角度来看，人工智能和大型语言模型可能是一把双刃剑，因此，领导者必须确保自己的团队安全可靠地使用这些产品。“安全和法律团队应该合作，为他们的组织找到最好的前进道路，在不损害知识产权或安全的情况下利用这些技术的能力。”

富尔默说，生成式人工智能是基于过时的结构化数据，所以只有在评估其在安全和防御方面的应用时，才能把它作为一个起点。例如，如果将其用于上述任何好处，则需要证明其输出是合理的。把输出放到线下，让人把它做得更好、更准确、更可操作。”

随着时间的推移，生成式人工智能聊天机器人/大型语言模型最终将自然地增强安全性和防御能力，但利用人工智能/大型语言模型来帮助而不是伤害网络安全态势，最终都将归结为内部沟通和响应。到Mazal说。“生成式人工智能/大型语言模型可以成为让利益相关者以更快、更有效的方式全面解决安全问题的一种手段。领导者必须沟通如何利用工具来支持组织目标，同时教育他们了解潜在的威胁。”

TovieAI公司的人工智能技术主管兼首席执行官JoshuaKaiser表示，人工智能聊天机器人也需要定期更新，以保持对威胁的有效防御，而人类的监督对于确保大型语言模型的正常运作至关重要。他说，“此外，大型语言模型需要理解场景，以提供准确的响应并捕捉任何安全问题，并应定期进行测试和评估，以识别潜在的弱点或漏洞。”