生成人工智能聊天机器人和大型语言模型增强网络安全的六种方法
从风险的角度来看，生成式人工智能聊天机器人和大型语言模型可能是一把双刃剑，但如果使用得当，它们也可以在关键方面改善网络安全。OpenAI公司开发的ChatGPT的迅速崛起是今年最大的新闻之一，生成式AI聊天机器人和大型语言模型对网络安全的潜在影响是讨论的关键领域。关于这些新技术可能带来的安全风险有很多讨论，从担心与高级自学习算法共享敏感业务信息到恶意行为者使用它们来显著增强攻击。一些国家、各州和企业以数据安全、保护和隐私为由，下令禁止使用ChatGPT等生成式人工智能技术。显然，生成式人工智能聊天机器人和
从风险的角度来看，生成式人工智能聊天机器人和大型语言模型可能是一把双刃剑，但如果使用得当，它们也可以在关键方面改善网络安全。
OpenAI公司开发的ChatGPT的迅速崛起是今年最大的新闻之一，生成式AI聊天机器人和大型语言模型对网络安全的潜在影响是讨论的关键领域。关于这些新技术可能带来的安全风险有很多讨论，从担心与高级自学习算法共享敏感业务信息到恶意行为者使用它们来显著增强攻击。
一些国家、各州和企业以数据安全、保护和隐私为由，下令禁止使用ChatGPT等生成式人工智能技术。显然，生成式人工智能聊天机器人和大型大型语言模型带来的安全风险是相当大的。然而，生成式人工智能聊天机器人可以通过多种方式增强企业的网络安全，为安全团队打击网络犯罪活动提供急需的助力。
以下是生成式人工智能聊天机器人和大型语言模型提高安全性的6种方法。
漏洞扫描和过滤
根据云安全联盟(CSA)一份探讨大型语言模型网络安全影响的报告，生成式人工智能模型可用于显著增强安全漏洞的扫描和过滤。在论文中，云安全联盟(CSA)证明了OpenAI的CodexAPI是针对C、c#、Java和JavaScript等编程语言的有效漏洞扫描器。“我们可以预见，大型语言模型，就像Codex家族中的那些一样，将成为未来漏洞扫描器的标准组成部分，”论文写道。例如，可以开发扫描器来检测和标记各种语言中的不安全代码模式，帮助开发人员在潜在的漏洞成为关键的安全风险之前解决它们。
至于过滤，生成式人工智能模型可以解释并为威胁标识符添加有价值的场景，否则可能会被人类安全人员遗漏。例如，MITREATT&CK框架中的技术标识符TT1059.001可能会被报告，但对于一些网络安全专业人员来说并不熟悉，因此需要进行简要的解释。ChatGPT可以准确地将代码识别为MITREATT&CK标识符，并提供与之相关的具体问题的解释，其中涉及使用恶意PowerShell脚本。它还详细阐述了PowerShell的性质及其在网络安全攻击中的潜在用途，并提供了相关示例。
今年5月，OXSecurity宣布推出OX-gpt，这是一个ChatGPT集成，旨在帮助开发人员提供定制的代码修复建议和剪切粘贴代码修复，包括代码如何被黑客利用，攻击的可能影响以及对组织的潜在损害。
反转附加组件，分析PE文件的api
DeepInstinct网络智能工程经理MattFulmer表示，基于IDA和Ghidra等逆向工程框架，生成式人工智能/大型语言模型(LLM)技术可用于帮助构建规则和逆转流行的附加组件。“如果你明确了自己的需求，并将其与MITRE的攻击和攻击策略进行比较，你就可以将结果离线，并更好地将其用作防御。”
llm还可以通过应用程序进行交流，分析可移植可执行文件(PE)的API，并告诉你它们的用途，他补充道。“这可以减少安全研究人员花在查看PE文件和分析其中API通信上的时间。”
威胁搜索查询
根据CSA的说法，安全防御者可以通过利用ChatGPT和其他llm来创建威胁搜索查询来提高效率并加快响应时间。通过为恶意软件研究和检测工具(如YARA)生成查询，ChatGPT有助于快速识别和减轻潜在威胁，使防御者能够专注于其网络安全工作的关键方面。事实证明，在不断发展的威胁环境中，这种能力对于保持稳健的安全态势是无价的。可以根据特定需求和组织希望在其环境中检测或监视的威胁来定制规则。
人工智能可以提高供应链的安全性
生成式人工智能模型可以通过识别供应商的潜在漏洞来解决供应链安全风险。今年4月，SecurityScorecard宣布推出一个新的安全评级平台，通过与OpenAI的GPT-4系统和自然语言全球搜索集成来实现这一目标。据该公司称，客户可以询问有关其业务生态系统的开放式问题，包括供应商的详细信息，并迅速获得答案，以推动风险管理决策。例如，“找到我的10个评级最低的供应商”或“显示我的哪些关键供应商在过去一年中被入侵”——SecurityScorecard声称，这些问题将产生结果，使团队能够快速做出风险管理决策。
检测攻击中的生成AI文本
据CSA称，大型语言模型不仅生成文本，而且还致力于检测和水印人工智能生成的文本，这可能成为电子邮件保护软件的常见功能。CSA表示，识别攻击中人工智能生成的文本可以帮助检测网络钓鱼邮件和多态代码，并且可以假设llm可以轻松检测非典型电子邮件地址发件人或其相应的域，同时能够检查文本中的底层链接是否指向已知的恶意网站。
安全代码的生成和传输
像ChatGPT这样的llm可以用来生成和传输安全代码。CSA引用了一个网络钓鱼活动的例子，该活动成功地针对了公司内的几名员工，可能暴露了他们的凭证。虽然知道哪些员工打开了网络钓鱼邮件，但尚不清楚他们是否无意中执行了旨在窃取他们凭证的恶意代码。
为了调查这个问题，可以使用Microsoft365Defender高级搜索查询来查找电子邮件收件人在收到已知恶意电子邮件后30分钟内执行的最近10次登录事件。该查询有助于识别任何可能与受损凭据相关的可疑登录活动。”
在这里，ChatGPT可以提供Microsoft365Defender搜索查询，以检查受感染的电子邮件帐户的登录尝试，这有助于阻止攻击者进入系统，并澄清用户是否需要更改密码。这是在网络事件响应期间减少行动时间的一个很好的例子。
基于相同的示例，您可能会遇到相同的问题并找到Microsoft365Defender查找查询，但是您的系统不使用KQL编程语言。可以进行编程语言风格转换，而不是用您想要的语言搜索正确的示例。
他说，“这个例子说明了ChatGPT的底层Codex模型可以采用源代码示例并用另一种编程语言生成示例。它还通过在其提供的答案和新创建背后的方法中添加关键细节，简化了最终用户的过程。”
根据CSA的说法，安全防御者可以通过利用ChatGPT和其他llm来创建威胁搜索查询来提高效率并加快响应时间。通过为恶意软件研究和检测工具(如YARA)生成查询，ChatGPT有助于快速识别和减轻潜在威胁，使防御者能够专注于其网络安全工作的关键方面。事实证明，在不断发展的威胁环境中，这种能力对于保持稳健的安全态势是无价的。可以根据特定需求和组织希望在其环境中检测或监视的威胁来定制规则。
人工智能可以提高供应链的安全性
生成式人工智能模型可以通过识别供应商的潜在漏洞来解决供应链安全风险。今年4月，SecurityScorecard宣布推出一个新的安全评级平台，通过与OpenAI的GPT-4系统和自然语言全球搜索集成来实现这一目标。据该公司称，客户可以询问有关其业务生态系统的开放式问题，包括供应商的详细信息，并迅速获得答案，以推动风险管理决策。例如，“找到我的10个评级最低的供应商”或“显示我的哪些关键供应商在过去一年中被入侵”——SecurityScorecard声称，这些问题将产生结果，使团队能够快速做出风险管理决策。
检测攻击中的生成AI文本
据CSA称，大型语言模型不仅生成文本，而且还致力于检测和水印人工智能生成的文本，这可能成为电子邮件保护软件的常见功能。CSA表示，识别攻击中人工智能生成的文本可以帮助检测网络钓鱼邮件和多态代码，并且可以假设llm可以轻松检测非典型电子邮件地址发件人或其相应的域，同时能够检查文本中的底层链接是否指向已知的恶意网站。
安全代码的生成和传输
像ChatGPT这样的llm可以用来生成和传输安全代码。CSA引用了一个网络钓鱼活动的例子，该活动成功地针对了公司内的几名员工，可能暴露了他们的凭证。虽然知道哪些员工打开了网络钓鱼邮件，但尚不清楚他们是否无意中执行了旨在窃取他们凭证的恶意代码。
为了调查这个问题，可以使用Microsoft365Defender高级搜索查询来查找电子邮件收件人在收到已知恶意电子邮件后30分钟内执行的最近10次登录事件。该查询有助于识别任何可能与受损凭据相关的可疑登录活动。”
在这里，ChatGPT可以提供Microsoft365Defender搜索查询，以检查受感染的电子邮件帐户的登录尝试，这有助于阻止攻击者进入系统，并澄清用户是否需要更改密码。这是在网络事件响应期间减少行动时间的一个很好的例子。
基于相同的示例，您可能会遇到相同的问题并找到Microsoft365Defender查找查询，但是您的系统不使用KQL编程语言。您可以进行编程语言风格转换，而不是用您想要的语言搜索正确的示例。
“这个例子说明了ChatGPT的底层Codex模型可以采用源代码示例并用另一种编程语言生成示例。它还通过在其提供的答案和新创建背后的方法中添加关键细节，简化了最终用户的过程。”领导者必须确保生成式人工智能聊天机器人的安全使用
Gigamon首席战略官ChaimMazal表示，与许多现代技术一样，从风险的角度来看，人工智能和大型语言模型可能是一把双刃剑，因此，领导者必须确保自己的团队安全可靠地使用这些产品。“安全和法律团队应该合作，为他们的组织找到最好的前进道路，在不损害知识产权或安全的情况下利用这些技术的能力。”
富尔默说，生成式人工智能是基于过时的结构化数据，所以只有在评估其在安全和防御方面的应用时，才能把它作为一个起点。例如，如果将其用于上述任何好处，则需要证明其输出是合理的。把输出放到线下，让人把它做得更好、更准确、更可操作。”
随着时间的推移，生成式人工智能聊天机器人/大型语言模型最终将自然地增强安全性和防御能力，但利用人工智能/大型语言模型来帮助而不是伤害网络安全态势，最终都将归结为内部沟通和响应。到Mazal说。“生成式人工智能/大型语言模型可以成为让利益相关者以更快、更有效的方式全面解决安全问题的一种手段。领导者必须沟通如何利用工具来支持组织目标，同时教育他们了解潜在的威胁。”
TovieAI公司的人工智能技术主管兼首席执行官JoshuaKaiser表示，人工智能聊天机器人也需要定期更新，以保持对威胁的有效防御，而人类的监督对于确保大型语言模型的正常运作至关重要。他说，“此外，大型语言模型需要理解场景，以提供准确的响应并捕捉任何安全问题，并应定期进行测试和评估，以识别潜在的弱点或漏洞。”
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。