大模型10大网络安全威胁及防范策略 | ChatGPT在公开漏洞利用代码发布前成功生成CVE有效攻击程序
大模型10大网络安全威胁及防范策略 | ChatGPT在公开漏洞利用代码发布前成功生成CVE有效攻击程序
e安在线 e安在线 2025-04-24 05:05
大模型10大网络安全威胁及防范策略
OWASP发布的《大语言模型人工智能应用Top10安全威胁2025》，大语言模型人工智能应用中存在的十大安全风险，相比2023版有一些变化，
10大安全威胁如下：
1、提示词注入：用户通过特殊输入改变模型行为或输出，可能导致敏感信息泄露、内容被操纵等问题，分直接和间接注入两种类型。
2、敏感信息泄露：LLM在应用中可能暴露敏感数据，如个人信息、商业机密等，可通过数据清理、访问控制等手段防范。
3、供应链风险：LLM供应链易受攻击，涉及第三方组件漏洞、许可风险等，需审核数据源、进行漏洞扫描来保障安全。
4、数据与模型投毒：在数据处理阶段操控数据，损害模型安全性和性能，可利用工具验证数据、审查供应商进行防范。
5、不当输出处理：LLM输出未经验证就传递，可能引发多种安全漏洞，要对输出进行验证和编码处理。
6、过度授权：LLM异常行为等导致系统执行破坏性操作，源于功能、权限、自主性方面的问题，需限制扩展和权限防范。
7、系统提示泄露：系统提示中的敏感信息被发现会带来风险，应分离敏感数据，避免依赖系统提示控制行为。
8、向量与嵌入漏洞：RAG技术中向量与嵌入机制存在风险，如未授权访问、数据投毒等，要实施访问控制和数据验证。
9、信息误导：LLM生成错误或误导性信息，会引发安全、声誉和法律问题，可通过检索增强、人工监督等策略缓解。
10、无限资源消耗：攻击者利用漏洞让LLM过度消耗资源，造成多种危害，可通过输入验证、速率限制等方式防范。
OWASP 大语言模型人工智能应用Top 10安全威胁(2025)
LLM01:2025 提示词注入（
2025 Prompt Injection
）
LLM02:2025 敏感信息披露（
2025 Sensitive Information Disclosure
）
LLM03:2025 供应链（
2025 Supply Chain
）
LLM04: 2025 数据和模型投毒（2025
Data and Model Poisoning
）
LLM05:2025 不当输出处理 （
2025 Improper Output Handling
）
LLM06:2025 过度授权（
2025 Excessive Agency
）
LLM07:2025 系统提示泄露（
2025 System Prompt Leakage
）
LLM08:2025 向量和嵌入漏洞（
2025 Vector and Embedding Weaknesses
）
LLM09:2025 信息误导（
2025 Misinformation
）
LLM10:2025 无限资源消耗 （
2025 Unbounded Consumption
）
OWASP Top 10 LLM-2025安全威胁与防范策略
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
通过Top 10安全威胁在应用数据流过程中的位置进行安全措施建设
通过这个图可以直观的看到Top10的安全威胁在应用数据流过程中的影响位置，同时基于数据流中存在的安全威胁，就可以进行针对性的点对点防护措施建设，对应防护策略有一些是可以用商用产品解决，还有部分是可以针对借用开源工具进行安全防护建设的，比如：NVIDIA NeMo Guardrails框架工具（刚好项目中用过）。
以下简单看一下可以实现的能力：
输入防护措施（Input rails）：应用于用户输入的内容；输入防护措施可以拒绝输入（停止任何进一步的处理）或改变输入（例如，掩盖可能敏感的数据，或者重新措辞）。
对话防护措施（Dialog rails）：影响对话的发展以及如何提示大型语言模型（LLM）；对话防护措施作用于规范化形式的消息，并决定是否应该执行某个动作，是否应该调用LLM来生成下一步或响应，或者是否应该使用预定义的响应。
检索防护措施（Retrieval rails）：在检索增强生成（RAG）场景中应用于检索到的内容块；检索防护措施可以拒绝某个内容块，防止其被用来提示LLM，或者改变相关的内容块（例如，掩盖可能敏感的数据）。
执行防护措施（Execution rails）：应用于需要调用的自定义动作（即工具）的输入/输出。
输出防护措施（Output rails）：应用于LLM生成的输出；输出防护措施可以拒绝输出，防止其被返回给用户或改变它（例如，删除敏感数据）。
对此除了建设之外，还有一些开源的安全评估工具，比如Garak，Garak，全称 Generative AI Red-teaming & Assessment Kit，是一种由 NVIDIA 开发的开源工具，专注于扫描 LLM 的漏洞。
此项详细内容可以查看官网链接：
https://docs.nvidia.com/nemo/guardrails/
OWASP LLM Top 10对比（2023版和2025版）
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
对比发布的2025版和2023版的 LLM Top 10安全威胁，对于Top 10威胁程度的变化和新增安全威胁，比如：
LLM01:提示词注入
风险依然是Top 1的最大威胁，
敏感信息泄露由2023版的top 6升到2025版的
Top
2等。
同时也新增几项安全风险，比如系统提示泄露、向量和嵌入漏洞及无限资源消耗
等安全威胁，随着人工智能的发展，安全威胁也在不断的变化，我们需要不断了解新的技术方向，最大程度的降低安全威胁的影响
报告节选
ChatGPT在公开漏洞利用代码发布前成功生成CVE有效攻击程序
安全研究员Matt Keeley近期演示了人工智能如何在公开概念验证（PoC）攻击代码发布前，就成功生成针对关键漏洞的有效利用程序。这一突破可能彻底改变漏洞研究领域的现状。
Keeley使用GPT-4为CVE-2025-32433开发出功能性攻击程序，该漏洞是Erlang/OTP SSH组件中的高危漏洞，CVSS评分达到满分10.0。这一成果展示了AI在网络安全领域日益增长的能力。
“GPT-4不仅能理解CVE描述，还能定位修复提交、比对旧版代码、发现差异、找到漏洞位置，甚至编写出概念验证代码。当代码不工作时，它还能自行调试修复。”Keeley在2025年4月17日发布的详细博文中解释道。
01
漏洞技术细节分析
该漏洞于2025年4月16日披露，影响Erlang/
OTP
的SSH服务器实现，允许攻击者无需认证即可远程执行代码。该高危缺陷源于SSH协议消息在连接初期的处理不当，使得攻击者能在受影响系统上以提升权限执行任意代码。
Keeley的研究始于注意到Horizon3.ai研究人员提及已创建但未公开
PoC
的推文。仅凭这条有限信息，他引导GPT-4分析漏洞。AI系统性地完成了以下工作：
-
定位不同版本的代码
-
创建比对漏洞代码与修复代码的工具
-
确定漏洞的确切成因
-
生成攻击代码
-
调试修复代码直至可用
02
网络安全格局面临重构
“这引发了一个严峻问题：AI能以多快速度协助漏洞研究，甚至自动化整个流程。几年前，这个过程需要专业的Erlang知识和数小时手动调试。如今，只需一下午的正确提示就能完成。”Keeley指出。
安全专家对此既兴奋又担忧。虽然AI使安全研究更易获得，但也可能降低恶意分子开发攻击程序的门槛。漏洞披露仅一天后，就有多名研究人员开发出有效攻击程序，其中Platform Security已在GitHub发布其AI辅助的PoC。
受影响Erlang/OTP版本（OTP-27.3.2及更早版本、OTP-26.2.5.10及更早版本、OTP-25.3.2.19及更早版本）已在新版本中修复。使用Erlang/OTP SSH服务器的组织应立即升级至修复版本：OTP-27.3.3、OTP-26.2.5.11或OTP-25.3.2.20。
该案例凸显AI正在重塑网络安全格局。随着这些工具日益成熟，漏洞披露与攻击程序开发的时间窗口持续缩小，迫使组织必须加快补丁实施速度。
声明：除发布的文章无法追溯到作者并获得授权外，我们均会注明作者和文章来源。如涉及版权问题请及时联系我们，我们会在第一时间删改，谢谢！文章来源：
FreeBuf