什么是影子 AI？

什么是影子 AI？

“影子 AI” 是指组织成员在未经授权、未经跟踪的情况下使用人工智能 (AI) 。影子 AI 可能引发安全问题，因为它会在安全团队不知情的情况下扩大企业的攻击面，还因为它增加了数据泄露的几率，具体取决于这些 AI 模型可以访问哪些信息。

影子 AI 也会阻碍组织整体战略目标的实现。如果在未通过检索增强生成 (RAG)对内部数据进行优化的情况下使用 AI 工具，可能无法为业务提供最理想的响应。例如，若 AI 工具缺少关于企业市场定位的关键背景信息，其生成的报告可能会给出不切实际或帮助有限的建议。

影子 AI 极为常见。员工为了提高工作效率采用 AI 工具，往往未经批准，甚至不知道他们正在将组织暴露于各种风险之中。研究表明，即便在防控措施最为严密的企业中，仍然存在数十种未获批准的 AI 工具在实际运营中被使用。值得欣慰的是，组织可以通过采取一系列措施来降低安全风险，同时充分发挥这些强大 AI 工具的价值。

两种类型的影子 AI

影子 AI 的使用主要分为两大类：

1. 未经批准使用 AI 应用
2. 集成到公共应用中的未受保护 AI 端点

前者是指员工和承包商将 AI 使用纳入其日常工作流程。例如，营销部门的成员可能将潜在客户信息数据库上传到 LLM（如 ChatGPT）并要求提供报告，未意识到这样做可能会构成安全漏洞。

后者指开发人员在未经授权或适当监督的情况下，将 AI 模型构建到面向公众的应用中，类似于将影子 API端点内置到应用中。想象一下，一位开发人员在未经批准的情况下使用 ChatGPT 来驱动公司的官方聊天机器人。虽然 OpenAI 本身在其模型中嵌入了安全和内容防护措施，但聊天机器人仍可能会以组织无法预期的方式运行，例如推荐竞争对手的产品。

影子 AI 与影子 IT

影子 IT 是指未经批准或不受管理的技术使用，尤其是 SaaS 应用。影子 IT 涉及使用未经批准的工具和以未经批准的方式访问批准的工具（后者的一个例子是通过个人帐户登录官方办公工具）。

许多软件工具价格低廉甚至免费，可通过互联网便捷获取，且有助于提升工作效率。因此，若某款工具能够帮助员工提升工作效率，或是冗长的合规审批流程阻碍其使用自认为必需的工具，员工便可能绕过官方渠道自行使用。

影子 AI 是影子 IT 的一种，但这种类型正在快速增长，而且由于其承诺能快速提高生产效率，因此对员工和承包商更具吸引力。

未经批准使用 AI 有哪些风险？

员工和承包商使用影子 AI 工具主要存在两个风险：

• 攻击面矿大
• 敏感数据暴露

攻击者可利用的所有潜在入口点的总和，称为攻击面。如果安全团队不完全掌握其攻击面，则无法有效防御。与任何应用一样，AI 工具也有其安全风险和漏洞。若将这些工具用于处理内部数据或集成到软件栈和业务流程中，组织将直接暴露于相关的安全漏洞。

若安全团队清楚风险的类型与位置，此类问题便无需过度担忧；但若是 AI 工具在其不知情的情况下被投入使用，安全团队则无法对其进行安全防护。试想一下，银行金库被员工私自增设了一道后门，从员工办公室直通金库，只是为了帮该员工简化工作流程。保安并不知道存在第二道门。由于不知情这道门的存在，安全团队既无法对其进行防护，也无法加装任何锁具。未经授权使用任何技术（包括 AI 工具），无异于在企业的数据金库中增设更多无防护的门，从而扩大攻击面。

敏感数据暴露是另一个重大风险。敏感数据可包括知识产权、客户数据或员工个人数据。员工可能将此类数据上传至 AI 工具以完成工作任务，尤其是在这些工具未纳入统一管理的情况下，相关数据可能暴露给组织以外的其他工具用户。即便数据并未直接暴露给其他用户，也可能留存于该 AI 工具的数据库中。一旦发生数据泄露事件，相关数据仍可能被泄露给外部方，或导致组织无法满足数据安全与隐私相关法规的合规要求。

将影子 AI 集成到应用中会带来哪些风险？

AI 模型可以通过 API 集成到应用基础设施中。在此架构中，主应用在运行时会向 AI 工具发送 API 调用请求，由 AI 工具返回所需的服务或数据作为响应。如果此类 API 集成不受监控或保护，则该 AI 模型被视为影子 AI 端点。

影子 AI 端点的风险包括：

• 敏感数据暴露：应用在对 AI 模型发起的 API 调用中可能包含受保护或机密数据。
• 模型投毒：由于之前曾受到数据投毒攻击，AI 模型可能包含未知的安全风险。
• 提示词注入或越狱：AI 模型可能因恶意活动而出现与预期不符的行为表现。
• 声誉风险：影子 AI 模型可能没有采取足够的防护措施来保护组织的品牌和声誉。例如，使用影子 AI 集成构建的聊天机器人可能会意外地在未获授权的情况下向用户提供 100% 折扣。
• 缺乏文档：由于影子 AI 集成可能没有正确记录，未来对应用的更新可能不会考虑它们，并可能破坏应用。

许多组织可能希望允许开发人员在开发过程中尝试使用 AI 模型。但是，发现和保护影子 AI 端点对于安全开展此类试验至关重要。

什么是‘影子 AI 经济’？

“影子 AI 经济是指企业场景中的 AI 应用存在少报、漏报现象，原因是大量员工在未经授权的情况下私自使用 AI 工具。因此，企业采用 AI 获得的投资回报率 (ROI) 可能高于“官方”数字。

如何检测影子 AI

安全团队可采用检测其他未授权应用使用行为的同类方法，尝试发现影子 AI 工具的使用情况。安全团队可利用 下一代防火墙 (NGFW) 和其他安全代理工具提供的应用感知能力，在应用程序层监控网络流量。他们可以使用 DNS 过滤监控 DNS 查询，了解员工正在访问哪些应用。云访问安全代理 (CASB)和数据丢失防护 (DLP)功能也有助于限制敏感数据的去向。查看 AI Security Suite 以了解更多信息。

For unprotected AI endpoints, shadow AI detection is the most efficient option. Cloudflare's AI Security for Apps detects all shadow AI endpoints added to apps without the security team's knowledge. Customers can get complete visibility of which LLMs are running, and where. Learn about AI Security for Apps.

 

常见问题解答

影子 AI 这个术语在商业场景中是什么意思？

影子 AI 是指员工或承包商在未经其组织的 IT 和安全团队授权或监督的情况下使用 AI 工具。随着员工广泛使用易用的 AI 工具来快速提升工作效率、增强对外应用的服务能力，这类行为正变得愈发普遍。

未经授权使用 AI 会对企业安全造成哪些影响？

使用未经许可的 AI 工具会为企业的私有数据创建不受保护的入口点，从而扩大攻击者可攻击的整体范围。安全团队对这些工具毫不知情，因此无法部署必要的防护措施，以保护被处理的信息。

影子 AI 会以哪些方式导致敏感信息泄露？

若员工将知识产权或客户数据上传至未受管控的 AI 工具，该信息可能被存储在外部数据库中，或不慎泄露给企业外部的其他用户。此类数据泄露会导致企业违反监管合规要求，而且可能在 AI 服务商发生数据泄露时导致数据面临更高安全风险。

除了安全漏洞之外，不受管控的 AI 使用会如何影响业务目标？

未使用企业内部数据进行优化的 AI 工具可能产生效果欠佳或不符合实际的结果，原因是这些工具缺乏关于企业市场定位的特定背景信息。

将影子 AI 集成到应用基础设施中会带来哪些特定风险？

通过不受监控的 API 集成 AI 可能导致模型投毒风险（当 AI 包含之前已损坏的数据时），或者导致提示词注入风险（恶意活动导致模型出现异常行为）。此外还有声誉风险；例如，不受控制的聊天机器人可能会错误地向客户提供未经授权的折扣。