管理AI对商业战略的变革性影响 & 治理:ciso的策略

理查德·马库斯
作者: 理查德·马库斯,审计委员会首席信息安全官
发表日期: 2024年6月14日

编者按: 以下是AuditBoard赞助的一篇博文.

人工智能(AI)的潜在好处是显而易见的, 采用趋势证明了它的存在. 然而,采用生成式人工智能是一种挑战 远远超过治理 政策管理. ISACA民意调查 显示,只有28%的组织明确允许生成式人工智能的使用, 41%的人表示,员工无论如何都在使用它,另有35%的人不确定. 只有10%的人参加了正式的面试, 综合生成人工智能政策, 超过四分之一的人既没有制定相关政策,也没有制定相关计划.

围绕生成式人工智能的变革性影响的许多讨论都集中在用例和收益上. 寻求实现这些利益的组织, 然而, 必须把握人工智能的使用将如何从根本上重塑战略和治理. 在最近一次 AuditBoard 网络研讨会, 一群杰出的科技高管慷慨地分享了这些领域的见解:艾莉森·米勒, 车omancy Labs Founder/Principal and former Reddit CISO; Jim Routh, Saviynt Chief Trust Officer; and Paul Vallée, Tehama Technologies创始人/首席执行官. 以下是帮助组织更好地处理人工智能风险的主要要点, 治理, 使用和实现.

AI风险:理解层次

尽管不同组织的风险承受能力明显不同, 每个组织都必须注意生成式人工智能使用带来的风险. 不缺好文章。比如这个),详细描述了人工智能的多重风险, 其中包括更普遍的问题,如数据隐私, 网络安全, 法律和监管方面的挑战, 错误信息, 偏见, 道德与其他. 但 生成式人工智能将这些挑战与股权等风险方面的复杂问题相结合, 过度信赖, 问责制, explainability (i.e.(解释人工智能如何做出决策和得出结论的能力)等等. 全球快速增长的人工智能监管活动支撑了这些风险的严重性.

AI控制设计:从原则开始

就像过去几年的颠覆性技术一样, ciso的主要任务将是围绕人工智能的使用设计控制措施. 幸运的是, 现有的控制框架通常包括可以很容易地跨所有向量部署的控件.  

设计原则是一个很好的起点. 正如劳斯所说, “设计安全, 设计隐私, 我们只需要弄清楚如何用同样的原则来框定人工智能提出的问题——比如公平和可解释性.” 例如,特权访问管理(PAM)控制可以帮助创建证据跟踪(例如.g.(向人工智能提供的数据,用户交互),同时加强网络安全,确保 “人在循环,” 这样,利用人工智能的人类仍然负责实际的决策.

ciso还可以利用快速增长的人工智能威胁知识库,例如 斜接阿特拉斯的数据库,其中包含针对人工智能系统的潜在对抗策略,以及贝里维尔机器学习研究所的基础数据库 法学硕士的架构风险分析. 法兰美说, “如果你能理解威胁的本质,你就能设计出对抗它的控制措施.”

人工智能检测和监测:三个载体

“我看到客户使用的很多技术都开始内置人工智能. 找出哪些技术可能是一个较小的任务 不会 将人工智能带入组织,” 米勒说. 随着用例的激增, 理解人工智能如何以及在哪里被使用变得越来越重要. Routh指出了组织可能发现人工智能应用的三个方面:

  1. 公共 大型语言模型(llm). 员工可能会使用ChatGPT、GPT-4、FALCON、Claude 3、Gemini、LLaMa 2等法学硕士.
  2. 构建管道的法学硕士. 开发人员可以访问~1,000个特殊用途的开源llm可以集成到您的组织构建的软件中.
  3. 软件即服务(SaaS)应用的法学硕士. Hundreds of SaaS applications embedding LLMs are in production; that number will grow exponentially.

幸运的是, 对于检测和监控这些领域的人工智能使用情况的产品,组织有几种选择. 正如米勒所说, “有商业和开源产品可以在所有三个载体中使用,至少可以识别LLM的使用情况. 在某些情况下, products can offer full traceability on uses; in others, 它们可以对提示和输出进行过滤.“许多产品为公共LLM使用提供数据丢失预防功能.

人工智能实施建议

每个组织的人工智能之旅都会有所不同. 风险容忍度和攻击面各不相同,因此组织必须 评估与战略相关的风险 决定他们在哪些方面愿意冒险,哪些方面不愿意冒险. 这些决策有助于推动治理和培训. 法兰的建议:

  1. 同意原则,然后是政策. vallsamade说:“原则比说明性政策更容易达成共识.“关于你想如何使用人工智能的一般限制是什么? 然后,制定政策来指导应用.
  2. 制定一个摄入流程 (e.g., 跨职能团队评估员工开发的用例, 在原则和风险偏好的背景下评估风险).
  3. 评估控制需求 管理项目风险.
  4. 设计添加剂控制 在现有的控制框架内.
  5. 分阶段计划,迭代实施; 从概念验证开始 启用利益和控制的验证.

虽然每个人都强调了组织范围内人工智能培训的重要性, 米勒预见到产品开发方面的特殊需求, 因为人工智能是一项“非常强大的技术”, 人们将希望把产品提供提升到一个新的水平.米勒建议道, “开发人员和产品团队需要开始像威胁建模者那样思考. 不只是考虑功能设计和“幸福之路”,而且, 这些事情怎么会出错呢, 以及我们如何围绕它们进行设计?”

带着好奇和谦卑去做事

采用人工智能是一个反复学习的过程. 劳斯的行动呼吁概括了我们当前的使命: “我们今天的工作就是踏上征程,并认识到我们并非无所不知. 因此,利用每一个机会使用技术,并设置允许你学习的界限. 学习如何使用创新技术是不可能没有失败的. 当我们创造创新技术的时候,我们也打破了一些东西. 然后我们学习,修改和调整.”

额外的资源