写点什么

2024 年,这些 AI 引擎和软件开发安全问题亟需解决

  • 2024-02-23
    北京
  • 本文字数:1211 字

    阅读完需:约 4 分钟

大小:625.05K时长:03:33
2024年,这些AI引擎和软件开发安全问题亟需解决

作者: JFrog 大中华区总经理 董任远

 

随着 AI 应用的规模不断扩大以及大语言模型(LLM)的商品化,开发者越来越多地承担起将人工智能(AI)和机器学习(ML)模型与软件更新或新软件一起打包的任务。虽然 AI/ML 在创新方面大有可为,但同时也加剧了人们的担忧,因为许多开发人员没有足够的带宽来安全地管理其开发。

 

安全漏洞可能无意中将恶意代码引入 AI/ML 模型,从而使威胁行为者有了可乘之机,引诱开发者使用开放源码软件模型变种,渗透企业网络并对组织造成进一步损害。甚至还有开发者越来越多地使用生成式 AI 来创建代码,却不知道自己生成的代码是否受到威胁的情况,这同样会导致安全威胁长期存在。因此,必须自一开始就对代码进行适当的审查,以主动降低软件供应链受到损害的威胁。

 

由于威胁行为者会想方设法利用 AI/ML 模型,威胁将持续困扰着安全团队。随着安全威胁的数量不断增加,规模不断扩大,在 2024 年开发者将更加重视安全性,并部署必要的保障措施,以确保其企业的弹性。

 

开发者的角色演变

 

对于开发者来说,在软件生命周期初始阶段就考虑到安全性是一种相对较新的做法。通常情况下,二进制级别的安全性被认为只是“锦上添花”的存在。而威胁行为者会利用这种疏忽,寻找将 ML 模型武器化以对抗组织的途径,找出将恶意逻辑注入最终二进制文件的方法。

 

同样,许多开发者由于没有接受过必要的培训,无法在开发的初始阶段就将安全性嵌入到代码中。由此造成的主要影响在于,由 AI 生成并在开源存储库上训练的代码通常没有经过适当的漏洞审查,且缺乏整体安全控制来保护用户及其组织免受利用。尽管这可能会节省工作职能中的时间和其他资源,但开发者却在不知不觉中将其组织暴露在众多风险之下。一旦这些代码在 AI/ML 模型中实现,这些漏洞利用就会造成更严重的影响,而且有可能不会被发现。

 

随着 AI 的广泛应用,传统的开发者角色已不足以应对不断变化的安全环境。步入 2024 年,开发者也必须成为安全专业人员,从而巩固 DevOps 和 DevSecOps 不能再被视为独立工作职能的理念。通过从一开始就构建安全解决方案,开发者不仅能确保关键工作流的最高效率,还能增强对组织安全性的信心。

通过“左移”,把安装保障措施放在最开始

 

如果安全团队要在新的一年里对威胁保持警惕,那么 ML 模型的安全性就必须持续发展演进。然而,随着 AI 的大规模应用,团队不能在软件生命周期的后期才确定必要的安全措施,因为到那时,可能就真的为时已晚了。

 

组织内部负责安全方面的高层必须以“左移”的方式进行软件开发。通过坚持此方法,即能够自一开始就确保软件开发生命周期中所有组成部分的安全,并从整体上改善组织的安全情况。当应用到 AI/ML 时,左移不仅能确认外部 AI/ML 系统中开发的代码是否安全,还能确保正在开发的 AI/ML 模型不含恶意代码,且符合许可要求。

 

展望 2024 年及以后,围绕 AI 和 ML 模型的威胁将持续存在。如果团队要持续抵御来自威胁行为者的攻击并保护组织及其客户,确保自软件生命周期之始就考虑到安全性将是至关重要的。

2024-02-23 14:208983
用户头像
李冬梅 加V:busulishang4668

发布了 1052 篇内容, 共 666.3 次阅读, 收获喜欢 1214 次。

关注

评论

发布
暂无评论
发现更多内容

总结

chenzt

区块链+国防安全,科技是核心战斗力

CECBC

各类SQL中日期时间那些事

大唐小生

sql 大数据 SQL语法

链表查找算法,HDFS数据节点宕机处理

dony.zhang

架构师第8周练习

小蚂蚁

华青融天战略拓展总监王旭详解IT运维的九阳神功

DT极客

教培行业工程师面临着什么挑战?研发面板全栈式解决工程师的痛点

Deepexi

DevOps 运维 敏捷开发 研发管理 单元测试

如何在微服务团队中高效使用 Git 管理代码?

看山

git 微服务 高效 签约计划第二季

实现DevOps的三步工作法

看山

DevOps 凤凰项目 签约计划第二季

架构师训练营 - 学习总结 第 8 周

铁血杰克

第八周·总结·数据结构预算法

刘璐

缓存思想在算法设计中的应用梳理

che-ri-sh

缓存

架构师课程第八周总结

dongge

作业

不在调上

Spring系列:请问各位大佬为何要学spring?

简爱W

最新硬件虚拟化检测技术,让攻击者逃不出“楚门的世界”

百度安全

云计算 安全 虚拟化

PC人脸识别登录,出乎意料的简单

程序员小富

Java 人脸识别

抢占5G大市场 众盟科技助力企业跑赢短视频营销新赛道

人称T客

CompletableFuture运行流程源码详解

编号94530

Java 并发编程 多线程 CompletableFuture

单向链表合并节点

chenzt

37岁程序员被裁,想用6月工资跪舔领导划掉被裁名额,结果蒙了!

程序员生活志

程序员 职场

架构师第8周学习总结

小蚂蚁

week8

不在调上

第八周·命题作业

刘璐

TNFE-Weekly[第六十六周已更新]

莹姐🙈

小程序 大前端 周报

作业一

Kiroro

作业二

Kiroro

AI大有可为:NAIE平台助力垃圾分类

华为云开发者联盟

AI 模型训练 垃圾回收机制 数据集 华为云

架构训练营第八周感悟

张锐

Hadoop 中的 Namenode 和 Datanode

dongge

如何让你的Nginx 提升10倍性能?

老大哥

Java

2024年,这些AI引擎和软件开发安全问题亟需解决_安全_董任远_InfoQ精选文章