QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

2024 年,这些 AI 引擎和软件开发安全问题亟需解决

  • 2024-02-23
    北京
  • 本文字数:1211 字

    阅读完需:约 4 分钟

大小:625.05K时长:03:33
2024年,这些AI引擎和软件开发安全问题亟需解决

作者: JFrog 大中华区总经理 董任远

 

随着 AI 应用的规模不断扩大以及大语言模型(LLM)的商品化,开发者越来越多地承担起将人工智能(AI)和机器学习(ML)模型与软件更新或新软件一起打包的任务。虽然 AI/ML 在创新方面大有可为,但同时也加剧了人们的担忧,因为许多开发人员没有足够的带宽来安全地管理其开发。

 

安全漏洞可能无意中将恶意代码引入 AI/ML 模型,从而使威胁行为者有了可乘之机,引诱开发者使用开放源码软件模型变种,渗透企业网络并对组织造成进一步损害。甚至还有开发者越来越多地使用生成式 AI 来创建代码,却不知道自己生成的代码是否受到威胁的情况,这同样会导致安全威胁长期存在。因此,必须自一开始就对代码进行适当的审查,以主动降低软件供应链受到损害的威胁。

 

由于威胁行为者会想方设法利用 AI/ML 模型,威胁将持续困扰着安全团队。随着安全威胁的数量不断增加,规模不断扩大,在 2024 年开发者将更加重视安全性,并部署必要的保障措施,以确保其企业的弹性。

 

开发者的角色演变

 

对于开发者来说,在软件生命周期初始阶段就考虑到安全性是一种相对较新的做法。通常情况下,二进制级别的安全性被认为只是“锦上添花”的存在。而威胁行为者会利用这种疏忽,寻找将 ML 模型武器化以对抗组织的途径,找出将恶意逻辑注入最终二进制文件的方法。

 

同样,许多开发者由于没有接受过必要的培训,无法在开发的初始阶段就将安全性嵌入到代码中。由此造成的主要影响在于,由 AI 生成并在开源存储库上训练的代码通常没有经过适当的漏洞审查,且缺乏整体安全控制来保护用户及其组织免受利用。尽管这可能会节省工作职能中的时间和其他资源,但开发者却在不知不觉中将其组织暴露在众多风险之下。一旦这些代码在 AI/ML 模型中实现,这些漏洞利用就会造成更严重的影响,而且有可能不会被发现。

 

随着 AI 的广泛应用,传统的开发者角色已不足以应对不断变化的安全环境。步入 2024 年,开发者也必须成为安全专业人员,从而巩固 DevOps 和 DevSecOps 不能再被视为独立工作职能的理念。通过从一开始就构建安全解决方案,开发者不仅能确保关键工作流的最高效率,还能增强对组织安全性的信心。

通过“左移”,把安装保障措施放在最开始

 

如果安全团队要在新的一年里对威胁保持警惕,那么 ML 模型的安全性就必须持续发展演进。然而,随着 AI 的大规模应用,团队不能在软件生命周期的后期才确定必要的安全措施,因为到那时,可能就真的为时已晚了。

 

组织内部负责安全方面的高层必须以“左移”的方式进行软件开发。通过坚持此方法,即能够自一开始就确保软件开发生命周期中所有组成部分的安全,并从整体上改善组织的安全情况。当应用到 AI/ML 时,左移不仅能确认外部 AI/ML 系统中开发的代码是否安全,还能确保正在开发的 AI/ML 模型不含恶意代码,且符合许可要求。

 

展望 2024 年及以后,围绕 AI 和 ML 模型的威胁将持续存在。如果团队要持续抵御来自威胁行为者的攻击并保护组织及其客户,确保自软件生命周期之始就考虑到安全性将是至关重要的。

2024-02-23 14:208865
用户头像
李冬梅 加V:busulishang4668

发布了 1044 篇内容, 共 657.6 次阅读, 收获喜欢 1209 次。

关注

评论

发布
暂无评论
发现更多内容

关于 SAP UI5 floating footer 显示与否的单步调试以及使用 SAP UI5 的收益

汪子熙

前端开发 SAP SAP UI5 ui5 8月月更

Kubernetes故障排查eBPF

CTO技术共享

开源 ebpf 签约计划第三季 8月月更

Go-Excelize API源码阅读(一)——NewFile()

Regan Yue

Go 开源 源码刨析 8月月更

C++ 中的四种智能指针

桑榆

c++ 8月月更

Kubernetes内存泄露怎么玩

CTO技术共享

开源 内存泄漏 签约计划第三季 8月月更

头脑风暴:零钱兑换

HelloWorld杰少

8月月更

电动汽车充电站的部署优化策略

乌龟哥哥

8月月更

如何克服紧张

踏雪痕

数据库日增20万条数据,用读写分离和分库分表加持破它

知识浅谈

8月月更

Angular 为什么要引入 injection token 的概念

汪子熙

前端开发 angular web开发 依赖注入 8月月更

SAP API 开发方法大全

汪子熙

API SAP abap 全栈开发 8月月更

Kubernetes 怎么调度管理CPU

CTO技术共享

开源 签约计划第三季 8月月更

SRE运维解密-服务质量目标:SLI,SLO,SLA

董哥的黑板报

微服务 运维 云原生 SRE Google

Kubernetes构建Redis 集群

CTO技术共享

redis 开源 签约计划第三季 8月月更

Kubernetes 实现灰度和蓝绿发布

CTO技术共享

开源 灰度发布 蓝绿发布 签约计划第三季 8月月更

Kubernetes Cilium展示

CTO技术共享

开源 cilium Kubernetes 集群 签约计划第三季

钝感力与自我和解

Amazing_eve

#开源

开源一夏 | jQuery 密码验证和深入理解JSONP【前端jQuery框架】

恒山其若陋兮

开源 8月月更

Python 教程之输入输出(5)—— input() 函数中的漏洞 – Python 2.x

海拥(haiyong.site)

Python 8月月更

gulp 的常用 API

Jason199

js gulp 8月月更

Android 应用安全机制实现方案探究

No Silver Bullet

android 签约计划第三季 8月月更 安全机制

关于在谷歌浏览器,vue-video-player 实现断点续播,currentTime不生效问题。

泉城老铁

Kubernetes信息安全

CTO技术共享

开源 信息安全 Kubernetes 集群 签约计划第三季 8月月更

文本词频统计的利器 Trie树

Five

c 算法题 8月月更

系统管理-Linux重定向与管道

Albert Edison

Linux centos 运维 服务器 8月月更

一起学习集合框架之 TreeSet

宇宙之一粟

Java 8月月更

Kubernetes网络模型

CTO技术共享

开源 Kubernetes 集群 签约计划第三季 8月月更

【ELT.ZIP】OpenHarmony啃论文俱乐部——学术科研方法论沉淀辑

ELT.ZIP

方法论 OpenHarmony ELT.ZIP 啃论文

Kubernetes 调度器优化

CTO技术共享

开源 Kubernetes 集群 签约计划第三季

Kubernetes证书过期怎么玩

CTO技术共享

开源 签约计划第三季 8月月更

数据治理(一):为什么要数据治理

Lansonli

大数据 数据治理 8月月更

2024年,这些AI引擎和软件开发安全问题亟需解决_安全_董任远_InfoQ精选文章