AICon 上海站|90%日程已就绪,解锁Al未来! 了解详情
写点什么

Meta 发布 Llama 3.3:一个性能和效率均有所提升的多语言模型

作者:Robert Krzaczyński

  • 2025-01-03
    北京
  • 本文字数:1485 字

    阅读完需:约 5 分钟

Meta 发布 Llama 3.3:一个性能和效率均有所提升的多语言模型

Meta 发布了 Llama 3.3,这是一款多语言大语言模型,旨在支持研究和行业中的一系列人工智能应用。该模型具有 128k 个 token 上下文窗口,并对架构进行了改进以提高效率,在推理、编码和多语言任务的基准测试中表现出色。该模型在 Hugging Face 上以社区许可的形式提供。


Llama 3.3 对之前版本进行了改进,具有更长的上下文窗口,长达 128k 个 token,并使用分组查询注意力(Grouped-Query Attention,GQA)优化了 Transformer 架构,以实现更好的可扩展性和效率。它通过将监督学习和基于人类反馈的强化学习相结合来进行微调,确保在各种任务中的出色表现,同时保持有用性和安全性。


该模型在关键基准测试中表现出色。这个拥有 700 亿个参数的模型在多语言对话、推理、编码和安全评估方面的表现优于开源和专有替代方案:


  • 推理和知识:Llama 3.3 在具有挑战性的 GPQA 推理基准上,准确率达到了 50.5%,与其前身相比,有所改进。

  • 代码生成:该模型在 HumanEval 编码基准上,pass@1 达到了 88.4%,为人工智能辅助编程设定了高标准。

  • 多语言能力:在多语言推理基准 MGSM 上,Llama 3.3 的精确匹配(EM)得分为 91.1%。



来源:Hugging Face 博客


该模型的多语言流畅性和文本生成能力使其适用于构建人工智能助手、开发软件和生成内容。它对工具集成的支持使其能够与三方应用程序协同工作,以执行数据检索、计算和合成数据生成等任务。


Meta 在模型开发过程中也将安全性放在了首位。Llama 3.3 采用了强有力的拒绝策略来应对潜在的有害提示,并在响应中保持了平衡的语气。鼓励开发人员将其部署在包含了安全保障措施的人工智能系统中,例如 Meta 的 Prompt Guard 和 Code Shield 等,以增强安全性。


该版本在社区中引发了关于其实际潜力的深刻讨论。Bulcode 首席执行官 Mihail Shahov 强调了 Llama 3.3 等紧凑型机型在企业应用中日益重要的作用:


像 Llama 3.3 这样较小的模型在企业级应用程序中无疑是越来越受欢迎了,特别是对于那些需要效率、成本效益和快速部署的任务来说。它们的适应性使其非常适用于客户服务、个性化和轻量级分析等用例——在这些场景中,速度和可负担性往往比对极端深度的需求更重要。


从长远来看,我认为混合方法将会成为常态:紧凑型模型处理大多数日常工作负载,而较大的模型则用于应对小众、高复杂性的挑战。归根结底,这是关于将工具与任务相匹配的问题——紧凑型模型用于可扩展性和可访问性,大模型用于突破性创新。


同样,CloudAngles 的首席执行官 Revathipathi Namballa 分享 了他们组织采用 Llama 3.3 的计划:


这是个好消息。在 CloudAngles,我们已经成功地将我们的 mlangles AI 平台与 Llama 3.2 集成在了一起。随着 3.3 版本的发布,我们已经为部署此升级做好了充分的准备来使我们的客户受益。


非常感谢整个 Meta 团队,感谢他们在推动人工智能创新方面所做出的卓越努力,并使这些进步变得触手可及,以便我们能够探索新的可能性。


该模型可在 Llama 3.3 社区许可证 下访问,检查点托管在 Hugging Face 上。开发人员可以使用诸如 Transformers 之类的流行框架来运行该模型,并利用量化版本来降低硬件需求。Meta 邀请社区提供反馈,以完善未来的迭代并推进人工智能安全标准。


更多详细信息可以在 Llama 3.3 的存储库中找到。

作者介绍


Robert Krzaczyński 是一名专门研究微软技术的软件工程师。他每天主要使用.NET 开发软件,但他的兴趣远不止于此。除了核心专业知识外,Robert 还对机器学习和人工智能有着浓厚的兴趣,不断扩展他自己在这些前沿领域的知识。他拥有控制工程和机器人工程学士学位和计算机科学硕士学位。


原文链接:

https://www.infoq.com/news/2024/12/meta-releases-llama-3/


2025-01-03 12:0013623

评论

发布
暂无评论

给蚂蚁金服antv提个PR, 以为是改个错别字, 未曾想背后的原因竟如此复杂!

前夕

前端 数据可视化 bug 蚂蚁金服 antv-g2

室内全彩LED显示屏的构成与技术

Dylan

技术 LED显示屏 全彩LED显示屏 led显示屏厂家 户内led显示屏

汽车智能化多模态交互

之家技术

大模型 AIGC 企业号 4 月 PK 榜

美股上市辅导合伙人苏凌丘调研万达影业 欲打造VR眼镜沉浸式影院平台

科技热闻

连接世界,选择国外主机服务,让你的网站跨越地域限制

一只扑棱蛾子

国外主机 国外主机服务

大模型驱动的新范式选车引擎

之家技术

大模型 AIGC 企业号 4 月 PK 榜

智能座机方案建设与实践

之家技术

人工智能 企业号 4 月 PK 榜

NineData云原生智能数据管理平台新功能发布|2024年3月版

NineData

NineData 研发流程 数据库DevOps 企业级数据库 敏感数据管理

适合新锐机构的教务管理系统——“校猩猩”正式上线

科技热闻

让 AI 帮你写代码,开发提效神器来了

阿里云云效

阿里云 AI 云原生

快马科技丨中小型经销商数字化怎么玩?

科技热闻

零训练创建大模型的新方法:进化算法在模型融合中的应用

算AI

人工智能 神经网络 深度学习 算法

Postman 请求参数传递技巧:详解 Query、Path 和 Body 的用法

Liam

Java 后端 Postman 开发工具 API

一定要避坑:关于微信H5分享,温馨提示你不要再踩坑了!!!

沉浸式趣谈

Vue 分享 H5

Penpad Season 2 质押突破350ETH,参与可获Scroll生态空投

西柚子

我们是如何测试人工智能的(三)数据构造与性能测试篇

测试人

人工智能 软件测试

持续兑现承诺,英特尔锐炫Day 0驱动支持网易武侠大作《射雕》

E科讯

汽车之家人的“灵创”AI应用平台及编程助手AutoCode

之家技术

大模型 AIGC 企业号 4 月 PK 榜

行云绽放签约湾区协同创新计划,共创数字新篇章

行云管家

云计算 数字化 湾区

面试官:Session和JWT有什么区别?

王磊

Java 面试题

IT外包行业未来发展趋势

Ogcloud

IT外包 IT外包公司 IT外包服务 IT外包企业 IT驻场外包

IT外包公司可以帮企业做哪些网络优化?

Ogcloud

IT IT外包 IT外包公司 IT外包服务 IT外包服务商

阿里云可观测 2024 年 3 月产品动态

阿里巴巴云原生

阿里云 云原生 可观测

【FAQ】HarmonyOS SDK 闭源开放能力 —Asset Store Kit

HarmonyOS SDK

HarmonyOS

通义灵码走进武汉大学:让 AI 编码助手激活大学生的创造力

阿里云云效

阿里云 AI 云原生 通义灵码

IT外包服务:企业数据资产化加速利器

Ogcloud

IT外包 IT外包公司 IT外包服务 IT外包企业

日志服务 HarmonyOS NEXT 日志采集最佳实践

阿里巴巴云原生

阿里云 云原生 HarmonyOS 日志服务 sls

喜报!天翼云论文被权威国际学术会议IEEE/ACM CCGrid收录

编程猫

UniApp 应用发布到苹果商店指南

Meta 发布 Llama 3.3:一个性能和效率均有所提升的多语言模型_AI&大模型_InfoQ精选文章