Devin 发布半月后，开源领域围攻编码智能体 | 大模型一周大事

大模型的快节奏发展，让了解最新技术动态、积极主动学习成为每一位从业者的必修课。InfoQ 研究中心期望通过每周更新大模型行业最新动态，为广大读者提供全面的行业回顾和要点分析。现在，让我们回顾过去一周的大模型重大事件吧。

一、重点发现

本周，普林斯顿大学 NLP 组发布了 SWE-agent，这是继 Devin 发布之后，编码领域智能体的又一突破。在这短短的一月内，Devin、OpenDevin、Devika、Autodev、SWE-agent 等项目集中攻克编码智能体（Code Agent）方向，编码领域已经成为智能体首要探索的领域。编码智能体是 Copilot 模式产品的下一个阶段吗？编码智能体商业化应用仍然面临经济成本账和用户体验的问题，这会是智能编码体下一步重点攻克的方向吗？AI agent 还会有其他典型领域突破吗？InfoQ 研究中心与大家一起关注。

二、具体内容

大模型持续更新

1. 4 月 5 日，来自 MIT、普林斯顿等高校的华人团队推出了性价比极高的大语言模型 JetMoE-8B。其在推理过程中只有 22 亿个激活参数，实现了不到 10 万美元的训练成本。尽管预算有限，JetMoE-8B 却展现出了超越 Meta LLaMA2-7B 的能力，后者拥有庞大的训练资源。

开源领域

1. 4 月 1 日，澜舟科技开源了 孟子 3-13B 大模型。该大模型在中英文语言、数学、编程方面表现较为出色，同时支持学术研究与免费商用。

2. 4 月 2 日，通义千问团队推出 Qwen1.5-32B 和 Qwen1.5-32B-Chat。相较于其 72B 的模型，32B 模型的内存占用大幅减少，运行速度显著提升。通义千问团队希望通过 Qwen1.5-32B 的开源，能为企业和开发者提供更具性价比的应用落地模型选项。

3. 4 月 3 日，元象开源了 XVERSE-MoE-A4.2B 大模型。该大模型采用 MoE 结构，其激活参数量为 42 亿。相比于 XVERSE-13B-2 大模型，减少了 70% 的计算量与 50% 的训练时间。

科研领域

1. 斯坦福大学和麦克马斯特大学的研究人员开发了用于设计抗生素分子的生成式 AI 模型 SyntheMol。该模型通过蒙特卡洛树搜索技术和大量的分子片段库中的数据，快速筛选出具有潜力的化合物，显著提高了新药发现的效率和成功率，为未来抗生素的研发提供了新的方向。

应用探索

新产品新应用/功能

1. OpenAI 在官方网站上推出其创新的自定义声音合成技术 Voice Engine。这项技术允许用户仅通过提供一段大约 15 秒的声音样本，便能够创造出与原始声音极为相似的全新音频文件。

2. PixVerse 推出了“角色-视频”新功能，允许用户上传图片并生成保持角色一致性的动态视频。这项功能通过丰富的背景和角色动态，使生成的视频内容生动且连贯。虽然有时生成效果会与原素材有一定差异，但是可以通过调整 prompt 进行改善。

3. 香港中文大学（深圳）附属第二医院使用中文医疗大模型华佗 GPT 进行智能导诊服务。未来，除了智能导诊外，华佗 GPT 还将在医院探索智能预问诊、专科咨询、随访、病案之间等应用场景。

4. 昆仑万维开放天工 SkyMusic AI 音乐生成大模型测试邀请，并计划于 4 月 17 日全面向社会开放使用。

智能体

1. 普林斯顿大学 NLP 组发布了开源的 AI 程序员系统 SWE-agent。它能够在 GitHub 存储库中自主解决问题。基于 GPT-4 等大模型，SWE-agent 在 SWE-bench 测试集上达到了与闭源 AI 程序员 Devin 相似的准确度。SWE-agent 通过智能体-计算机接口（ACI）设计，可以执行代码浏览、编辑和执行等任务，显著提高了软件开发过程中的自动化水平。

2. 阿里云正在内部积极推广通义灵码的智能系统来协助程序员进行代码编写、阅读、BUG 检测和代码优化等多项任务。相关人士表示，未来 20% 的代码将由通义灵码编写，程序员将更多集中在系统架构设计和关键业务开发的工作。

3. 优必选正在探索将其人形机器人 Walker S 与文心大模型相结合，以此提升 Walker S 在具身智能领域的应用能力。通过整合文心大模型，Walker S 不仅保持了其原有的多模态感知和运动控制功能，还新增了更为先进的意图识别和细致规划的能力。

基础设施

1. 3 月 31 日，无问芯穹团队首次召开产品发布会，推出无穹 Infini-AI 大模型开发与服务平台并向个人与企业开放注册并进行了客户案例展示。该平台实现多模型与多芯片间的软硬件协同优化和统一部署，并支持二十余个主流模型与十余种计算卡。

2. 谷歌更新 Transformer 架构，推出 Mixture-of-Depths（MoD）。MoD 架构的核心创新在于动态分配计算资源，以便在模型中跳过一些不必要的计算，从而显著提高训练效率和推理速度。这种方法通过在输入序列的特定位置优化不同层次的模型深度中的资源分配，使模型能够专注于更重要的信息。

3. 华为诺亚方舟实验室推出了一种新的大语言模型架构帝江，该模型基于频域自注意力变换核，实现了原始自注意力的线性逼近。帝江模型在保持与 LLaMA-7B 相当的精度的同时，仅需 1/10-1/50 的训练数据，实现了最多 5 倍的推理加速。

4. 北京大学的团队在论文《Hourglass Tokenizer for Efficient Transformer-Based 3D Human Pose Estimation》中提出 HoT 框架。这是一种高效的三维人体姿态评估的框架，通过沙漏 Tokenizer 来减少视频姿态 Transformer 的高计算量。HoT 能够集成到现有 MotionBERT 等模型中，在不损失精度的情况下降低近 40% 的计算量。

5. UIUC 与 LMFlow 团队在论文《LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning》中针对 LoRA 的局限性进行了研究，并提出了一种新的微调方法 LISA（Layerwise Importance Sampled AdamW）。LISA 的空间消耗与 LoRA 相当或更低，计算速度比 LoRA 快 50%，并且由于其参数激活较少，对更深的网络和梯度检查点技术更为友好。同时，LISA 的收敛性质更优，并且理论性质更易于分析。

其他

1. 国家网信办于 2024 年 4 月 2 日公布了已备案的生成式人工智能服务大模型信息。截至 3 月 28 日，共有 117 个大模型完成了备案程序。其中，北京有 51 个，上海有 24 个，广东有 19 个。

2. 4 月 1 日，OpenAI 放开使用限制，用户无需注册即可使用 ChatGPT。在放开注册使用限制的同时，OpenAI 也加强了内容保护措施，以防止某些不适宜的内容被用户生成。此外，基于 GPT-3.5 的 ChatGPT 仍保持免费使用外，用户可以订阅付费以使用 GPT-4。

报告预告

Sora 来袭，国内如何迅速跟上？开源在大模型市场进程中的价值正在被重新定义吗？人型机器人重回视野，其能力是否有所提升和刷新？Devin 和智能编码助手是同一条赛道上的不同节点？多家企业宣布 All in AI，对市场意味着什么？InfoQ 研究中心即将发布的《2024 年第 1 季度大模型监测报告》，即将给出答案。

每周动态更新和季度报告后续均会在 AI 前线上发布，欢迎持续关注 AI 前线公众号，共同见证大模型行业的发展与突破！

活动推荐

AICon 全球人工智能与大模型开发与应用大会暨通用人工智能开发与应用生态展将于 5 月 17 日正式开幕，本次大会主题为「智能未来，探索 AI 无限可能」。如您感兴趣，可点击「阅读原文」查看更多详情。

今天是会议 9 折购票阶段，购票或咨询其他问题请联系票务同学：13269078023，或扫描上方二维码添加大会福利官，可领取福利资料包。