AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

Apple 机器学习和视觉生态系统更新:Core ML、Create ML 和 VisionKit

  • 2023-07-22
    北京
  • 本文字数:1179 字

    阅读完需:约 4 分钟

Apple机器学习和视觉生态系统更新:Core ML、Create ML和VisionKit

在 WWDC 2023 开发者大会上,苹果公司展示了其机器学习和视觉生态系统的许多扩展和更新,包括对 Core ML 框架的更新,Create ML 建模工具的新功能,以及用于图像分割、动物体态检测和 3D 人体体态的新的视觉 API。


苹果工程师 Ben Levine 解释说,第一个有关 Core ML(运行在 iOS 设备上的机器学习框架)的改进是更快的推理引擎,不需要重新编译模型或修改任何相关代码就可以获得这种提速。Levine 没有提供与速度提升相关的数据,他说具体将取决于实际的模型和硬件。


Core ML 还扩展了其支持异步工作流的能力,新增了 Async Prediction API。以前,Core ML 支持批量预测,适用于已知工作量并且可以预先计算所有组件批次输入的情况。有了新的 Async Prediction API,你现在可以将预测分派到后台线程,这意味着你可以同时运行多个预测。此外,API 还可能支持取消预测请求,这在某些情况下可以进一步提高响应性。


例如,Levine 演示了一款使用 Core ML 对一系列图像进行着色的应用程序,并展示了新的 Async Prediction API 如何通过将推理时间减少大约一半来改善滚动体验。然而,并发推理也有需要注意的地方。具体来说,Levine 提到了由于在内存中加载多个输入和输出而增加的内存需求,这个问题必须得到解决,例如可以通过限制应用程序执行的并发操作数量。


除了 Core ML 推理能力外,苹果还通过新版的Core ML Tools(这个工具可以帮助开发人员优化机器学习模型的大小和性能)改进了模型转换选项。苹果公司表示,随着应用程序开始集成越来越多、越来越大的 ML 模型,这一点至关重要。该工具现在支持几种技术,包括权重修剪、量化和调色板化,在训练新模型时都可以使用它。


在建模方面,苹果对Create ML进行了扩展,支持多语言 BERT 嵌入和多标签图像分类。


今年,我们设计了一个新的嵌入模型,并在数十亿个标记文本示例上进行了训练。它是一个双向编码器表示变换器模型,简称 BERT。


据苹果公司称,新的 BERT 模型也可以提高单语文本分类器的准确性。


最后,新的 Augmentation API 可以在只有有限训练数据的情况下提高模型质量。数据增强是一种使用变换从现有示例生成新训练示例的技术。Augmentation API 将使开发人员能够通过组合不同的转换步骤来构建自己的增强管道。苹果公司表示,Augmentation API 使用了结果构建器,并为使用过 SwiftUI 的开发人员提供他们熟悉的结果。


最后要注意的是,苹果公司为其 VisionKit 框架增加了新功能,包括:检测动物体态并实时跟踪它们的关节;将主体从图像中提取出来并将其与背景分离;使用新的 Segmentation API 区分同一图像中的多个个体。


如果你有兴趣深入了解即将发布的 iOS 17 中所有新的 ML 和视觉功能,请查看WWDC 2023大会录制清单


原文链接

https://www.infoq.com/news/2023/07/coreml-createml-vision-ios-17/


相关阅读:

过去十年机器学习软件开发行业概览:英伟达CUDA垄断地位下降,PyTorch超越谷歌TensorFlow

2023年软件测试、人工智能和机器学习趋势


2023-07-22 08:009659

评论

发布
暂无评论
发现更多内容

3月27日“文心一言云服务”系列产品将发布 已有21家企业签约

极客天地

建木v2.7.0发布

Jianmu

node.js maven 缓存 CI/CD 流水线

瓴羊Quick BI作为自定义数据门户,在企业的有效管理中发挥巨大作用

流量猫猫头

美团二面特点:喜欢写一个 SQL 语句,然后问你加了哪些锁!

Java你猿哥

Java 数据库 sql ssm InnoDB存储引擎

布隆过滤器(Bloom Filters)的原理及代码实现(Java)

做梦都在改BUG

Java 布隆过滤器

远程桌面连接软件:Jump Desktop 8 mac激活版

真大的脸盆

Mac 远程办公 Mac 软件 远程连接 远程工具

蚁人与量子停车场

白洞计划

AI 智慧停车场

看起来很简单的二维码巡检,究竟是怎么实现的?

草料二维码

小程序 二维码 表单 设备巡检

8个不能错过的程序员必备网站,惊艳到我了!!!

引迈信息

前端

软件测试/测试开发丨RPC接口测试技术-Tcp 协议的接口测试

测试人

软件测试 自动化测试 测试开发

建木缓存—提升构建速度,让你不加班!

Jianmu

maven 缓存 持续集成 CI/CD 流水线

字节三面被挂后,狂刷算法,意外斩获阿里offer,定级P6+

做梦都在改BUG

Java 数据结构 面试 算法

轻松搞定面试拿offer的Java面试宝典(全彩图文版)24个Java技术栈

Java你猿哥

Java 面试 ssm 面经 java技术栈

Java敏捷开发框架 高效搭建数据报表

力软低代码开发平台

MQTT协议是什么?MQTT和Kafka的联系与区别

EMQ映云科技

kafka 物联网 IoT mqtt 企业号 3 月 PK 榜

终于扒完国内算法第一人10年经验总结的数据结构与算法详解文档

程序知音

Java 算法 编程语言 数据结构与算法 后端技术

牛皮!GitHub上标星90.6K的Java面试指南+笔记

做梦都在改BUG

Java java面试 Java八股文 Java面试题 Java面试八股文

提升面试成功率:深入理解C++11新特性

小万哥

程序员 面试 软件开发 新特性 C++11

想稳中求进?字节大佬的硬核学习神器《图解Java并发编程》看了吗

Java你猿哥

Java 面试 Java并发 ssm 面经

不要再问我 In,Exists 走不走索引了

做梦都在改BUG

IPQ5018 cooperate QCN6122 / QCN6102 high performance high speed wi-fi connection

Cindy-wallys

ipq5018 QCN6102 QCN6122 IPQ5010

现货合约一键自动跟单app系统开发搭建(api对接)

开发v-hkkf5566

给跪了!阿里P7技术专家进阶必备,架构进阶宝典

做梦都在改BUG

Java 进阶 架构师

分析 | NFTScan NFT API 在加密钱包开发中的应用

NFT Research

API NFT

全员狠人!CG大佬的连环暴击!第二届瑞云3D渲染动画创作大赛入围名单出炉!人气奖投票进行时!

Renderbus瑞云渲染农场

3D渲染动画创作大赛 瑞云3D渲染动画大赛

python进阶:带你学习实时目标跟踪

华为云开发者联盟

Python 人工智能 华为云 华为云开发者联盟 企业号 3 月 PK 榜

爱了!阿里P8纯手码出489页SQL优化手册,附笔记源码

做梦都在改BUG

Java 数据库 sql 面试

《2023大型企业财务数智化白皮书》:大型企业财务数智化建设应用架构

用友BIP

财务数智化 智能财务

让国内顶尖程序员社区“牛客网”低头的这份Java面试手册真的强

程序知音

Java 编程语言 java面试 java架构 八股文

直面风口,未来不仅是中文版ChatGPT,还有AGI大时代在等着我们

加入高科技仿生人

人工智能 AI 低代码 数智化 AGI

Apple机器学习和视觉生态系统更新:Core ML、Create ML和VisionKit_Android/iOS_Sergio De Simone_InfoQ精选文章