写点什么

Apple 机器学习和视觉生态系统更新:Core ML、Create ML 和 VisionKit

  • 2023-07-22
    北京
  • 本文字数:1179 字

    阅读完需:约 4 分钟

Apple机器学习和视觉生态系统更新:Core ML、Create ML和VisionKit

在 WWDC 2023 开发者大会上,苹果公司展示了其机器学习和视觉生态系统的许多扩展和更新,包括对 Core ML 框架的更新,Create ML 建模工具的新功能,以及用于图像分割、动物体态检测和 3D 人体体态的新的视觉 API。


苹果工程师 Ben Levine 解释说,第一个有关 Core ML(运行在 iOS 设备上的机器学习框架)的改进是更快的推理引擎,不需要重新编译模型或修改任何相关代码就可以获得这种提速。Levine 没有提供与速度提升相关的数据,他说具体将取决于实际的模型和硬件。


Core ML 还扩展了其支持异步工作流的能力,新增了 Async Prediction API。以前,Core ML 支持批量预测,适用于已知工作量并且可以预先计算所有组件批次输入的情况。有了新的 Async Prediction API,你现在可以将预测分派到后台线程,这意味着你可以同时运行多个预测。此外,API 还可能支持取消预测请求,这在某些情况下可以进一步提高响应性。


例如,Levine 演示了一款使用 Core ML 对一系列图像进行着色的应用程序,并展示了新的 Async Prediction API 如何通过将推理时间减少大约一半来改善滚动体验。然而,并发推理也有需要注意的地方。具体来说,Levine 提到了由于在内存中加载多个输入和输出而增加的内存需求,这个问题必须得到解决,例如可以通过限制应用程序执行的并发操作数量。


除了 Core ML 推理能力外,苹果还通过新版的Core ML Tools(这个工具可以帮助开发人员优化机器学习模型的大小和性能)改进了模型转换选项。苹果公司表示,随着应用程序开始集成越来越多、越来越大的 ML 模型,这一点至关重要。该工具现在支持几种技术,包括权重修剪、量化和调色板化,在训练新模型时都可以使用它。


在建模方面,苹果对Create ML进行了扩展,支持多语言 BERT 嵌入和多标签图像分类。


今年,我们设计了一个新的嵌入模型,并在数十亿个标记文本示例上进行了训练。它是一个双向编码器表示变换器模型,简称 BERT。


据苹果公司称,新的 BERT 模型也可以提高单语文本分类器的准确性。


最后,新的 Augmentation API 可以在只有有限训练数据的情况下提高模型质量。数据增强是一种使用变换从现有示例生成新训练示例的技术。Augmentation API 将使开发人员能够通过组合不同的转换步骤来构建自己的增强管道。苹果公司表示,Augmentation API 使用了结果构建器,并为使用过 SwiftUI 的开发人员提供他们熟悉的结果。


最后要注意的是,苹果公司为其 VisionKit 框架增加了新功能,包括:检测动物体态并实时跟踪它们的关节;将主体从图像中提取出来并将其与背景分离;使用新的 Segmentation API 区分同一图像中的多个个体。


如果你有兴趣深入了解即将发布的 iOS 17 中所有新的 ML 和视觉功能,请查看WWDC 2023大会录制清单


原文链接

https://www.infoq.com/news/2023/07/coreml-createml-vision-ios-17/


相关阅读:

过去十年机器学习软件开发行业概览:英伟达CUDA垄断地位下降,PyTorch超越谷歌TensorFlow

2023年软件测试、人工智能和机器学习趋势


2023-07-22 08:009473

评论

发布
暂无评论
发现更多内容

React源码分析6-hooks源码

goClient1992

React

AngularJS进阶(三十七)IE浏览器兼容性后续

No Silver Bullet

AngularJS 12月月更 浏览器兼容 下拉加载

构建高性能内存队列:Disruptor yyds~

小小怪下士

Java 高性能

CorelDRAW软件2023最新版本更新下载

茶色酒

CorelDraw2023 CorelDraw

架构学习笔记1:什么是架构设计?

生活需要激情

架构训练营10期

React源码分析5-commit

goClient1992

React

实测|超融合数据库 MatrixDB 实现百万级 TPS!

YMatrix 超融合数据库

intel OLTP 超融合数据库 YMatrix tpcb

11月月更开奖啦!看看获奖名单有没有你?

InfoQ写作社区官方

热门活动

Nexus3常用功能备忘

程序员欣宸

Java maven nexus3 12月月更

React源码解读之任务调度

flyzz177

React

AngularJS进阶(三十五)浏览器兼容性解决之道

No Silver Bullet

AngularJS 12月月更 浏览器兼容

凡泰极客荣获了第二届产业互联高峰论坛「2022年度行业科技创新产品奖」

FinClip

DevEco Studio 3.1差异化构建打包,提升多版本应用开发效率

HarmonyOS开发者

HarmonyOS

城市云灾备,为业务连续性保驾护航

华为云开发者联盟

云计算 公有云 华为云 政务云 12 月 PK 榜

企业的可视化分析能力想要提升,还需要多多关注瓴羊Quick BI

巷子

面对庞大复杂的身份和权限管理,企业该怎么办?

华为云开发者联盟

后端 开发 数字化 华为云 12 月 PK 榜

mysql数据库之schema与数据类型优化

@下一站

程序设计 代码优化 MySQL优化 11月日更 11月月更

一文带你读懂 Google GUAC 项目

SEAL安全

Google 软件供应链安全 12 月 PK 榜 GUAC

React源码分析4-深度理解diff算法

goClient1992

React

react hook 源码完全解读

flyzz177

React

数据安全新战场,EasyMR为企业筑起“安全防线”

袋鼠云数栈

数据安全 大数据基础平台

「虚拟社交」爆火,资深玩家「当道」

融云 RongCloud

社交 虚拟形象

AngularJS进阶(三十六)AngularJS项目开发技巧之利用Service&Promise&Resolve解决图片预加载问题(后记)

No Silver Bullet

项目开发 AngularJS 12月月更

元年SecDevOps的实践之路

元年技术洞察

数字化转型 趋势研究 方舟平台

全面支持 PyTorch 2.0:BladeDISC 5月~11月新功能发布

阿里云大数据AI技术

深度学习 编译器 PyTorch 12 月 PK 榜

企业想要提升数据分析能力,还需要选择瓴羊Quick BI

三十

React源码解读之更新的创建

flyzz177

React

Span抽取和元学习能碰撞出怎样的新火花,小样本实体识别来告诉你!

阿里云大数据AI技术

机器学习 12 月 PK 榜 小样本学习

云数据库技术行业动态:ClickHouse Cloud正式GA或有融资;openGauss社区引入新成员

数据库小组

行业资讯 企业动态 产品功能 数据库技术

BI智慧仓储行业应用方案,让你的仓储物流不再复杂

葡萄城技术团队

前端 数据可视化 仓储 智慧仓储 大屏

如何利用A/B实验提升产品用户留存?看字节实战案例给你答案!

字节跳动数据平台

大数据 AB testing实战 12 月 PK 榜

Apple机器学习和视觉生态系统更新:Core ML、Create ML和VisionKit_Android/iOS_Sergio De Simone_InfoQ精选文章