QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

Web ML 库 Transformers.js 提供文本转语音功能

作者:Agazi Mekonnen I

  • 2023-12-08
    北京
  • 本文字数:1092 字

    阅读完需:约 4 分钟

Web ML 库 Transformers.js 提供文本转语音功能

JavaScript 库 Transformers.js 提供了类似 Python Transformers 库的功能,设计用于在 Web 浏览器中直接运行 Transformer 模型,而不再需要外部服务器参与处理。在最新的 2.7 版本中,Transformers.js 引入了增强功能,其中包括文本转语音(TTS)支持。这次升级响应了用户的诸多需求,扩展了库的应用场景。


文本转语音(TTS)包括从文本创建听起来比较自然的语音,并提供了多种口语语言和 speaker。目前,Transformers.js 只通过 Xenova/speecht5_tts 提供 TTS 支持,而 Xenova/speecht5_tts 基于微软提供的带有 ONNX 权重的 SpeechT5。未来更新计划中包括增加对 bark 和 MMS 的支持。


开发人员可以通过 @xenova/transformers 中的管道函数来使用文本转语音功能,包括指定“文本转语音”任务和要使用的模型('Xenova/ speecht5_ts '),并使用选项{quantized: false}。此外,其中还包含提供 speaker embeddings 的文件链接。


将 TTS 模型应用于给定的文本后,它就会输出音频数组和采样率。该数组表示合成语音,可以进一步处理或直接在浏览器中播放。


Transformers.js 适用于各种用例,包括风格转换、图像绘制、图像着色和超分辨率。它的多功能性和定期更新使其成为开发人员探索机器学习和 Web 开发结合点的宝贵资产,并使其成为 Web 机器学习领域的可靠工具。


按照设计,Transformers.js 在功能上等同于 Hugging Face 的 Python 库 transformers,也就是说,你可以使用非常近似的 API 运行相同的预训练模型。


Transformers.js 支持许多任务和模型,涉及自然语言处理、视觉、音频、表格数据、多模态应用和强化学习。该库涵盖了从文本分类和摘要到图像分割和对象检测的各种任务,这使其成为各种机器学习应用程序的通用工具。


Transformers.js 提供了广泛的模型支持,包括 BERT、GPT-2、T5 和 Vision Transformer(ViT)等架构,确保用户可以针对特定的任务选择正确的模型。


对于 Transformers.js 的发布,社区持积极态度。在今年早些时候发起的 Reddit 帖子中,用户 Intrepid-Air6525 表示:我决定用它来代替 openai 的嵌入模型。速度非常快。我实际使用的 LLM 是 webLLM ,因为我不想消耗太多的 CPU 处理。


用户 1EvilSexyGenius 对 Hugging Face 的市场定位以及关于实际应用的讨论发表了看法:


[…] 借助 Transformers.js 及他们提供的其他优秀的库,很显然, [Hugging Face] 正在努力实现语言模型的民主化,并将它们带给大众。与每天发布的所有模型相比,这样的帖子会让这个社区受益匪浅。


感兴趣的读者可以从 Hugging Face Transformers.js 官方网站及其 GitHub 库中获得更多信息。


原文链接:

https://www.infoq.com/news/2023/11/transformersjs-ml-for-web/


2023-12-08 08:005744

评论

发布
暂无评论
发现更多内容

Transformer图解以及相关的概念

芯动大师

Transformer

加解密的艺术

江南一点雨

Cisco Catalyst 9000 Series Switches, IOS XE Release 17.15.1 ED

sysin

Cisco 交换机 IOS XE Cataly 9000

WorkPlus即时通讯平台级定制:实现业务与生态的全面掌控

BeeWorks

企业内部IM即时通讯软件有哪些?

BeeWorks

有哪些常用的企业统一门户?为何选择移动应用管理平台WorkPlus

BeeWorks

物联网云平台开发岗位面试经验分享

王中阳Go

面试 物联网 面经 Go面试宝典

解锁电商数据新视界:深度剖析京东商品详情API返回值及其应用

代码忍者

API 测试 API 策略

Magnet AXIOM 8.4 Windows x64 Multilingual - 数字取证与分析

sysin

数字取证 AXIOM 计算机取证

Chrome Extension 消息传递

FunTester

IM即时通讯,稳定可靠的即时通讯服务-WorkPlus

BeeWorks

FinOps原则:云计算成本管理的关键

雅菲奥朗

云计算 FinOps FinOps 认证 FinOps 考试 FinOps 培训

美高梅(MGM)可观测性认证培训圆满结课

雅菲奥朗

运维 可观测性 Observability 可观测性认证 可观测性培训

VR虚拟现实给电商行业带来的7个优势

3DCAT实时渲染

VR/AR 实时云渲染 VR开发

边缘计算平台:如何高效的处理与分析数据?

3DCAT实时渲染

边缘云 实时云渲染 边缘计算平台

Windows Server 2025 正式版发布下载

sysin

windows Server 2025

【Tomcat源码分析 】 类加载机制的源码解读

派大星

tomcat源码解读

Tuxera NTFS for Mac激活码 Mac免费的NTFS软件 Tuxera破解版

阿拉灯神丁

Mac 软件 Tuxera NTFS2023 NTFS 磁盘管理器 Tuxera NTFS教程 Tuxera NTFS2024

IM即时通讯软件-WorkPlus私有化部署的局域网即时通讯工具

BeeWorks

信创企业级即时通讯:私有化安全沟通的新趋势

BeeWorks

Cisco Catalyst Center 2.3.7.6-VA 发布下载,新增功能概览

sysin

Cisco Catalyst center

Go 错误处理指北:Error vs Exception vs ErrNo

江湖十年

面试 后端 Go web 异常处理 异常机制

基于51单片机+SHT30设计的环境温度与湿度检测设备(IIC模拟时序)

DS小龙哥

9月月更

Web ML 库 Transformers.js 提供文本转语音功能_架构/框架_InfoQ精选文章