写点什么

数百万小时训练,6 秒音频即可完成音色复刻!效果不输 ElevenLabs 和 OpenAI 的 MiniMax 语音大模型能用来做什么?

MiniMax 技术团队

  • 2024-02-01
    北京
  • 本文字数:1381 字

    阅读完需:约 5 分钟

大小:701.41K时长:03:59
数百万小时训练,6秒音频即可完成音色复刻!效果不输 ElevenLabs 和 OpenAI 的 MiniMax 语音大模型能用来做什么?

从 0 到 1 的 MiniMax 语音大模型


2023 年 11 月,MiniMax 发布语音大模型 abab-speech-01。从 11 月至今,共有超过 400 家企业用户接入我们的语音大模型。


在实际应用中,来自各行各业的用户给我们反馈了很多好的建议和想法。例如,在复刻有声书场景下,市面上没有可以批量、快速生成多角色音频的解决方案;在直播电商等注重互动性的场景中,各家现有语音能力仍无法做到实时,在生成语音的过程中仍需一定的等待时间,非常影响用户体验;在教学场景中,模型碰到特殊字词或者多音字的情况,时常存在发音不准确的问题。


为了给用户带来更加高效、丰富和真实的语音定制体验,我们不断迭代 MiniMax 语音大模型,并基于用户高优需求新增语音 API 接口,并上线了多个产品功能。MiniMax 是目前第一个开放多角色配音商用接口的公司。


在模型基础能力上,我们的语音模型对长达数百万小时的高质量音频数据进行训练,基于它的训练结果,仅用 6 秒的音频就能完成音色复刻,基于文本生成语音的字错率低至万分之五,已达到全球顶尖水平。


针对用户的高优需求,我们新增了以下产品功能:


  • 三个 API 接口:多角色音频生成 API、文本角色分类 API 和快速复刻 API,帮助用户自主批量生成、克隆多角色音频;

  • 多语种能力、字典和间隔时长控制,满足用户丰富的定制化需求,提升教学场景体验

  • T2A Stream (流式语音输出) 实现生成与输出的同步,减少用户在直播、对话等场景的等待时间。


为了让更多用户体验、使用我们的技术,我们在价格上也做出了调整:T2A Pro、T2A、T2A Stream 等价格下调为原先的一半,由 10 元 / 万字符降至 5 元 / 万字符。


具体功能价格调整见下表:



声音小剧场


由于语音模型没有公开的测评集,衡量一个语音模型到底怎么样主要依靠几个比较主观的评判标准,例如:自然度、相似度,可懂度和情感表现等。以下是几个基于我们语音大模型生成、复刻的一些语音效果。大家可以听听看,欢迎拍砖:)


01 中英文夹杂读着毫无压力


文本:

哎,你说你特别想念某个东西,可以说"I really miss it a lot" 或者"I'm missing it terribly." 这样表达出你的感情。有什么特别想念的嘛?想聊聊吗?


声音 1(明杰):

00:00
00:13

声音 2(晨曦):

00:00
00:14


声音 3(祁辰):

00:00
00:14


02 跨语种复刻,比原声更自然


文本:

别担心,犯错是学习的一部分,下次你会做得更好的。Don't worry, making mistakes is part of learning. You'll do better next time.


原声音频(童声):

00:00
00:10

复刻音频(中 + 英):

00:00
00:12

只用中文原声,也可以复刻出他们讲中、英、日、韩等多种语言的声音:

韩语:

00:00
00:06

日语:

00:00
00:07


03 AI 嬛嬛和四爷,有没有甄嬛十级学者来检验一下效果?

00:00
00:12


00:00
00:09


04 多音字绕口令也难不倒!

真人都不一定能读准的多音字绕口令,我们的语音模型可以:)出现多音字的绕口令对语音模型理解上下文提出了很高要求。


“人要是行,干一行,行一行,一行行,行行行,行行行,干哪行都行”


00:00
00:08


05 实时语音通话,跟小海螺打电话吧


MiniMax 不仅为企业用户和开发者提供语音相关的 API,也为普通用户打磨了多款含有语音功能的产品。例如,我们在 AI 助手海螺问问上线了实时语音通话功能——无论你遇到什么问题,都可以随时打电话给小海螺,就像在和朋友聊天一样轻松、自然。小海螺的反应比 ChatGPT 的语音功能还快哦,快来体验一下吧!


00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    06 唱 AI 嘻哈


    节奏感强、唱腔复杂的饶舌说唱,我们的模型也能够超酷演绎。

    想和 AI battle 说唱的朋友可以打开链接尝试:

    https://m.xingyeai.com/tag/2760001

    00:00 / 00:00
      1.0x
      • 3.0x
      • 2.5x
      • 2.0x
      • 1.5x
      • 1.25x
      • 1.0x
      • 0.75x
      • 0.5x
      网页全屏
      全屏
      00:00


      00:00 / 00:00
        1.0x
        • 3.0x
        • 2.5x
        • 2.0x
        • 1.5x
        • 1.25x
        • 1.0x
        • 0.75x
        • 0.5x
        网页全屏
        全屏
        00:00


        2024-02-01 17:279581

        评论

        发布
        暂无评论
        发现更多内容

        首个机器学习实时特征平台测试基准论文被 VLDB 2023 录取

        第四范式开发者社区

        人工智能 机器学习 数据库 开源 特征

        前端微服务无界实践 | 京东云技术团队

        京东科技开发者

        微服务 前端 企业号 5 月 PK 榜 无界

        羊了个羊游戏|链游dapp系统开发方案

        Congge420

        [杂谈]百度飞浆环境配置

        alexgaoyh

        ubuntu gpu cuda cudnn PaddlePaddl

        MobPush 合规指南

        MobTech袤博科技

        索信达两大营销创新产品获官方认可,都有哪些创新亮点?

        索信达控股

        Elasticsearch之join关联查询及使用场景 | 京东云技术团队

        京东科技开发者

        数据库 elasticsearch sql join 企业号 5 月 PK 榜

        Gamefi很有潜力?分析链游gamefi系统开发源码!

        Congge420

        成功加冕!用友大易获评2023最佳招聘管理软件供应商

        用友BIP

        招聘

        又一开发者公布高分方案源代码,助力软件杯选手高效解题

        飞桨PaddlePaddle

        百度飞桨 中国软件杯

        CFS第十二届财经峰会7月举行, 候选品牌:行云管家

        行云管家

        云计算 商业 财经峰会

        1个Java程序员需要具备什么样的素质和能力才可以称得上高级工程师?

        Java永远的神

        程序员 后端 架构师 java面试 Java性能优化

        文档关键信息提取形成知识图谱:基于NLP算法提取文本内容的关键信息生成信息图谱教程及码源(含pyltp安装使用教程)

        汀丶人工智能

        nlp 知识图谱 信息抽取 命名实体识别 pyltp

        3种分页列表缓存方式,速收藏~~

        华为云开发者联盟

        开发 华为云 华为云开发者联盟 企业号 5 月 PK 榜

        5人5月用容器技术保卫蓝天

        华为云开发者联盟

        云计算 后端 华为云 华为云开发者联盟 企业号 5 月 PK 榜

        财务共享中心释放企业“数据”生产力

        用友BIP

        财务共享

        对话 ONES 联合创始人兼 CTO 冯斌:技术管理者如何打造一支自驱型团队?

        万事ONES

        开源堡垒机和免费商业堡垒机哪个用的更香?

        行云管家

        开源 网络安全 免费堡垒机

        公网对讲SDK——对讲应用场景

        anyRTC开发者

        音视频 视频会议 指挥调度 快对讲 公网对讲

        一名开发者眼中的 TiDB 与 MySQL 的选择丨TiDB Community

        PingCAP

        MySQL 数据库 TiDB

        构建高可用云原生应用,如何有效进行流量管理?

        华为云开发者联盟

        云原生 后端 华为云 华为云开发者联盟 企业号 5 月 PK 榜

        什么是数字藏品|数字藏品系统开发源码?

        Congge420

        CMake常用命令大全:提高项目构建效率

        小万哥

        程序员 面试 后端 C/C++ cmake

        深度学习进阶篇-预训练模型[2]:Transformer-XL、Longformer、GPT原理、模型结构、应用场景、改进技巧等详细讲解

        汀丶人工智能

        人工智能 深度学习 nlp 预训练模型 Transformer

        为什么说财务共享是财务数智化转型的基石?

        用友BIP

        财务共享

        Chrome分组插件

        soap said

        Chrome插件

        【参考设计】16芯串联电池包储能系统

        元器件秋姐

        芯片 电池 元器件 电源 驱动器

        CST 电磁仿真计算时,为什么要关闭超线程?【操作教程】

        思茂信息

        cst cst使用教程 cst电磁仿真 cst仿真软件

        数百万小时训练,6秒音频即可完成音色复刻!效果不输 ElevenLabs 和 OpenAI 的 MiniMax 语音大模型能用来做什么?_AI&大模型_InfoQ精选文章