写点什么

数百万小时训练,6 秒音频即可完成音色复刻!效果不输 ElevenLabs 和 OpenAI 的 MiniMax 语音大模型能用来做什么?

MiniMax 技术团队

  • 2024-02-01
    北京
  • 本文字数:1381 字

    阅读完需:约 5 分钟

大小:701.41K时长:03:59
数百万小时训练,6秒音频即可完成音色复刻!效果不输 ElevenLabs 和 OpenAI 的 MiniMax 语音大模型能用来做什么?

从 0 到 1 的 MiniMax 语音大模型


2023 年 11 月,MiniMax 发布语音大模型 abab-speech-01。从 11 月至今,共有超过 400 家企业用户接入我们的语音大模型。


在实际应用中,来自各行各业的用户给我们反馈了很多好的建议和想法。例如,在复刻有声书场景下,市面上没有可以批量、快速生成多角色音频的解决方案;在直播电商等注重互动性的场景中,各家现有语音能力仍无法做到实时,在生成语音的过程中仍需一定的等待时间,非常影响用户体验;在教学场景中,模型碰到特殊字词或者多音字的情况,时常存在发音不准确的问题。


为了给用户带来更加高效、丰富和真实的语音定制体验,我们不断迭代 MiniMax 语音大模型,并基于用户高优需求新增语音 API 接口,并上线了多个产品功能。MiniMax 是目前第一个开放多角色配音商用接口的公司。


在模型基础能力上,我们的语音模型对长达数百万小时的高质量音频数据进行训练,基于它的训练结果,仅用 6 秒的音频就能完成音色复刻,基于文本生成语音的字错率低至万分之五,已达到全球顶尖水平。


针对用户的高优需求,我们新增了以下产品功能:


  • 三个 API 接口:多角色音频生成 API、文本角色分类 API 和快速复刻 API,帮助用户自主批量生成、克隆多角色音频;

  • 多语种能力、字典和间隔时长控制,满足用户丰富的定制化需求,提升教学场景体验

  • T2A Stream (流式语音输出) 实现生成与输出的同步,减少用户在直播、对话等场景的等待时间。


为了让更多用户体验、使用我们的技术,我们在价格上也做出了调整:T2A Pro、T2A、T2A Stream 等价格下调为原先的一半,由 10 元 / 万字符降至 5 元 / 万字符。


具体功能价格调整见下表:



声音小剧场


由于语音模型没有公开的测评集,衡量一个语音模型到底怎么样主要依靠几个比较主观的评判标准,例如:自然度、相似度,可懂度和情感表现等。以下是几个基于我们语音大模型生成、复刻的一些语音效果。大家可以听听看,欢迎拍砖:)


01 中英文夹杂读着毫无压力


文本:

哎,你说你特别想念某个东西,可以说"I really miss it a lot" 或者"I'm missing it terribly." 这样表达出你的感情。有什么特别想念的嘛?想聊聊吗?


声音 1(明杰):

00:00
00:13

声音 2(晨曦):

00:00
00:14


声音 3(祁辰):

00:00
00:14


02 跨语种复刻,比原声更自然


文本:

别担心,犯错是学习的一部分,下次你会做得更好的。Don't worry, making mistakes is part of learning. You'll do better next time.


原声音频(童声):

00:00
00:10

复刻音频(中 + 英):

00:00
00:12

只用中文原声,也可以复刻出他们讲中、英、日、韩等多种语言的声音:

韩语:

00:00
00:06

日语:

00:00
00:07


03 AI 嬛嬛和四爷,有没有甄嬛十级学者来检验一下效果?

00:00
00:12


00:00
00:09


04 多音字绕口令也难不倒!

真人都不一定能读准的多音字绕口令,我们的语音模型可以:)出现多音字的绕口令对语音模型理解上下文提出了很高要求。


“人要是行,干一行,行一行,一行行,行行行,行行行,干哪行都行”


00:00
00:08


05 实时语音通话,跟小海螺打电话吧


MiniMax 不仅为企业用户和开发者提供语音相关的 API,也为普通用户打磨了多款含有语音功能的产品。例如,我们在 AI 助手海螺问问上线了实时语音通话功能——无论你遇到什么问题,都可以随时打电话给小海螺,就像在和朋友聊天一样轻松、自然。小海螺的反应比 ChatGPT 的语音功能还快哦,快来体验一下吧!


00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    06 唱 AI 嘻哈


    节奏感强、唱腔复杂的饶舌说唱,我们的模型也能够超酷演绎。

    想和 AI battle 说唱的朋友可以打开链接尝试:

    https://m.xingyeai.com/tag/2760001

    00:00 / 00:00
      1.0x
      • 3.0x
      • 2.5x
      • 2.0x
      • 1.5x
      • 1.25x
      • 1.0x
      • 0.75x
      • 0.5x
      网页全屏
      全屏
      00:00


      00:00 / 00:00
        1.0x
        • 3.0x
        • 2.5x
        • 2.0x
        • 1.5x
        • 1.25x
        • 1.0x
        • 0.75x
        • 0.5x
        网页全屏
        全屏
        00:00


        2024-02-01 17:279445

        评论

        发布
        暂无评论
        发现更多内容

        Vue常用指令-条件渲染(v-if)

        霍格沃兹测试开发学社

        深入理解 Nginx:原理和基础介绍

        霍格沃兹测试开发学社

        甲骨文云中的区间管理:从基础到策略

        Geek_2d6073

        探索PyTorch:介绍及常用工具包展示

        霍格沃兹测试开发学社

        深度!10个头脑风暴必备的模板,让脑暴更高效和富有成效!

        彭宏豪95

        思维导图 头脑风暴 在线白板 在线协作 效率软件

        智能合约开发:每周加密货币回顾(2024年3月11日)

        区块链软件开发推广运营

        dapp开发 区块链开发 链游开发 NFT开发

        【FAQ】推送获取push token报错6003,如何排查?

        HarmonyOS SDK

        HarmonyOS

        IT驻场外包能提供哪些类型的服务?

        Ogcloud

        IT IT外包 IT外包公司 IT外包服务 IT驻场外包

        有点害怕,浏览器插件风险这么多?

        高端章鱼哥

        Python实现企业微信自动打卡程序二:跳过节假日,随机打卡时间,定时任务,失败通知

        快乐非自愿限量之名

        Python 软件开发 打卡

        掌握 Postman:请求头使用指南

        Liam

        Java 程序员 后端 Postman API

        软件测试学习笔记丨数据库基础知识

        测试人

        数据库 软件测试

        Linux常用统计命令大全

        霍格沃兹测试开发学社

        《实现领域驱动设计》-聚合

        不在线第一只蜗牛

        DDD

        走进甲骨文云服务器:打造专属的云资源管理空间

        Geek_2d6073

        灰度发布难以追踪?你可能用错了工具

        观测云

        可观测性

        Linux查看文件内容常用命令

        霍格沃兹测试开发学社

        COB封装小间距LED可在哪些领域发挥潜能?

        Dylan

        技术 cobra LED LED display LED显示屏

        淘宝API接口开发系列,接口封装,淘宝开放平台API接口

        Anzexi58

        API API 接口 API 文档

        如何在 Windows 系统电脑中安装 CentOS 7 虚拟机

        霍格沃兹测试开发学社

        今天来聊聊Hybird app技术

        FinFish

        小程序容器 跨端框架 Hybird App Hybird开发

        低代码的高性价比,企业:嘎嘎香!

        EquatorCoco

        低代码 企业开发 项目开发 企业转型

        Asp .Net Web Forms 系列:配置图片防盗链的几种方法

        EquatorCoco

        Web asp

        面试官:微服务通讯方式有哪些?

        王磊

        Java 面试

        Redis介绍与使用指南

        霍格沃兹测试开发学社

        Graph+LLM 更进一步|悦数图数据库推出 AI 知识图谱构建器及图语言生成助手

        最新动态

        “仍有 5 亿人坚持用 QQ”;马斯克:本周开源 xAI 人工智能助手丨 RTE 开发者日报 Vol.162

        声网

        软件测试学习笔记丨Allure2运行方式&问题调试

        测试人

        软件测试

        程序员必备开发工具(IDE)推荐

        霍格沃兹测试开发学社

        从ESB总线到iPaaS集成平台,如何选择最佳集成方案

        RestCloud

        ESB 系统集成 ipaas

        数百万小时训练,6秒音频即可完成音色复刻!效果不输 ElevenLabs 和 OpenAI 的 MiniMax 语音大模型能用来做什么?_AI&大模型_InfoQ精选文章