飞天发布时刻:2024年 Forrester 公有云平台Wave™评估报告解读 了解详情
写点什么

数百万小时训练,6 秒音频即可完成音色复刻!效果不输 ElevenLabs 和 OpenAI 的 MiniMax 语音大模型能用来做什么?

MiniMax 技术团队

  • 2024-02-01
    北京
  • 本文字数:1381 字

    阅读完需:约 5 分钟

大小:701.41K时长:03:59
数百万小时训练,6秒音频即可完成音色复刻!效果不输 ElevenLabs 和 OpenAI 的 MiniMax 语音大模型能用来做什么?

从 0 到 1 的 MiniMax 语音大模型


2023 年 11 月,MiniMax 发布语音大模型 abab-speech-01。从 11 月至今,共有超过 400 家企业用户接入我们的语音大模型。


在实际应用中,来自各行各业的用户给我们反馈了很多好的建议和想法。例如,在复刻有声书场景下,市面上没有可以批量、快速生成多角色音频的解决方案;在直播电商等注重互动性的场景中,各家现有语音能力仍无法做到实时,在生成语音的过程中仍需一定的等待时间,非常影响用户体验;在教学场景中,模型碰到特殊字词或者多音字的情况,时常存在发音不准确的问题。


为了给用户带来更加高效、丰富和真实的语音定制体验,我们不断迭代 MiniMax 语音大模型,并基于用户高优需求新增语音 API 接口,并上线了多个产品功能。MiniMax 是目前第一个开放多角色配音商用接口的公司。


在模型基础能力上,我们的语音模型对长达数百万小时的高质量音频数据进行训练,基于它的训练结果,仅用 6 秒的音频就能完成音色复刻,基于文本生成语音的字错率低至万分之五,已达到全球顶尖水平。


针对用户的高优需求,我们新增了以下产品功能:


  • 三个 API 接口:多角色音频生成 API、文本角色分类 API 和快速复刻 API,帮助用户自主批量生成、克隆多角色音频;

  • 多语种能力、字典和间隔时长控制,满足用户丰富的定制化需求,提升教学场景体验

  • T2A Stream (流式语音输出) 实现生成与输出的同步,减少用户在直播、对话等场景的等待时间。


为了让更多用户体验、使用我们的技术,我们在价格上也做出了调整:T2A Pro、T2A、T2A Stream 等价格下调为原先的一半,由 10 元 / 万字符降至 5 元 / 万字符。


具体功能价格调整见下表:



声音小剧场


由于语音模型没有公开的测评集,衡量一个语音模型到底怎么样主要依靠几个比较主观的评判标准,例如:自然度、相似度,可懂度和情感表现等。以下是几个基于我们语音大模型生成、复刻的一些语音效果。大家可以听听看,欢迎拍砖:)


01 中英文夹杂读着毫无压力


文本:

哎,你说你特别想念某个东西,可以说"I really miss it a lot" 或者"I'm missing it terribly." 这样表达出你的感情。有什么特别想念的嘛?想聊聊吗?


声音 1(明杰):

00:00
00:13

声音 2(晨曦):

00:00
00:14


声音 3(祁辰):

00:00
00:14


02 跨语种复刻,比原声更自然


文本:

别担心,犯错是学习的一部分,下次你会做得更好的。Don't worry, making mistakes is part of learning. You'll do better next time.


原声音频(童声):

00:00
00:10

复刻音频(中 + 英):

00:00
00:12

只用中文原声,也可以复刻出他们讲中、英、日、韩等多种语言的声音:

韩语:

00:00
00:06

日语:

00:00
00:07


03 AI 嬛嬛和四爷,有没有甄嬛十级学者来检验一下效果?

00:00
00:12


00:00
00:09


04 多音字绕口令也难不倒!

真人都不一定能读准的多音字绕口令,我们的语音模型可以:)出现多音字的绕口令对语音模型理解上下文提出了很高要求。


“人要是行,干一行,行一行,一行行,行行行,行行行,干哪行都行”


00:00
00:08


05 实时语音通话,跟小海螺打电话吧


MiniMax 不仅为企业用户和开发者提供语音相关的 API,也为普通用户打磨了多款含有语音功能的产品。例如,我们在 AI 助手海螺问问上线了实时语音通话功能——无论你遇到什么问题,都可以随时打电话给小海螺,就像在和朋友聊天一样轻松、自然。小海螺的反应比 ChatGPT 的语音功能还快哦,快来体验一下吧!


00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    06 唱 AI 嘻哈


    节奏感强、唱腔复杂的饶舌说唱,我们的模型也能够超酷演绎。

    想和 AI battle 说唱的朋友可以打开链接尝试:

    https://m.xingyeai.com/tag/2760001

    00:00 / 00:00
      1.0x
      • 3.0x
      • 2.5x
      • 2.0x
      • 1.5x
      • 1.25x
      • 1.0x
      • 0.75x
      • 0.5x
      网页全屏
      全屏
      00:00


      00:00 / 00:00
        1.0x
        • 3.0x
        • 2.5x
        • 2.0x
        • 1.5x
        • 1.25x
        • 1.0x
        • 0.75x
        • 0.5x
        网页全屏
        全屏
        00:00


        2024-02-01 17:279520

        评论

        发布
        暂无评论
        发现更多内容

        合约跟单系统开发,合约跟单软件定制开发

        13530558032

        北京首台区块链政务终端亮相 一键“拉取”链上数据

        CECBC

        区块链技术

        Python 中的数字到底是什么?

        Python猫

        Python 翻译 PEP

        经济适用的企业内外网互动直播方案

        fumingwang

        音视频 直播 视频会议 企业应用

        从每秒6000写请求谈起

        架构师修行之路

        程序员 架构师 高并发系统设计

        企业表格技术与风险指标补录系统

        葡萄城技术团队

        SpreadJS

        缓存与数据库一致性问题深度剖析

        Zhendong

        数据库 缓存 秒杀系统

        Docker 搭建 Redis Cluster 集群环境

        哈喽沃德先生

        redis Docker 容器 集群 redis cluster

        学习笔记丨结构体中的内存管理

        Liuchengz.

        c Linux 学习

        Apache Pulsar 8 月月报:里程碑一个接一个

        Apache Pulsar

        大数据 云原生 Apache Pulsar 消息系统 消息中间件

        芯片破壁者(十五):仙童半导体和“八叛逆”所缔造的“硅谷模式”

        脑极体

        macos主流工作开发套件指南

        久违

        macos Docker 大前端 自动化部署

        LeetCode题解:239. 滑动窗口最大值,双循环暴力,JavaScript,详细注释

        Lee Chen

        大前端 LeetCode

        区块链数字货币交易所开发,数字交易平台搭建

        13530558032

        全场景智慧:新工业革命必须拥抱的晨曦

        脑极体

        深度解读:Apache DolphinScheduler 新架构与特性,性能提升2~3倍

        代立冬

        大数据 开源 工作流调度 开源社区

        凤凰交易所 全球首个多元化生态交易平台震撼来袭

        InfoQ_967a83c6d0d7

        Flink保存点-17

        小知识点

        scala 大数据 flink

        实战中学习浏览器工作原理 — 之 HTTP 请求与解析

        三钻

        CSS Java 大前端 浏览器

        区块链支付系统开发,数字货币支付承兑商APP模式搭建

        13530558032

        区块链usdt承兑商支付系统开发 区块链应用开发

        电微13828808271

        USDT承兑支付系统开发

        LeetCode题解:84. 柱状图中最大的矩形,循环+双指针暴力,JavaScript,详细注释

        Lee Chen

        大前端 LeetCode

        ARTS Week10

        丽子

        dubbo应用级服务发现初体验

        捉虫大师

        dubbo 注册中心

        oeasy教您玩转linux010204-figlet

        o

        在5G智慧园区的“保龄球道”上,目标全垒打的征途

        脑极体

        区块链+公共安全 大有可为

        CECBC

        区块链 安全

        数字货币钱包软件开发方案,区块链数字货币钱包源码

        13530558032

        iWebExcel 协同数据填报和在线分析平台

        葡萄城技术团队

        SpreadJS

        Centos7 mongodb安装全攻略

        红泥

        mongodb

        有奖征文火热开赛,万元大奖等你来拿,准备好了吗?

        InfoQ写作社区官方

        程序员 开发者 音视频 随笔杂谈 RTC征文大赛

        数百万小时训练,6秒音频即可完成音色复刻!效果不输 ElevenLabs 和 OpenAI 的 MiniMax 语音大模型能用来做什么?_AI&大模型_InfoQ精选文章