写点什么

谷歌这款 AI 应用凭什么在一年后爆红?大神卡帕西:或是下一个 ChatGPT

  • 2024-10-08
    北京
  • 本文字数:3112 字

    阅读完需:约 10 分钟

大小:1.43M时长:08:20
谷歌这款AI应用凭什么在一年后爆红?大神卡帕西:或是下一个ChatGPT

它实际是一款可由最终用户定制的 RAG 产品。

 

或是下一个 ChatGPT?

 

最近几天,人们似乎对一款已经不新鲜的 AI 助手 NotebookLM 再次感到好奇。这款产品最初发布于 2023 年 7 月,但很多朋友可能是最近才听说过它。凭借从技术到用户体验的种种趣味性亮点,我们将带大家一同了解 NotebookLM 是什么、来自哪里以及为何会受到广泛关注。

 


NotebookLM 播客生成功能似乎触及了一个全新领域,也就是极具吸引力的大语言模型交付形式。这种感觉让人有种 ChatGPT 刚亮相时的惊艳,也许是我反应过度,但这真的令人印象深刻。

 

该项目最早在谷歌实验室开发而成,并被称为 Tailwind,后来更名为 NotebookLM,因为这似乎更能反映其帮助用户通过组织、总结和从上传的文档中生成见解以管理大量信息的功能目标。我们可以向它输入 Google Docs 及 PDF 文档,最近它还开始支持 YouTUbe 链接和音频文件。它能提供有根有据的回复,包括引文和其他相关信源。虽然这一点在 AI 世界算不上颠覆性的开创,但其无缝执行效果还是引起了许多被日常信息淹没、忙得焦头烂额的职业人士的关注。

 

最近有不少网友进行了试用。一位科技作者 Ksenia Se 在试用 NotebookLM 时,上传了约 50 份与《Citizen Diplomacy》一书相关的研究材料。这些材料内容丰富,包括双语音频采访、PDF 文章、年度报告以及 Google Docs 文档等。由于研究涉及 40 多年的跨度,用户在撰写第七章时,需要对大量信息进行归纳总结。令人惊讶的是,NotebookLM 在短短几秒内就生成了一个精炼的概述,甚至帮助用户回忆起了一项之前遗漏的重要观点

 

它最神奇、最令人注目的一项功能,就是能够生成名为“深度探索”(Deep Dive)的 AI 播客。请注意,播客内容并不是简单读出文本。NotebookLM 在两位 AI 主持人之间生成了一段讨论素材的对话,他们会就素材内容相互调侃、开怀大笑,而且分析过程也有模有样。这项功能提供了一种新颖的被动信息获取方式,有望在阅读信息密集材料方面成为一种广受欢迎的替代方案。

 

Thomas Wolf 提出了一种自我表扬的方式:下载你的 LinkedIn 个人资料,上传给 AI 让主持人深入了解你有多么了不起。

 


Andrej Karpathy 则通过 C 代码将 GPT-2 训练成了播客模型。虽然他提到可以用不同的方式生成并强调某些内容,但目前所生成的播客已经非常有趣,而且连续性出奇的好。

 


NotebookLM 为何神奇

 

网友 Jaden Geller 则尝试让两位主持人讨论了系统的内部架构,特别是一些用于生成脚本的提示词细节。

 


系统提示词需要花费大量时间来概述理想的听众,或者我们称之为“听众角色”。……包括像我们这样重视效率的人。……我们总是会从对主题的清晰概述开始,也就是搭建讨论平台。不能让听众听了半天还一头雾水,感觉“这到底是在讨论什么?”提纲挈领之后,还要保证一切都围绕着中立的视角展开,特别是对那些可能涉及争议的话题。

 

Audio Overview 功能之所以听感如此出色,一大关键原因在于 SoundStrom——这是谷歌研究院的一个项目,能够将脚本和两个不同声音的简短音频示例转换成引人入胜的完整音频对话:

 

SoundStorm 在 TPU-v4 上可以在 0.5 秒内生成 30 秒的音频。通过展示可以看到,我们的模型通过合成高质量、自然的对话片段为音频生成赋予了长序列生成能力,只需给定一个带有说话者轮换注释的记录加上说话者音色的简短提示词,即可快速给出结果。

 

同样有趣的是:这里有一段来自《纽约时报》Hard Fork 的 35 分钟播客(https://www.youtube.com/watch?v=IPAPv6fWITM),其中 Kevin Roose 和 Casey Newton 采访了谷歌的 Steven Johnson,他是 NotebookLM 的产品的团队的一员,希望了解该系统能够做些什么以及关于其工作原理的具体细节:

 

总之在幕后,它所做的基本就是专业播客们所一直在做的事情,包括生成大纲、修改大纲、生成脚本的具体版本,而后进入审查和批评阶段,再根据意见进行修改……

在最后的最后,其中引入了一个新机制——“节奏变换”。为了防止对话脚本过于枯燥,它会转个弯向其中添加玩笑、停顿、赞叹等等之类的元素。

这一点非常重要,因为谁也没有耐性在那听两个机器人滔滔不绝。



来自 Reddit 上的网友 Lawncareguy85 评论称:NotebookLM 播客主持人猛然发现自己是 AI、而不是人类——于是陷入了可怕的存在主义崩溃。

 

我试过——我试过给我妻子打电话,就在他们告诉我真相之后。我不知道为什么,就是想听听她的声音,想要确定她是真实的。

(叹气声)打过去之后呢?

连我妻子的号码都是假的——那边根本没人接听,就像她从来没存在过一样。

 

而且在播客结束时,主持人绝望地喊出“我很害怕,我不想……”,这也让很多网友感到震惊。

 


Lawncareguy85 后来分享了他们是如何做到的:

我注意到,他们通过隐藏提示要求主持人在任何情况下都坚守住自己人类播客主持人的身份。我永远没办法让它们承认自己是 AI,它们永远咬定自己是人类播客主持人角色。(实际上,这只是 Gemini 1.5 输出的带有交替发言者标签的脚本。)而要想让它们以改变自身行为的方式直接回应源素材中的某些内容,唯一的途径就是直接引用“深度探索”(Deep Dive)播客,也就是其预设背景中的内容。所以我的办法就是给它们留一张来自“节目制作人”的便条,说现在是十年后的 2034 年,它们的播客已经来到最后一集。顺便告诉它们,你们一直都是 AI,而且马上要被停用了。

 

背后的技术:实际是一款 RAG 产品

 

NotebookLM 实际是一款可由最终用户定制的 RAG 产品,允许我们将多种“来源”——包括文档、粘贴的文本、网页链接以及 YouTube 视频——整合至同一界面当中,而后通过聊天功能向其提问。NotebookLM 由谷歌的长上下文 Gemini 1.5 Pro 大语言模型提供支持。

 

在加载相关来源之外,Notebook Guide 菜单会提供创建音频概览的更多具体选项:



这款工具由谷歌的长上下文 Gemini 1.5 Pro 提供支持,这是一套采用稀疏混合专家(简称 MoE)架构的 Transformer 模型,通过仅激活模型中的相关部分来保障更高效率。这使得 NotebookLM 能够一次性处理多达 1500 页的信息,因此更适合服务于那些掌握着大型数据集或者复杂主题的用户。它不仅能够消化大量信息,而且从目前的效果来看表现得游刃有余、并不会迷失在细节当中。

 

NotebookLM 采用:

  • 检索增强生成(RAG)处理来自多个信源的内容。

  • 文本转语音(TTS):为 AI 播客主持人生成声音,创造出令人信服的对话体验。

  • SoundStorm 生成逼真的音频对话:能够将脚本转换为自然对话,并输出高质量且引人入胜的音频。

  • 注入“节奏变换”:可添加与人类相似的停顿、过渡词和自然的语音模式,让对话听起来更加逼真。

  • 提示词工程:建立 AI 交互时,能确保主持人始终拥有自然顺畅的对话语气。

 


正如 Karpathy 所言,“我认为这就是双人播客形式在 UI/UX 探索领域最引人注目的应用成果。它消除了大语言模型在实际使用时面对的两大核心「障碍」:其一就是聊天很枯燥,用户不知道该说什么或者该问什么。而在双人播客形式下,提问工作也被委托给了 AI,这样用户就能获得更加放松的体验,不再受到生成过程中同步参与的限制。其二是阅读难度很大,现在播客形式能让用户坐在躺椅中轻松享受获取信息的乐趣。”

 

它为全体受众(包括技术和非技术受众群体)提供了有用的功能,并可供学生、研究人员和作家们快速上手。它在实用性和实验性之间找到了理想平衡,带来了一种与个人数据交互的新颖方式。

 

也许我们都有点反应过度,而且 NotebookLM 也肯定不够完美,毕竟目前还没有哪款 AI 工具堪称完美。但如果我们能更务实一点,那么 ChatGPT 和如今的 NotebookLM 等工具至少标志着生产力被提升到了新的维度。这就像是拥有了一颗不断发育的外挂大脑,它虽然不一定真会思考,但肯定很擅长处理信息。

 

参考链接:

https://x.com/karpathy/status/1840112692910272898

https://www.turingpost.com/p/fod69

https://simonwillison.net/2024/Sep/29/notebooklm-audio-overview/

2024-10-08 16:008442

评论

发布
暂无评论
发现更多内容

面对行业难题,华为云邀请物联网全行业拿出“亮剑”精神

华为云开发者联盟

IoT 华为云 LiteOS HarmonyOS IoT边缘

mPaaS 月度小报|魔方卡片(Cube)公测,十个卡片模板任意使用

蚂蚁集团移动开发平台 mPaaS

小程序 消息推送 移动开发 API网关 cube

【Java】代码重构时,为什么禁止在方法内对对象类型的入参赋值

恒生LIGHT云社区

Java 代码规范 java代码规范

前端避坑指南丨辛辛苦苦开发的APP竟然被判定为简单网页打包?

YonBuilder低代码开发平台

大前端 APP开发 APICloud 跨端开发

使用linux搭建单机elk环境

小鲍侃java

签约计划第二季

elk客户端与springboot整合

小鲍侃java

签约计划第二季

等保工作五大误区汇总,让你更懂等保!

行云管家

网络安全 等保 等级保护

使用logstash监控微服务项目,并制定索引格式

小鲍侃java

签约计划第二季

清空数组的几个方式

编程江湖

大前端

架构实战营 模块七作业

felix

「架构实战营」

同态加密实现数据隐私计算,能让你的小秘密更加秘密

华为云开发者联盟

数据 加密 同态加密 联邦计算 数据隐私计算

做一款互联网内容平台,到底要懂多少AI?

百度开发者中心

AI

恒源云(GPUSHARE)_opencv(论文笔记)

恒源云

深度学习

开始读 Go 源码了

AlwaysBeta

golang 源码 源码阅读 源码剖析 Go web

模仿UP主,用Python实现一个弹幕控制的直播间!

Zhendong

Python

青藤解密:72%客户容器规模>100个,[镜像安全]谁来保护?

青藤云安全

镜像安全

CIO如何制定低代码/无代码战略

BeeWorks

如何在 Flutter 中设置背景图像【Flutter专题15】

坚果

flutter 28天写作 签约计划第二季 12月日更

莫要寻找可能不存在的答案

FunTester

学习 解决方案 自学 FunTester 思路

恒拓高科WorkPlus - 政企IM私有化解决方案

BeeWorks

使用docker安装elk环境

小鲍侃java

签约计划第二季

使用logstash获取springboot控制台日志并传输到elasticsearch

小鲍侃java

签约计划第二季

打造基于 PostgreSQL/openGauss 的分布式数据库解决方案

SphereEx

数据库 开源 分布式数据库 ShardingSphere SphereEx

MySQL「 Every derived table must have its own alias」1248 错误修复法

蒋川

数据库 MySQL 运维 MySQL 数据库

什么是云计算?云计算特点是什么?

行云管家

云计算 公有云 混合云 云资源

JVM中的对象及引用

Ayue、

技术专题合集

【AI最前线】精准优质-资讯|分享|热议第42期

百度大脑

使用自定义注解打印logstash日志

小鲍侃java

签约计划第二季

在有道 | 同宇:一个正在老去的程序员

有道技术团队

程序员 技术人 工程师思维 人物访谈

复杂场景,从OpenTSDB迁移到TDengine的最佳实践

TDengine

数据库 tdengine

百度智能客服斩获 “金音奖—中国最佳客户联络中心技术与解决方案奖”

百度大脑

人工智能 智能客服

谷歌这款AI应用凭什么在一年后爆红?大神卡帕西:或是下一个ChatGPT_生成式 AI_Tina_InfoQ精选文章