写点什么

实访用人单位:Prompt 工程师真是低门槛“香饽饽”?

  • 2023-06-16
    北京
  • 本文字数:5092 字

    阅读完需:约 17 分钟

实访用人单位:Prompt工程师真是低门槛“香饽饽”?

15-50k 的月薪,另外还有年终奖和其他福利,你所要做的,就是研究、分析、设计在用汉语或英语做输入的情况下,更准确地描述业务想要做的事情,听起来是不是很难以置信?


然而这就是真实出现在 BOSS 直聘上的招聘启事,其岗位名称叫做“Prompt 工程师”或“Prompt Engineer”,于 2023 年上半年在国内快速兴起,目前已有 30 家左右的公司在各大平台公开招聘该岗位。在国外,Prompt Engineer 的热度似乎更高,不仅岗位数量更多,而且年薪最高达到了七位数,在全球经济皆不景气的当下,显得独树一帜。


可是,由供需主导的人才市场,似乎不太可能出现“头脑发热”症状。在经过一系列研究调查,并与相关招聘单位、企业高管进行深度访谈后,我们发现,以为“Prompt 工程师”的入行门槛低,只是一种错觉。当前企业招聘的“Prompt 工程师”岗位,实际上不但对应聘者的要求很高,而且极度务实。换句话说,如果你真的成功转型成了一名全职 Prompt 工程师,那么 15k-50k 的月薪,不但不浮夸,而且恰如其分。

“魔幻”的背后是高门槛与极度务实


Prompt 工程师的主要工作,是通过带参或不带参的自然语言输入,对预训练大语言模型进行操作,并对输出结果进行调优。可以说,Prompt 工程师就是企业或组织,为了将大模型的能力带入生产环境,而特别创造的岗位职能。这一岗位的兴起,与大模型技术本身的成熟直接相关。


创客贴是国内头部的平面设计在线平台,目前正在招聘 Prompt 工程师,其岗位职责和技能要求如下:


职责:

1. 基于语言模型,设计、开发和完善各种应用程序的 AI 生成文本提示。

2. 监控和分析提示性能,确定改进的领域。

3. 负责用于训练垂直领域模型的数据收集方案。

4. 优化 AI 提示生成过程,参与提示词工具开发。

5. 协助内容和产品团队了解提示工程。


要求和技能:

1. 熟悉开源和闭源语言模型。

2. 熟练生成高质量提示词的工程技术。

3. 具备优秀的需求理解能力和拆解复杂任务的能力。

4. 具备一定的计算机知识,如编程语言,机器学习。

5. 具备中英文写作能力,有出色的口头和书面沟通能力。

6. 有良好的工作习惯,善于归纳和记录工作内容。

7. 能够有效与跨职能团队合作。


创客贴 CTO 李晋松这样描述招聘原因:“大模型能力的成熟,就像突然之间,我们手中拥有了一架强大的机器。但机器上的按钮很多,且没有说明书,需要一个同学来探索、归纳、总结其使用方法。”


当然,这里只是针对 Prompt 工程师的招聘需求而谈的,要对大模型的输出结果进行微调,方法并不只有 Prompt  一种,其完整的概括应该是:


  1. 全部微调:使用新的数据集对整个模型进行微调,包括预训练的部分和新加的任务特定层。这种方法通常需要大量的数据和计算资源,并且需要更长的训练时间,但能够获得最好的性能。

  2. 部分微调:只对特定的层或几个层进行微调,通常是模型的最后几层或添加的任务特定层。这种方法通常需要较少的数据和计算资源,训练时间也较短,但性能可能不如全局微调。

  3. 冻结部分层:将预训练模型的前几层(如 BERT 的前若干层)冻结,只对后面的层进行微调。这种方法可以减少微调的参数量和计算量,但可能会影响性能。

  4. 动态掩码微调:对于需要进行序列标注任务的预训练模型,可以使用动态掩码微调的方法,即只对标注序列的位置进行微调,对其他位置的参数进行冻结。这种方法可以减少微调的参数量,提高计算效率。

  5. 半监督微调:使用少量的标注数据和大量的无标注数据对模型进行微调,以提高性能。这种方法需要使用半监督学习的技术,如自监督学习或基于对抗学习的方法。

  6. Prompt 工程:更偏向应用与业务,通过修改输入给大模型的提示词,调优输出结果。


但前面五种,都需要一定的操作成本,且一般由算法工程师或所谓 AIGC 工程师来完成,最后一种是在解决大模型从生产到应用的“最后一公里”问题,目前是必备的,当下一般由算法工程师或其他技术角色兼任,或是企业招聘专人负责。


大众对 Prompt 工程师一职印象的分裂,也多半来源于此:从表面看来,Prompt 工程师是所有 IT 行业的工程师角色里,唯一写自然语言的工种,且所负责的事项,也无非是把一项任务表述得更清楚,似乎任何语言表达能力不错的人都可以做到。


事实真是如此吗?李晋松向 InfoQ 举了一个形象的例子:如果有人手动搭建了一个复杂的艺术模型,你能否通过提示词的猜测和微调,在 AIGC 工具里 100% 还原该作品?无疑相当困难。


这就是 Prompt 工程师入门的第一个难点:自然语言先天的模糊性。


自然语言为了承载文明,兼顾社会价值、历史价值、文化价值……其表意通常是模糊的、泛化的,“词义消岐”常年来就是 NLP 领域的一个固定科目。而已经习惯了自然语言表述逻辑的我们,要使用自然语言做精确的工程性描述,也比较困难。


第二个难点是任何一个场景都有大量的专用术语,普通人用白话很难精确代换。比如在平面设计行业,你至少需要知道伦布朗光、径向、层次等级、Ascender、Descender、互补色……才能较为精确的描述需求,修改 Prompt。这导致所谓的 Prompt 工程师至少应该成为某个领域的业务专家。


针对以上两个难点的考察,李晋松在采访中提到,目前招聘企业都非常务实,基本上需要面试者实机演示 Prompt 输入和输出结果,并对微调过程进行考察。


InfoQ 同时也采访了珠海太乙人工智能技术合伙人 & 项目总监、极客时间 21 天 AIGC 行动营讲师尹会生,他从另一个角度聊到这个问题:“IT 领域大部分岗位的入门难度是逐渐上升的。比如运维工程师,早期是研发工程师兼职转任,熟悉资源、环境就好了,慢慢地,运维工程师要开始会编程语言、脚本语言,比如 Shell、Python,门槛开始升高。到了今天,运维工程师的门槛已经相当高,需要了解容器、监控技术等。所以相对来说,现在的 Prompt 工程师入门门槛,可能是历史最低值,是入行的好时机。”


两个角度相结合,我们或许可以得出一个复合结论:Prompt 工程师并非一个“麻瓜”可以随便上手的工作,且未来可能越来越难。


尹会生同时谈到另外一个思考:当下的 Prompt 工程师最好来自于技术行业,是某一领域的技术人员。因为 Prompt 工程师很可能是 AI 技术专家身旁的“副驾”或合作者,与之协作的都是资深技术人员。如果 Prompt 工程师本身不懂技术,那么也就无法顺畅协作。


Prompt 工程师还应该与时俱进,根据 InfoQ 写作社区的一位算法工程师小伙伴汀的分享:Prompt 工程师目前也要关注和解决与大模型相关的风险和安全问题,因此需要了解对抗性 Prompt 的理念和方法,与此类似的新 Prompt 思想还包括 Active-Prompt、GraphPrompts、Multimodal CoT Prompting 等,其背后是大量的学术论文支撑。



图 Active-Prompt 示意图


此外,站在企业的角度,所有受访嘉宾一致同意,Prompt 工程师的一大价值,应该是能归纳总结 Prompt 的相关经验、实践、思路,把项目做成产品、平台和能力,赋能企业。而针对大部分企业的普通工程师而言,这算作是一项进阶能力,明显更为合理。


于是,当我们将以上所有要求汇总,得出的岗位画像是这样的:


Prompt 工程师最好是一个 AI 领域研发出身,有充足的 Prompt 实践经验和理论知识,十分了解公司业务和所在行业、能持续学习大模型相关前沿技术,并将其沉淀为团队能力乃至平台、产品的复合型人才。


根据极客邦科技双数研究院在 2021 年对数字化转型进程中的“业务架构师”的研究表明,既懂技术又懂业务并能将二者合二为一的人,往往是行业内最稀缺的人才。

岗位变迁:注定流行,但难说长青


这一岗位的发展前景,也是广大开发者所关注的问题——甚至比工作难度大、面试通过率低,更令人担心。


道理很简单,“Prompt 工程师”的发展存在一个悖论:


AI 的发展,本质上是以劳动力替代为目标的,也就是将越来越多的工作交给机器,以达成企业降本提效的诉求。而 Prompt 工程师本身是大模型技术在某一发展阶段的特定产物,因受交互方式限制,所以不得不专人专岗,理论上也是 AI 的替代目标之一。况且对于企业而言,先裁撤数名业务人员,再引入数名 Prompt 工程师,考虑到薪资水平的差异,人力成本未必会降低。


最近技术圈的新闻似乎也在印证这一点:6 月 13 日,阿里云机器学习 PAI 团队在 InfoQ 写作社区发文称,推出自研 Prompt 美化器 BeautifulPrompt,服务 Stable Diffusion。其原理是当用户输入了一个极其简单的 Prompt,该工具可以将其扩写成一个经过语言模型优化过的、细节描述详细的 Prompt,再吐给 Stable Diffusion。



BeautifulPrompt 整体架构


虽然工具效果还未受到行业内的广泛检验,但可以看出,围绕“Prompt 工程师”开展的优化动作早就已经开始了。随着类似工具的不断完善,行业专有大模型的不断推出,“Prompt 工程师”未来可能会变成一个纯粹的“蓝领”岗位。


当然这并不意味着这一岗位的寿命已经进入倒计时,“开始优化”和“优化成功”,到底还是两个概念。一旦技术的发展对市场产生了结构性影响,那么相关人力岗位的迭代往往是漫长的。


以“云计算工程师”为例,该职位伴随着云计算的崛起而出现,高光时期曾登上人社部新兴岗位名单。尽管云计算产业秉持着“云服务应该像自来水一样,让客户对基础设施完全无感”的理念,十数年间持续优化产品体验。可在今日的招聘平台,我们依然能见到“云计算工程师”的招聘启事。


另外一个例证来自“数据分析师”。让大数据的能力普惠各行各业,让只有数据科学家才能使用的产品退出舞台,多年来都是众多大数据从业者努力的方向。但经过了二十年的大数据基建和产品研发,“数据分析师”仍然是一个庞大的从业群体。


李晋松和尹会生两位专家都赞同“Prompt 工程师”会成为 AI 行业接下来一段时间的常见岗位,相关热度会越来越高。未来,会不会有新技术代替人类优化提示词,人类与 AI 大模型的交互方式会不会发生改变,还是个未知数。李晋松提到:“技术发展的每一个阶段,都有特定的岗位设计。早期人们甚至需要打字员,现在则不需要。AIGC 现阶段的主要交互方式就是 Prompt,企业应该大胆地开始招聘,不要因为未来某一天的变化而放弃当下的发展机遇。”


两位专家同时默契地指出,即便未来大模型不再需要人工调优 Prompt,也只是该岗位的消亡,并不代表对应的工程师会失业。李晋松作为实际的企业招聘者,对此已有规划和安排:“我们更倾向于选择一些在 AI 技术、产品维度有一定知识储备的同学,假设真的有一天,技术把 Prompt 工程师这一岗位取缔了,他还可以转型成为 AI 产品经理或 AI 研发工程师。”


尹会生则简洁地告诉 InfoQ:“我认为,真正取代碳基生物的,永远是另一个碳基生物。”

要不要转行做 Prompt 工程师?


关于“要不要转行做 Prompt 工程师”这一问题,尹会生的回答是:


“我举双手双脚赞成”,他说:“当下是入行最好的时间,后面的门槛会越来越高。而且未来被淘汰的人,一定是拒绝了解、学习使用 AI 这种先进工具的人。”


唯一要注意的是,当下行业还属于懵懂期,各家企业基本都对 Prompt 工程师的绩效设定、量化考核没有太明确、成型的想法。这就导致一旦企业增长放缓,高层考虑降低人力成本,说不清自身价值的 Prompt 工程师就可能会被优先裁撤。


所以积累 Prompt 实践经验,优先谋求内部转岗或兼任尝试,可能是更稳妥的选择。当然,如果对自身的能力有信心,和用人单位也充分对齐了期望、达成了共识,快人一步,全职转型 Prompt 工程师,也未尝不可。尚在迷雾中的新兴岗位“Prompt 工程师”,正在一步步走向台前。


本文受访嘉宾:

  1. 李晋松,创客贴 CTO,互联网创业者和资深技术专家,创业经历有老虎地图、拉勾网,曾任职搜狗、360 AI 研究院、核桃编程、作业帮、创客贴等历任资深技术专家、 技术总监、技术负责人、副总经理等职务。

  2. 尹会生,珠海太乙人工智能技术合伙人 & 项目总监,前游戏公司技术总监,前新浪网技术经理。已经在极客时间开设了两门视频课程《零基础学 Python》《Linux 实战技能 100 讲》,一门专栏课程《Python 自动化办公实战课》,一个行动营《21 天 AIGC 行动营》,累计学习人数达到 18 万余人。


文中关于 Prompt 工程未来技术趋势的参考:

Prompt工程师指南[高阶篇]:对抗性Prompting、主动prompt、ReAct、GraphPrompts、Multimodal CoT Prompting等_人工智能_汀丶人工智能_InfoQ写作社区


作者:汀,一名算法工程师,主要在自然语言处理,强化学习以及机器学习领域耕深推理。欢迎大家关注 id 汀丶人工智能一起 AI 学习。


AIGC 课程推荐


极客时间《AI 大模型应用开发 · 实战营》首发,作者是深耕 AI 领域多年的技术专家彭靖田。


课程 8 周全程直播授课,覆盖硬件选型、大模型理论、 LangChain 开发框架剖析和落地实践,全程紧贴实际生产环境。现在市面上流行实用的,比如 AutoGPT 数字员工、翻译助手、智能销售顾问等经典项目,课程中都会带你动手实践。


不容错过的历史机遇,帮助你掌握利用大模型开发相关的 AI 应用的能力!



2023-06-16 15:3110273

评论 2 条评论

发布
用户头像
文章写得真的挺好
2023-10-18 15:30 · 安徽
回复
用户头像
点赞支持
2023-06-19 09:58 · 浙江
回复
没有更多了
发现更多内容

APISIX 是怎么保护用户的敏感数据不被泄露的?

API7.ai 技术团队

安全 api 网关 APISIX 敏感数据

最佳实践 | 基于腾讯云MRCP-Server打造简单智能外呼系统

牵着蜗牛去散步

人工智能 腾讯云 腾讯 语音识别 智能外呼系统

安全高效 | AIRIOT智慧工地管理解决方案

AIRIOT

物联网 智慧工地

kafka-再均衡原理

领创集团Advance Intelligence Group

kafka 3.X apache 社区 再均衡协议

2022 IoTDB Summit:中国核电刘旭嘉《工业时序数据库 Apache IoTDB 在核电的应用实践》

Apache IoTDB

用户案例 数据库·

一文读懂PaddleSpeech中英混合语音识别技术

飞桨PaddlePaddle

语音识别 百度飞桨

解读场景化视频制作工具的实现过程

阿里云CloudImagine

云计算 智能生产

玩转Angular系列:组件间各种通信方式详解

echeverra

angular

基于 eBPF 的 Serverless 多语言应用监控能力建设

阿里巴巴云原生

阿里云 Serverless 云原生

再次飙升GitHub榜首!这份“保姆级”的SpringBoot笔记,不服不行

做梦都在改BUG

Java spring 微服务 Spring Boot 框架

我的sql没问题为什么还是这么慢|MySQL加锁规则

做梦都在改BUG

Java MySQL 数据库

GitLab 专家分享|关于 DevSecOps ,你需要知道这几点

极狐GitLab

DevOps DevSecOps 极狐GitLab 研发运维 安全左移

2022 IoTDB Summit:Dr.Feinauer《Apache IoTDB 在德国汽车生产线多级数据同步中的应用实践》

Apache IoTDB

数据库·

【技术干货】第1篇:有道实况OCR技术

有道技术团队

前端已死?我看未必,但「低代码」已剑指前端程序员

引迈信息

面试 Vue 前端 低代码

2022 IoTDB Summit:中国工程院院士倪光南《发展开源教育,汇天下英才激活中国创新动能》

Apache IoTDB

数据库· ;开源

解锁智能合约的力量:区块链入门教程

领创集团Advance Intelligence Group

区块链 智能合约 以太坊

龙蜥LoongArch架构研发全揭秘,龙芯开辟龙腾计划技术合作新范式

OpenAnolis小助手

操作系统 龙蜥社区 龙腾计划 龙芯中科 LoongArch

《数据治理行业实践白皮书》正式发布,开辟数据治理新范式(附下载)

袋鼠云数栈

数据治理

跨境数据传输是日常业务中经常且至关重要的组成部分

镭速

玩好 StarRocks,大厂 offer 接不完!|字节跳动、小红书、京东物流、唯品会、腾讯音乐要的就是你!

StarRocks

数据库

听说你没法在 JRE 中使用 arthas?不,你可以

阿里巴巴云原生

Java 阿里云 容器 云原生

阿里云云原生每月动态 | 聚焦实战,面向开发者的系列课程全新上线

阿里巴巴云原生

阿里云 云原生

请你喝一杯 Corretto?谈一谈 JDK 的新选择

亚马逊云科技 (Amazon Web Services)

Java jdk

更安全更稳定,阿里云斩获多项云系统稳定安全运行优秀案例

阿里巴巴云原生

阿里云 云原生 安全

Spring中Autowired注解到底怎么实现的

做梦都在改BUG

Java spring 框架

从智能进化模型看用友BIP的AI平台化能力

YonBuilder低代码开发平台

深度访谈 Vland CTO:像乐高一样搭建元宇宙

万事ONES

元宇宙 访谈

2022 IoTDB Summit:国网信通谢可《Apache IoTDB 在国家电网的应用案例》

Apache IoTDB

数据库·

借助阿里云 AHPA,苏打智能轻松实现降本增效

阿里巴巴云原生

阿里云 容器 云原生 AHPA

鲁班软件使用明道云优化项目管理的全过程

明道云

实访用人单位:Prompt工程师真是低门槛“香饽饽”?_生成式 AI_王一鹏_InfoQ精选文章