提示词工程师这活,拆开看一点也不神秘:让模型在你那个具体业务里,稳定输出能用的结果。我们组的prompt归我管,不是因为我会什么玄学咒语,是我从测试岗转过来,习惯拿用例说话,模型输出的对错我一眼能断。
这篇不聊年薪百万的故事,讲三件事:这岗位实际干什么、怎么一步步练到能上岗、哪些坑我替你踩过了。结论先放这里——入行最短的路,是拿一个真实业务把prompt调到能上线,教程背得再熟也替代不了这一步。
提示词工程师每天到底在干什么
日常就三件事:把业务需求翻译成指令、搭评测集验证效果、上线后盯badcase做迭代。玄学成分很少,工程成分占大头。
拿我们组举例。产品要在客服系统里做工单自动分类,十来个类别,要求模型吐JSON。我一周里大半时间耗在系统提示词上:类别定义怎么写才不模糊、输出格式怎么锁死、碰到不认识的工单走哪个兜底分支。改完不是拍脑袋说效果好,是跑一遍一百八十条标注用例,看准确率掉没掉。
说白了,这岗位像给模型写需求文档,外加做回归测试。写prompt只占三成时间,剩下七成在验证、记录、回滚。你做过测试或者后端的话,这些活儿会很眼熟。
从测试岗转过来,我走的四步
四步路线:补模型常识、把测试功底做成评测集、进真实业务迭代一版上线、把过程整理成案例。顺序别乱,跳步的人容易卡死在第三步。
| 步骤 | 做什么 | 我花了多久 | 产出 |
|---|---|---|---|
| 1 补常识 | 读官方文档,跑通API,搞懂temperature、token、上下文窗口 | 两个周末 | 一个能跑的调用脚本 |
| 2 建评测集 | 挑一个熟悉的场景,标100条以上用例,写自动打分断言 | 一周下班时间 | 一套能回归的用例库 |
| 3 真实迭代 | 接一个真需求,小步改prompt,每版跑全量评测 | 三周 | 上线功能加版本记录 |
| 4 案例复盘 | 把数据、翻车、决策过程写成文档 | 三天 | 面试能讲的完整故事 |
第二步是我这种测试出身的人最占便宜的地方。写用例、定断言、跑回归,这套东西原样搬过来就行,被测对象从代码换成了模型而已。我用pytest搭了个极简框架,prompt文件放进git,每次改动提交后自动跑一遍评测,准确率变化直接看diff。后来这玩意成了组里的公共基建,谁改prompt都得先过这关。
第三步的数字我留着:工单分类项目,prompt改了十四版,准确率从71%干到93%。听着不难?中间有两天在原地打转。涨不动的时候,问题往往不在prompt本身,是类别定义有重叠,得回头跟产品掰扯清楚。
调prompt的真实手感:一次翻车记录
调prompt七成功夫花在回归上:一处改动救活A类用例,转头把B类打崩是常态,没有评测集等于闭眼开车。
今年8月那次我记得很清楚。领导嫌机器人回话冷冰冰,我就在系统提示词里加了一句「语气友好一些」。投诉类工单的准确率当场从93%掉到81%——模型忙着安抚情绪,忘了打标签。评测集一跑就现形,回滚之后拆链路:把语气要求挪进回复生成那一步,跟分类prompt彻底分开,两个问题两条管线。这事之后组里有了条规矩,prompt改动必须过评测,跟代码合并要过CI一个待遇。
几个实测参数直接给你。分类任务temperature锁0.1,别信什么0.7更有创造力,分类要的就是死板。max_tokens卡在300,防着模型写小作文。一轮180条用例,并发8跑下来约3分钟——够快,人才有勇气天天跑回归。
我的偏心很明显:宁可prompt笨一点,也要每条规则可验证。那种「你是一位资深专家」式的大帽子开场,我试过,删掉之后准确率反倒涨了两个点。没别的原因,模型不用再猜你要什么。
这个方向值不值得专门转?
看团队定:模型应用多、需求杂的团队养得起专职调prompt的人;一年迭代不了几回的,这技能并进后端或产品岗更划算。
招聘平台上,这个头衔大多挂在AI应用开发、NLP应用这类岗位下面,纯独立的坑位不多——这是我今年投简历、帮组里筛简历看到的,样本有限,你自己去核实一遍。我的判断是:与其等一个专属头衔,不如在现有岗位里把这活主动接过来。我从测试转到后端再碰prompt,路绕了点,可评测这套基本功让领导敢把线上功能交到我手里。
风险也说一句。这技能贬不贬值,看模型换代时哪些活被吸收走。格式锁定、结构化输出这类,新模型越来越省心;业务规则的梳理、评测集的建设、badcase的归因,目前还牢牢长在人身上。押注这些,比押注咒语技巧靠谱。
回到开头那句:这活的核心是让模型在具体业务里稳定输出。四步路线里没有一步是看视频看会的,全得动手。你手里要是正好有个重复劳动的小需求——打标签、摘要点、写摘要,今晚就可以把它变成你的第一条评测集。别等学完再做,边做边学才是这行的常态。
常见问题
不会写代码能做提示词工程师吗?
能入门槛,但天花板受限。调prompt本身不用写代码,可建评测集、跑批量、接API这三样绕不开脚本。不会Python的话,先把requests调接口和pandas读表格练熟,一两周够了。
评测集要标多少条用例才够用?
我的经验是100条起步,300条先够用。关键是覆盖度:高频场景各留十几条,边界和易混类别多放几条。别堆到几千条,跑一轮太久,回归就没人愿意跑了。
prompt改来改去没效果,问题一般出在哪?
大概率不是措辞,是任务定义模糊。类别之间有重叠、示例给得偏、输出格式没锁死,这三样占我遇到问题的八成。先把任务说成人话,再动提示词。
提示词工程师和prompt工程师是一回事吗?
是一回事,招聘里混着用,别在名词上纠结。真正要看的是岗位描述里有没有评测、调优、上线这些字眼,只让你写文案式prompt的多半是内容岗。