教程

提示词工程师怎么入行?测试岗转过来的我给你四步实在路线

提示词工程师不是凭空冒出来的新头衔,多数公司把它并进AI应用开发岗,考的是把业务需求变成稳定prompt的动手能力。我从测试岗转过来,在团队里专职调了一年prompt,这篇把踩过的坑整理成四步入行路线:先补模型常识,再建评测集,然后进真实业务里迭代上线,最后把过程整理成能拿去面试的案例。每步都附上了时间和产出清单。

提示词工程师四步入行路线图,从测试岗转AI应用开发的路径插画

我的看法很直接:提示词工程师算不上一个独立工种,它是从AI应用开发和测试岗里长出来的一块硬技能,光会写几句咒语不够,得会建评测集、跑回归、盯线上badcase。想入行,先挑一个真实业务把prompt调到能上线,拿这个过程当敲门砖。

提示词工程师这活,拆开看一点也不神秘:让模型在你那个具体业务里,稳定输出能用的结果。我们组的prompt归我管,不是因为我会什么玄学咒语,是我从测试岗转过来,习惯拿用例说话,模型输出的对错我一眼能断。

这篇不聊年薪百万的故事,讲三件事:这岗位实际干什么、怎么一步步练到能上岗、哪些坑我替你踩过了。结论先放这里——入行最短的路,是拿一个真实业务把prompt调到能上线,教程背得再熟也替代不了这一步。

提示词工程师每天到底在干什么

日常就三件事:把业务需求翻译成指令、搭评测集验证效果、上线后盯badcase做迭代。玄学成分很少,工程成分占大头。

拿我们组举例。产品要在客服系统里做工单自动分类,十来个类别,要求模型吐JSON。我一周里大半时间耗在系统提示词上:类别定义怎么写才不模糊、输出格式怎么锁死、碰到不认识的工单走哪个兜底分支。改完不是拍脑袋说效果好,是跑一遍一百八十条标注用例,看准确率掉没掉。

说白了,这岗位像给模型写需求文档,外加做回归测试。写prompt只占三成时间,剩下七成在验证、记录、回滚。你做过测试或者后端的话,这些活儿会很眼熟。

从测试岗转过来,我走的四步

四步路线:补模型常识、把测试功底做成评测集、进真实业务迭代一版上线、把过程整理成案例。顺序别乱,跳步的人容易卡死在第三步。

步骤做什么我花了多久产出
1 补常识读官方文档,跑通API,搞懂temperature、token、上下文窗口两个周末一个能跑的调用脚本
2 建评测集挑一个熟悉的场景,标100条以上用例,写自动打分断言一周下班时间一套能回归的用例库
3 真实迭代接一个真需求,小步改prompt,每版跑全量评测三周上线功能加版本记录
4 案例复盘把数据、翻车、决策过程写成文档三天面试能讲的完整故事

第二步是我这种测试出身的人最占便宜的地方。写用例、定断言、跑回归,这套东西原样搬过来就行,被测对象从代码换成了模型而已。我用pytest搭了个极简框架,prompt文件放进git,每次改动提交后自动跑一遍评测,准确率变化直接看diff。后来这玩意成了组里的公共基建,谁改prompt都得先过这关。

第三步的数字我留着:工单分类项目,prompt改了十四版,准确率从71%干到93%。听着不难?中间有两天在原地打转。涨不动的时候,问题往往不在prompt本身,是类别定义有重叠,得回头跟产品掰扯清楚。

调prompt的真实手感:一次翻车记录

调prompt七成功夫花在回归上:一处改动救活A类用例,转头把B类打崩是常态,没有评测集等于闭眼开车。

今年8月那次我记得很清楚。领导嫌机器人回话冷冰冰,我就在系统提示词里加了一句「语气友好一些」。投诉类工单的准确率当场从93%掉到81%——模型忙着安抚情绪,忘了打标签。评测集一跑就现形,回滚之后拆链路:把语气要求挪进回复生成那一步,跟分类prompt彻底分开,两个问题两条管线。这事之后组里有了条规矩,prompt改动必须过评测,跟代码合并要过CI一个待遇。

几个实测参数直接给你。分类任务temperature锁0.1,别信什么0.7更有创造力,分类要的就是死板。max_tokens卡在300,防着模型写小作文。一轮180条用例,并发8跑下来约3分钟——够快,人才有勇气天天跑回归。

我的偏心很明显:宁可prompt笨一点,也要每条规则可验证。那种「你是一位资深专家」式的大帽子开场,我试过,删掉之后准确率反倒涨了两个点。没别的原因,模型不用再猜你要什么。

这个方向值不值得专门转?

看团队定:模型应用多、需求杂的团队养得起专职调prompt的人;一年迭代不了几回的,这技能并进后端或产品岗更划算。

招聘平台上,这个头衔大多挂在AI应用开发、NLP应用这类岗位下面,纯独立的坑位不多——这是我今年投简历、帮组里筛简历看到的,样本有限,你自己去核实一遍。我的判断是:与其等一个专属头衔,不如在现有岗位里把这活主动接过来。我从测试转到后端再碰prompt,路绕了点,可评测这套基本功让领导敢把线上功能交到我手里。

风险也说一句。这技能贬不贬值,看模型换代时哪些活被吸收走。格式锁定、结构化输出这类,新模型越来越省心;业务规则的梳理、评测集的建设、badcase的归因,目前还牢牢长在人身上。押注这些,比押注咒语技巧靠谱。

回到开头那句:这活的核心是让模型在具体业务里稳定输出。四步路线里没有一步是看视频看会的,全得动手。你手里要是正好有个重复劳动的小需求——打标签、摘要点、写摘要,今晚就可以把它变成你的第一条评测集。别等学完再做,边做边学才是这行的常态。

常见问题

不会写代码能做提示词工程师吗?

能入门槛,但天花板受限。调prompt本身不用写代码,可建评测集、跑批量、接API这三样绕不开脚本。不会Python的话,先把requests调接口和pandas读表格练熟,一两周够了。

评测集要标多少条用例才够用?

我的经验是100条起步,300条先够用。关键是覆盖度:高频场景各留十几条,边界和易混类别多放几条。别堆到几千条,跑一轮太久,回归就没人愿意跑了。

prompt改来改去没效果,问题一般出在哪?

大概率不是措辞,是任务定义模糊。类别之间有重叠、示例给得偏、输出格式没锁死,这三样占我遇到问题的八成。先把任务说成人话,再动提示词。

提示词工程师和prompt工程师是一回事吗?

是一回事,招聘里混着用,别在名词上纠结。真正要看的是岗位描述里有没有评测、调优、上线这些字眼,只让你写文案式prompt的多半是内容岗。

延伸阅读

关键词 提示词工程师 prompt工程师 AI应用开发 提示词调优 评测集

刺猬星球super-i 团队

先自己用过、测过,再写成可以照着做的指南。