AI提示词工程师一天在干什么？带项目的组长说点实话

AI提示词工程师干的事，跟外界想象的「写几句咒语」差得远。这个岗位一天的大头是拆需求、跑测试、盯线上数据，写提示词本身只占两三成时间。我手上有两个AI应用项目在跑，一个客服工单自动分类，一个商品文案生成，下面说的全是这两个项目里熬出来的日常。

为什么强调「能测、能回滚」？因为提示词这东西太脆了。改一个限定词，通过率可能从88%掉到79%；模型那边悄悄升级一版，昨天还跑得好好的方案今天全线跑偏。没有测试和版本管理兜底，这岗位就是在裸奔。

一天的活儿都花在哪

AI提示词工程师的一天，大头是拆需求、改版本、跑回归测试和盯线上bad case，纯写作时间一般不到三成。这是我拿自己两个项目数出来的比例。

早上十点跟产品碰需求。客服项目上周来了个新要求——把「催发货」类工单再拆成急件、普通、已发待查三种。听起来一句话，落到提示词上得先定边界：用户一句话里同时带退款和催发货怎么办？拆清楚这些，比写正文费时间多了。

下午是我的重头：跑回归。分类项目现在攒了340条标注用例，每次改动全量跑一遍。上个月有次改动，新用例全过，老用例通过率从86%掉到79%，当场回滚。这340条用例就是我们的命根子，比任何「写得漂亮」的提示词都值钱。

对了，提一句版本管理。我们组的提示词跟代码一样走git，改一版提交一次，commit message写清楚改了什么、为什么改。见过别组用共享文档管提示词的，覆盖了都没处找回，翻车了只能干瞪眼。

傍晚一般留给bad case。文案项目每天扫一遍线上输出，挑出明显的烂活儿——比如上周发现模型把「儿童水杯」的商品文案写出了咖啡机的卖点，追进去看是类目词没锁住。这种追查加修复，平均一天吃掉一个多小时。

招一个AI提示词工程师，我到底看什么？

我招人先看三样：把模糊需求拆成约束的能力、搭测试集验证的手感、踩过模型升级翻车的经验。学历和文采，排在这三样后面。

今年上半年我面了七个人。感触最深的一点：文采最顺的那个反而没过，因为给他一道模糊需求——「帮我们把工单分得更准」——他直接开始背prompt模板，一句边界条件都没问。最后录用的那位，先反问了我五个问题，全是问数据分布和误判代价的。

面试里我常追问的一句是：模型升级后你的提示词大面积失效，你第一件事干什么？答「马上重写」的我不要——第一件事应该是拿旧测试集先把失效范围摸清楚，再决定哪些要重写、哪些只是换个写法就够。这一题能筛掉大半背模板的人。

产出怎么考核，拿什么数字说话

考核别数「写了多少条提示词」，看任务通过率、回归通过率和人工接管率三个数，配上bad case的响应速度。产量指标只会鼓励堆版本。

我们组的考核表长这样，是我自己摸索半年改出来的：

踩过的坑也得交代。年初有人在文案项目里为追求效果把提示词写到两千多字，单条成本翻了一倍多，一周下来账单很难看。砍到600字重新跑回归，效果几乎没掉。打那以后我们加了条铁规：提示词超过800字，必须先证明短版本不行。

还有一次更能说明这岗位值在哪。今年3月平台升级了底层模型，一夜之间三个老提示词跑偏，文案开头全带上一股说明书腔。靠那套回归用例，我们两小时内圈出了失效范围，当天出了修复版——换成没有测试的组，这种事够喝一壶的。

回头看，开头说的「写咒语」想象，恰恰是这个岗位最不值钱的部分。真正值钱的是那340条用例、那条回滚的铁规，和拆需求时问出来的五个问题。工具和模型都会换，这些功夫拆不走。