提示词

写提示词别指望一稿过?一天改几十条的人只改三轮

写提示词很少一稿就过,别整段推翻重写。我的固定流程是先跑二十条固定样本把错例分堆,一轮只改一处指令,改完立刻重跑对照命中率,第三轮之后没动静就停手。做AI训练数据标注两年,组里每天过手的提示词几十条,这篇拿一个售后工单打标指令从头改到尾,把分堆、改动顺序和三条停手线一次讲完,照着做能把改稿时间从半天压到一小时。

写提示词的迭代过程示意:三个版本的指令草稿逐版修订,第三版打勾通过

先摆事实:写提示词很少一稿就过,我经手的预标注指令头一轮命中率多在七成上下,改到第三轮一般能上九成,再往下改基本不动。先固定同一批测试样本,一轮只改一处,三条停手线任何一条触发就收手。

写提示词最费时间的环节不是写第一版,是第一版不合用之后怎么改。改法不对,越改越差。结论放前面:一轮只改一处,改完立刻重跑同一批样本,连续没动静就停手。

上周组里一个从纯标注转过来的新人接到工单打标的活,第一版输出不对,他干脆整段重写。连写五遍,指令从两百字写到九百字,三十条测试样本的命中率反而从七成掉到六成一。我让他回滚到第二版,只加一条「包裹在途先判催件」,二十分钟冲到八成三。组里一天过手的指令几十条,都靠重写根本兜不住。改提示词像调老收音机的天线,一下一下拧;整段推倒重写,等于把收音机摔了换台。

第一版不合用,先别动手,把错例分堆

先跑二十到三十条固定样本,把输出错的分三堆:理解偏、格式乱、边界糊。九成的问题都能归进这三堆,先修占比最大的那堆。分完堆你多半会发现,看着杂乱的错误其实就一两类在反复出。

拿我们组的售后工单打标举例。任务是把用户进线分成五类:退换货、物流催件、发票、投诉、咨询。第一版指令两百来字,五类的定义各写一句,跑三十条历史工单,对了二十一条。错的九条里,四条是把「还没收到货就想退钱」分进了退换货,实际该走物流催件;三条是格式跑了,要求输出JSON它给你写小作文;剩两条是「发票丢了还能退吗」这种横跨两类的。

四条同类错误,说明是缺规则,不是指令写得糙。三条格式问题,说明输出约束不够死。两三条边界题,放最后再说,有的到头来也不该模型拍板。顺序反了就白忙:你先去补边界例子,回头发现占大头的规则错误还在原地,等于白跑一轮。

一轮只改一处,改完立刻重跑同一批

每轮只动一个变量:加一条判断规则、换一组例子或者收紧输出格式,改完用同一批样本重跑,命中率才比得起来。一次改三处,涨了不知道谁的功劳,跌了不知道谁背锅。

这不是死板,是省命。我试过一次往指令里塞了三条新规则加两个例子,跑完从七成涨到八成,挺高兴。下一轮想再涨,把三处全回退了逐一重试,发现涨分全靠其中一条规则,另外两条反而把两条原本对的带错了。当时要是只改那一条,第二轮就能到八成三。

重跑的样本从头到尾不许换。有人嫌三十条不够,中途往里加新样本,加完一看命中率掉了,以为是指令变差,其实是卷子变难了。样本一次选好,锁死,存成一个文件,每轮都喂同一份。

记录用最土的表格就行,四列:轮次、改了什么、命中率、剩下什么错。说到工具,我知道有正经的提示词管理平台,能存版本能对比。跑题说一句,工具我不反对,但三十条样本加一张表格就能起步的活,别为了搭记录系统把迭代本身拖慢。

对了,如果错堆里有一类是「模型没见过这种情况该怎么答」,那属于缺例子,不是缺规则。补例子比补形容词管用,给法可以参考这篇例子提示词怎么给的经验,里面先给反例再给正例的顺序,跟工单打标是通用的。

一个工单打标指令的三轮完整改动

第一版七成,第二轮补在途优先规则到八成三,第三轮补两个例子到九成三,第四轮原地踏步,回滚收工。整个过程一个下午,每条改动都对应前面分出的一堆错。

完整摆一遍。

轮次改了什么三十条样本命中率下一步判断
第一版五类定义各一句,两百字21条(70%)留作基线
第二版加一条:包裹在途且用户要退款,先判物流催件25条(83%)大头错误清掉,继续
第三版加两个例子:一条催件加退款话术,一条发票加退货话术28条(93%)剩两条边界题,考虑停
第四版给边界题加规则:跨类工单一律归投诉28条(93%)没涨,回滚,停手

第四版那条规则是我拍脑袋加的,想把最后两条也吞掉。跑完还是二十八条,那两条照旧分错,指令倒是从两百字涨到六百字。我试了下把这条规则删掉重跑,还是二十八条——说明这俩样本错的原因根本不在规则上,是历史工单里用户的话术本身两可。这种留给人工打标,一天里就那么几条,不值得为它加字。

改到第几轮该停?我给自己划了三条线

连续两轮提升不到两个百分点、剩下的错例人也要商量才能定、提示词长度翻倍只换来一两条提升,三条里中一条,就停。停手不算失败,剩下的错例交给人,或者换个活法。

三条线一条条说。第一条看趋势:第二轮涨十三个点,第三轮涨十个点,这种陡坡值得爬;要是连续两轮都只爬一两个点,坡就到顶了。第二条看出错性质:剩下的错例拿给两个老标注员看,俩人答案不一致的,说明题目两可,模型替人拍板只会把不一致固化下来。第三条看成本:指令每多一行,后面接手的人都要读懂它,为一条边界题养六百字的指令,账算不过来。

说实话,第三轮这个数不是我算出来的,是几十个任务改下来凑巧落在这。有的活一轮就到顶,格式改写类的任务第一版就能九成五;也有的活第五轮还在涨,多轮对话类的坑多。但三条停手线到目前为止没让我翻过车,比「改到自己满意为止」靠谱多了——满意这东西没有刻度。

回滚那天我把新人那五版重写稿翻出来给他看,第五版和第二版的核心差别,其实就一条规则加两个例子。他会写,差的是知道什么时候收手。写提示词的手艺一半在改,另一半在停——第三轮没动静的时候,把这版存好,剩下的错例留给人,然后去过下一条。

常见问题

每轮测试用多少条样本才靠谱?

二十到三十条够起步,关键是来源真实、错误类型杂。样本一次选定后中途别换,换了命中率就没有可比性,等于每轮换一张卷子。

提示词越长是不是越准?

不是。五类分类任务八百字以内一般写得完,超过一千五百字通常说明该拆任务了。长度涨而命中率不涨,就是该停手的信号之一。

什么时候才需要整段重写?

错误成片出现、分堆分不出主次,或者换了模型导致原有规则集体失灵的时候。重写前把旧版存档,新写完先跟旧版在同一批样本上对一次,别直接覆盖。

迭代记录除了表格还有什么用?

那张四列表格就是现成的回归测试底子。模型升级或者任务改版时,把同一批样本再跑一遍,哪条规则失灵一眼就能对出来。

延伸阅读

关键词 写提示词 提示词迭代 改提示词 提示词测试样本

刺猬星球super-i 团队

先自己用过、测过,再写成可以照着做的指南。