提示词设计这四个字,网上的教程几乎都在教你怎么问AI:套角色、加约束、给例子。但做AI产品的人面对的是另一件事——用户不看教程。他们打开输入框,想到什么打什么,字没打全就直接发。产品要接住这些七零八落的问法,靠的是写在后台的系统提示词和预设话术。
这两年我在两个对话产品上干这件事:一个导购机器人,一个内部知识库助手。下面六条原则,是拿线上数据和翻车记录换来的,不聊个人怎么写prompt。
系统提示词和你自己用的提示词,不是一回事
个人提示词只覆盖你一个人的问法,产品系统提示词要替所有用户提问,写法、评价标准和改动成本都不同。把教程里那套个人写法直接搬进产品,是新手团队最常见的错。
区别说白了就一条:你问什么你心里有数,用户问什么你不知道。教程教你「先设定角色再给约束」,那是针对一次具体任务的写法。产品的系统提示词更像店里给店员的员工手册——不教某一句话怎么说,教的是遇到没见过的问题怎么不砸锅。
| 个人提示词 | 产品系统提示词 | |
|---|---|---|
| 谁在问 | 你自己 | 成千上万种用户 |
| 怎么算好 | 你满意就行 | 抽测通过率,比如120条里110条达标 |
| 改一次的成本 | 几秒钟 | 改一版要跑一轮回归 |
| 写坏的代价 | 重问一遍 | 投诉涨、运营背锅 |
这张表里最容易被低估的是改动成本。个人提示词改砸了,重问一遍就行。产品改砸了,是运营第二天早上发现投诉涨了三成。
用户的问法不会按剧本来
预设话术不能靠产品经理在会议室里拍脑袋列,要从客服日志和搜索框里捞真实问法,归成意图组,逐组设计。拍脑袋列的清单,上线第一周就会被击穿。
讲个翻车。导购机器人第一版话术,产品经理列了12种问法,覆盖尺码、色号、发货,看着挺全。上线第一天,有个用户问:「这条裤子我95斤,穿M还是L?」清单里没有。机器人按模糊指令答了句「建议参考尺码表」,用户直接走了。
后来我们换了个办法:从客服聊天记录里捞120条真实问法,归成9类意图,每类挑3条最刁钻的写进评测。尺码类单独建了一组,因为用户的问法能排出一整页——「95斤穿什么码」「160的身高算偏胖吗」「和实体店码数一样吗」。预设话术和快捷追问按钮就按这9类铺,每个按钮下面再挂两条变体。
设计预设话术和设计表单字段是一个道理:你猜的字段,用户永远不填;用户想填的,你没留位置。
系统提示词写多长才够用?
系统提示词不是越长越稳。指令堆太密,模型回复会跟着变啰嗦,建议压到千字以内,细节挪进知识库和示例。长度对齐回复风格,不是对齐安全感。
这个坑我结结实实踩过。第一版导购指令写了2200字,什么都想管:语气、卖点、竞品对比、售后边界。上线后回复从两句话涨到五句,用户追问率从18%掉到9%——指令太密,模型学坏了,把「详细」当成了任务本身。
删到900字,只留四块:角色一句话、边界清单、回复格式、兜底动作。追问率回到15%。剩下的提升靠什么?三条few-shot示例,直接放理想回复的样子。不夸张,三条示例顶十行形容词。
对了,跑个题:写过UI文案的人应该有同感——按钮上的字越想讲清楚就越长,越长用户越不敢点。系统提示词一个毛病。
边界、兜底和回归测试,占了一半工作量
红线要写具体动作,不写抽象品德;兜底要给出口,不能一甩了之;改完任何一版,都得跑固定评测集回归。这三件没做,提示词设计只算做了一半。
红线举个例子。「不许瞎编」这种写法基本没用。我们改成「价格类问题只引用商品页数字,商品页没有就说查不到,并给出客服入口」。同一批200条抽测里,编造类回答从7%降到1%。
位置也有讲究。红线放在系统提示词开头第三行,和放在末尾,是两个世界——末尾版本的抽测编造率回升到4%,模型读到后面会松。现在我们的模板里,红线永远排前三行。
兜底话术改到第6版才像样。第1版是「抱歉,我不太明白」,干净,但用户流失得干脆。第6版改成承认接不住,然后甩两个猜你想问的快捷按钮,大概六成用户会点其中一个,对话就续上了。
改一版跑一轮回归,这套流程现在看是常识,当时是吃了亏才立的规矩:120条常规题加20条红线题,改完必跑,两版结果摆一起看diff。提示词也是产品界面,改UI要回归,改指令凭什么不用?
回到开头那句:教程教的是怎么问得好,产品要接住的是问得差的人。「95斤穿M还是L」这句话,后来被我们印在内部文档第一页。提示词设计做得好不好,就看这种没人按剧本来问的问题,产品接不接得住。
常见问题
系统提示词里的角色设定还有用吗?
有用,但别把它当主力。角色管的是语气和称呼,真正决定对错的是边界清单和示例。我们试过只留角色、删掉边界,抽测错误率立刻回升——角色救不了事实错误。
换了新一代模型,系统提示词要重写吗?
不用推翻重来,但评测集必须重跑一遍。新版模型对长指令的服从性不一样,我们遇到过换模型后回复变短、兜底按钮没触发的情况,把格式约束调回来就好了。
产品还没上线,没有真实问法怎么办?
去内测群翻原始提问,别用产品自己拟的文案。内测三天攒60条就够起步,上线后用日志按月滚动更新评测集,问法会一直长出来。
快捷追问按钮和系统提示词,哪个优先做?
各管一段。按钮解决「不会问」的用户,系统提示词解决「问了答不好」。预算紧就先做提示词。按钮最多放4个,再多用户就不知道点哪个了。