Prompt 只教模式,不教事实

Prompt 教模型怎么读信号,变化的事实在运行时送到

栏
法 用什么方法
写于
篇幅
2,033 字
卦
夬
111110
这是校验和,不是占卜
原文
Markdown
为学日益,为道日损。《道德经》第四十八章

我的判断是:写进 prompt 的事实会过期。Prompt 就是给模型的指令,它应该教模型怎么读事实;事实本身,等任务运行时再送进来。

我在工作流引擎里反复做的,就是把事实从指令里搬出去。工具有哪些、用户用什么语言、某个服务有没有连上,这些事各有负责它的地方。把答案复制进 prompt,相当于又养了一份需要维护的账。

一句能用,里面藏着不同的事

假设 prompt 写着某个工具可用。这里至少混着两件事:产品支持这个工具,以及这次任务真的能调用它。前者可能还成立,后者已经变了。模型读到的却是同一句肯定的话,它没有理由凭空补出那个变化。

工具清单也是如此。如果把清单列在 prompt 里,每加一种能力,就得再改一次指令。后台明明已经登记了新工具,模型却还要等另一处文字更新才知道。这是维护上的问题,不用等到模型推理失败才出现。

语言的例子更容易误判。要求模型使用用户的语言,是行为要求;断言用户当前说哪种语言,才是状态。前者可以留在 prompt 里,后者应当从这次对话取得。我不想为了照顾眼前见过的语言,把其他语言挡在分支之外。

所以我判断一句话该放哪里,先看它什么时候会变。换一个用户、断开一个连接、增加一个工具,它就不成立了,那就不能把它当作长期背景。文字写得再清楚,也解决不了更新责任放错地方的问题。

让知道事实的地方交出信号

我用过的方向是把事实交给运行时信号,也就是执行任务时拿到的状态。入口有几种:函数调用的返回、请求上下文、工具目录的 schema。它们把答案带过来,prompt 负责告诉模型怎样理解答案。

函数调用的返回,就是程序执行后交回的结果。连接是否正常、一次操作有没有成功,应当看负责检查或执行的程序返回了什么。我希望模型分清工具存在和调用成功,别把前者当作后者的保证。

上下文,就是这次请求随身带来的信息。当前用户的语言、这次可用的连接,都可以从这里到达。这里的重点是「这次」:同一段指令接到不同上下文,应当有不同判断,不必为每个用户另写一套固定答案。

目录的 schema,是用固定字段说明工具名称、用途和输入要求的格式。模型读这个目录,才知道眼前有什么可用。我的目标是让新能力通过目录进入模型视野,不再顺手往 prompt 里补一段产品说明。

这并不等于信号天然正确。检查可能失败,信息也可能过期。我会把不知道留成不知道,不让模型用指令里的旧答案补空缺。能说明事实来自哪里、拿到的是什么,才有机会判断它是否足够支持下一步。

Prompt 留下读法和判断

把事实搬走以后,prompt 仍然有工作。它要说明哪些信息对应当前任务,怎样读工具的输入要求,遇到缺失或失败该如何处理。它教的是一种读法:先看得到什么,再决定能做什么。

我说的「模式」也不是一句含糊的口号。目录给出了输入字段,模型就按字段准备参数;结果明确失败,就不能宣称完成。这些关系可以教。至于某个工具今天具体收什么参数,应该由那个工具的定义回答。

在 Forge 这个工作流项目里,设计文档把约束下沉到 schema 和 validator。前者规定数据形状,后者检查数据是否符合约定;prompt 保持薄层,配上例子。这是同一个取舍:能让结构检查的事情,不持续拜托模型记住。

但这份设计不证明运行时已经无所不能。Forge 的设计哲学还列着需要补齐的重试和审批能力。我不能因为写下了如何读失败信号,就把失败后的处理路径说成已经实现。信号、判断和执行,是需要分别交代的事情。

我给 AI 协作者定的 prompt 规则里,有一个具体的检查办法:删掉一条规则,会不会让实测评估失败。这里的评估,就是拿任务检查输出是否符合要求。能删而不影响结果的文字,没有必要只因为曾经写过就继续占着位置。

例子教的是变化以后怎么做

Few-shot,就是给模型少量示例,让它从例子里学到做法。我对例子的要求里有一条是泛化性,也就是换个任务仍然有用。在纠正堆例子、照着结果补规则时,我说过这句:

做,但是切记example不要过度工程,这个的定义是fewshot,保证泛化性,而且不要照着答案出题

我的理解是,例子应当展示信息和动作的关系。连接状态改变了,判断怎么跟着变;目录换了,怎样重新找合适的工具。只展示某个固定工具配某个固定答案,模型可能学到表面的搭配,真正需要迁移的关系反而没讲清。

如果每遇到一个坏输出,就把那道题和标准答案塞回去,prompt 会越来越像错题答案册。我更想检查的是:把工具名称、语言和输入内容换掉,原来的指导还管不管用。只有原题能答对,不能据此说模式已经教会了。

例子也不能替代执行中的事实。它可以示范怎样读一次成功结果,不能证明当前操作成功。模型从示例里学做法,再从这次返回里拿依据,两者的职责要分清。

把事实搬出去,也会搬来成本

这条路的代价,是系统要认真提供信号。谁负责更新目录,谁负责说明连接状态,取不到信息时交回什么,都得有明确安排。省下的是反复修补指令的工作,增加的是把状态提供好的工程工作。

还会多出时间和上下文的开销。如果每次判断都先查一遍所有状态,小任务也会被拖长。我更愿意按任务取需要的信息,并把信息不足当成正常情况处理。这里没有一条适合所有任务的刷新频率。

对于输入已经完整、执行期间也不会变化的任务,直接把材料放进这次请求就够了。为了贯彻口号,硬加一次外部查询,没有意义。我要移走的是长期指令里会失效的断言,不是阻止模型在上下文里看到事实。

真正不能变的约束,也要另看。如果字段必须满足某种格式,就交给结构检查;如果只是希望模型作出更好的判断,才需要例子和理由。我不想把确定的检查变成语言劝说,也不想把开放判断硬塞成规则表。

这套取舍在不同任务上的延迟和维护成本是否都划算,我现在不能下结论。它至少给了我一个可以逐句检查的办法:这句话是在教模型读信号,还是替系统保存一个随时可能过期的答案。后者出现得越多,我就越该回去找真正负责这件事的地方。