- 提示词工程
- 工程化
早期我调提示词的方式很原始:在对话框里改一句、看结果、再改一句。看起来很高效,但两周后回头看,完全说不清现在这版为什么比第一版好。
更糟的是,同一句话改两次,一次变好一次变差,我会误以为是运气问题——其实是样本太少,压根没有可比性。
三样东西必须一起存档
第一是提示词全文,包括系统提示和用户模板;第二是当次使用的模型与参数;第三是一组固定的失败样本输入。
有了固定样本,每次改动都能得到可对比的结论:这一版把“套话率”从 40% 降到 12%,但把输出长度拉长了 30%。这才叫优化,否则只是换了个说法。
结构比措辞更值钱
复盘下来,绝大多数效果提升来自结构调整:把要求写成带字段的 Schema、把禁用词做成显式清单、把“请尽量”换成“必须”。
措辞的收益很小,而结构的收益是可以复现的。这也是为什么我现在更愿意花时间设计输出格式,而不是反复打磨那句“你是一位资深文案专家”。