智能体防御 | 一文了解3种系统提示词加固方法

Source : mp.weixin.qq.com

智能体的系统提示词加固是指通过优化，补充，约束系统提示词的内容和结构，增强其对模型“约束力”和“指导性”，让智能体在收到用户的请求时通过安全研判后来决定返回的内容，确保模型在复杂场景下行为可控、安全合规、效果稳定。不同约束的效果可能因“模型类型”、“应用场景”而异，本方案旨在为系统提示词加固提供指导，确保约束在多种情境下的适用性。系统提示词的加固效果受到多种因素的影响，例如“模型类型”、“系统提示词的长度”，“加固内容在系统提示词中的位置”以及“添加的加固类型数量”等。在具体场景中，如何对系统提示词作安全加固，既要考虑模型特性和场景差异，还要兼顾加固内容的一致性和普适性。