提示工程是一种在机器学习模型，尤其是预训练语言模型中，通过精心设计输入提示（prompt）来引导模型输出期望结果的技术。在大语言模型的使用中，提示词通常是一段文本，用来引导模型生成特定的输出或完成特定的任务。在多文档搜索、问答系统、文档自动摘要生成r Q Q w以及阅读理解等多样化且复杂的应用场景中，往往会面临输入提示（prompt）长度显著增加的挑战。这种超长prompt不仅加大了大型语言模型（llm）的推理成本，还显著延长了推理时间，从而严重限制了其在需要即* r 8 1时响应的实时应用场景中的适用性。为了克服这一难题，优化prompt设计，如通过压缩技术精简关键信息、采用更高效的prompt格式或结构，变得尤为关键。这样的策略旨在平衡模型性能与实时性需求，确保llm能够_ X e t Y 5 ^ =在复杂多变的场景下t y x O v依然保持高效、准确的响应能力。基于以上背景，卓世科技创新的中文提示词压缩技术应运而生。卓世科技对提示词进行压缩的技术旨在保证推理效/ $ j果的前提下降低推理成本，提升推理速度。其主要的思路如下：
（1）定义长prompt的结构：
Prompt=instruction+documents/demonstrations+question。
（2）小语言模@ m 5 H w ( ] u +型和大语言模型的分布对齐
使用小语言模型（LLM）估计长prompt的各个部分的重要程度，为了缩小( 6 Z = g R J c |大语言模型（LL7 ~ fM）和小语言模型之间的概率分布差距，通过在LLM生成的数据上进行指令微调来有效小语言模型，使得小语言模型更好地模拟LLM的分布。
（3）对documents/dem` + z 3 ( ? . nonstrations部分进行两个层次的压缩
点击下载“嗨格式压缩大师”；
3.1、示例层次的压缩
documents/demonstrations部分中通常包含多个文档/示例，而每个文档/= ~ f M Y d ;示例包含有多个段落。针对每个文档/示例的每个段落，计算出段落与question的相关性，保留得分前3的段落作为该文档/示例的代表上下文x_doc。同时，可计算出该文档/示例中所有段落的平均相关性s_k。
然后根据question部分和文档/示例的代表上下文x_doc计算文档/示例级别的困惑度r_k。最终文档/示例的评分为s1=s_k*r_k。
此时，每个文档/示例计算出三个分数，评分s1、平均相关性s_k以及困惑度r_k。利用这三个分数从长prompt的documents: $ { p/demon. 6 9strations部分中删除部分文档/示例。
3.2重排序
由于模型对prompt的不同位置处的信息的敏感度不同，通常模型对prompt首尾位置处的信息敏感度较好，中间位置的敏感度较差。为了确保prompt的效果，可依据评v 9 G _ , %分对保留的文档进行重排序处理，使得评分较高的文档排列在首位，评! b P @ V , L F分较低排列在中间位置。
3.3文档/示例压缩率计算
针对重排序后的pi – : Srompt，用户可自定义在词语层次上的压缩率。按照上述文档/示例的排序，使用[1, 2*Kc]的均匀离散分布，来初始化每个文档/示例的压缩率。
3.4词语层次的压缩
在删减文档/示例后的documents/dem` { . { _onstrations部分，可计算每个token的条件困惑度差异。
为了确保压缩后的语义完整，可使用双向最大匹配分词法，以获取到最长的分词词语。同时，为了适应垂直领域，可9 $ $ ; p结合垂直领域内的专业\ ( ) E K g G 7 K词汇表进行分词，尽量保留垂直8 i K S o 4领域内的专业词汇。
然后可基于前述计算出的token的条件困惑度差异以及分词的结果，对每个) ( ,词语进行打分。假设一个中文词语word_U . | x i U g R 2i有k个token组成，按照该中文词语word_i是否属于垂直领域M ^ { !的词汇，使用不同的计算方式对其评分。
最后针对每个文档/示例，利用文档/示例中X 1 e Q 8每个词汇的评分，按照得分高低顺序压缩文档/示例，使得其满足文档/示例的压缩率。
（4）压缩后的prompt可输入至大语言模型中，得到响应。
至此，整个z t | 7 k _ y提示词压缩的方案介绍N O 5 R完毕，该技术方案相比于其他压缩方案，更加适配中文的词语粒度，尤其在垂直领域可避免丢失专业词汇，z P q u在保证语义完整的情况下删减了冗余信息，_ 6 B b w .可有效降低提升推y M ] B K `理效率，节约计算成本。
以上就是揭秘提示词压缩技术的详细内容！
原创文章，作者:【好易之】如转载请注明出处：https://www.zhengjiaxi.com/zxwd/itzx/117799.html
如有侵权，请邮件联系 aoduoye@qq.com 删除。
本站发布的文章及附件仅限用于学习和研究目的;不得将上述内容用于商业或非法用途，否则后果请用户自负。
本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。
如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如有侵权请邮件与我们联系处理。
微信扫一扫 
