使用 LLMLingua-2 压缩 GPT-4 和 Claude 提示

原文地址：Compress GPT-4 and Claude prompts with LLMLingua-2

2024 年 4 月 1 日

向大型语言模型（LLM）发送的提示长度越短，推理速度就会越快，成本也会越低。因此，提示压缩已经成为LLM研究的热门领域。

在最新的一篇论文中，清华大学和微软的研究人员介绍了一种新的与任务无关的提示压缩技术——LLMLingua-2。LLMLingua-2比其他提示压缩方法更快、更高效，且需要的计算资源更少。对于涉及冗长提示的LLM应用来说，它可以成为一个很好的工具，压缩可以节省大量成本并改善用户体验。

任务相关的和任务无关的提示压缩

诸如思维链（CoT）推理、上下文学习和检索增强生成（RAG）等技术使LLM能够处理复杂的任务和未在训练数据中包含的知识。

然而，冗长提示的好处是以增加计算和财务需求为代价的。在某些LLM中，更长的提示可能会降低模型处理上下文信息的能力的准确性。

提示压缩通过缩短原始文本同时保留必要信息来解决这些问题。提示压缩的基本假设是，自然语言包含冗余，这些冗余对人类理解可能有用，但对LLM来说则不必要。

提示压缩可以分为“任务相关”和“任务无关”两种方法。任务相关的压缩方法会根据下游任务或当前查询来移除提示中的令牌。一种流行的方法是LongLLMLingua，它采用一种问题相关的多步骤方法，估计令牌的信息熵并移除冗