原文來源：AIGC開放社區

圖片來源：由無界AI生成

在長文本場景中，ChatGPT 等大語言模型經常面臨更高算力成本、更長的延遲以及更差的性能。為了解決這三大難題，微軟開源了 LongLLMLingua。

據悉，LongLLMLingua 的核心技術原理是將“文本提示”實現最高 20 倍的極限壓縮，同時又可以準確評估提示中內容與問題的相關程度，消除無關內容保留關鍵信息，達到降本增效目的。

實驗結果顯示，經過 LongLLMLingua 壓縮后的提示，比原始提示的性能提升了 17.1%, 同時輸入 GPT-3.5-Turbo 的 tokens 減少了 4 倍。在 LongBench 和 ZeroScrolls 測試中顯示，每 1,000 個樣本節省 28.5 美元和 27.4 美元的成本。

當壓縮約 10 k tokens 的提示，壓縮率在 2-10 倍范圍內時，端到端延遲可以降低 1.4-3.8 倍，顯著加速了推理速率。

論文地址：https://arxiv.org/abs/2310.06839?

開源地址：https://github.com/microsoft/LLMLingua?

從介紹論文來看，LongLLMLingua主要由問題感知的粗細粒度壓縮、文檔重排序、動態壓縮比率和壓縮后子序列恢復4大模塊組成。

問題感知的粗粒度壓縮模塊

該模塊的設計思路是,使用問題文本進行條件化,評估每個段落與問題的相關程度,保留相關度更高的段落。

具體來說，通過計算問題文本與各段落的條件困惑度,判斷二者的邏輯關聯程度,條件困惑度越低表示相關性越高。

在此基礎上,設置閾值保留困惑度較低的段落,過濾掉與問題不相關的段落。這實現了根據問題快速移除大量冗余信息的粗粒度壓縮。

文檔重排序模塊

研究表明,在提示中,靠近開始和結束位置的內容對語言模型的影響最大。所以該模塊根據各段落的相關程度對其進行重新排序,使關鍵信息出現在對模型更敏感的位置,減少中間位置信息損失。

通過利用粗粒度壓縮模塊計算出的各段落與問題的關聯度,對段落進行排序,使關聯度最高的段落排在最前面。這進一步增強了模型對關鍵信息的感知。

在獲取重排序后的相關段落后,需要進一步壓縮每個段落內的詞量。此時動態壓縮比率模塊對提示進行精細調控。

動態壓縮比率模塊

對更相關的段落使用更低的壓縮比率,分配更多的保留詞語預算,而對相關性較弱的段落則使用更高的壓縮比率。

通過利用粗粒度壓縮結果中的段落關聯度,動態確定每個段落的壓縮比率。關聯度最高的段落壓縮比率最低,依次類推。

實現自適應、細粒度的壓縮控制,有效保留關鍵信息。壓縮后還需要提高結果的可靠性，這就需要下面的壓縮后子序列恢復模塊。

壓縮后子序列恢復模塊

在壓縮過程中,一些關鍵詞可能被過度刪除,影響信息的完整性，而該模塊可以檢測并恢復這些關鍵詞。

工作原理是,利用源文本、壓縮文本、生成文本之間的子序列關系,從生成結果中恢復完整的關鍵名詞詞組,修復壓縮帶來的信息缺失,提高結果的準確性。

整個過程有點像我們快速瀏覽文章、篩選信息、整合要點的工作流程等,使模型快速捕捉文本的關鍵信息,生成高質量的摘要。

LongLLMLingua實驗數據

研究人員構建了一個基于Natural Questions的多文檔問答數據集,其中每個示例包含一個問題及20個相關文檔,并需要從這20個文檔中查找到答案。

該數據集模擬了實際的搜索引擎和問答場景,可以評估模型在長文檔中的問答性能。

此外,研究人員還采用了更為通用的長文本理解基準測試集,包括LongBench和ZeroSCROLLS,以評估方法在更廣泛場景下的效果。

其中,LongBench覆蓋單文檔問答、多文檔問答、文本摘要、少樣本學習等任務,包含英文數據集。ZeroSCROLLS則包括文本摘要、問答理解、情感分析等典型語言理解任務。

在這些數據集上,研究人員比較了LongLLMLingua壓縮后的提示與原始提示在大語言模型上的性能。同時,也與其他提示壓縮方法進行了對比,如基于困惑度的LLMLingua和基于檢索的方法,評估了LongLLMLingua的有效性。

實驗結果顯示，LongLLMLingua壓縮后的提示在問答準確率、生成文本質量等指標上普遍優于原始提示。

例如，在NaturalQuestions上,壓縮4倍的提示提升了17.1%的問答準確率。當壓縮約10k tokens的提示,壓縮率在2-10倍范圍內時,端到端延遲可以降低1.4-3.8倍。這充分證明LongLLMLingua可以在壓縮提示的同時提升關鍵信息提取。

總結

以上是生活随笔為你收集整理的最高20倍！压缩ChatGPT等模型文本提示，极大节省AI算力的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。