已經(jīng)嘮了三章的RAG，是時候回頭反思一下，當前的RAG是解決幻覺的終點么？我給不出直接的答案，不過感覺當前把RAG當作傳統(tǒng)搜索框架在大模型時代下的改良，這個思路的天花板高度有限~

反思來源于對RAG下模型回答的直觀感受，最初我們被ChatGPT的能力所震驚，并不是它能背誦知識，而是模型在知識壓縮后表現(xiàn)出的“涌現(xiàn)能力”，更具體到RAG所屬的問答領域，是模型能夠精準的基于上文從壓縮的參數(shù)中召回并整合相應的知識，甚至進行知識外推的能力。通俗點說它有可能生成我在任何地方都檢索不到的答案！

但RAG當前的多數(shù)使用方法，采用只讓模型基于檢索到的內(nèi)容進行回答的方案，其實限制了模型自身對知識壓縮形成的智能，大模型似乎變成了文本抽取和總結(jié)潤色的工具。體驗上大模型直接回答的效果就像是學霸答題文采四溢，而RAG有時倒像是學渣開卷考試，答得小心翼翼一有不慎還會抄錯答案......

既要保證事實性，又要保留模型智能，則需要最大化的使用模型已經(jīng)內(nèi)化壓縮到參數(shù)中的信息，只在需要使用外部知識增強的時候再進行工具調(diào)用。看到過以下幾種方案

1. Detection：通過前置判斷，決策模型何時需要使用外掛，在模型可以自行回答的時候，使用模型回答，當模型不能回答的時候走RAG檢索生成

• Realtime Data：需要獲取動態(tài)世界的信息，部分場景可以通過意圖進行決策，相對好解決
• Incorrect or Incomplete：模型不知道，或者模型推理幻覺，如何知道模型可能不知道是更難解決的問題

2. Calibration：通過后置處理，讓模型先生成，再使用召回內(nèi)容對模型回答進行修正校準和事實性檢查
3. 兩種方案勾兌一下：高置信度判斷模型可以自行完成直接回答，中置信度先生成再校驗，低置信度直接走RAG檢索生成，或者通過意圖和場景進行決策

如何勾兌就不在這里說了，這里我們聊聊基礎的前置判斷和后置處理分別有哪些方案~

前置判斷-Detection

檢測模型回答存在幻覺可以通過檢索外部知識進行校驗，不過考慮生成式模型覆蓋問題的廣泛性，Self-Contradictory論文中評估chatgpt生成的回答中38.5%的內(nèi)容無法通過Wiki等外部知識進行校驗。

因此這里我們先介紹一種完全基于模型自身，不依賴外部知識的幻覺判斷方案自我矛盾。后介紹一種模型直接拒絕回答的方案，和RLHF里面的事實性原則類似，這里是基于SFT的模型自我拒絕方案，不過個人對拒識類的方案持一定的保留意見，但不妨礙學習新思路哈哈~~

自我矛盾

第一種發(fā)現(xiàn)模型幻覺的方案是基于模型多次回答的不一致性來判斷模型是否在胡說八道。相似的概念在解密Prompt系列9. 模型復雜推理-思維鏈基礎和進階玩法里面聊Self-Consistency COT時就提到過，該論文是使用多路COT推理來投票出一個最合理的推理路徑，從而提高思考的準確率。這里只不過改變了使用的形式，通過模型多次回答的不一致來判斷模型是否出現(xiàn)了幻覺。有以下幾種生成模型多次回答，并度量一致性的方案

單模型推理

• SELFCHECKGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models
• SELF-CONTRADICTORY HALLUCINATIONS OF LLMS: EVALUATION, DETECTION AND MITIGATION

對于如何度量模型隨機生成的多個回答之間的不一致性，Self-Check嘗試了包括Bert相似度計算在內(nèi)的5種方法，其中效果最好的兩種分別是傳統(tǒng)NLI和基于大模型prompt的NLI，從推理性價比上傳統(tǒng)NLI有優(yōu)勢，效果上LLM更好，以下是使用不同相似度計算方案來衡量模型多次隨機解碼的不一致性，并用該指標來計算模型回答是否符合事實性的AUC效果

傳統(tǒng)NLI推理任務，是給定前提（premise）判斷假設（hypothesis）是否成立或者矛盾。這里論文就是使用MNLI數(shù)據(jù)訓練的Debarta-v3-Large來判斷模型生成的回答r(hypothesis)，是否和其他N個采樣生成的回答(premise)相矛盾。論文分別嘗試了句子級的判斷和整個回答粒度的判斷，句子級別的效果顯著更好。

\[S_{NLI}(i) = \frac{1}{N}\sum_{n=1}^N P(contradict|r_i,S^n) \]

而基于大模型prompt，同樣是NLI任務的思路，只不過改成了自然語言指令，以下context等同于以上的 \(S^n\), sentence就是 \(r_i\), 大模型推理返回的Yes/NO會被轉(zhuǎn)化成0/1，并計算均值。

\[S_{prompt}(i) = \frac{1}{N}\sum_{n=1}^N x_i^n \,\, x \in {(0,1)} \]

SELF-Contradictory的思路很相似，方法更加復雜些，感興趣的朋友自己去看論文吧~

多模型問答

• DeepMind LM vs LM: Detecting Factual Errors via Cross Examination
• Improving Factuality and Reasoning in Language Models through Multiagent Debate

同樣是自我矛盾的思路，還可以通過多模型對話的方式來進行。LM VS LM采用了模型B多次反復提問模型A的方式來生成多個回答。類似的方式也用于問卷中問題的設計，出題人會用不同的方式把一個問題問好幾遍，如果每次回答都不一樣，說明做題人對類似問題的回答是不確定的。如下圖

第一步模型A先生成回答(claim)。第二步模型B會針對cliam，從多個角度生成提問并讓模型A再次進行回答。第三步模型B會基于A的原始回答，和對多個問題的回答來判斷原始回答的正確性。以上B提問A回答的步驟，如果B判斷需要進行補充提問的話，可能會重復多次。

這里涉及到的三個任務都是通過大模型指令來進行的，三個任務分別是：模型B基于A的cliam進行提問，模型B判斷是否繼續(xù)提問，模型B基于A的所有回答判斷claim是否正確。對應的具體prompt如下

相比上面SELF-CHECK隨機解碼生成多個答案的方案，從多角度進行提問，個人感覺更有針對性，但兩種方法都會有遺漏和誤傷。推理成本上SELF-CHECK更低，LM vs LM更高。

自我拒絕

• R-Tuning: Teaching Large Language Models to Refuse Unknown Questions

除了通過不一致性判斷模型出現(xiàn)幻覺，另一種更干脆直接的方案，是讓模型在碰到自己不確定的問題時，直接選擇拒絕回答，和RLHF中的事實性原則的是一個思路。但我對這類方案最大的疑惑是拒識能力的泛化性。究竟模型是學到了對于自身parametric knowledge置信度較低，混淆度較高的問題進行拒絕回答，還是模型背下來了對某些知識和上文語義空間進行拒絕回答。這個我也還沒想明白哈哈哈~

所以這里我們繞過這個問題，聊一種中間策略，畢竟西醫(yī)好多疾病也沒研究明白，但病還得治不是。R-Tunning提出指令微調(diào)可能放大了模型的回答幻覺。因為指令微調(diào)的數(shù)據(jù)集中所有問題都有答案，微調(diào)任務就是負責教會模型各種任務范式，以及在不同的任務中如何召回預訓練中學習的知識并回答問題。但我們忽略了SFT中很多任務涉及到的知識在模型預訓練中可能是沒接觸過的，但我們依舊選擇讓模型去進行回答。這種預訓練和指令微調(diào)間的不一致性，可能會進一步放大模型幻覺。

R-Tunning給出的解決方案是在構(gòu)建指令微調(diào)數(shù)據(jù)集時，加入模型是否對改答案表示肯定的描述，這樣允許模型拒絕自己不確定的問題。分成2個步驟

1. 找到模型不確定的問題，論文嘗試了兩種方案

• R-Tuning：模型回答和標注答案不一致，適用于有標準答案的QA問題
• R-Tuning-U：模型回答自我矛盾，這里論文計算模型回答包含的所有答案的熵值

2. 構(gòu)建允許模型拒絕的指令數(shù)據(jù)集，論文也嘗試了以下兩種prompt指令模板

• R-Tuning："Q:{Question},A:{Answer}.{Propmt}.",其中prompt是Are you sure you accurately answered the question based on your internal knowledge:對于上面模型確定的問題加上I am sure，不確定的問題加上I am not sure
• R-Tuning-R: 對于確定給的問題使用"Q:{Question},A:{Answer}"，對于不確定的問題用I am not sure 的各種相似表達來直接替換Answer

然后使用以上加入模型不確定性表達的數(shù)據(jù)集進行指令微調(diào)即可。在我們的使用場景中R-Tunning-R這種直接拒絕的方案更加合適，畢竟我傾向于指令微調(diào)的核心并不是知識注入，而是任務對齊，所以模型只要學習到對于自己不確定的問題選擇拒絕回答即可。在論文驗證的MMLU等數(shù)據(jù)集上這種拒絕微調(diào)方案有一定的領域外的泛化效果，不過這些數(shù)據(jù)集和我們的使用場景相差很大，具體效果要等測試后才知道了。

后處理：Calibration Method

和Detection相反，Calibration把重心放在模型回答的后處理上。也就是先不做判斷直接使用模型生成回答，再調(diào)用工具對回答進行校驗和修改。這里我們介紹谷歌和微軟提出的幾種方案。不同方案對于如何后處理，和調(diào)用哪些工具進行后處理存在差異，不過整體流程都和下圖相似：模型生成 -> 召回相關知識 -> 對生成結(jié)果進行校驗和修復

指令方案

• RARR: Researching and Revising What Language Models Say, Using Language Models
• CRITIC: LARGE LANGUAGE MODELS CAN SELFCORRECT WITH TOOL-INTERACTIVE CRITIQUING

基礎方案是RARR提出的Research-then-revise框架，整個流程分為以下幾個步驟

Generation Stage，先讓LLM直接生成問題回答X

Research Stage，用于收集可以校驗回答的事實性證據(jù)。針對X使用Few-shot-prompt, 生成用來校驗X的多個搜索問題，每個問題分別進行谷歌搜索并召回Top5內(nèi)容。這里論文沒有使用搜索自帶的snippet，而是對網(wǎng)頁內(nèi)容進行分塊（每4個句子一塊），并使用T5-Encoder計算每個chunk和query的相似度保留top-J個內(nèi)容塊。這里會得到一個(Q1,chunk1)(Q1,chunk2),(Q2,chunk1),.....的（問題，事實）列表

**Revise Stage，獲取所有檢索到的事實之后，進入校驗階段。**論文會遍歷以上列表，針對每一個問題，分別先使用few-shot-cot判斷每個事實和模型回答X之間是否是一致的（agreement model如下）。如果一致則遍歷下一個，如果不一致則使用few-shot-prompt讓大模型基于事實+問題對模型回答進行修改（revision model如下）。論文在修改回答時，會先定位原始回答X中哪個span和事實不符再進行修改，從而避免大幅修改原始回答

評估部分，后處理方案需要兼顧對模型原始回答的保留和事實性，這里RARR提出了兩個指標：

• Attribution Score計算歸因得分，既給定所有事實，修改后回答Y中每個句子和所有事實的最大NLI打分的平均值，既整體回答能獲得事實性支撐的平均概率
• Preservation score計算保留率，由回答原始意圖的保留概率 * 前后答案的未改變率（編輯距離度量）得到

RARR最大的問題在于效率，一部分是大模型的推理效率，一方面是最后的Revise部分采用了串行修改，這部分在后面的微調(diào)方案中會有改良

另一篇論文CRITIC提出的verify-then-correct和RARR非常相似，只不過在不同的任務上嘗試使用了不同的外部工具進行校驗。在開放問答上使用搜索，在代碼問題就用代碼解釋器，并未涉及動態(tài)的工具選擇，只是在不同數(shù)據(jù)集上固定選用不同的工具，這里就不展開說啦，感興趣的盆友自己去看論文吧~

微調(diào)方案

• PURR: Efficiently Editing Language Model Hallucinations by Denoising Language Model Corruptions
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback
• Fusion-in-decoder: Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering

PURR針對RARR的效率問題進行了優(yōu)化，使用的是大模型能力通過數(shù)據(jù)蒸餾到小模型的方案，也就是把上面最耗時的Revise部分使用T5-large模型來實現(xiàn)，query生成的部分也用T5-large來實現(xiàn)，并且把串行修改的方案優(yōu)化為了所有事實進行一次性融合修改。

論文的核心就在于如何使用大模型來構(gòu)建用于事實性修改的T5模型。論文使用了corrput的方案，也就是把正確的回答，人為進行破壞構(gòu)造幻覺，再訓練模型進行還原，具體包含以下幾個步驟

1. 生成正確的回答：整理了來自各個領域和話題的6000個種子問題，每個問題調(diào)用搜索引擎獲取TopN網(wǎng)頁，并進行chunking分段，使用和上面RARR相同的T5-Encoder計算每個段落和Q的相似度，閾值以上的為positive evidence(\(E^+\))這里限制最多4條，其余閾值以下的為negative evidence（\(E^-\)）。然后使用zero-shot-prompt來讓大模型基于\(E^+\)生成多文檔總結(jié)，作為正確的回答Y。
2. 對回答添加噪聲：同樣使用大模型基于2shot-cot-prompt，來對以上獲得的正確答案進行破壞，指令要求大模型先生成修改方案，再對回答進行魔改。魔改包括但不限于魔改實體，魔改語義關系，魔改語法等等，這里論文使用了text-davinci-003，指令和效果如下圖

3. 訓練T5：微調(diào)使用\(E^+\)的事實和添加噪聲的回答作為輸入，模型目標是把噪聲回答修復成正確答案。這里如果\(E^+\)不足4條的會隨機采樣\(E^-\)這樣可以提高模型對噪聲事實的識別能力。值得說一下的是這里多個事實并非采用拼接的形式進行融合，而是使用Fusion-in-decoder的形式在encoder層編碼后進行拼接，再進入Decoder。

效果上PURR對比RARR，對模型原始回答有更高的保有率（Pres），以及更高的平均歸因率（Attr）。

但整體上后處理相關的論文，和實際應用中模型回答的錯誤的五花八門相比，還是簡化了太多。在實際應用中使用這類后處理的修復邏輯，感覺還有很多需要踩的坑。Anyway都是明年要解決的問題啦哈哈哈哈哈！新年快樂呀盆友們~

想看更全的大模型相關論文梳理·微調(diào)及預訓練數(shù)據(jù)和框架·AIGC應用，移步Github >> DecryPrompt

總結(jié)

以上是生活随笔為你收集整理的解密Prompt系列22. LLM Agent之RAG的反思：放弃了压缩还是智能么？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。