人妻丰满熟妇av无码区app,日本乱偷人妻中文字幕,欧美精品hdvideosex4k

論文地址：https://arxiv.org/pdf/2311.09210.pdf

檢索增強(qiáng)語言模型（RALM）已成為自然語言處理中一種強(qiáng)大的新范式。通過將大型預(yù)訓(xùn)練語言模型與外部知識(shí)檢索相結(jié)合，RALM可以減少事實(shí)錯(cuò)誤和幻覺，同時(shí)注入最新知識(shí)。然而，目前的RALM面臨以下幾個(gè)關(guān)鍵挑戰(zhàn)：

噪聲檢索（Noisy retrieval）：不相關(guān)的檢索文檔可能會(huì)誤導(dǎo)模型并導(dǎo)致錯(cuò)誤的響應(yīng)；
未知魯棒性（Unknown robustness）：RALM很難確定他們是否有足夠的知識(shí)來回答問題，當(dāng)缺乏信息時(shí)，應(yīng)該默認(rèn)為“未知”；
缺乏透明度（Lack of transparency）：目前尚不清楚RALM是如何利用檢索到的信息來生成回應(yīng)的。

? ? ? ?為了解決這些問題，騰訊人工智能實(shí)驗(yàn)室的研究人員在他們的論文《CHAIN-OF-NOTE: ENHANCING ROBUSTNESS IN RETRIEVAL-AUGMENTED LANGUAGE MODELS》中提出了一個(gè)新的框架，稱為筆記鏈（CON）。

一、筆記鏈概述

筆記鏈的關(guān)鍵思想是通過對(duì)檢索到的每個(gè)文檔進(jìn)行總結(jié)和評(píng)估，讓模型生成閱讀筆記，然后再生成最終的回應(yīng)。此記錄過程可以增強(qiáng)模型的以下能力：

評(píng)估檢索到文檔的相關(guān)性
識(shí)別可靠信息與誤導(dǎo)信息
過濾掉無關(guān)或不可信的內(nèi)容
認(rèn)識(shí)到知識(shí)差距并回應(yīng)“未知”

具體而言，給定一個(gè)問題和k個(gè)檢索到的文檔，“筆記鏈”會(huì)進(jìn)行如下操作：

筆記生成：為每個(gè)文檔創(chuàng)建1個(gè)閱讀筆記，然后分析其相關(guān)性；
綜合：整合筆記中的見解來確定最終回應(yīng)。

這種方法反映了人類的推理——將問題分解為更小的步驟。筆記為模型的思維過程提供了透明度，并提高了其噪聲和未知穩(wěn)健性。

二、閱讀筆記的類型

筆記鏈生成的筆記可分為三類：

相關(guān)（Relevant）：文檔可以直接回答問題，最終的回復(fù)只來自該文檔；
無關(guān)但有用的上下文（Irrelevant but useful context）：文檔沒有回答問題，但提供了有用的背景。該模型將其知識(shí)與上下文相結(jié)合可以推斷出答案；
無關(guān)（Irrelevant）：文檔是無關(guān)的，模型缺乏知識(shí)來回答。默認(rèn)響應(yīng)為“未知”。

? ? ? ?該系統(tǒng)允許模型在直接檢索信息、進(jìn)行推斷和承認(rèn)其局限性之間取得平衡。

三、筆記示例

筆記鏈（CON）框架根據(jù)檢索到的文檔與輸入問題的相關(guān)性生成三種類型的閱讀筆記。以下是每種類型的筆記的示例：

3.1 類型1——直接回答：

輸入問題：“法國首都是什么？”

檢索文件：一篇討論法國各個(gè)城市的文章。

生成的筆記：“正如文章中所提到的，法國的首都是巴黎?！?/p>

最后回應(yīng)：“法國首都是巴黎。”

3.2 類型2——有用上下文：

輸入問題：“光合作用是如何工作的？”

檢索文件：解釋植物生物學(xué)基礎(chǔ)的文本，不直接涉及光合作用。

生成筆記：“雖然該文件沒有直接解釋光合作用，但它提供了有關(guān)植物生物學(xué)的有用信息，表明光合作用是植物將光轉(zhuǎn)化為能量的過程。”

最后回應(yīng)：“光合作用是植物將光轉(zhuǎn)化為能量的過程，包括葉綠素對(duì)光的吸收以及二氧化碳和水轉(zhuǎn)化為葡萄糖和氧氣。”

3.3 類型3——無關(guān)或未知：

輸入問題：“量子計(jì)算的最新進(jìn)展是什么？”

檢索文檔：一篇討論經(jīng)典計(jì)算技術(shù)的文章。

生成的筆記：“檢索到的文檔不包括量子計(jì)算，而是專注于經(jīng)典計(jì)算技術(shù)。該模型缺乏足夠的信息來根據(jù)此文檔進(jìn)行回答?！?/p>

最終回應(yīng)：“未知，因?yàn)楝F(xiàn)有文件沒有提供量子計(jì)算最新進(jìn)展的相關(guān)信息。”

這些例子說明了CON框架如何處理不同類型的文檔：直接使用相關(guān)文檔中的信息，從上下文有用的文檔中推斷答案，并承認(rèn)知識(shí)或無關(guān)信息中的差距。

四、訓(xùn)練模型

為了訓(xùn)練一個(gè)模型來生成閱讀筆記，騰訊團(tuán)隊(duì)執(zhí)行如下步驟：

使用ChatGPT為不同類型的筆記生成10K的訓(xùn)練數(shù)據(jù)；
使用這些數(shù)據(jù)對(duì)LLaMa-2模型進(jìn)行微調(diào)，以增強(qiáng)模型記筆記的能力；
使用加權(quán)損失函數(shù)策略，將訓(xùn)練重點(diǎn)放在最終答案的準(zhǔn)確性上。

五、評(píng)估筆記鏈

在幾個(gè)QA數(shù)據(jù)集的實(shí)驗(yàn)表明：

提高了QA性能：從上表2可以看出，當(dāng)使用檢索到的文檔時(shí)，Chain of Note的平均得分比標(biāo)準(zhǔn)RALM高+1.97 EM；
增強(qiáng)了噪聲魯棒性：從上表3可以看出，在給定不相關(guān)的檢索文檔的情況下，與標(biāo)準(zhǔn)RALM相比，Chain of Note將EM得分提高了+7.9；
更好的未知穩(wěn)健性：從上表4可以看出，在域外問題上，筆記鏈將拒絕率提高了+10.5。