
如何快速實(shí)現(xiàn)REST API集成以優(yōu)化業(yè)務(wù)流程
? ? ? 在檢索增強(qiáng)生成 (RAG) 的上下文中,Graph RAG 引入了一項(xiàng)重大增強(qiáng)功能:使用大型語(yǔ)言模型 (LLM(最好是 GPT-4) 將源文檔塊轉(zhuǎn)換為實(shí)體和關(guān)系。這個(gè)預(yù)處理步驟至關(guān)重要,因?yàn)閷?shí)體及其之間關(guān)系的準(zhǔn)確提取對(duì)于后續(xù)的知識(shí)圖譜構(gòu)建至關(guān)重要,這因領(lǐng)域而異。
?當(dāng)我們仔細(xì)觀察架構(gòu)時(shí),我們可以看到,首先將文檔拆分為可管理的塊,并將這些塊轉(zhuǎn)換為實(shí)體和關(guān)系,這些實(shí)體和關(guān)系構(gòu)成了知識(shí)圖譜的基礎(chǔ)。利用 LLM,我們?yōu)槊總€(gè)節(jié)點(diǎn)確定最接近的社區(qū),從而創(chuàng)建分層結(jié)構(gòu)。此層次結(jié)構(gòu)允許模型生成社區(qū)級(jí)別的摘要,然后將其存儲(chǔ)在向量數(shù)據(jù)庫(kù)中。
? ? ? 當(dāng)用戶提交查詢時(shí),將對(duì)其進(jìn)行處理以標(biāo)識(shí)最相關(guān)的社區(qū)級(jí)別。系統(tǒng)從排名最高的社區(qū)檢索摘要,并使用 LLM。
? ? ? ?RAG(檢索增強(qiáng)生成)和 Graph RAG 都有自己的優(yōu)點(diǎn)和缺點(diǎn)。從我審查過(guò)的幾個(gè)測(cè)試用例來(lái)看,每種方法產(chǎn)生的響應(yīng)都存在顯著差異。
? ? ? 與傳統(tǒng) RAG 相比,Graph RAG 的主要優(yōu)勢(shì)在于它能夠檢索有關(guān)查詢中提到的實(shí)體的全面詳細(xì)信息。Graph RAG 不僅獲取有關(guān)查詢實(shí)體的詳細(xì)信息,還標(biāo)識(shí)并將其與其他連接的實(shí)體相關(guān)聯(lián)。相比之下,標(biāo)準(zhǔn) RAG 檢索的信息僅限于特定文檔塊,更廣泛的關(guān)系和聯(lián)系捕獲不足。
? ? ? ?Graph RAG 的增強(qiáng)功能也有其自身的挑戰(zhàn)。在我的實(shí)驗(yàn)中,我提取了一個(gè)包含大約 83,000 個(gè)令牌的文件,這些令牌需要分塊和嵌入。使用標(biāo)準(zhǔn)的 RAG 方法,使用大致相同數(shù)量的令牌創(chuàng)建嵌入。當(dāng)我使用 Graph RAG 攝取同一個(gè)文件時(shí),該過(guò)程涉及大量的提示和處理,產(chǎn)生了大約 1,000,000 個(gè)令牌——幾乎是單個(gè)文件原始令牌計(jì)數(shù)的 12 倍。
本文章轉(zhuǎn)載微信公眾號(hào)@ArronAI
對(duì)比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力
一鍵對(duì)比試用API 限時(shí)免費(fèi)