一、 Prompt Engineering(提示工程)
什么是Prompt Engineering?Prompt Engineering,即提示工程,是指設(shè)計(jì)和優(yōu)化輸入給大型語(yǔ)言模型(LLM)的文本提示(Prompt )的過(guò)程。這些提示旨在引導(dǎo)LLM 生成符合期望的、高質(zhì)量的輸出。它能夠根據(jù)特定任務(wù)需求優(yōu)化輸入提示,引導(dǎo)大語(yǔ)言模型生成更準(zhǔn)確、全面、符合格式要求的輸出,從而提升模型在多樣化應(yīng)用場(chǎng)景中的性能和實(shí)用性。
Prompt Engineering的核心要素在于通過(guò)明確的指示、相關(guān)的上下文、具體的例子以及準(zhǔn)確的輸入來(lái)精心設(shè)計(jì)提示,從而引導(dǎo)大語(yǔ)言模型生成符合預(yù)期的高質(zhì)量輸出。
指示(Instructions):明確告訴模型需要執(zhí)行的任務(wù)或生成的內(nèi)容類(lèi)型。這些指示應(yīng)該清晰、具體,避免歧義。
上下文(Context):為模型提供與任務(wù)相關(guān)的背景信息。上下文可以幫助模型更好地理解任務(wù),并生成更加準(zhǔn)確和相關(guān)的輸出。
例子(Examples):通過(guò)給出具體示例來(lái)展示期望的輸出格式或風(fēng)格。例子可以極大地提高模型的生成質(zhì)量,因?yàn)樗鼮槟P吞峁┝艘粋€(gè)明確的參考框架。
輸入(Input):任務(wù)的具體數(shù)據(jù)或信息。這是模型生成輸出的基礎(chǔ),輸入的質(zhì)量直接影響到輸出的質(zhì)量。
輸出(Output):雖然輸出不是Prompt Engineering的直接組成部分,但它是Prompt設(shè)計(jì)的最終目標(biāo)。通過(guò)不斷優(yōu)化Prompt ,我們可以引導(dǎo)模型產(chǎn)生更加符合期望的輸出。
二、Function Calling(函數(shù)調(diào)用)
什么是Function Calling?在生成式AI的上下文中,函數(shù)調(diào)用通常指的是LLM 在生成響應(yīng)時(shí),能夠識(shí)別并執(zhí)行特定的函數(shù)或API調(diào)用,以獲取額外的信息或執(zhí)行特定的任務(wù)。
函數(shù)調(diào)用增強(qiáng)了LLM的擴(kuò)展性和實(shí)用性,使其能夠跨越語(yǔ)言模型的邊界,與數(shù)據(jù)庫(kù)、Web服務(wù)等外部系統(tǒng)無(wú)縫交互,從而提供更加全面和實(shí)時(shí)的信息。
Function Calling在智能助手和自動(dòng)化流程中的應(yīng)用場(chǎng)景中,LLM 通過(guò)調(diào)用外部API或預(yù)設(shè)函數(shù)來(lái)集成多樣化服務(wù)與復(fù)雜操作,以滿(mǎn)足用戶(hù)請(qǐng)求并自動(dòng)化執(zhí)行流程。
在構(gòu)建智能助手時(shí),LLM可能需要根據(jù)用戶(hù)的請(qǐng)求調(diào)用外部服務(wù)(如天氣查詢(xún)API、數(shù)據(jù)庫(kù)查詢(xún)等 ),并將結(jié)果整合到其響應(yīng)中。
在自動(dòng)化流程中,LLM可以通過(guò)調(diào)用預(yù)設(shè)的函數(shù)來(lái)執(zhí)行一系列復(fù)雜的操作,如數(shù)據(jù)處理、文件生成等。
以查詢(xún)天氣為例,以下是LLM調(diào)用外部天氣API的具體流程:
用戶(hù)輸入:用戶(hù)向LLM 詢(xún)問(wèn)“今天北京的天氣怎么樣?”
理解需求:LLM解析用戶(hù)輸入,識(shí)別出用戶(hù)的意圖是查詢(xún)天氣。
決定是否使用工具:LLM判斷需要調(diào)用外部天氣API來(lái)獲取準(zhǔn)確信息。
準(zhǔn)備調(diào)用信息:LLM生成調(diào)用天氣API所需的參數(shù),如城市(北京)和日期(今天)。
發(fā)送請(qǐng)求:LLM將調(diào)用信息封裝成HTTP請(qǐng)求,發(fā)送給天氣API。
接收響應(yīng):天氣API返回當(dāng)前北京的天氣信息給LLM。
結(jié)合結(jié)果進(jìn)行回復(fù):LLM解析天氣信息,并生成易于理解的回復(fù)給用戶(hù),如“今天北京天氣晴朗,溫度25°C,適宜外出?!?/li>
三、RAG(檢索增強(qiáng)生成)
什么是RAG?RAG(Retrieval Augmented Generation,檢索增強(qiáng)生成)是一種結(jié)合檢索和生成的技術(shù),旨在提高LLM在生成響應(yīng)時(shí)的準(zhǔn)確性和信息量。它通過(guò)從外部知識(shí)庫(kù)中檢索相關(guān)信息,并將這些信息作為LLM 生成響應(yīng)的額外輸入。
精準(zhǔn)檢索:RAG通過(guò)信息檢索技術(shù),從大規(guī)模的文檔集合或知識(shí)庫(kù)中檢索出與給定輸入最相關(guān)的信息。這種檢索方式比傳統(tǒng)的關(guān)鍵詞匹配更加精準(zhǔn),能夠捕捉到更豐富的上下文信息。
高效檢索:RAG利用索引和檢索算法,如向量數(shù)據(jù)庫(kù)和查詢(xún)檢索器,快速地從文本數(shù)據(jù)中提取相關(guān)內(nèi)容。這大大提高了信息檢索的效率,使得模型能夠在短時(shí)間內(nèi)處理大量數(shù)據(jù)。
RAG在學(xué)術(shù)寫(xiě)作與新聞?wù)?報(bào)告生成中,助力LLM(大型語(yǔ)言模型)精準(zhǔn)檢索最新可靠信息,確保內(nèi)容權(quán)威性與時(shí)效性。
在學(xué)術(shù)寫(xiě)作中,RAG可以幫助LLM從大量文獻(xiàn)中檢索相關(guān)引用和論據(jù) ,從而生成更加權(quán)威和詳盡的論文。
在新聞?wù)驁?bào)告生成中,RAG可以確保LLM 生成的內(nèi)容基于最新的、可靠的信息源。
以處理關(guān)于“最新科技趨勢(shì)”的新聞?wù)獮槔?,RAG新聞?wù)?報(bào)告生成的示例流程:
用戶(hù)輸入:用戶(hù)向RAG系統(tǒng)請(qǐng)求一份關(guān)于“最新科技趨勢(shì)”的新聞?wù)?/li>
理解需求:RAG系統(tǒng)解析用戶(hù)輸入,識(shí)別出用戶(hù)的意圖是獲取關(guān)于最新科技趨勢(shì)的新聞?wù)?/li>
準(zhǔn)備檢索條件:RAG系統(tǒng)根據(jù)用戶(hù)請(qǐng)求,準(zhǔn)備檢索條件,如關(guān)鍵詞“最新科技趨勢(shì)”、時(shí)間范圍(如最近一周)等。
執(zhí)行檢索:
RAG系統(tǒng)將這些檢索條件輸入到新聞檢索API中。
檢索API從新聞數(shù)據(jù)庫(kù)中檢索出與“最新科技趨勢(shì)”相關(guān)的新聞文章。
這些文章被返回給RAG系統(tǒng),作為生成摘要的候選材料。
信息篩選與融合:
RAG系統(tǒng)對(duì)檢索到的新聞文章進(jìn)行篩選,去除重復(fù)、不相關(guān)或質(zhì)量不高的內(nèi)容。
系統(tǒng)將篩選后的文章進(jìn)行融合,提取關(guān)鍵信息點(diǎn),如新技術(shù)名稱(chēng)、應(yīng)用場(chǎng)景、影響等。
準(zhǔn)備生成提示:
RAG系統(tǒng)基于篩選和融合后的信息,構(gòu)建一個(gè)包含關(guān)鍵信息點(diǎn)的提示模版(Prompt )。
這個(gè)模版將作為生成模型的輸入,指導(dǎo)模型生成新聞?wù)?/li>
生成摘要:
RAG系統(tǒng)將提示模版輸入到生成模型中。
生成模型根據(jù)提示模版中的信息,結(jié)合自身的語(yǔ)言生成能力,生成新聞?wù)?/li>
生成的摘要既涵蓋了關(guān)鍵信息點(diǎn),又保持了語(yǔ)言的流暢性和易讀性。
四、Fine-tuning(微調(diào))
什么是Fine-tuning? Fine-Tuning是指使用特定領(lǐng)域的數(shù)據(jù)集對(duì)預(yù)訓(xùn)練的大型語(yǔ)言模型進(jìn)行進(jìn)一步訓(xùn)練的過(guò)程。通過(guò)微調(diào),模型可以學(xué)習(xí)到特定領(lǐng)域的知識(shí)和模式,從而在相關(guān)任務(wù)上表現(xiàn)更好。
在預(yù)訓(xùn)練模型的基礎(chǔ)上,針對(duì)特定任務(wù)或數(shù)據(jù)領(lǐng)域,通過(guò)在新任務(wù)的小規(guī)模標(biāo)注數(shù)據(jù)集上進(jìn)一步訓(xùn)練和調(diào)整模型的部分或全部參數(shù),使模型能夠更好地適應(yīng)新任務(wù),提高在新任務(wù)上的性能。
Fine-tuning在醫(yī)療和法律的應(yīng)用場(chǎng)景中,能夠顯著提升LLM對(duì)專(zhuān)業(yè)術(shù)語(yǔ)和復(fù)雜情境的理解能力,從而輔助生成精確的專(zhuān)業(yè)建議、報(bào)告或解答。
在醫(yī)療領(lǐng)域,可以使用醫(yī)療領(lǐng)域的專(zhuān)業(yè)數(shù)據(jù)對(duì)LLM 進(jìn)行微調(diào),以生成準(zhǔn)確的醫(yī)療建議或診斷報(bào)告。?
在法律領(lǐng)域,通過(guò)微調(diào)可以使LLM更好地理解法律術(shù)語(yǔ)和案例法,從而輔助法律文書(shū)的撰寫(xiě)或法律問(wèn)題的解答。
文章轉(zhuǎn)自微信公眾號(hào)@架構(gòu)師帶你玩轉(zhuǎn)AI
我們有何不同?
API服務(wù)商零注冊(cè)
多API并行試用
數(shù)據(jù)驅(qū)動(dòng)選型,提升決策效率
查看全部API→
??
熱門(mén)場(chǎng)景實(shí)測(cè),選對(duì)API