3.0 為什么進(jìn)行參數(shù)高效微調(diào)？

3.1 prompt tuning

3.2 prefix tuning

3.3 adapter

3.4 LLaMA adapter

3.5 LoRA

3.6 實(shí)驗(yàn)比較

導(dǎo)讀

理解大語(yǔ)言模型，可以從‘LLM的架構(gòu)、LLL的訓(xùn)練、LLL的微調(diào)’三個(gè)方面進(jìn)行，也可以針對(duì)需求重點(diǎn)理解一部分。例如，訓(xùn)練+微調(diào)，可以讀后兩篇，只做微調(diào)，讀最后一篇。

• 一文說(shuō)盡大語(yǔ)言模型技術(shù)之一：LLM的架構(gòu)
• 一文說(shuō)盡大語(yǔ)言模型技術(shù)之二：LLM的分布式預(yù)訓(xùn)練
• 一文說(shuō)盡大語(yǔ)言模型技術(shù)之三：LLM的參數(shù)高效微調(diào)

參考資料

原文轉(zhuǎn)自 微信公眾號(hào)@AI大模型前沿

#你可能也喜歡這些API文章!

應(yīng)用程序開(kāi)發(fā)中不可或缺的開(kāi)放API

開(kāi)發(fā)者生產(chǎn)力提升的API終極指南

制定藍(lán)圖：什么樣的API策略能夠確保未來(lái)的成功？

詳解API：應(yīng)用程序編程接口終極指南

精通API規(guī)范：構(gòu)建明確指導(dǎo)和預(yù)期的指南

API 優(yōu)先方法如何徹底改變軟件開(kāi)發(fā)

掌握良好的 API 設(shè)計(jì)原則：是什么、為什么和怎么辦

API-first產(chǎn)品經(jīng)理的熱門(mén) API 工具和 API 指標(biāo)

ChatGPT生態(tài)系統(tǒng)的安全漏洞導(dǎo)致第三方網(wǎng)站賬戶(hù)和敏感數(shù)據(jù)泄露