2. 偏好對齊方法（Preference Alignment）

(1) 基于人類反饋的強(qiáng)化學(xué)習(xí)（Reinforcement Learning with Human Feedback, RLHF）

• 三步流程：

1. 收集偏好數(shù)據(jù)集：針對同一個(gè)問題，提供兩個(gè)答案并標(biāo)注優(yōu)劣。
2. 訓(xùn)練獎勵(lì)模型（Reward Model）：基于偏好數(shù)據(jù)集，構(gòu)建一個(gè)評分機(jī)制。
3. 強(qiáng)化學(xué)習(xí)優(yōu)化：結(jié)合獎勵(lì)模型與強(qiáng)化學(xué)習(xí)算法（如 PPO），教導(dǎo) LLM 提供更優(yōu)質(zhì)的回答。

• 典型訓(xùn)練流程：預(yù)訓(xùn)練 → SFT → 偏好對齊。
• 優(yōu)缺點(diǎn)：雖然效果顯著，但訓(xùn)練過程復(fù)雜且需要大量人力標(biāo)注。

(2) 直接偏好優(yōu)化（Direct Preference Optimization, DPO）

• 特點(diǎn)：

• 直接使用損失函數(shù)對偏好進(jìn)行優(yōu)化，無需訓(xùn)練獎勵(lì)模型。
• 訓(xùn)練過程更簡單，且更穩(wěn)定。

• 適用場景：大部分應(yīng)用中，DPO 是更易于實(shí)施的選擇，尤其在小型數(shù)據(jù)集上更具優(yōu)勢。
• 研究發(fā)現(xiàn)：在部分?jǐn)?shù)據(jù)集中，RLHF 仍表現(xiàn)更佳，但成本較高。

(3) 單體偏好優(yōu)化（Monolithic Preference Optimization, ORPO）

• 創(chuàng)新點(diǎn)：ORPO 是 2024 年提出的全新方法，旨在融合 SFT 和偏好對齊的步驟。
• 原理：

• 解決了 SFT 過程中負(fù)對樣本（不偏好的答案）缺乏懲罰的問題。
• 在優(yōu)化過程中，不僅提升了理想答案的預(yù)測概率，還有效減少了不理想答案的可能性。
• 優(yōu)勢：結(jié)合領(lǐng)域知識學(xué)習(xí)和偏好對齊，同時(shí)保證收斂穩(wěn)定性，適合更復(fù)雜的微調(diào)任務(wù)。

原文：https://arxiv.org/abs/2403.07691

ORPO Fine-tuning：https://huggingface.co/blog/mlabonne/orpo-llama-3

微調(diào)LLM常用的工具庫與框架

在微調(diào)大語言模型（LLMs）的過程中，選擇合適的工具庫和框架可以極大地簡化開發(fā)流程，提高效率。以下是常用的工具和集成框架匯總，讓你快速入門并靈活應(yīng)用。

常用工具庫

1. bitsandbytes

• 提供多種 LLM 量化（quantization）相關(guān)的工具，包括層（layer）、函數(shù)（function）和優(yōu)化器（optimizer）。
• 適用于需要優(yōu)化存儲和算力的任務(wù)，尤其是大規(guī)模模型的微調(diào)。

2. Parameter-Efficient Fine-Tuning (PEFT)

• 專注于參數(shù)高效微調(diào)，提供多種方法，其中最知名的是 LoRA（Low-Rank Adaptation）及其衍生算法。
• 隸屬于 HuggingFace 生態(tài)系統(tǒng)，支持無縫集成 HuggingFace 的模型，非常適合快速開發(fā)和實(shí)驗(yàn)。

3. Transformer Reinforcement Learning (TRL)

• SFT（監(jiān)督式微調(diào)）。
• RLHF所需的獎勵(lì)建模（Reward Modeling, RM）和近端策略優(yōu)化（PPO）。
• DPO（直接偏好優(yōu)化）。
• 同樣屬于 HuggingFace 生態(tài)系統(tǒng)，支持多種微調(diào)方法：
• 適合需要實(shí)現(xiàn)復(fù)雜訓(xùn)練流程的開發(fā)者。

4. wandb

• 用于跟蹤和記錄模型訓(xùn)練過程中的數(shù)據(jù)，包括超參數(shù)設(shè)置、訓(xùn)練進(jìn)度等信息。
• 是許多訓(xùn)練框架的配套工具，讓實(shí)驗(yàn)更加可視化和規(guī)范化。

常用微調(diào)框架

1. LLaMA-Factory

• 微調(diào)框架，盡管以 “LLaMA” 命名，但實(shí)際上支持超過 100 種語言模型（LM）。
• 提供微調(diào)所需的各種工具，并集成了友好的 WebUI 界面，大幅簡化了訓(xùn)練流程，非常適合初學(xué)者快速上手。

2. Alpaca-Lora

• 早期開源項(xiàng)目，提供簡單的微調(diào)腳本，支持基礎(chǔ)的 LoRA 微調(diào)功能。
• 注意：項(xiàng)目已停止更新，但仍可作為入門參考（曾有人提議整合 QLoRA，但未被采納）。

3. torchtune

• 由 PyTorch 團(tuán)隊(duì)推出的微調(diào)框架，整體架構(gòu)設(shè)計(jì)簡潔易懂，適合學(xué)習(xí)和實(shí)踐。
• 推薦：框架上手簡單，本文后續(xù)會提供獨(dú)立教程，進(jìn)一步介紹其使用方法與案例。

完整代碼：

Github REAME : https://github.com/jeff52415/yoga-model-hub/blob/main/docs/fine_tune_llm.md

Jupyter Notebook Tutorial：https://github.com/jeff52415/yoga-model-hub/blob/main/notebooks/fine_tune_llm.ipynb

原文轉(zhuǎn)載出自：@AI技術(shù)研習(xí)社《如何提升預(yù)訓(xùn)練LLMs：從零打造到微調(diào)優(yōu)化的全攻略》

#你可能也喜歡這些API文章!

API開發(fā)中的日志記錄價(jià)值

如何實(shí)現(xiàn)API的多語言支持

API與數(shù)據(jù)庫的連接優(yōu)化

如何處理API大數(shù)據(jù)傳輸與響應(yīng)優(yōu)化

如何集成第三方API的最佳實(shí)踐

API測試用例編寫技巧

API接口的冪等性設(shè)計(jì)

API數(shù)據(jù)格式選擇建議

API開發(fā)中的依賴管理