Mixtral 8x7B v0.1 是 Mistral AI 于 2023 年 12 月發(fā)布的開源大型語(yǔ)言模型，采用稀疏混合專家（SMoE）架構(gòu)。模型由 8 個(gè)各含 70 億參數(shù)的專家組成，總參數(shù)量達(dá) 46.7 億，但每次推理僅激活 2 個(gè)專家，約 12.9 億參數(shù)，兼顧性能與效率。該模型支持最長(zhǎng) 32K token 的上下文處理，在多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異，性能超過 LLaMA 2 70B 和 GPT-3.5。

Mixtral 8x7B Instruct v0.1 是 Mistral AI 于 2023 年 12 月發(fā)布的開源指令微調(diào)語(yǔ)言模型，采用稀疏混合專家（SMoE）架構(gòu)，擁有 46.7 億總參數(shù)。每個(gè) token 推理時(shí)僅激活 2 個(gè)專家，總計(jì)約 12.9 億活躍參數(shù)，兼顧性能與效率。該模型支持最長(zhǎng) 32K token 的上下文處理，在數(shù)學(xué)、代碼生成和多語(yǔ)言任務(wù)中表現(xiàn)優(yōu)異，性能超過 LLaMA 2 70B 和 GPT-3.5。

Mistral-7B-Instruct-v0.3 是 Mistral AI 于 2024 年 5 月發(fā)布的開源指令微調(diào)語(yǔ)言模型，擁有 70 億參數(shù)，專為對(duì)話生成、任務(wù)執(zhí)行和文本創(chuàng)作等場(chǎng)景優(yōu)化。該模型基于 Mistral-7B-v0.3 架構(gòu)，采用 Grouped-Query Attention（GQA）機(jī)制，支持最長(zhǎng) 32K token 的上下文處理，推理速度快，資源效率高。相較于 v0.2 版本，v0.3 擴(kuò)展了詞匯表至 32,768，支持 v3 分詞器，并引入了函數(shù)調(diào)用功能，顯著提升了模型的指令跟隨能力和上下文理解能力。

Mistral-7B-Instruct-v0.2 是 Mistral AI 于 2023 年底發(fā)布的開源指令微調(diào)語(yǔ)言模型，擁有 70 億參數(shù)，專為對(duì)話生成、任務(wù)執(zhí)行和文本創(chuàng)作等場(chǎng)景優(yōu)化。該模型基于 Mistral-7B-v0.2 架構(gòu)，采用 Grouped-Query Attention（GQA）機(jī)制，支持最長(zhǎng) 32K token 的上下文處理，推理速度快，資源效率高。

LLaMA-2 Chat（13B）是 Meta 于 2023 年 7 月發(fā)布的開源對(duì)話語(yǔ)言模型，擁有 130 億參數(shù)，專為多輪對(duì)話和指令跟隨任務(wù)優(yōu)化。該模型采用優(yōu)化的 Transformer 架構(gòu)，通過監(jiān)督微調(diào)（SFT）和人類反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行訓(xùn)練，提升了回答的準(zhǔn)確性和安全性。LLaMA-2 Chat 在多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異，性能媲美閉源模型，適用于智能助手、內(nèi)容創(chuàng)作和多語(yǔ)言對(duì)話等場(chǎng)景。

LLaMA-2 Chat（7B）是 Meta 于 2023 年 7 月發(fā)布的開源對(duì)話語(yǔ)言模型，擁有 70 億參數(shù)，專為多輪對(duì)話和指令跟隨任務(wù)優(yōu)化。該模型采用優(yōu)化的 Transformer 架構(gòu)，通過監(jiān)督微調(diào)（SFT）和人類反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行訓(xùn)練，提升了回答的準(zhǔn)確性和安全性。LLaMA-2 Chat 在多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異，性能媲美閉源模型，適用于智能助手、內(nèi)容創(chuàng)作和多語(yǔ)言對(duì)話等場(chǎng)景。

Llama 3.3 70B Instruct Turbo 是 Meta 于 2024 年 12 月 6 日發(fā)布的高性能指令微調(diào)大型語(yǔ)言模型，擁有 700 億參數(shù)，專為多語(yǔ)言對(duì)話、文本生成和翻譯等任務(wù)優(yōu)化。該模型采用 FP8 量化技術(shù)，顯著提升推理速度，在保持高準(zhǔn)確率的同時(shí)，降低了資源消耗。支持最長(zhǎng) 128K token 的上下文處理，覆蓋英語(yǔ)、德語(yǔ)、法語(yǔ)、意大利語(yǔ)、葡萄牙語(yǔ)、印地語(yǔ)、西班牙語(yǔ)和泰語(yǔ)等 8 種語(yǔ)言。

Llama 3 70B Instruct Reference 是 Meta 于 2024 年 4 月 18 日發(fā)布的開源大型語(yǔ)言模型，擁有 700 億參數(shù)，專為指令跟隨和對(duì)話任務(wù)優(yōu)化。該模型采用優(yōu)化的 Transformer 架構(gòu)，結(jié)合監(jiān)督微調(diào)（SFT）和人類反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行訓(xùn)練，提升了回答的準(zhǔn)確性和安全性。在多個(gè)行業(yè)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異，適用于智能助手、內(nèi)容創(chuàng)作和多語(yǔ)言對(duì)話等場(chǎng)景。

Llama 3 70B Instruct Lite 是 Meta 于 2024 年 4 月 18 日發(fā)布的開源大型語(yǔ)言模型，擁有 700 億參數(shù)，專為對(duì)話生成和指令跟隨任務(wù)優(yōu)化。該模型采用監(jiān)督微調(diào)（SFT）和人類反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行訓(xùn)練，提升了回答的準(zhǔn)確性和安全性。在多個(gè)行業(yè)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異，適用于智能助手、內(nèi)容創(chuàng)作和多語(yǔ)言對(duì)話等場(chǎng)景。

Llama 3.1 8B Instruct Turbo 是 Meta 于 2024 年 7 月發(fā)布的高性能開源語(yǔ)言模型，擁有 80 億參數(shù)，專為對(duì)話生成和多語(yǔ)言任務(wù)優(yōu)化。該模型采用 FP8 量化技術(shù)，顯著提升推理速度和資源效率，適用于智能助手、內(nèi)容創(chuàng)作和多語(yǔ)言對(duì)話等場(chǎng)景。