函數(shù)計(jì)算 FC 提供的試用額度[1] 可用于資源消耗。額度消耗完后按量計(jì)費(fèi),對(duì)于本教程所涉及的 Web服務(wù),只在有訪問的情況下才會(huì)產(chǎn)生費(fèi)用。

二、支持的模型列表

1.Ollama:輕量級(jí)推理框架,專注于量化模型部署及各種開源 LLM 部署

2.Transformer:由 Hugging Face 提供的模型推理框架,支持 PyTorch、TensorFlow 等模型部署

方式1. 模型服務(wù)部署

使用 API 形式進(jìn)行模型調(diào)用,接入線上業(yè)務(wù)應(yīng)用。

1. 創(chuàng)建空白項(xiàng)目

進(jìn)入CAP控制臺(tái)[2]點(diǎn)擊“創(chuàng)建空白項(xiàng)目”開始創(chuàng)建,并為項(xiàng)目命名。

首次使用云原生應(yīng)用開放平臺(tái) CAP [3]會(huì)自動(dòng)跳轉(zhuǎn)到訪問控制快速授權(quán)頁面,滾動(dòng)到瀏覽器底部單擊確認(rèn)授權(quán),等待授權(quán)結(jié)束后單擊返回控制臺(tái)。

2. 選擇模型服務(wù)

選擇“模型服務(wù)”組件并創(chuàng)建;

3. 預(yù)覽&部署

選擇模型 “DeepSeek-R1-Distill-Qwen-7B-GGUF”

點(diǎn)擊“資源配置”開始配置卡型及規(guī)格(可直接使用默認(rèn)配置)。

您也可以根據(jù)業(yè)務(wù)訴求填寫需要的卡型信息,DeepSeek-R1-Distill-Qwen-7B-GGUF 推薦使用 Tesla 系列。

點(diǎn)擊“預(yù)覽并部署”,該階段需下載模型,預(yù)計(jì)等待 10 分鐘左右即可完成。

4. 嘗試更多模型部署

如果您希望部署更多模型,但是支持列表中沒有,您可以 選擇“更多模型來源”。

如模型來源選擇“ModelScope” ,點(diǎn)擊“獲取 ModelScope 支持模型列表”[4]。

以 DeepSeek-R1-Distill-Qwen-7B-GGUF 為例,模版參考信息:

ModelScope ID:lmstudio-community/DeepSeek-R1-Distill-Qwen-7B-GGUF

執(zhí)行框架:Ollama

模型加載方式:?jiǎn)挝募虞d

GGUF 文件:DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

若希望支持列表中沒有的更多模型,可至 modelscope 復(fù)制相關(guān)模型 ID,并修改為加載的 GGUF 文件即可。

以 DeepSeek 14B [5]為例,如希望部署 14B 模型可將配置改為:

ModelScope ID:lmstudio-community/DeepSeek-R1-Distill-Qwen-14B-GGUF

GGUF 文件:DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf

更多 ollama 參數(shù)配置如 params,template 等,可參考 DeepSeek ollama library[6]

14B 及以上模型需在資源配置中使用 Ada 系顯卡,并且推薦使用全卡預(yù)留(48G顯存);

5. 驗(yàn)證模型服務(wù)

點(diǎn)擊調(diào)試,即可測(cè)試和驗(yàn)證相關(guān)模型調(diào)用。

在本地 IDE 中驗(yàn)證模型調(diào)用:

6. 第三方平臺(tái) API 調(diào)用

您可以選擇在 Chatbox 等其他第三方平臺(tái)中驗(yàn)證和引用模型調(diào)用,以下以 chatbox 為例:

您可以自主切換至 deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B/14B/32B 或其他參數(shù)模型。

同時(shí),Cap 模型部署也支持多種模型部署能力,您可根據(jù)業(yè)務(wù)自行配置相關(guān)信息。

方式2 : 應(yīng)用模版部署

實(shí)現(xiàn) DeepSeek-R1 模型 + OpenWebUI 部署。

1. 創(chuàng)建項(xiàng)目

點(diǎn)擊如下鏈接新建項(xiàng)目:

https://cap.console.aliyun.com/projects

2. 部署模版

搜索 “DeepSeek” ,點(diǎn)擊 “基于 DeepSeek-R1 構(gòu)建AI聊天助手” 模版并部署。

選擇 Region 并部署應(yīng)用。

部署過程大約持續(xù) 10 分鐘左右。

3. 驗(yàn)證應(yīng)用

部署完畢后,點(diǎn)擊 OpenWebUI 服務(wù),在訪問地址內(nèi)找到“公網(wǎng)訪問”。

在 OpenWebUI 界面驗(yàn)證 DeepSeek 模型對(duì)話。

文章轉(zhuǎn)載自:0代碼!2種方式一鍵部署 DeepSeek 系列模型

上一篇:

云端部署DeepSeek操作指南

下一篇:

微調(diào)碾壓RAG?大模型意圖識(shí)別工程化實(shí)踐
#你可能也喜歡這些API文章!

我們有何不同?

API服務(wù)商零注冊(cè)

多API并行試用

數(shù)據(jù)驅(qū)動(dòng)選型,提升決策效率

查看全部API→
??

熱門場(chǎng)景實(shí)測(cè),選對(duì)API

#AI文本生成大模型API

對(duì)比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力

25個(gè)渠道
一鍵對(duì)比試用API 限時(shí)免費(fèi)

#AI深度推理大模型API

對(duì)比大模型API的邏輯推理準(zhǔn)確性、分析深度、可視化建議合理性

10個(gè)渠道
一鍵對(duì)比試用API 限時(shí)免費(fèi)