
PixverseAI互動(dòng)功能(HUG)在AI擁抱視頻生成中的應(yīng)用
函數(shù)計(jì)算 FC 提供的試用額度[1] 可用于資源消耗。額度消耗完后按量計(jì)費(fèi),對(duì)于本教程所涉及的 Web服務(wù),只在有訪問的情況下才會(huì)產(chǎn)生費(fèi)用。
1.Ollama:輕量級(jí)推理框架,專注于量化模型部署及各種開源 LLM 部署
2.Transformer:由 Hugging Face 提供的模型推理框架,支持 PyTorch、TensorFlow 等模型部署
方式1. 模型服務(wù)部署
使用 API 形式進(jìn)行模型調(diào)用,接入線上業(yè)務(wù)應(yīng)用。
進(jìn)入CAP控制臺(tái)[2]點(diǎn)擊“創(chuàng)建空白項(xiàng)目”開始創(chuàng)建,并為項(xiàng)目命名。
首次使用云原生應(yīng)用開放平臺(tái) CAP [3]會(huì)自動(dòng)跳轉(zhuǎn)到訪問控制快速授權(quán)頁面,滾動(dòng)到瀏覽器底部單擊確認(rèn)授權(quán),等待授權(quán)結(jié)束后單擊返回控制臺(tái)。
選擇“模型服務(wù)”組件并創(chuàng)建;
選擇模型 “DeepSeek-R1-Distill-Qwen-7B-GGUF”
點(diǎn)擊“資源配置”開始配置卡型及規(guī)格(可直接使用默認(rèn)配置)。
您也可以根據(jù)業(yè)務(wù)訴求填寫需要的卡型信息,DeepSeek-R1-Distill-Qwen-7B-GGUF 推薦使用 Tesla 系列。
點(diǎn)擊“預(yù)覽并部署”,該階段需下載模型,預(yù)計(jì)等待 10 分鐘左右即可完成。
如果您希望部署更多模型,但是支持列表中沒有,您可以 選擇“更多模型來源”。
如模型來源選擇“ModelScope” ,點(diǎn)擊“獲取 ModelScope 支持模型列表”[4]。
以 DeepSeek-R1-Distill-Qwen-7B-GGUF 為例,模版參考信息:
ModelScope ID:lmstudio-community/DeepSeek-R1-Distill-Qwen-7B-GGUF
執(zhí)行框架:Ollama
模型加載方式:?jiǎn)挝募虞d
GGUF 文件:DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
若希望支持列表中沒有的更多模型,可至 modelscope 復(fù)制相關(guān)模型 ID,并修改為加載的 GGUF 文件即可。
以 DeepSeek 14B [5]為例,如希望部署 14B 模型可將配置改為:
ModelScope ID:lmstudio-community/DeepSeek-R1-Distill-Qwen-14B-GGUF
GGUF 文件:DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf
更多 ollama 參數(shù)配置如 params,template 等,可參考 DeepSeek ollama library[6]
14B 及以上模型需在資源配置中使用 Ada 系顯卡,并且推薦使用全卡預(yù)留(48G顯存);
點(diǎn)擊調(diào)試,即可測(cè)試和驗(yàn)證相關(guān)模型調(diào)用。
在本地 IDE 中驗(yàn)證模型調(diào)用:
您可以選擇在 Chatbox 等其他第三方平臺(tái)中驗(yàn)證和引用模型調(diào)用,以下以 chatbox 為例:
您可以自主切換至 deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B/14B/32B 或其他參數(shù)模型。
同時(shí),Cap 模型部署也支持多種模型部署能力,您可根據(jù)業(yè)務(wù)自行配置相關(guān)信息。
方式2 : 應(yīng)用模版部署
實(shí)現(xiàn) DeepSeek-R1 模型 + OpenWebUI 部署。
點(diǎn)擊如下鏈接新建項(xiàng)目:
https://cap.console.aliyun.com/projects
搜索 “DeepSeek” ,點(diǎn)擊 “基于 DeepSeek-R1 構(gòu)建AI聊天助手” 模版并部署。
選擇 Region 并部署應(yīng)用。
部署過程大約持續(xù) 10 分鐘左右。
部署完畢后,點(diǎn)擊 OpenWebUI 服務(wù),在訪問地址內(nèi)找到“公網(wǎng)訪問”。
在 OpenWebUI 界面驗(yàn)證 DeepSeek 模型對(duì)話。
文章轉(zhuǎn)載自:0代碼!2種方式一鍵部署 DeepSeek 系列模型
PixverseAI互動(dòng)功能(HUG)在AI擁抱視頻生成中的應(yīng)用
阿里云百煉平臺(tái)的全面解析
國家超算互聯(lián)網(wǎng)平臺(tái) 網(wǎng)址:探索高效計(jì)算的新時(shí)代
英偉達(dá) A800:高性能計(jì)算與 AI 的先鋒
國家超算互聯(lián)網(wǎng)平臺(tái)上線:推動(dòng)AI技術(shù)與應(yīng)用的新時(shí)代
英偉達(dá)AI的未來:在馬來西亞的投資機(jī)會(huì)與策略
國家超算互聯(lián)網(wǎng)平臺(tái):探索未來的AI算力
Deepgram API 價(jià)格:探索高效語音轉(zhuǎn)文字解決方案
Lovo AI API 文本轉(zhuǎn)語音:解鎖語音合成的無限可能
對(duì)比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力
一鍵對(duì)比試用API 限時(shí)免費(fèi)