安裝完成后,用戶可以在終端中輸入ollama命令來查看Ollama支持的所有命令,包括啟動(dòng)、創(chuàng)建模型、運(yùn)行模型等。

Usage:
  ollama [flags]
  ollama [command]
Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command
Flags:
  -h, --help      help for ollama
  -v, --version   Show version information
Use "ollama [command] --help" for more information about a command.

2. Ollama的配置

Ollama安裝后自動(dòng)啟動(dòng)本地服務(wù),用戶可以通過訪問本地API端口來驗(yàn)證是否安裝成功。默認(rèn)情況下,Ollama監(jiān)聽在localhost的11434端口。用戶可以通過以下命令來測試服務(wù)是否正常啟動(dòng):

curl http://localhost:11434/api/generate -d '{"model": "qwen2","prompt": "who are you?","stream":false}'

如果返回正常的結(jié)果,則說明API服務(wù)已成功啟動(dòng)。

API調(diào)用結(jié)果

3. 配置遠(yuǎn)程訪問和自定義模型路徑

為了支持遠(yuǎn)程訪問,用戶需要配置環(huán)境變量OLLAMA_HOST0.0.0.0,這樣就可以通過IP地址訪問API服務(wù)。此外,用戶可以通過配置OLLAMA_MODELS來更改大模型的默認(rèn)存儲路徑。更改配置后,需要重啟Ollama服務(wù)使其生效。

環(huán)境變量配置

部署和運(yùn)行大模型

實(shí)際部署大模型時(shí),用戶可以選擇不同的模型版本進(jìn)行安裝和運(yùn)行。以LLaMA3模型為例,用戶可以通過以下命令來運(yùn)行模型:

ollama run llama3

如果模型未下載,Ollama會(huì)自動(dòng)進(jìn)行下載。下載完成后,模型將自動(dòng)啟動(dòng)。

大模型部署成功

在LangChain中使用Ollama

1. Jupyter環(huán)境中的使用

用戶可以在Jupyter Notebook中通過LangChain直接調(diào)用Ollama。需要首先安裝Jupyterlab,然后創(chuàng)建一個(gè)新的Notebook文件,輸入如下代碼來調(diào)用模型:

from langchain_community.chat_models import ChatOllama
from langchain_core.messages import HumanMessage

ollama_llm = ChatOllama(model="llama3")
messages = [
    HumanMessage(content="你好,請你介紹一下你自己")
]
chat_model_response = ollama_llm.invoke(messages)
chat_model_response

Jupyter調(diào)用大模型

2. 直接通過Python運(yùn)行

通過Python代碼,用戶也可以直接調(diào)用Ollama的API服務(wù)。以下是一個(gè)簡單示例:

from langchain_community.chat_models import ChatOllama
ollama_llm = ChatOllama(model="llama3")
messages = [HumanMessage(content="你好,請你介紹一下你自己")]
chat_model_response = ollama_llm.invoke(messages)
print(chat_model_response)

執(zhí)行以上代碼可以得到AI模型的響應(yīng)。

Python調(diào)用結(jié)果

Ollama的API調(diào)用

Ollama不僅支持終端交互,還允許通過API進(jìn)行調(diào)用。主要提供了generatechat兩個(gè)API接口。

generate API

generate API用于生成單次交互的數(shù)據(jù),可以通過以下命令調(diào)用:

curl http://localhost:11434/api/generate -d '{"model": "gemma:2b", "prompt":"介紹一下React,20字以內(nèi)"}'

chat API

chat API支持多輪對話,允許保留上下文信息:

curl http://localhost:11434/api/chat -d '{"model": "gemma:2b", "messages": [{"role": "user", "content": "介紹一下React,20字以內(nèi)"}]}'

使用Web UI進(jìn)行交互

除了命令行和API,用戶還可以使用開源的Web UI工具來更直觀地與大模型進(jìn)行交互。例如,可以使用open-webui來搭建本地的可視化交互界面。

FAQ

1. Ollama的默認(rèn)存儲路徑如何更改?

2. 如何配置Ollama支持遠(yuǎn)程訪問?

3. Ollama支持哪些大模型?

通過上述步驟,用戶可以在本地環(huán)境中輕松部署和運(yùn)行Ollama,利用其強(qiáng)大的API調(diào)用功能與大模型進(jìn)行交互,為開發(fā)和測試提供了極大的便利。

上一篇:

開源零代碼:現(xiàn)代應(yīng)用開發(fā)的革命性工具

下一篇:

Ollama接口文檔的詳細(xì)解析
#你可能也喜歡這些API文章!

我們有何不同?

API服務(wù)商零注冊

多API并行試用

數(shù)據(jù)驅(qū)動(dòng)選型,提升決策效率

查看全部API→
??

熱門場景實(shí)測,選對API

#AI文本生成大模型API

對比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力

25個(gè)渠道
一鍵對比試用API 限時(shí)免費(fèi)

#AI深度推理大模型API

對比大模型API的邏輯推理準(zhǔn)確性、分析深度、可視化建議合理性

10個(gè)渠道
一鍵對比試用API 限時(shí)免費(fèi)