
獲取汽車品牌的API接口及圖片鏈接
安裝完成后,用戶可以在終端中輸入ollama
命令來查看Ollama支持的所有命令,包括啟動(dòng)、創(chuàng)建模型、運(yùn)行模型等。
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
pull Pull a model from a registry
push Push a model to a registry
list List models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
Use "ollama [command] --help" for more information about a command.
Ollama安裝后自動(dòng)啟動(dòng)本地服務(wù),用戶可以通過訪問本地API端口來驗(yàn)證是否安裝成功。默認(rèn)情況下,Ollama監(jiān)聽在localhost的11434端口。用戶可以通過以下命令來測試服務(wù)是否正常啟動(dòng):
curl http://localhost:11434/api/generate -d '{"model": "qwen2","prompt": "who are you?","stream":false}'
如果返回正常的結(jié)果,則說明API服務(wù)已成功啟動(dòng)。
為了支持遠(yuǎn)程訪問,用戶需要配置環(huán)境變量OLLAMA_HOST
為0.0.0.0
,這樣就可以通過IP地址訪問API服務(wù)。此外,用戶可以通過配置OLLAMA_MODELS
來更改大模型的默認(rèn)存儲路徑。更改配置后,需要重啟Ollama服務(wù)使其生效。
實(shí)際部署大模型時(shí),用戶可以選擇不同的模型版本進(jìn)行安裝和運(yùn)行。以LLaMA3模型為例,用戶可以通過以下命令來運(yùn)行模型:
ollama run llama3
如果模型未下載,Ollama會(huì)自動(dòng)進(jìn)行下載。下載完成后,模型將自動(dòng)啟動(dòng)。
用戶可以在Jupyter Notebook中通過LangChain直接調(diào)用Ollama。需要首先安裝Jupyterlab,然后創(chuàng)建一個(gè)新的Notebook文件,輸入如下代碼來調(diào)用模型:
from langchain_community.chat_models import ChatOllama
from langchain_core.messages import HumanMessage
ollama_llm = ChatOllama(model="llama3")
messages = [
HumanMessage(content="你好,請你介紹一下你自己")
]
chat_model_response = ollama_llm.invoke(messages)
chat_model_response
通過Python代碼,用戶也可以直接調(diào)用Ollama的API服務(wù)。以下是一個(gè)簡單示例:
from langchain_community.chat_models import ChatOllama
ollama_llm = ChatOllama(model="llama3")
messages = [HumanMessage(content="你好,請你介紹一下你自己")]
chat_model_response = ollama_llm.invoke(messages)
print(chat_model_response)
執(zhí)行以上代碼可以得到AI模型的響應(yīng)。
Ollama不僅支持終端交互,還允許通過API進(jìn)行調(diào)用。主要提供了generate
和chat
兩個(gè)API接口。
generate
API用于生成單次交互的數(shù)據(jù),可以通過以下命令調(diào)用:
curl http://localhost:11434/api/generate -d '{"model": "gemma:2b", "prompt":"介紹一下React,20字以內(nèi)"}'
chat
API支持多輪對話,允許保留上下文信息:
curl http://localhost:11434/api/chat -d '{"model": "gemma:2b", "messages": [{"role": "user", "content": "介紹一下React,20字以內(nèi)"}]}'
除了命令行和API,用戶還可以使用開源的Web UI工具來更直觀地與大模型進(jìn)行交互。例如,可以使用open-webui來搭建本地的可視化交互界面。
OLLAMA_MODELS
來更改默認(rèn)模型存儲路徑。OLLAMA_HOST
為0.0.0.0
,并重啟Ollama服務(wù)。通過上述步驟,用戶可以在本地環(huán)境中輕松部署和運(yùn)行Ollama,利用其強(qiáng)大的API調(diào)用功能與大模型進(jìn)行交互,為開發(fā)和測試提供了極大的便利。