ollama 安装第三方模型
1️⃣ 下载 .gguf 格式的模型:huggingface 搜索 llama3 chinese gguf,挑一个试试。
2️⃣ 建立 modelfile 文档:参考示例图右侧,对于下载完的模型,需要将对应的本地地址替换进去。(文档名称就是 modelfile,没有格式后缀)
其中,system 对应系统提示词,可以按需自定义。我下载的是中文微调模型,「response in chinese」实际可以去掉。
3️⃣ 写入:打开终端,运行 ollma create
💡tips:
-
不要定义太长,输入不方便 - ollam list:查看已有模型
- ollma rm
:移除不要的模型,再见啦 llama3:instruct
llama3-8b-chinese-chat-gguf-8bit https://huggingface.co/shenzhi-wang/llama3-8b-chinese-chat-gguf-8bit/tree/main