Home Ollama安装第三方模型.md
Post
Cancel

Ollama安装第三方模型.md

ollama 安装第三方模型

1️⃣ 下载 .gguf 格式的模型:huggingface 搜索 llama3 chinese gguf,挑一个试试。 2️⃣ 建立 modelfile 文档:参考示例图右侧,对于下载完的模型,需要将对应的本地地址替换进去。(文档名称就是 modelfile,没有格式后缀) 其中,system 对应系统提示词,可以按需自定义。我下载的是中文微调模型,「response in chinese」实际可以去掉。 3️⃣ 写入:打开终端,运行 ollma create -f "/path/your modelfile" 等待 succee 提示,然后下载的模型就可以愉快删除。 4️⃣ 运行:ollama run

💡tips:

  • 不要定义太长,输入不方便
  • ollam list:查看已有模型
  • ollma rm :移除不要的模型,再见啦 llama3:instruct

llama3-8b-chinese-chat-gguf-8bit https://huggingface.co/shenzhi-wang/llama3-8b-chinese-chat-gguf-8bit/tree/main

This post is licensed under CC BY 4.0 by the author.