Ollama
Ollama1、大型语言模型(LLM)2、Ollama安装脚本安装3、Ollama使用4、Ollama卸载参考资料
演示环境
开发板 :Jetson Orin系列主板
Ollama是一个开源的工具,旨在简化大型语言模型的部署和运行过程,使得用户可以在本地环境中使用高质量的语言模型。
1、大型语言模型(LLM)
大型语言模型(Large Language Models,简称LLM)是一类基于人工智能技术的高级文本生成系统,其主要特点是能够通过大规模的训练数据来学习和理解人类语言,并能够生成自然流畅的文本。
2、Ollama安装
教程演示在Jetson Orin系列主板使用脚本安装Ollama。
注意:ollama拉取失败属于正常情况,可多次尝试,或者挂代理后拉取,挂代理的方法需要自行网上搜
脚本安装
sudo apt install curl -y sudo curl -fsSL https://ollama.com/install.sh | sh

整个安装过程耗时比较久,耐心等待!
3、Ollama使用
终端输入ollama可以看到提示:

| 命令 | 作用 |
|---|---|
| ollama serve | 启动ollama |
| ollama create | 从模型文件创建模型 |
| ollama show | 显示模型信息 |
| ollama run | 运行模型 |
| ollama pull | 从注册表中拉取模型 |
| ollama push | 将模型推送到注册表 |
| ollama list | 列出模型 |
| ollama ps | 列出运行的模型 |
| ollama cp | 复制模型 |
| ollama rm | 删除模型 |
| ollama help | 获取有关任何命令的帮助信息 |
4、Ollama卸载
- 删除服务
xxxxxxxxxx sudo systemctl stop ollama sudo systemctl disable ollama sudo rm /etc/systemd/system/ollama.service
- 删除文件
xxxxxxxxxx sudo rm $(which ollama)
- 删除模型和服务用户和组
xxxxxxxxxx sudo rm -r /usr/share/ollama sudo userdel ollama sudo groupdel ollama
参考资料
Ollama