跳到主要内容

Ollama

Ollama1、大型语言模型(LLM)2、Ollama安装脚本安装3、Ollama使用4、Ollama卸载参考资料

演示环境

开发板 :Jetson Orin系列主板

Ollama是一个开源的工具,旨在简化大型语言模型的部署和运行过程,使得用户可以在本地环境中使用高质量的语言模型。

1、大型语言模型(LLM)

大型语言模型(Large Language Models,简称LLM)是一类基于人工智能技术的高级文本生成系统,其主要特点是能够通过大规模的训练数据来学习和理解人类语言,并能够生成自然流畅的文本。

2、Ollama安装

教程演示在Jetson Orin系列主板使用脚本安装Ollama。

注意:ollama拉取失败属于正常情况,可多次尝试,或者挂代理后拉取,挂代理的方法需要自行网上搜

脚本安装

sudo apt install curl -y sudo curl -fsSL https://ollama.com/install.sh | sh

image-20250111132928934

整个安装过程耗时比较久,耐心等待!

3、Ollama使用

终端输入ollama可以看到提示:

image-20250111135927014

命令作用
ollama serve启动ollama
ollama create从模型文件创建模型
ollama show显示模型信息
ollama run运行模型
ollama pull从注册表中拉取模型
ollama push将模型推送到注册表
ollama list列出模型
ollama ps列出运行的模型
ollama cp复制模型
ollama rm删除模型
ollama help获取有关任何命令的帮助信息

4、Ollama卸载

  • 删除服务

xxxxxxxxxx sudo systemctl stop ollama sudo systemctl disable ollama sudo rm /etc/systemd/system/ollama.service

  • 删除文件

xxxxxxxxxx sudo rm $(which ollama)

  • 删除模型和服务用户和组

xxxxxxxxxx sudo rm -r /usr/share/ollama sudo userdel ollama sudo groupdel ollama

参考资料

Ollama

官网:https://ollama.com/

GitHub:https://github.com/ollama/ollama