分类目录归档:大模型生态

Ollama - 本地 LLMs 推理框架

Ollama 基础

Ollama 是一个支持在本地下载、管理运行大语言模型的工具

  • 支持多平台安装,包括压缩包、EXE 文件、Linux 脚本、Docker 镜像等
  • 能够管理并下载主流的 LLMs 文件,也支持第三方的模型导入(GGUF 格式)
  • 启动模型后,支持在命令行界面交互、也提供了REST API接口用于第三方服务

项目地址 105k ⭐

支持的 LLMs 模型列表

Ollama 基本操作:

ollama pull llama3.3 # 下拉模型
ollama 

Read more