Ollama是一个用于在本地计算机上运行大型语言模型的命令行工具，允许用户下载并本地运行像Llama 2、Code Llama和其他模型，并支持自定义和创建自己的模型。该免费开源的项目，目前支持macOS和Linux操作系统，未来还将支持Windows系统。
此外，Ollama还提供了官方的Docker镜像，由此使用Docker容器部署大型语言模型变得更加简单，确保所有与这些模型的交互都在本地进行，无需将私有数据发送到第三方服务。Ollama在macOS和Linux上支持GPU加速，并提供了简单的命令行界面（CLI）以及用于与应用程序交互的REST API。
该工具对于需要在本地机器上运行和实验大语言模型的开发人员或研究人员来说特别有用，无需依赖外部云服务。
Ollama 现已推出适用于 macOS 和 Windows 的Ollama桌面端，新增文件处理与多模态交互功能，让用户与本地大语言模型交互更直观便捷。
Ollama安装包获取
获取Ollama安装包，扫码关注回复：Ollama
Ollama支持的模型
Ollma提供一个模型库，用户可以自行选择安装想要运行的模型，目前支持40+的模型，还在持续增加中，以下是可以下载的开源模型示例：
| 模型 | 参数大小 | 文件大小 | 下载运行命令 |
|---|---|---|---|
| DeepSeek-R1 | 1.5B、7B、14B、32B等 | 12-320GB | ollama run deepseek-r1 |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Llama 2 | 7B | 3.8GB | ollama run llama2 |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| Llama 2 13B | 13B | 7.3GB | ollama run llama2:13b |
| Llama 2 70B | 70B | 39GB | ollama run llama2:70b |
| Orca Mini | 3B | 1.9GB | ollama run orca-mini |
| Vicuna | 7B | 3.8GB | ollama run vicuna |
©️版权声明：若无特殊声明，本站所有文章版权均归AI工具集原创和所有，未经许可，任何个人、媒体、网站、团体不得转载、抄袭或以其他方式复制发表本站内容，或在非我站所属的服务器上建立镜像。否则，我站将依法保留追究相关法律责任的权利。
类似于Ollama的工具
DeepSpeed
微软开源的低成本实现类似ChatGPT的模型训练
Gen-2
Runway最新推出的AI视频生成模型
Scale AI
AI机器学习标注训练平台
Watsonx.ai
IBM推出的企业级生成式人工智能和机器学习平台
Replicate
在线运行开源机器学习模型
商量SenseChat
商汤科技推出的类ChatGPT的人工智能大语言模型
暂无评论