觅用 AI
自动模式按当地时间06:30至18:00使用浅色,其余时间使用深色
工具指南 / 从用途到使用

Ollama

Ollama 提供在电脑上运行模型,以及连接云模型和开发工具的入口。选择本地运行还是云端调用,会改变硬件、联网和账户要求。

打开官方项目
觅用 AI更新于

快速了解

主要能力
运行模型并提供应用调用接口
适用任务
本地对话、应用原型与编程代理接入
使用前留意
本地硬件与云端账号条件分开确认

Ollama 能帮你完成什么工作

下面是根据工具能力整理的操作建议,输入、交付标准和人工核对由你确定。

场景 01 · 希望先尝试本地推理的个人用户

用本地模型整理一段资料

先准备
一段可使用的短文本、清楚的问题,以及适合本机的模型。
怎么做
先确认选择的是本地模型,用同一段文本提问;要求答案区分原文信息和推断,再逐项比对。
得到什么
一份带原文位置的整理稿。
使用建议
检查是否漏掉条件、改写数字或凭空补充事实;这是一套编辑建议,不是特定模型效果测试。
查看操作流程示意
Ollama 本地任务从选模型到检查输出的四步流程
本站原创流程图:先用短资料验证本地模型,再接入应用;不是官方界面或模型实测结果。AI 工具导航原创绘制 ↗查看大图 ↗
场景 02 · 需要可替换模型接口的开发者

给应用原型接入模型

先准备
最小调用程序、明确的输入输出格式与无敏感信息的示例。
怎么做
先对本地服务发送一个简单请求,处理错误与超时,再增加对话历史;切换云服务时单独处理密钥和限额。
得到什么
可重复运行的最小调用样例与失败处理。
使用建议
分别验证服务不可达、模型未准备好和返回格式不符合预期,不把密钥写进网页代码。
场景 03 · 希望连接编程代理的开发者

为代码阅读任务选择模型

先准备
一个可用于练习的仓库、只读任务和验收问题。
怎么做
连接已支持的代理后,先让它解释一个小模块;核对文件引用,再决定是否允许修改代码。
得到什么
可回到具体文件的模块说明。
使用建议
确认模型、上下文及实际执行位置;长仓库不要一次全部塞进上下文,先明确需要阅读的范围。

Ollama 是什么

如果希望在自己的电脑处理任务,先按可用内存选择模型,再验证输出;如果使用云模型,则应确认账号和服务条件。装了 Ollama 并不意味着所有连接的应用都在本地执行。

下面按本地起步、应用接入和编程辅助组织方法。选择本地模型时,同时查看该模型支持的输入类型与许可,不能把运行工具的能力视为每个模型都有。

Ollama 的主要功能

在电脑上运行模型

通过客户端或终端选择模型,首次使用需要准备模型文件;适合先用小样本确认本机是否能承受任务。

为应用提供模型接口

可从程序调用本地服务,也可用密钥连接云端。应用接入时应明确地址与模型,不把“调用成功”当成全部兼容功能都已支持。

连接编程工具

官方快速开始提供与编程代理连接的路线。先确认代理本身已正确安装,再选择模型;模型连接和仓库权限仍是两件事。

设置上下文并查看资源分配

可以调整上下文长度,并用 ollama ps 查看模型的处理器分配和上下文。更长的上下文需要更多内存,设置过大可能影响实际体验。

如何开始使用 Ollama

  1. 先选执行位置

    明确要本地运行还是使用云模型;本地路线从官网下载对应系统版本,云调用按官方账户流程准备。

  2. 准备一个模型与短样本

    选择与硬件相匹配的模型,完成首次下载;用短输入跑通,再考虑更大的模型和任务。

  3. 检查上下文与资源

    查看运行状态和可用内存,按实际任务设置上下文;需要更多上下文时同时评估内存占用。

  4. 再接入应用或代理

    本地 API 和云 API 分别配置。先验证最小请求,再连接应用;仅允许本机使用时保留默认本机监听。

费用与使用条件

选择前了解

使用方式
桌面软件 / 命令行 / API

本地模型与云模型分开使用:本地运行依赖本机硬件且无需 API Key;云模型需要账号或 API Key,并有独立用量条件。

运行速度取决于模型和硬件

模型体积、量化、上下文和CPU/GPU分配会影响资源需求。能够装上客户端,不代表能流畅运行任何模型。

本地与云端的数据路径不同

本地运行与云模型调用采用不同的数据处理路径。需要本地模式时可按官方说明禁用云功能,并检查所接应用是否另有远端调用。

接口兼容不等于功能完全一致

选择原生API或兼容接口时,应对照当前支持的功能;本地模型管理与某些能力不一定能在云端入口完成。

服务暴露范围需明确

默认服务绑定本机地址。若要让其他设备连接,应单独设计访问控制和网络范围,不要把开发时的本地接口直接公开。

Ollama 常见问题

使用 Ollama 一定需要账号吗?

本地模型调用不要求云端API密钥;云模型则需要相应登录或密钥。先区分实际使用的模式。

为什么上下文调大后更慢?

更长上下文增加内存需求。先检查模型运行分配和实际输入量,再根据硬件调整,不要把最大设置当成固定最优值。

装好后能完全离线使用吗?

本地模型需要事先准备好文件;云模型与联网能力仍依赖网络。需要仅本地运行时,按官方说明关闭云功能并确认外接应用的行为。

可以给自己写的应用调用吗?

可以通过API接入。先从小请求验证模型和返回格式,再补错误处理;本地接口与云接口的认证方式要分别配置。

同类工具,换一个选择

按条件筛选 ↗