Python调用Ollama库本地大语言模型使用详解

温以宁

发布时间：2026-10-11| 5人浏览过

原创

本文详细讲解如何使用Python官方ollama库调用本地部署的大语言模型。内容涵盖环境安装、基础文本生成、自定义参数控制、流式响应输出、异常处理机制以及结合Flask构建本地AI接口的方法，帮助开发者快速实现LLM本地交互。

环境与安装准备

在Python中调用本地大语言模型，需确保操作系统已安装并正常运行Ollama服务端程序。确认服务启动后，可通过包管理器安装对应的Python客户端：

pip install ollama

若系统未预装pip，请先通过Python官网或Linux包管理器完成基础环境配置。

基础调用与文本生成

第1步：导入模块并建立连接

在脚本顶部引入ollama库，该库默认自动连接本地API服务（通常为http://localhost:11434），无需额外配置网络地址：

import ollama

第2步：调用模型生成完整文本

使用generate方法向指定模型发送提示词，等待模型完成推理后获取结果：

response = ollama.generate(
    model="llama",
    prompt="你好，请简单介绍一下Python语言的特点。"
)
print(response)

返回值为包含模型标识、生成时间与回复文本的字典对象，可直接提取关键字段用于日志记录或存储。

流式输出与参数控制

开启流式响应

当需要实时展示生成过程或降低首字延迟时，可启用流式接口逐步接收数据块：

for chunk in ollama.stream(
    model="llama",
    prompt="逐步生成一段关于人工智能的文章。"
):
    print(chunk, end="")

配置自定义生成参数

通过传递可选参数调整模型行为，常用配置如下：

temperature：控制随机性，取值范围0至1，值越高输出越发散
max_tokens：限制生成的最大Token数量

response = ollama.generate(
    model="llama",
    prompt="为我写一首关于春天的诗。",
    temperature=0.7,
    max_tokens=100
)

异常处理与安全调用

本地推理受硬件性能、显存容量及进程状态影响，调用失败时建议使用try-except结构捕获异常：

try:
    response = ollama.generate(
        model="llama",
        prompt="请解释什么是大语言模型。"
    )
    print(response.get("response"))
except Exception as e:
    print(f"模型调用失败：{e}")

API服务集成示例

将本地模型封装为Web接口，便于其他前端或后端系统直接调用。以下基于Flask搭建简易生成服务：

from flask import Flask, request, jsonify
import ollama

app = Flask(__name__)

@app.route('/generate', methods=['POST'])
def generate():
    data = request.json
    prompt = data.get("prompt", "")
    try:
        response = ollama.generate(model="llama", prompt=prompt, max_tokens=100)
        return jsonify({"result": response})
    except Exception as e:
        return jsonify({"error": str(e)}), 500

if __name__ == '__main__':
    app.run(debug=True)

服务启动后，通过POST请求发送至/generate端点并附带JSON格式的prompt字段，即可返回模型生成的结构化数据。