win11本地部署deepseek大模型(安装ollama+docker+open-webui)最终实现自己的项目可通过API调用投喂数据后的模型

news/2025/2/27 6:19:16
aidu_pl">

硬件配置:笔记本win11,内存32G,CPU锐龙7 ,无独显;只能考虑deepseek-r1:1.5b模型。

第一步:安装Ollama

此处不过多累赘了,https://ollama.com/官网选择对应的系统版本下载即可。

需要注意的是直接安装是安装到C盘,也可以通过命令安装到D盘。

通过 ”OllamaSetup.exe /dir="D:\Program Files\Ollama”命令可以指定Ollama安装目录

C:\Users\weijian>d:
D:\>cd “Program Files"
D:\Program Files>OllamaSetup.exe /dir="D:\Program Files\Ollama”

安装成功后,再下载deepseek-r1的模型(并保存在 C 盘,C:\Users<username>.ollama\models 如果想更改默认路径,可以通过设置ollama_models进行修改,然后重启终端,重启 ollama 服务)。

ollama run deepseek-r1:1.5b

此处因为我下载完成了,第一次执行时候等待完成100%即可。

第二步:安装docker

安装之前准备工作

1 CPU开启虚拟化

没有开启的需要通过BIOS进行开启,这去取决于每个人的电脑,不同的品牌操作起来不一样

2启用关闭Windows功能

官网直接下载安装https://www.docker.com/

第三步:部署open-webui

开源open webUI 官网🏡 Home | Open WebUI

docker方式安装

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

完成后访问http://localhost:3000/

第一次登录需要注册管理员,进入后台发现页面非常友好且功能强大。

在工作空间内可以添加知识库,添加模型(基础模型+知识库)。

第四步:关于API调用问题

ollama的API调用   GitHub - ollama/ollama: Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2, and other large language models.

postman测试

 

open-webui的API调用

https://docs.openwebui.com/getting-started/api-endpoints/

postman测试

最后总结,部署还有其他方式 Linux系统  sglang/vllm。


http://www.niftyadmin.cn/n/5869630.html

相关文章

前端关于Cursor编辑器的了解与深度使用及对工作的便利

1. 什么是 Cursor 编辑器? Cursor 是一款基于 AI 的现代代码编辑器,类似于 VS Code,但内置了强大的 AI 功能。它的核心目标是帮助开发者更快、更智能地编写代码。 主要特点: AI 驱动的代码补全:提供上下文相关的智能代码建议。代码生成与修复:通过自然语言描述生成代码…

(功能测试)第五章 APP性能测试 常用的APP命令格式 补充与总结

app性能测试 solopi 工具监控性能数据 实时监控所选项的各类数据的变化 性能测试就是记录性能数据 从而去分析是否是存在有异常 使用工具去监控数据 查看录制数据 可以持续使用两个小时去查看性能的使用情况 重点是对拿到的数据去进行分析 内存数据查看 性能指标有如下内容&a…

react 中,使用antd layout布局中的sider 做sider的展开和收起功能

一 话不多说&#xff0c;先展示效果&#xff1a; 展开时&#xff1a; 收起时&#xff1a; 二、实现代码如下 react 文件 import React, {useState} from react; import {Layout} from antd; import styles from "./index.module.less"; // 这个是样式文件&#…

安装react报错

安装react报错 背景 执行命令npx create-react-app my-app&#xff0c;然后出现报错unable to resolve dependency tree 解决&#xff1a; 出现这个报错是因为依赖包版本出现冲突&#xff0c;查看package.json可以看到react版本是19.0.0&#xff0c;但是testing-library/rea…

理解梯度消失与梯度爆炸及其缓解策略

目录 理解梯度消失与梯度爆炸及其缓解策略 一、梯度消失与梯度爆炸的概念 1. 梯度消失 2. 梯度爆炸 二、缓解梯度消失与爆炸的策略 1. 改进权重初始化 2. 选择合适的激活函数 3. 使用归一化技术 4. 梯度裁剪&#xff08;Gradient Clipping&#xff09; 5. 结构设计改…

NLP07-朴素贝叶斯问句分类之数据集加载(1/3)

一、概述 数据集加载&#xff08;Dataset Loading&#xff09;是机器学习、自然语言处理&#xff08;NLP&#xff09;等领域中的一个重要步骤&#xff0c;指的是将外部数据&#xff08;如文件、数据库、网络接口等&#xff09;加载到程序中&#xff0c;以便进行后续处理、分析…

PydanticToolsParser 工具(tool call)把 LLM 生成的文本转成结构化的数据(Pydantic 模型)过程中遇到的坑

PydanticToolsParser 的作用 PydanticToolsParser 是一个工具&#xff0c;主要作用是 把 LLM 生成的文本转成结构化的数据&#xff08;Pydantic 模型&#xff09;&#xff0c;让代码更容易使用这些数据进行自动化处理。 换句话说&#xff0c;AI 生成的文本通常是自然语言&…

SAP Webide系列(7)- 优化FreeStyle新建项目预设模板

目录 一、背景 二、优化目标 三、定位调整点 四、调整步骤 五、效果展示 六、附言 一、背景 在每次通过Webide进行FreeStyle方式自开发SAP UI5应用的时候&#xff0c;新建项目&#xff0c;得到的模板文件都是只有很少的内容&#xff08;没有路由配置、没有设置默认全屏等…