百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程文章 > 正文

超详细!用Ollama在本地部署DeepSeek教程

qiyuwang 2025-02-19 13:40 9 浏览 0 评论

前期准备

一、确认系统和硬件:

1、操作系统:Windows用户需Windows 10及以上系统;macOS用户要求系统为macOS 11.0及以上;Linux用户建议使用Ubuntu 20.04及以上版本。

2、CPU:多核心处理器,像英特尔酷睿i5或AMD锐龙5及以上系列为佳,核心数越多,模型运行时多任务处理能力越强。

3、内存:至少16GB,推荐32GB及以上。运行模型时,充足的内存能保障数据快速读取与处理,避免因内存不足导致运行缓慢甚至报错。

4、硬盘:准备至少50GB可用空间,用于存放Ollama程序、DeepSeek模型文件及相关缓存。

5、GPU:若有NVIDIA显卡,如RTX 2080 Ti及以上,可显著加速模型运行。不同规模的DeepSeek模型对GPU显存要求不同,如运行1.5B规模模型,1GB显存即可;7B、8B规模模型建议8GB显存;14B规模模型需12GB或16GB显存;32B规模模型需24GB显存;70B规模模型则需40GB以上显存 。

二、安装Docker

1、Windows和macOS:Ollama依赖Docker运行,先从Docker官网下载对应系统的Docker Desktop安装包,下载完成后,双击安装包,按提示一步步完成安装。安装完成后,启动Docker Desktop,确保其在后台正常运行。

2、Linux:不同Linux发行版安装Docker方式略有不同。以Ubuntu为例,在终端输入以下命令安装:

安装完成后,输入 sudo systemctl start docker 启动Docker服务,再输入 sudo systemctl enable docker 设置开机自启。

三、下载并安装Ollama

1、下载Ollama:打开浏览器,访问Ollama官网,在首页找到“Download”按钮,根据自己的操作系统,选择对应的安装包下载。比如Windows系统,点击“Download for Windows”下载 .exe 文件;macOS系统,点击“Download for macOS”下载.dmg文件;Linux系统,点击“Download for Linux”下载.deb(Debian、Ubuntu等)或 .rpm (CentOS、Fedora等)文件。

2、安装Ollama

Windows:下载完成后,找到下载的 .exe 文件,双击运行,在安装向导界面,一直点击“Next”,按默认设置完成安装。

macOS:打开下载的 .dmg 文件,将Ollama图标拖到“Applications”文件夹,完成安装。

Linux

Debian、Ubuntu:在终端中,切换到下载文件所在目录,输入 sudo dpkg -i ollama_xxx.deb (xxx为下载的实际文件名)进行安装,安装过程中若提示缺少依赖,按提示安装相应依赖包。

CentOS、Fedora:在终端中,切换到下载文件所在目录,输入 sudo rpm -ivh ollama_xxx.rpm (xxx为下载的实际文件名)进行安装,同样,若提示缺少依赖,按提示安装。

3、验证Ollama安装

1、打开命令行工具:

Windows:按下“Win+R”组合键,在弹出的运行框中输入“cmd”,回车打开命令提示符;或者在开始菜单中搜索“PowerShell”,打开PowerShell。

macOS:打开“应用程序” - “实用工具” - “终端”。

Linux:直接打开终端。

2、验证安装:

在命令行中输入 ollama version ,若安装成功,会显示Ollama的版本号,如“ollama version 0.5.7” 。

四、下载DeepSeek模型

1、了解模型版本:DeepSeek有不同参数规模的模型版本,如 deepseek-r1:1.5b 、 deepseek-r1:7b 、 deepseek-r1:14b 等 ,“b”代表十亿参数,参数越多,模型能力通常越强,但对硬件要求也越高。

2、选择合适模型:根据自己电脑的硬件配置选择模型。如果电脑配置一般,显卡和硬盘都较普通,可选择 deepseek-r1:1.5b ,它消耗显存仅1GB;有8GB显存的显卡,可考虑 deepseek-r1:7b deepseek-r1:8b ;12GB或16GB显存,deepseek-r1:14b ;24GB显存,deepseek-r1:32b ;40GB以上显存,deepseek-r1:70b 。

3、下载模型:在命令行中输入下载命令,格式为 ollama run deepseek-r1:xxx (xxx为所选模型版本,如1.5b、7b等)。例如,要下载 deepseek-r1:7b 模型,输入 ollama run deepseek-r1:7b ,回车后,Ollama会自动从远程仓库下载模型,下载过程中会显示下载进度,耐心等待下载完成。

五、与DeepSeek模型交互

1、直接命令行交互:模型下载完成后,在命令行中,直接输入问题或任务,如“介绍一下春节的传统习俗”,然后回车,DeepSeek模型会处理输入并在命令行中返回回答。结束交互时,输入 /bye ,回车即可退出。

2、使用可视化界面(可选):如果觉得命令行交互不够直观,可使用可视化界面,如Chatbox。

六、配置环境变量:

1、Windows:按下“Win+X”组合键,选择“系统”,在弹出的窗口中点击“高级系统设置”,在新窗口中点击“环境变量”。在“用户变量”区域,点击“新建”,变量名输入“OLLAMA_HOST”,变量值输入“0.0.0.0”,点击“确定”;再点击“新建”,变量名输入“OLLAMA_ORIGINS”,变量值输入“*” ,点击“确定”。

2、macOS和Linux:在终端中输入 export OLLAMA_HOST=0.0.0.0export OLLAMA_ORIGINS=* 两条命令设置环境变量。

3、重启Ollama:关闭正在运行的Ollama进程(若有),重新启动Ollama。

4、设置Chatbox:打开浏览器,访问Chatbox官网 ,进入页面后,先将语言切换为简体中文。点击页面右上角的设置图标,在设置页面中,选择“Ollama”作为模型提供商,在“Ollama API URL”处输入“
http://0.0.0.0:11434/api/generate
”,点击“保存”。设置完成后,就可以在Chatbox界面与DeepSeek模型进行对话了 。

七、常见问题及解决方法

1、安装Ollama失败:

问题表现:安装过程中报错,如提示缺少依赖、安装程序无法启动等。

解决方法:检查系统是否满足Ollama的安装要求,如Windows系统是否为支持版本;对于缺少依赖的问题,按提示安装相应依赖包;若安装程序无法启动,尝试以管理员身份运行安装程序。

2、下载模型失败:

问题表现:下载过程中报错,如网络连接错误、下载中断等。

解决方法:检查网络连接是否正常,可尝试重启路由器、更换网络;若网络正常,可能是Ollama仓库服务器问题,稍后再试;也可在命令行中使用代理命令下载,如ollama run --proxy=http://your_proxy_ip:port deepseek-r1:xxx (将 your_proxy_ip:port 替换为实际代理IP和端口)。

3、模型运行缓慢:

- 问题表现:输入问题后,模型响应时间长,处理速度慢。

- 解决方法:确认是否使用了GPU加速,在命令行输入 nvidia - smi 查看GPU状态,若未正确使用GPU,检查显卡驱动是否为最新版本,以及Ollama是否正确配置使用GPU(一般Ollama会自动检测并使用GPU,若未自动使用,查阅Ollama官方文档进行配置);关闭其他占用大量系统资源的程序,释放系统资源。

相关推荐

centos7使用yum安装nginx+php7+mysql5.6

本文主要介绍安装在centos7下如何安装nginx+php+mysql的环境,centos7的版本自带安装源的版本无法实现PHP5.4以上的版本,数据库默认用的是mariadb,文章介绍的安装是如何...

Linux基础入门(VMWare中CentOS7配置yum)

上一章节,介绍了《Linux基础入门(CentOS7下通过命令行配置网络)》,本章将介绍如何配置yum源,方便后续在学习和使用的过程中,对所需工具的安装;...

CentOS 7搭建Nextcloud私有云(centos搭建云盘)

Nextcloud简介:对于私人网盘,其中最出名的就是seafile、owncloud和nextcloud。seafile是国人开发的,有免费和企业版,免费的功能有限;nextcloud是owncl...

分享一个docker镜像源地址,解决docker不能拉取的问题

自己搭建的代理,centos7只需要修改/etc/docker/daemon.json并输入以下内容:{"registry-mirrors":["https://next...

源支付5.18版全套开源源码客户端+云端+监控+协议三网免挂免输入

源支付5.18最新版协议去授权全套三端开源源码_客户端+云端+监控+协议三网免挂免输入(全套版)推荐系统为:CentOS7.6Linux系统环境:Nginx1.20.1+MySQL5.6....

centos7飞速搭建zabbix5.0并添加windows、linux监控

一、环境zabbix所在服务器系统为centos7,监控的服务器为windows2016和centos7。二、安装zabbix官方安装帮助页面...

CentOS上配置 Docker 使用代理服务器

hub.docker最近总被墙,国内大厂搞的docker镜像源代理被封被停,对于一个严重依赖一些海外项目的软件开发人员,简直没法干活了。docker要在CentOS上配置Docker使用代理服...

CentOS 7 (阿里云虚拟机) 安装 Docker

一、安装Docker1.使用root权限登录CentOS。确保yum包更新到最新sudoyumupdate...

Centos离线静默安装 oracle11g,步骤细验证成功

一、环境要求1.1.涉及工具及环境1)CentOS764位系统2)oracle安装包文件a)linux.x64_11gR2_database_1of2.zip...

Linux运维之制作指定软件包的YUM源

#挑战30天在头条写日记#关注我,不迷路,大家好,我是大王。--记录运维中遇到的故障及排查方法...

在CentOS 9 安装Nvidia显卡驱动详细操作步骤

今天给粉丝网友演示CentOS9系统下如何安装nvidia显卡驱动。·将下载好的显卡驱动放到文件夹中,这里以download为例,放入文件夹中开始对系统软件升级,是为了防止在安装显卡驱动时显示报错...

基于Linux系统的本地Yum源搭建与配置(ISO方式、RPM方式)

前言:由于公司业务服务器大部分都在内网环境下运行,内网环境无法直接使用yum安装升级更新软件,所以需要自建Yum源来满足目前日常工作需要。...

最新zabbix一键安装脚本(基于centos8)

一、环境准备注意:操作系统必须是centos8及以上的,因为我配的安装源是centos8的。并且必须连接互联网,脚本是基于yum安装的!!!...

CentOS7中使用yum安装Nginx的方法

1、添加源  默认情况Centos7中无Nginx的源,最近发现Nginx官网提供了Centos的源地址。因此可以如下执行命令添加源(...

Centos8出现Failed to download metadata for repo 'AppStream'解决

大家都知道Centos8于2021年年底停止了服务,大家再在使用yum源安装时候,出现下面错误“错误:Failedtodownloadmetadataforrepo'AppStre...

取消回复欢迎 发表评论: