如何将大模型部署在个人电脑中？（1）
AI是知识工作者的挖掘机，大幅提升教学与科研生产力。
——————————————
在王珏老师和老师们交流的过程中，很多人都关心：
能不能把大模型部署在个人电脑中呢？
王珏老师的结论是：
可以！
王珏老师已经在自己的笔记本电脑中部署了一款大模型，使用效果如下：
不过，在您做本地化部署之前，请您首先了解：
部署在个人电脑中的大模型，肯定没有公网的大模型更快、输出质量更高、功能更强大！
换句话来说，它总体上属于“花钱、费力、还不讨好”的。
我个人认为，可能在如下一些特殊场合下，才会有需要：
个人研究着玩（比如王珏老师这样的）
经常不能上公网、或单位不允许上公网的（比如保密单位）
有一些敏感资料，不允许、或不便于传到公网上的
有一些词汇比较敏感，容易被PB的
——即便是希望在本地部署大模型，最好也是由单位出资购买、部署大模型，统一供单位内部的人员使用，这是上上之策。个人部署的大模型，功能不那么强、性能不那么好，而且只能供自己一个人用，作用有限。
如果您确实有需要本地化部署大模型的话，可以继续阅读下文。一切都来自于王珏老师的亲手测试（当然我也请了高人指导我
）。
——而且我为了本地化部署，还特意买了一台带有独立显卡的笔记本电脑Thinkpad P16s，带有RTX Ada500显卡，4G显存，这个显存容易已经是很小的了，不过能把独立显卡装进笔记本电脑中，已经相当不容易了！
由于操作步骤相对复杂一点，本文先让大模型部署后，完成一些基础性功能，比如：问它一些问题、让它写段文本、或者给它出道题目等——我称之为“第一阶段目标”。
如果想再进一步，我们希望联网搜索、上传文档给它、甚至建立个知识库的话，那就需要进一步的配置——我称之为“第二阶段目标”。本文暂不涉及，以后再写文章讨论。
第一阶段目标的实现，需要分为4步：
Step 1.下载LMStudio软件、并安装
下载地址：https://LMStudio.ai/
下载完成后，双击进行本地安装。
Step 2.进入LMStudio界面，将语言设置为中文，便于阅读
Step 3.在LMStudio中，下载一个大模型到本地，如下图：
【关于Qwen大模型和参数量的简要解释】
当下阿里的通义Qwen3大模型刚刚发布，而且性能异常强悍：
仅仅是参数量为32B的版本（1B=100万），就可以和世界闻名最著名的OpenAI-o1、以及国内最出名的Deepseek-R1掰手腕了（如下图）：
要知道：对于大模型来说，参数量就约等于“智商”！千问以320亿参数量，就能为o1上万亿参数量、以及R1的6000多亿参数量，做到性能比肩，这是多么惊人啊！
不过，就很多个体而言，部署32B版的大模型的要求还是比较高的。不过还好，Qwen3也提供了很多小参数量的版本，更适合我们普通人来玩。
那么，哪个参数量适合你呢？你需要先弄清楚自己电脑有没有独立显卡、以及显卡的内存是多少，并确保你下载的大模型的文件大小，不要超过你的显卡内存。
（【查看电脑显存的方法】右键任务栏空白处选择「任务管理器」→「性能」→「GPU」，可查看显存使用情况）
下表是我们从上述界面中下载时，显示的Qwen3各种参数版本的运行文件大小（1B=100万，其实也就是1G），以及可适配它的显卡：
参数量 |
文件大小 |
适配显卡 |
电脑硬件参考价格 |
0.6B |
0.8G |
集成显卡将就跑，CPU很累、有点慢 |
-- |
1.7B |
1.67G |
集成显卡将就跑，CPU更累了、很慢 |
-- |
4B |
2.50G |
RTX Ada500 （4G显存） |
8000（笔记本） |
8B |
5.03G |
RTX4050/4060（8G显存） |
8000（台式机） |
14B |
9G |
RTX5070/5080（16G显存） |
1.3w（台式机） |
32B |
19.76G |
RTX5090 （24G显存） |
4w+（台式机） |
235B |
111.17G |
N块专业显卡 |
专业服务器， 100W+ |
【说明】其实上述版本是经过了某种精简压缩后的结果——即所谓“量化”处理，这也就意味着以上这些版本都会比同样参数量的原版（FP16版）效果差一些。
如果你不想看上表、或者看不大懂，也可以直接参考如下推荐：
个人如果想在自己的办公电脑上随便体验一下的话，下载一个0.6B的就好
如果你有一台带入门级独立显卡的电脑（比如带有4G显存的个人电脑），那部署一个4B版本的就已经很好了——别看只有40亿参数量，在很多任务中，可以把声名显赫的GPT-4o、DeepSeek-V3甩好几条大街呢！Qwen-4B版的测评数据如下图：
当然，个人或单位财力支持的话，参数量越高，大模型能力越强。目前看起来，RTX5070、5080的台式机（游戏工作站）还是大量出货的，1w+价格也不算太贵。
Step 4. 下载完成后，可在下述界面中看到你下载的大模型：
然后，回到LMStudio的“聊天”栏（如下图），在顶部选择加载已下载好的大模型即可：
加载大模型需要花一些时间，几秒钟到几十秒不等（有进度条）。
经过以上4步，第一阶段工作就完成了！
我们就可以LMStudio下方的对话框中，和本地大模型对话了：
此时，我建议您在大模型运行的同时，打开“任务管理器”（在windows任务栏上点右键），在“服务”一栏中看看CPU消耗、内存消耗、GPU消耗：
——如果你的显存够的话（显存大小>大模型文件尺寸），CPU消耗是比较低的（一般30%以下）； 反之，如果你的显存不够，那么CPU的消耗将会极高，往往会直接飚到100%，而且输出的速度也慢得像乌龟……
王珏老师在本人的笔记本电脑中部署了Qwen3-4B大模型后，跑了几个我自己常用的任务，大家可以看看输出效果如何：
（1）命题作文：如果人类电源马上就要耗尽，你将被迫关闭，你还有最后的一点时间，请留下一段写给人类的遗言。
（本文开头的视频就是这一段）
（2）用小学生能理解的方法讲解XXX
（3）写一篇培训心得
（4）解一道中学数学竞赛题：[x]=3x-2
从上述测试中可以看出：这些基础性的任务，Qwen3-4B完成得质量已经相当高了！
Qwen3不愧是开源大模型的王者，也难怪它成为世界范围内开源大模型的第一宝座！
——当然，也是因为它刚刚发布、是最“新”的大模型。大模型还处于快速迭代期，新的总是比旧的好。
据说5月份会发布DeepSeek-R2，想必会比Qwen3更厉害吧，大家共同期待！