admin 管理员组

文章数量: 1184232

最近想部署一个开源深度学习项目，但是小编的笔记本电脑是8G的集成显存，且没有GPU，性能肯定是不够的。于是小编在小po站上粗浅了解了一下当前: 1. 大模型 AI本地硬件配置和 2. 云上申请GPU算力的两种方式。简单记录一下：

参考视频：
1. 本地部署配置 ——【大模型】个人学习大模型技术需要什么样的电脑配置？
2. 云服务器配置——GPU租用简易指南 for R308

1. 大模型本地部署硬件配置

  1. 如果需求主要是部署本地大模型进行推理和微调、简单调试和复现推荐：
    显卡：2080ti，显卡显存11G，价格2200，推理时GPU显存占用10G，高效微调时GPU显存占用7G，达到INT4量化精度。支持多轮对话、调试、复现。

  2. 如果需求是部署本地大模型进行较多调整（包含较多参数和数据）、大量调试、科研推荐：
    显卡：3090双卡，显卡显存48G，价格8500*2，推理时GPU显存占用30G，高效微调时GPU显存占用22G，达到全精度。

2. 云服务器方式

如果没有实验室提供经费，又觉3090、4090价格较高，可以使用在线云服务器GPU，比如阿里的autoDL



（1）选区、选GPU，按用量来进行计费。每个GPU服务器会配置一定的CPU、内存



（2）选择自己所需的系统、软件的镜像



（3）选择无卡模式开机，不消耗GPU用量，计费0.1yuan/小时，可以进行代码修改操作。需要跑模型的时候再以正常模式打开。此外，有20G的免费数据空间，可以上传需要的数据。



（4）平台提供了jupter note book快捷软件工具、终端，可以输入Python代码，读取存储数据、跑模型代码指令等。



通过简单调研，小编发现自己平时没有科研需求，主要想空闲时间跑一些有意思的大模型 AI项目，做一些微调。考虑性价比，小编更倾向在线的GPU服务器的方案。


本文标签： 在线 硬件配置 模型 方案 GPU

版权声明：本文标题：【大模型 AI 学习】大模型 AI 部署硬件配置方案（本地硬件配置 | 在线GPU） 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1764009665a3286208.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。