admin 管理员组

文章数量: 1184232

vllm 在 Windows 系统下的安装解决方案

（一）下载 Docker Desktop

  1. 进入 Docker 官网：https://www.docker

  2. 将鼠标放置在 Download Docker Desktop 按钮上，会弹出一个下载列表，选择 Download for Windows - AMD64 ，即可开始下载安装。如下图

（二）安装和更新 WSL

​ 由于安装 Docker Desktop 需要使用到 WSL2 ，所以我们需要安装和更新WSL2，下面是具体步骤：

  1. 依次打开 控制面板 - 程序 - 启用或关闭 Windows 功能 ，开启 Hyper-V、适用于 Linux 的 Windows 子系统、虚拟机平台

  2. 打开 Windows PowerShell ，键入命令 wsl --version 检查当前版本，如果正常返回则继续。

  3. 键入命令 wsl --set-default-version 2 ，将 WSL 版本切换到 WSL2

  4. 从 github 下载并安装 WSL2 更新包（选择 wsl.{version}.msi.x64.msi 即可，其中 version 为最新版本号），网址：https://github/microsoft/WSL/releases 。

  5. 键入命令 wsl --version 检查当前版本，返回的版本号与步骤 4 中下载的版本一致即可

（三）拉取 Docker 镜像并建立容器

  1. 进入 Docker Desktop 应用，点击右下角的 _Terminal 打开终端界面

  2. 输入 docker pull pytorch/pytorch:2.5.1-cuda12.1-cudnn9-devel拉取镜像， 注意 vllm 当前需要 ubuntu 20.04 + cuda12.1 的环境，此镜像恰好满足，如果

vllm 文档有更新，你需要根据具体更新来调整 。

  1. 拉取镜像完毕后，启动一个该镜像的容器， 执行以下命令后你即可启动了一个名为 vllm-dev-env 的容器，并且进入了该容器内部，如下图所示：

    docker run -it --name vllm-dev-env -p 8888:8888 --gpus all pytorch/pytorch:2.5.1-cuda12.1-cudnn9-devel
/bin/bash

（四）安装 vllm 和 jupyter

目前我们已经成功启动了一个适合于 pytorch 与 vllm 共存的容器，你可以直接键入 python 命令来进行测试 pytorch 的运行效果，检查是否能读取到你的

GPU 卡，接下来我们使用如下命令安装 vllm、 jupyter 即可：

pip3 install vllm
pip3 install jupyter

（五）使用 jupyter notebook

运行下述命令：

jupyter notebook --allow-root --ip=0.0.0.0

（六）关闭和重启容器

本文标签： 解决方案 系统 vllm Windows

版权声明：本文标题：vllm 在 Windows 系统下的安装解决方案 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1767617268a3487934.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。