PVE显卡直通

公司购买一台AI训练机,准备用来做AI训练和CI,CD。拟规划在物理机上开启三个虚拟机,分别是AI训练Windows虚拟机,AI训练Linux虚拟机及CI虚拟机,本文记录从PVE的搭建,显卡直通的配置,驱动的安装等。方便有二次安装的时候不用去网上教程。整个安装配置过程中,显卡直通踩了很多坑。

PVE安装

首先去proxmox下载ISO镜像,然后下载使用etcher进行写盘,最后就是安装系统了。因为proxmox是基于debian的,整个安装过程就跟安装操作系统一个样。记得在安装的时候将静态IP配置好,最后打开指定IP的8006端口。如下所示

存储的配置

物理机上有两块硬盘,分别为1T的固态及2T的机械硬盘。2T的机械硬盘暂时不用,我们将三个虚拟机都安装到固态硬盘上。但是安装好系统后硬盘的默认分区是这样

  • local: 存储ISO等文件
  • local-lvm: 存储虚拟机文件

系统将我们的固态硬盘配置为ISO镜像等文件,当创建虚拟机时,我们没法选择固态硬盘作为虚拟机盘,所以这里需要在PVE中添加存储。如下图

配置好后,我们后续创建虚拟机就可以选择固态硬盘了。

显卡直通的配置

  1. 打开PVE系统的IOMMU支持

因为我安装的PVE的7.0以上的版本,所以可以不用做驱动屏蔽

1
2
3
4
5
6
7
8
9
10
11
12
vim /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt video=efifb:off,vesafb:off"

vim /etc/modules
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

update-initramfs -u
update-grub
reboot

创建虚拟机

  1. 新建节点

  1. 指定ISO镜像

  1. 指定机型q35,开启qemu代理等

  1. 指定固态硬盘

  1. 指定CPU,内存等

  1. 总配置如下,显示这里选择默认,我这里的配置是已经完整配置好的。

  1. 修改启动选项
1
2
3
vim /etc/pve/nodes/pve/qemu-server/100.conf
cpu: host,hidden=1,flags=+pcid
args: -cpu 'host,+kvm_pv_unhalt,+kvm_pv_eoi,hv_vendor_id=NV43FIX,kvm=off'

驱动安装

启动系统后去nvidia官网下载驱动,不要使用第三方的驱动工具,之前一直用鲁大师,每次安装都是失败的。
安装完成后将显示设置为无,重启系统,到这里基本就正常了。如果安装失败可以更新下Windows系统。有可能因为底层组件比较老而失败。

检查显卡是否正常使用

  1. 配置好后可以使用GPUZ检测一下
  2. 查看设备管理器中设备是否正常
  3. 查看任务管理器中是否有GPU的监控
作者

Labradors

发布于

2022-05-07

更新于

2022-05-07

许可协议

评论