标签 折腾 下的文章


气人的 Intel 网卡
作者: Soha Jin / 时间: April 26, 2020 / 分类: 折腾 / 1 条评论

好久没水博客了，想起 4 月 15 日这一次三个人折腾了一整天的事情，于是把 15 号的这篇日记放了上来。权当吐槽。

前两天，咕了好久的服务器上架终于办完了。昨天联系 HKIX 做调试，发生了 HKIX 那边一通电，机器里的路由器就 kernel panic 的问题，看了下 log 是 PCI-e 直通导致的，但是没关系，本身就准备过不直通用虚拟化方案的 solution。但是 ESXi 里面竟然网卡都没了，只有没有通电的端口还在，于是今天开始了漫长的 debug。

首先是 cyy 重装了 ESXi 为 PVE，因为我们觉得可能是 ESXi 有点问题。装好之后就是尝试直通，失败。经检查可能是我们的服务器对于 VT-d 的支持的问题，由于 HPE 的一些策略，所以不能顺利直通。使用 HPE 官方提供的方法同样没有解决。但是无论如何至少宿主机里能找见网卡，比 ESXi 里面网卡都没了要好，于是我们配好了虚拟交换机，然后在上面配好了路由器。正准备通知 HKIX 进行第二次测试，我们就发现了很要命的事情，麻田哥哥买的这个服务器型号只有 RHEL 等 Linux 发行版的驱动。没有驱动，尤其是 RAID 阵列卡的驱动是一件很要命的事情，因为这个阵列卡是个软 RAID，没有驱动的话 RAID 会形同虚设。所以我们还是得回 ESXi，至少 HPE 给 ESXi 6.7 还是有做 Gen 8 的设备适配的。

回到 ESXi，还是老问题，我精读了一下系统 log，终于看到一条重要信息。

2020-04-15T12:18:16.586Z cpu3:66008)WARNING: vmklinux: pci_announce_device:1486: PCI: driver ixgbe probe failed for device 0000:04:00.1

看样子是驱动的问题，同一张卡上 .0 的端口的驱动就正常加载了。然后我去找了一个比较大的 log，然后搜索关键字，发现了这个：

2020-04-15T12:18:16.586Z cpu3:66008)<3>ixgbe 0000:04:00.1: failed to load because an unsupported SFP+ module type was detected.
2020-04-15T12:18:16.586Z cpu3:66008)<3>ixgbe 0000:04:00.1: Reload the driver after installing a supported module.
2020-04-15T12:18:16.586Z cpu3:66008)WARNING: vmklinux: pci_announce_device:1486: PCI: driver ixgbe probe failed for device 0000:04:00.1
2020-04-15T12:18:16.586Z cpu3:66008)LinPCI: LinuxPCI_DeviceUnclaimed:257: Device 0000:04:00.1 unclaimed.
2020-04-15T12:18:16.586Z cpu3:66008)PCI: driver ixgbe claimed 1 device

居然是不支持的光模块！但是很奇怪，在 PVE 下面也是 ixgbe，为什么 PVE 就没有报这个错了，能够顺利加载。东找找西找找，发现了 ESXi 自带的 ixgbe 驱动比较旧，抱着试试看的心情更新了一下，漫长的重启之后，新的驱动果然就没有报错了！我们高兴死了，不然就只能刷 EEPROM 强行解决了。我们猜测是因为 ixgbe 进 Linux 的时候，因为这个原因被拒绝了，于是不得不去掉这个 SFP 模块的限制，于是就有了这个原因。但是 ixgben 是 Intel 给 ESXi 定制的闭源驱动，应该就没有这种好事了，所以我们也就没有去找 ixgben 的新版驱动测试，当然 ixgben 无法加载也是这个问题。

2020-04-15T13:10:04.379Z cpu3:65925)ixgben: ixgben_InitSharedCode:185: Unsupported SFP+ or QSFP detected. Try to replace a supported module then reload the driver.
2020-04-15T13:10:04.379Z cpu3:65925)ixgben: ixgben_InitSharedCode:187: HW init failed: -19
2020-04-15T13:10:04.379Z cpu3:65925)WARNING: ixgben: indrv_Attach:2399: Failed to init shared code
2020-04-15T13:10:04.379Z cpu3:65925)DMA: 691: DMA Engine 'ixgben' destroyed.
2020-04-15T13:10:04.383Z cpu3:65925)Device: 2482: Module 25 did not claim device 0x645f43035dc8be9d.

现在我们终于可以用虚拟化把这个光口接进虚拟机了。