1. 为什么浪潮服务器装ESXi 6.7总在RAID卡这关卡住浪潮的服务器在政企、金融、运营商这些圈子里保有量非常大NF5280M5、NF5280M6、SA5212M5这些型号几乎是机房里的常客。但凡是自己动手给这些机器装过VMware ESXi 6.7的人大概率都遇到过一个非常恶心的问题安装程序启动之后到了选择安装磁盘那一步列表是空的一个盘都看不到。或者更隐蔽一点安装过程一切正常装完之后重启直接紫屏报错提示找不到启动设备。这个问题的根源十有八九出在RAID卡驱动上。ESXi 6.7这个版本发布于2018年它自带的驱动库覆盖的是当时市面上主流的RAID控制器。而浪潮服务器上常见的RAID卡比如LSI 9361-8i、PM8060、PM8204以及一些基于Marvell 88SE9230芯片的板载软RAID它们的驱动要么根本没被VMware收录进标准镜像要么收录的版本太老跟浪潮定制过的固件对不上。VMware官方镜像里没有这些驱动安装程序自然就认不出RAID卡下挂的虚拟磁盘。所以核心思路就一条把浪潮提供的、对应ESXi 6.7版本的RAID卡驱动手动集成到VMware官方的ESXi 6.7 ISO镜像里生成一个定制化的安装镜像。这个过程本身不复杂但坑非常多从驱动文件格式到PowerCLI版本从ISO封装到UEFI引导每一步都可能让你卡上半天。这篇文章就把我前前后后给几十台浪潮服务器装ESXi 6.7的经验完整梳理一遍把每个环节的坑都给你标出来。这篇文章适合谁看如果你手里有一台浪潮服务器RAID卡型号不是VMware官方兼容列表里那些“免驱”的型号你又不想用浪潮自己的OEM镜像有时候版本太老或者下载不到那这篇内容就是给你准备的。整个过程需要一台Windows机器作为操作平台需要基本的命令行操作能力但不需要你懂驱动开发照着做就行。2. 动手之前先把这几样东西备齐2.1 驱动文件的获取与格式确认浪潮的驱动下载渠道主要是浪潮官网的技术支持页面。你输入服务器的SN号或者型号找到“驱动下载”栏目操作系统选VMware ESXi 6.7就能看到对应的驱动包。这里有一个非常关键的细节你必须下载VIB格式的驱动文件而不是ZIP或者EXE格式的。VIB是VMware的驱动封装格式本质上是一个压缩包里面包含了驱动二进制文件和描述文件。浪潮官网上有时候会把驱动打包成ZIP里面套了好几层目录你需要解压之后找到后缀为.vib的文件。如果只找到了.zip或者.exe那说明你下错了那是给Windows或者Linux用的驱动ESXi不认。以浪潮NF5280M5上常见的PM8060 RAID卡为例对应的驱动文件通常叫类似lsi_mr3-7.xxx.xx.xx-1OEM.670.0.0.xxxxxxx.vib这样的名字。文件名里的670就代表这是给ESXi 6.7用的1OEM表示这是OEM厂商定制的驱动。下载之前一定要确认版本号里的670下成650或者700的都不行。注意浪潮官网的驱动页面有时候会改版如果按型号找不到可以试试直接搜“浪潮 ESXi 6.7 驱动”加上你的RAID卡型号。另外有些驱动在浪潮的FTP或者技术社区里能找到但要注意文件完整性下载后比对一下MD5。2.2 操作平台Windows机器与PowerCLI环境集成驱动需要用到VMware官方提供的一个PowerShell脚本叫ESXi-Customizer-PS。这个脚本依赖PowerCLI所以你需要一台Windows机器最好是Windows 10或者Windows Server 2016以上装好PowerShell 5.1和.NET Framework 4.5以上。PowerCLI的安装方式有几种。最省事的是从PowerShell Gallery在线安装打开PowerShell管理员权限执行Install-Module -Name VMware.PowerCLI -Scope CurrentUser如果网络环境不稳定也可以去VMware官网下载PowerCLI的离线安装包大概几百MB装完之后效果一样。装完之后验证一下Get-Module -Name VMware.PowerCLI -ListAvailable能看到版本号就说明装好了。这里有个坑PowerCLI的版本不能太新。我试过用PowerCLI 12.x去跑ESXi-Customizer-PS脚本会报错提示找不到某些cmdlet。后来换成PowerCLI 10.1.0或者11.5.0就正常了。如果你装的是最新版建议先卸载装一个旧一点的稳定版。2.3 ESXi-Customizer-PS脚本的下载与放置ESXi-Customizer-PS是一个开源脚本原作者是Andreas Peetz。你可以在GitHub上搜到或者直接从一些技术博客的附件里下载。下载下来是一个.ps1文件把它放到一个单独的目录里比如C:\ESXi-Custom\。这个脚本本身不需要安装但它的执行策略可能会被Windows拦住。你需要以管理员身份打开PowerShell先设置执行策略Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser然后cd到脚本所在目录用.\ESXi-Customizer-PS.ps1来调用。如果你直接双击运行大概率会闪退因为脚本需要参数。提示脚本目录里最好只放这一个ps1文件不要混放其他乱七八糟的东西。脚本运行过程中会生成临时文件和输出文件目录干净一点方便排查问题。2.4 官方ESXi 6.7 ISO镜像的下载VMware官方镜像可以从VMware官网下载需要注册一个账号。搜索“VMware vSphere Hypervisor 6.7”就能找到下载页面。注意要下载完整的ISO镜像大概300多MB不要下成update包或者离线bundle。下载下来的文件名通常是VMware-VMvisor-Installer-6.7.0.update03-xxxxxxx.x86_64.iso这样的格式。版本号里的update03表示这是6.7的第三个更新版本建议用这个版本因为它包含了更多的驱动和补丁。如果你用的是6.7的初始版本有些新一点的硬件可能认不出来。把ISO文件也放到C:\ESXi-Custom\目录下跟脚本放在一起方便后续操作。3. 用ESXi-Customizer-PS集成驱动的完整流程3.1 脚本参数的正确写法ESXi-Customizer-PS的参数不算多但每个都很关键。最核心的几个参数是-izip指定输入的官方ISO文件路径-pkgDir指定存放VIB驱动文件的目录-outDir指定输出定制ISO的目录-v67指定目标ESXi版本为6.7一个典型的调用命令长这样.\ESXi-Customizer-PS.ps1 -izip .\VMware-VMvisor-Installer-6.7.0.update03-xxxxxxx.x86_64.iso -pkgDir .\vib -outDir .\output -v67这里.\vib目录里放的就是你从浪潮官网下载的VIB文件。脚本会自动扫描这个目录下所有的.vib文件把它们注入到ISO里。有一个细节要注意VIB文件的命名不能有中文或者特殊字符。我遇到过因为文件名里带了一个空格脚本直接报错说找不到文件。建议把VIB文件重命名成纯英文加数字的格式比如lsi_mr3.vib。3.2 执行过程中的报错与应对脚本跑起来之后会先解压ISO然后注入驱动最后重新打包。整个过程大概需要5到10分钟取决于机器性能。常见的报错有这么几种第一种是Could not find a part of the path这通常是路径里有中文或者空格导致的。把整个工作目录移到C:\ESXi-Custom\这种纯英文路径下就能解决。第二种是The VIB file is not compatible with the specified ESXi version这说明你下载的VIB驱动版本不对可能是给6.5或者7.0用的。回去检查驱动文件名里的版本号重新下载。第三种是PowerCLI cmdlet not found这就是前面说的PowerCLI版本问题。卸载新版装10.1或者11.5。第四种是脚本卡在Mounting ISO这一步不动了。这通常是Windows的ISO挂载功能被其他程序占用了。你可以手动用虚拟光驱软件挂载一下ISO看看能不能正常读取如果不能重新下载ISO文件。实操心得脚本执行过程中PowerShell窗口里会滚动输出很多日志。不要只看最后一行中间如果有黄色的Warning也要留意。有些Warning虽然不影响最终ISO生成但可能意味着某个驱动没被正确注入。生成ISO之后最好用-v67参数再跑一次验证看看脚本有没有报告驱动注入成功。3.3 验证定制ISO是否包含目标驱动ISO生成之后怎么确认驱动真的进去了有两种方法。第一种是看脚本的输出日志。如果日志里出现了类似Adding VIB: lsi_mr3-7.xxx.xx.xx-1OEM.670.0.0.xxxxxxx这样的行说明驱动已经被成功注入。第二种是手动验证。用7-Zip或者类似工具打开生成的ISO文件进入\根目录找到vmware-esx-base-osl.txt或者boot.cfg文件里面会列出所有包含的VIB包。不过更直接的方法是看ISO根目录下有没有一个叫vib的文件夹里面应该有你注入的驱动文件。还有一种终极验证方法把ISO写到U盘里实际启动服务器看安装程序能不能识别到RAID卡下的磁盘。这是最可靠的但也是最费时间的。建议先用虚拟机跑一遍确认ISO能正常引导再上物理机。4. 服务器端的BIOS与RAID配置要点4.1 RAID卡的工作模式选择浪潮服务器的RAID卡通常支持两种模式RAID模式和HBA模式也叫JBOD模式。如果你要做硬件RAID比如RAID 1或者RAID 5那就在BIOS里把RAID卡设成RAID模式然后在RAID卡的配置界面里创建虚拟磁盘。但这里有一个坑有些浪潮服务器的RAID卡在RAID模式下如果没有创建任何虚拟磁盘ESXi安装程序会看不到任何磁盘。也就是说你必须先在RAID卡里创建一个VD哪怕只用一个盘做RAID 0ESXi才能识别。如果你想让ESXi直接管理物理盘比如用vSAN或者ZFS那就把RAID卡切成HBA模式这样每块盘都会直接暴露给ESXi。以浪潮NF5280M5上的PM8060为例开机按CtrlH进入WebBIOS配置界面或者按CtrlR进入RAID配置界面。具体按键取决于RAID卡型号开机画面上会有提示。进去之后先确认Controller Mode是RAID还是HBA然后根据需求创建VD或者切换模式。4.2 启动模式UEFI还是Legacy BIOSESXi 6.7支持UEFI和Legacy两种启动模式。浪潮服务器默认可能是Legacy但建议改成UEFI。原因有两个一是UEFI启动更快二是UEFI模式下磁盘分区表是GPT支持大于2TB的磁盘。在BIOS的Boot选项卡里把Boot Mode改成UEFI。然后确认Boot Option里U盘或者光驱的启动项排在第一位。有些浪潮服务器在UEFI模式下需要手动添加启动项把U盘对应的UEFI启动文件加进去。注意如果你之前用Legacy模式装过系统改成UEFI之后原来的系统可能无法启动。所以改启动模式之前确认一下服务器上有没有需要保留的数据。4.3 关闭CPU节能选项的必要性浪潮服务器BIOS里默认开启了CPU节能选项比如C-State、P-State、Energy Efficient Turbo这些。这些选项在跑虚拟化的时候会导致性能波动尤其是对延迟敏感的业务比如数据库或者实时计算。建议在BIOS的Advanced-CPU Configuration里把C-State设为DisabledP-State设为DisabledEnergy Efficient Turbo也关掉。另外Power Technology选项可以设为Performance让CPU始终跑在高频。关掉这些选项之后服务器的功耗会上升风扇转速也会提高噪音变大。但换来的是更稳定的性能表现。如果是放在机房里噪音不是问题如果放在办公室那就要权衡一下了。5. 安装过程中的磁盘识别与分区策略5.1 安装程序识别不到磁盘的排查顺序即使驱动集成正确有时候安装程序还是看不到磁盘。这时候按以下顺序排查第一步确认RAID卡里已经创建了虚拟磁盘。如果RAID卡是RAID模式但没有VDESXi看不到任何磁盘。进RAID配置界面创建一个VD哪怕只用一块盘做RAID 0。第二步确认BIOS里RAID卡没有被禁用。有些浪潮服务器有多个RAID控制器比如板载的软RAID和插卡的硬RAID。如果你把硬RAID卡禁用了ESXi自然看不到。第三步确认驱动版本和RAID卡固件版本匹配。浪潮官网的驱动页面通常会标注适用的固件版本范围。如果RAID卡固件太老新驱动可能不兼容。这时候要么升级固件要么换一个老版本的驱动。第四步看ESXi安装程序的日志。在安装界面按AltF1可以切换到命令行输入dmesg | grep -i lsi或者dmesg | grep -i raid看看内核有没有加载RAID卡驱动。如果没有加载说明驱动还是有问题。5.2 系统盘的分区规划建议ESXi 6.7的系统盘分区是自动的你不需要手动干预。但有几个点要注意ESXi会在系统盘上创建多个分区包括引导分区、系统分区、VMFS数据存储分区等。如果系统盘容量小于128GBESXi可能不会自动创建VMFS分区你需要装完之后手动创建。如果服务器有多块盘建议把ESXi装在单独的RAID 1上数据盘用另一组RAID。这样系统盘出问题不会影响数据。浪潮服务器通常支持多个RAID组你可以在RAID配置界面里创建两个VD一个给系统一个给数据。实操心得ESXi 6.7的系统盘最小要求是8GB但实际使用中建议至少32GB。如果系统盘太小后续升级或者打补丁可能会失败。另外ESXi的scratch分区默认在系统盘上如果系统盘空间紧张可以把scratch分区移到数据盘上。5.3 安装完成后的首次配置安装完成重启之后你会看到ESXi的DCUI界面直接控制台。按F2进入配置输入root密码。这里有一个坑ESXi 6.7默认要求root密码至少7位包含大小写字母、数字和特殊字符。如果你设的密码太简单它会一直提示你重新输入。进去之后先配置管理网络。在Configure Management Network里设置静态IP、子网掩码、网关和DNS。如果你用DHCP确认DHCP服务器正常工作。配置完之后按Esc保存然后重启管理网络。然后打开浏览器输入ESXi的管理IP下载vSphere Client现在是HTML5版本。用root账号登录就能看到ESXi的Web管理界面了。6. 常见问题速查与避坑经验汇总6.1 驱动集成失败的高频原因问题现象可能原因解决方法脚本报错找不到VIB文件VIB文件名有中文或空格重命名为纯英文数字脚本报错VIB不兼容驱动版本与ESXi版本不匹配下载670版本的驱动脚本卡在挂载ISOISO文件损坏或被占用重新下载ISO关闭虚拟光驱软件生成的ISO无法引导脚本版本太老下载最新版ESXi-Customizer-PS安装时看不到磁盘RAID卡未创建VD或驱动未加载创建VD检查dmesg日志6.2 root密码登录错误的诡异问题有一个问题我遇到过好几次ESXi装好之后root密码明明是对的但就是登录不进去提示密码错误。重启之后又能登录了过一段时间又不行。这个问题通常跟ESXi的account lockout机制有关。ESXi 6.7默认在多次密码错误后会锁定账号锁定时间默认是15分钟。如果你确认密码没错但就是登不进去可以等15分钟再试。或者进DCUI界面用Troubleshooting Options里的Reset System Configuration重置配置但这会清空所有设置慎用。还有一种可能是键盘布局问题。如果你在DCUI界面设密码的时候键盘布局是US但登录的时候变成了UK某些特殊字符就会输错。建议密码里只用字母和数字避免特殊字符。6.3 风扇转速与CPU节能的取舍前面提到关闭CPU节能选项会让风扇转速提高。有些浪潮服务器在BIOS里可以单独调整风扇策略比如Fan Control选项可以设为Optimal、Performance或者Custom。如果你觉得风扇太吵可以设为Optimal但要注意CPU温度。我个人的做法是如果服务器放在机房直接关掉所有节能选项风扇策略设为Performance性能最稳。如果放在办公室或者实验室那就保留节能选项风扇策略设为Optimal牺牲一点性能换安静。提示浪潮服务器的BMC管理口里也可以调整风扇转速。登录BMC的Web界面找到Fan Control或者Thermal相关的选项可以手动设置风扇转速的百分比。但手动设置之后BMC可能不会再根据温度自动调节需要你定期检查温度。6.4 内存插槽顺序对性能的影响浪潮服务器的内存插槽有严格的安装顺序插错了会导致内存无法识别或者性能下降。以NF5280M5为例它有24个内存插槽分属两个CPU。每个CPU的12个插槽里优先插A1、B1、C1、D1这些位置。具体的插槽顺序在服务器的顶盖内侧或者用户手册里有图示。如果你不确定最简单的办法是从靠近CPU的插槽开始插每个通道插一根均匀分布。如果只插一部分内存不要把所有内存都插在一个CPU下面两个CPU要均衡。内存插错顺序的典型症状是开机自检时内存容量识别不全或者ESXi里看到的内存容量比实际少。这时候关机重新按顺序插一遍。7. 定制ISO的后续维护与版本升级7.1 驱动更新后的ISO重新生成浪潮的RAID驱动会不定期更新修复bug或者支持新的硬件。如果你已经用定制ISO装好了ESXi后续想更新驱动有两种方式第一种是重新生成ISO然后升级安装。这种方式比较麻烦需要把服务器关机用新ISO引导选择升级安装。升级安装会保留现有的配置和数据但有一定风险建议先备份。第二种是在ESXi里直接用esxcli命令安装VIB。把新的VIB文件上传到ESXi的/tmp目录然后执行esxcli software vib install -v /tmp/lsi_mr3-7.xxx.xx.xx-1OEM.670.0.0.xxxxxxx.vib安装完之后重启ESXi。这种方式更灵活不需要重新生成ISO。但要注意如果新驱动和旧驱动冲突可能会导致ESXi无法启动。所以安装之前先用esxcli software vib list看一下当前已安装的驱动版本确认新版本兼容。7.2 ESXi 6.7的补丁管理与安全更新ESXi 6.7虽然已经比较老了但VMware还是会不定期发布安全补丁。你可以用esxcli software profile update命令来打补丁或者用vSphere Update ManagerVUM来集中管理。打补丁之前一定要先看补丁的Release Notes确认有没有已知问题。有些补丁会更新驱动可能导致你之前集成的RAID驱动被覆盖。如果发生这种情况需要重新安装RAID驱动。实操心得我一般会在打补丁之前先用esxcli software vib list把当前所有VIB的版本号导出来存成一个文本文件。打完补丁之后再导一次对比一下哪些VIB被更新了。如果RAID驱动被更新成了不兼容的版本就回滚或者重新安装浪潮的驱动。7.3 从ESXi 6.7升级到7.0的注意事项如果你后续想升级到ESXi 7.0需要注意几点首先ESXi 7.0对硬件的要求更高一些老旧的RAID卡可能不再支持。其次ESXi 7.0的驱动模型有变化6.7的VIB驱动不一定能直接在7.0上用。你需要去浪潮官网下载对应7.0版本的驱动重新生成定制ISO。升级之前建议先用VMware的兼容性列表HCL查一下你的服务器型号和RAID卡是否在7.0的支持列表里。如果不在那就老老实实留在6.7或者换硬件。我个人在实际操作中的体会是浪潮服务器的ESXi部署核心难点就在RAID驱动这一关。只要驱动集成对了后面的安装和配置都是标准流程。但驱动集成这一步细节特别多从下载VIB到脚本参数从PowerCLI版本到ISO封装每个环节都可能出问题。我踩过的坑包括下载了错误的驱动版本、PowerCLI太新导致脚本报错、VIB文件名带空格导致脚本找不到文件、RAID卡没创建VD导致安装程序看不到磁盘。这些问题看起来都是小问题但每一个都能让你卡上半天。最后再分享一个小技巧如果你手头有多台同型号的浪潮服务器要装ESXi建议把定制好的ISO和驱动VIB文件一起存到一个U盘里做成一个“装机盘”。U盘里可以放多个版本的ISO比如6.7和7.0各一个再放一个PE工具盘备用。这样下次装机的时候直接插U盘就能搞定不用再重新下载和集成驱动。这个习惯帮我省了很多时间尤其是在客户现场没有稳定网络的时候。