此文为ESXi on Arm — 树莓派4b安装ESXi中我使用的相关硬件。
奥睿科USB3.0 Hub，带独立电源，适合扩展USB存储
三星 USB3.1 FIT U盘， 256GB
树莓派4b， 4G版，发行后在美亚购入的CanaKit 套装
我的ESXi on Arm硬件
作者： oye
ESXi on Arm — 树莓派4b安装ESXi
昨天VMware官方博客发布了https://blogs.vmware.com/vsphere/2020/10/announcing-the-esxi-arm-fling.html。以fling(非正式产品，属于社区性质的早期阶段产品，旨在从用户处得到一定的反馈和测试)的形式发布了esxi-arm-edition 。
具体的一些安装要求可以参照requirements
对于个人用户，可以使用4G和8G版本的树莓派4b来安装此版本ESXi.
简单总结了几点要求：
更新EEPROM（支持U盘启动）到最新并刷UEFI引导固件（ESXi on Arm需要,使用存储卡）,具体步骤可以参考fling中的pdf或者树莓派4 U盘启动+ UEFI引导 （4G版树莓派4b要去启动设置中将 Limit RAM to 3GB 禁用。）
注册My VMware并下载fling中的ESXi ISO文件，制作U盘启动盘（也可以在安装时把ESXi宿主系统安装在这个U盘或USB移动硬盘上，建议使用USB3.0，如果只用作ESXi系统，不用于虚拟机Datastore，有16G或者32G就足够了。USB移动硬盘可以是Sata，也可以是NVMe）
USB外接键盘和HDMI接口的显示器
带外接电源的USB3.0 hub,我用的是奥睿科的某款（非广告，理论上此类可独立供电hub都可以）
Youtube上找到一个视频教程，还是很不错的，安装部分在后面。
安装步骤如下（也可参照pdf)：
1. 将Hub与树莓派4b的usb3.0连接并接入独立电源，键盘通过usb2.0连接，显示器通过HDMI连接，U盘启动盘插入Hub。
2. 通电开机，在白色树莓界面，按ESC进入启动设置，到启动顺序中将U盘调整至最前，保存设置使生效。
3. 启动出现ESXi安装进度条，如果需要调整ESXi系统空间大小，可以在此时按Shift+O，在最下方的启动命令后方空格加上autoPartitionOSDataSize=xxxx 比如8G空间就是8192，这样剩余的U盘空间还可以在系统安装成功之后通过https://koolshare.cn/thread-180336-1-1.html此文的方法创建Datastore。
4. 接下来的界面和步骤对于熟悉ESXi安装的朋友就不会陌生了。
如果安装之前没有把U盘启动顺序调到前面，可以在安装好ESXi之后再去UEFI的启动顺序中设置。
安装之后，可以在上方启动成功后的界面按F2，输入Root密码去设置网络或者开启ESXi Shell等常规设置。然后就可以在局域网中通过vSphere client网页https://192.168.1.77 （上方DCUI界面显示的IP）去进一步设置了。
登陆之后，如果不是中文，建议去网页上方的下拉菜单的设置中切换语言。
几个推荐的设置或实践：
管理→系统→时间和日期，Edit NTP Settings， 设置使用网络时间协议，随主机启动和停止，NTP服务器可以使用你自己熟悉的时间服务器，比如ntp1.aliyun.com，保存。切换到服务菜单，启动ntpd服务。稍等一会，在切换到时间和日期页面，时间就会同步成功了。此处的时间还是以UTC时区显示，但其它近期任务等事件的时间戳都会是你所在的时区了，比如东八区。
如果没有在ESXi的黄色DCUI界面开启ESXi Shell和SSH服务，可以在网页客户端的服务中将TSM和TSM-SSH服务启动（请根据需求开启）。
个人使用可以用root账户来进行今后的管理操作，如果涉及多用户，建议在安全和用户菜单中，针对某一系统预设的角色添加用户，或者添加符合自己需求的特定角色后，再添加用户。
如果不方便使用USB存储来做Datastore，可以添加一个iSCSI存储来做Datastore，此操作可以通过ESXi shell来设置，也可以通过网页端操作。以ESXi shell为例：
esxcli iscsi software set -e true 开启软件iSCSI
esxcli iscsi adapter list 查看iSCSI适配器信息
把iSCSI适配器与vmk0绑定
添加iSCSI target （我在局域网的群晖中划分了一部分硬盘做iSCSI）
重启ESXi后，此Datastore就会在数据存储菜单中看到了。
pdf文档中列出了目前支持的客户机系统
Ubuntu 20.04 LTShttps://ubuntu.com/download/server/arm
CentOS Linux 8http://isoredirect.centos.org/centos/8/isos/aarch64/
openSUSE Leap 15.2http://download.opensuse.org/ports/aarch64/distribution/leap/15.2/iso/
Photon OS 3.0https://github.com/vmware/photon/wiki/Downloading-Photon-OS
Debian 10.xhttps://cdimage.debian.org/debian-cd/current/arm64/iso-cd/
Fedora 32 Serverhttps://getfedora.org/en/server/download
以Ubuntu为例，下载ubuntu-20.04.1-live-server-arm64.iso，上传至Datastore，供创建虚拟机时做光盘引导。
安装成功
在ESXi首页的资源使用情况图中，可以看出来4G版Pi 4b在安装两个虚拟机之后内存是瓶颈了（我还装了一个VMware Photon虚拟机），所以更推荐使用8G版Pi 4b，一台树莓派上可以同时运行几个客户机，比如Ubuntu，Debian，CentOS等。
Tips:
此版本ESXi on Arm中没有自带VMware Tools的安装文件,所以无法通过虚拟机操作菜单安装，不过ESXi-Arm-Fling-Doc.pdf文档中，提供了创建虚拟机之后在虚拟机中编译并安装Open VM Tools的步骤。
已知问题：
USB3.0性能达不到协议上限，使用USB3.0的外接网卡（比如一些螃蟹USB网卡）时最高只能达到200Mbps。
监控中的网络和磁盘数据不准确，是因为I/O驱动的问题，目前还在开发中。
不同SoC的ARM设备之间不能进行vMotion，比如eMAG和树莓派之间。
此试用license为180天，过期需要重新安装，理论上也可以用其它有效的x86版vSphere license来授权。
此次ESXi on Arm并非只为树莓派设计，更多的使用场景和以后的发展方向应该是一些Arm-based SmartNICs，或者其它ARM服务器。Nvidia提出收购ARM要约之后，最近的VMworld2020大会上，Nvidia和VMware也宣布了一些合作，其中包括Project Monterey。（和NVIDIA, Pensando, and Intel这三家SmartNIC顶级厂商都建立了合作伙伴关系）有兴趣的可以去链接中查看或者网上搜索下。
相关文章
从简书搬来这里了
vSphere Clustering Service (vCLS)
更新vCenter到7.0 Update1之后，发现虚拟机视图下，多了一个vCLS文件夹，并且下面有3个虚拟机。
从官方博客文章了解到这是vSphere7.0 Update1新引入的vSphere Clustering Service,简单来说，把一部分控制平面的功能，从vCenter中解耦，并且分布式的由最多3个轻量级虚拟机per Cluster（VMware PhotonOS）分担。当ESXi少于3个时，vCLS虚拟机个数等于ESXi个数。
从介绍来看，这三个虚拟机的生命周期不需要用户或者管理员去处理，而是通过vSphere ESX Agent Manager来管理的，如果我们强行对某一vCLS虚拟机关机，那么Manager检测到少了一个vCLS虚拟机时，会再把它开机。如果我们关闭vCLS虚拟机后快速把虚拟机删除掉，那么Manager就会再创建一个vCLS虚拟机。实际测试也是这样的。
可以想像到今后vSphere会尝试把更多的控制平面服务解耦并分布式部署，有点微服务的意思了。
PS: 因为这个轻量级虚拟机目前还只有X86版，所以如果vCenter7.0Update1的cluster加入了ESXi on Arm的host，那么是无法创建vCLS虚拟机的，就会发现日志里一直在尝试创建，然后又删除。。。解决办法目前只能是Arm的host不加到Cluster里，或者不升级Update1的vCenter。
10月21日更新：
思科警告它的HyperFlex用户不要升级vCenter7.0 Update1,其中提到EAM会尝试关闭其HyperFlex controller VMs（和vCLS相似功能）并删除。（从上面我们看EAM确实会对vCLS VMs进行生命周期的控制），看来是个兼容性的问题。😓
https://www.theregister.com/2020/10/20/cisco_hyperflex_vmware_warning/
Aquantia万兆网卡在Windows下几乎没有上传速度
好久没玩Fifaonline4了，今天国庆节前的周日，公司放假，在iMac Pro的Bootcamp Windows10里装了游戏，准备玩几局，结果游戏比赛中每局都会弹出网络错误，然后游戏就断了。按说我这联通千兆宽带，再怎么差也不至于网络不好到每局都断开吧，于是找了游戏客服，客服给了一个网络检查工具，看起来就是检查延时的。也都是几毫秒到几十毫秒之内。看不出什么问题。
闲着没事用Speedtest测了一下速，发现了问题，下载测速能够达到800多M（光猫桥接主路由有一点损耗），但是上传居然只有0.04M，估计这样就是时不时网络上传就断了，所以游戏里才会弹出网络错误。
由于我用的是iMac Pro自带的Aquantia 万兆以太网口，怀疑是不是因为Bootcamp的驱动有问题，就试了下用Wifi连接网络，发现Wifi虽然因为无线路由有点落后而导致下载速度降到了400M左右，但是上传能稳定在北京联通的上限30M左右。
看来是这个有线网卡的问题，就在网上搜了搜AQUANTIA万兆网卡的问题，发现有华硕论坛里也提到了Aquantia万兆网卡的上传问题，还有Intel万兆网卡的问题，继续搜索，发现了macrumors论坛里有人提到了Aquantia万兆网卡在Mac Pro上Bootcamp时的上传问题。我这是iMac Pro，应该也差不多。
帖子里提到，要去网卡属性的高级属性里，将RSC（Recv Segment Coalescing) IPv4 和IPv6 从默认的Enabled改成Disabled。
设置成功后，再次Speedtest测速，一切正常，进入游戏也没有再发生网络错误。
树莓派4 U盘启动+ UEFI引导
几个月前得知树莓派可以通过更新EEPROM来U盘启动，大概方法就是在系统里更新重启后检查sudo rpi-eeprom-update，如果latest和current一致就说明已经是最新啦。（抱歉忘了截图。。。）
那么如何让树莓派4得到UEFI引导呢？
Github中的https://github.com/raspberrypi/firmware/ 和 https://github.com/pftf/RPi4/ 可以配合起来搞定（注意后者目前还是一个实验性的项目）。
大致步骤（以我的4GB树莓派4为例，已通过前面的步骤更新过EEPROM）：
1. 将树莓派关机，取出存储卡，插入电脑读卡器（我的是macOS系统）
2. 下载最新的raspberrypi firmware并解压成一个firmware-master文件夹
3. 下载最新的RPi4 UEFI firmware （当前1.20）并解压成RPi4_UEFI_Firmware_v1.20文件夹
4. 将存储卡格式化成fat32，如果你和我一样使用macOS，可以使用diskutil命令来操作
diskutil list
/dev/disk2 (external, physical):
#: TYPE NAME SIZE IDENTIFIER
0: FDisk_partition_scheme *15.9 GB disk2
1: Windows_FAT_16 BOOT 134.2 MB disk2s1
2: Linux 1.3 GB disk2s2使用如下命令格式化并将label设置成UEFI，一定要注意写对你上面查询到的存储卡的/dev/diskx ！！！
diskutil partitionDisk /dev/disk2 1 MBRFormat “MS-DOS” UEFI R
5. 删除掉 firmware-master/boot 目录下所有的kernel*.img 文件，并将整个boot文件夹剩下的文件复制到格式化好的存储卡里，还以macOS为例（默认从Github下载下来的两个压缩包都解压到了桌面）
rm ~/Desktop/firmware-master/boot/kernel*.img
cp -rf ~/Desktop/firmware-master/boot/* /Volumes/UEFI
6. 复制RPi4_UEFI_Firmware_v1.20目录下所有文件到存储卡
cp -rf ~/Desktop/RPi4_UEFI_Firmware_v1.20/* /Volumes/UEFI
7. 编辑存储卡里的config.txt文件，追加gpu_mem=16。如果你和我用的一样，都是4GB版本，添加此设置，8GB版本不需要此设置。
echo “gpu_mem=16” >> /Volumes/UEFI/config.txt
8. 拔掉存储卡，如果使用macOS，可以 diskutil eject /dev/disk2后拔掉。
9. 将存储卡插入树莓派，开机，当你看到白色树莓标志时，按ESC键，就可以进入设置菜单了。（假设你已经在树莓派上插好了某UEFI引导的USB启动盘，比如Windows on ARM。这里推荐使用有外接独立供电的USB Hub来扩展USB存储，比如USB3.0的U盘，移动硬盘等）
10. Boot Maintenance Manager→Boot Options→Change Boot Order 来切换启动顺序，再次没有截图，借用别人的截图意思一下
调整启动顺序后，保存重启即可。
macOS里的Microsoft Edge浏览器错误代码6
昨天更新macOS10.15.6到Safari14.0以后，发现Microsoft Edge浏览器不能使用了，打开后就显示错误代码6.
并且右上角会挨个弹出所安装的插件不能使用。
有人提到了重启macOS可以解决问题，尝试重启系统后发现问题暂时解决。
所以Safari更新为什么会导致Edge不能用呢？
尝试绕过ESXi最小4GB内存的安装检查
声明：此文使用的方法在很早的版本ESXi安装时就有人使用过，可以绕过检查，但并不推荐在小内存机器上安装ESXi。
更新说明：如果安装过程遇到图2的内存检查错误时再使用此方法，有些朋友反映在图1处显示为3.6G内存时，安装一会就会显示一个紫色背景的错误消息，根本进不到后续的操作步骤，这种情况就无法使用此方法了。
有些机器本身是4G内存，也许因为部分内存被核显使用，或者需要被BMC/BIOS/UEFI预留，或者其它ESXi的计算方法，会在启动是显示为3.xGB内存，这样因为差一点点内存不能使用ESXi还是有点可惜的，就可以想办法绕过内存检查脚本。
方法步骤如下：
1. U盘启动安装ESXi，在黄色背景界面看到内存为3.7GiB（我使用物理ESXi嵌套安装，分配的3.75GiB内存）。
2. 同意协议，选择安装介质，设置密码等一系列操作后，遇到内存检查错误，提示需要4.00 GiB。
3. 在上图界面键盘按下ALT+F1，进入下图界面，然后用户名root，密码为空（之前设置的密码还未生效）。
4. 执行如下命令切换到检查脚本所在目录。
cd /usr/lib/vmware/weasel/util
5. 备份原有脚本，设置权限, 然后vi修改。
mv upgrade_precheck.py upgrade_precheck.py.bak
cp upgrade_precheck.py.bak upgrade_precheck.py
chmod 666 upgrade_precheck.py
vi upgrade_precheck.py
6. vi编辑器中搜索 “MEM_MIN_SIZE”，在vi中输入/MEM_MIN_SIZE。
7. 第一次搜索命中结果应该定位到如下图光标位置。
8.我们要修改的就在下方，使用光标定位到下面或者在搜索时按下n键去找第二次命中应该就是了。
9. 定位光标到第一个4后面，按i进入编辑模式，退格删除4，修改为2。
10. 按ESC进入命令模式，输入:wq,回车保存退出。
11. 执行下面的命令（杀掉当前的python进程）。
kill -9 $(ps -c | grep weasel | grep -v grep | awk ‘{print $1}’)
12. 然后就又回到熟悉的安装界面了。
13. 一系列操作后，原来的内存检查错误界面不会出现了，出现了擦除安装介质的对话框，F11继续。
14. 然后就是等进度条啦。
15. 安装结束，提示拔下ESXi安装盘，比如U盘，然后回车重启。
16. ESXi重启加载完毕后。
17. 访问ESXi网页控制台，3.75 GB内存正常使用。
ESXi直通核显
常见的ESXi直通显卡都是直通独立显卡给Linux，macOS或者Windows，这样接上显示器，直通USB键鼠以后使用体验和物理机相差就很小了。也不需要通过VMware Remote Console或者VNC，RDP等形式远程访问了。
我们买的工控机或者NUC，Mac Mini等用来玩ESXi的设备往往都是有核显的，在ESXi中核显除了在开机自检过程中被ESXi获取一次控制权或者用户需要连上显示器查看ESXi的DCUI界面（熟悉的ESXi黄色背景后台）之外，显卡并不会作为硬件设备被ESXi虚拟化后提供给虚拟机使用。（ESXi目前被官方支持的显卡虚拟化只支持Nvidia Grid，也就是说跟消费者级别显卡无缘）。
为了让仅有的核显发挥余热，我们就可以尝试把它直通给虚拟机，做硬解使用。（目前测试发现ESXi下直通的核显无法外接显示器使用。）
尝试的步骤如下：
1. 在Hardware->PCI Devices中，选中核显，点击Toggle passthrough，如果提示重启请重启ESXi。如图，我的是UHD 630.
2. 在将设备添加到虚拟机之前，设置好虚拟机的远程访问，如Windows的RDP，macOS的Screen Sharing或者Linux的VNC，防止直通核显后VMware Remote Console访问有问题。
我以虚拟的macOS举例，所以打开macOS中的Screen Sharing，配置好可以访问的用户，记住地址。
3. 编辑虚拟机，添加PCI设备，或动态PCI设备。选择该核显，然后预留所有内存，保存设置。
4. SSH访问ESXi，运行esxcli system settings kernel set -s vga -v FALSE(当不需要直通核显时记得改回来，把FALSE改成TRUE执行一下)，让ESXi启动时不去获取显卡控制权，然后重启ESXi。
5. 重启ESXi之后，启动macOS虚拟机。然后通过Screen Sharing去远程访问它。登陆进去以后，查看System Report中的Graphics，应该如图一样可以同时看到虚拟显卡和直通的核显。
Tips: 如上设置后，DCUI界面不能直接访问了，可以通过如下操作借用SSH访问：
1）SSH连接ESXi
2）输入TERM=xterm。（mac的终端需要，windows下的Putty等不需要）
3）输入dcui
这时就看到熟悉的DCUI界面了，如果想退出可以在shell中Ctrl+C结束dcui。
ESXi直通USB键鼠
使用ESXi时，我们有时会直通网卡或者显卡给虚拟机使用，让虚拟机独占该物理设备，减少虚拟化造成的性能损耗，相关教程网上也比较多。今天我们来尝试下直通USB键鼠，这样虚拟的桌面系统（Windows，Linux，macOS等）就可以配合直通显卡接显示器以后直接当一台物理机使用了。
1. 首先要查询USB键鼠的VID和PID，在windows，macOS系统上插上设备查询或者插在ESXi主机上利用lsusb查询都可以。
图中是vid在前，pid在后。Cypress这个是我的Filco键盘，Dell这个就是个鼠标。
2. 通过ESXi网页终端来编辑虚拟机的高级设置或者ssh到ESXi修改虚拟机的vmx文件，加入允许USB HID设备开关和具体直通的USB设备id。
编辑设置->虚拟机选项->高级->编辑配置。
添加如下参数，vid在前，pid在后。确定，保存。
3. ssh访问ESXi，并使用vi修改/etc/vmware/config, 加入上面添加的要直通的设备ID。
4. 如上设置后下次ESXi重启时VMkernel还会获取设备的控制权，我们需要到ESXi启动引导中禁用掉VMkernel对上述设备获取控制权。
ssh到ESXi里，使用vi修改/bootbank/boot.cfg, 在启动参数后面加上CONFIG./USB/quirks=0x04b4:0x120d::0xffff:UQ_KBD_IGNORE:0x413c:0x301a::0xffff:UQ_KBD_IGNORE
(顺序为vid:pid::0xfff)
保存后重启ESXi，然后我们就可以编辑虚拟机设置来添加USB键鼠设备了。
5. 添加其它设备，USB设备，自动会同时创建一个USB控制器，键鼠用USB2.0即可。
6. 保存后启动该虚拟机系统，如果直通了显卡并外接显示器，那么就可以直接看着显示器里该系统启动，并且可以使用USB键鼠来操作了。
以上操作步骤参考了troubleshooting-device-passthrough-with-vmware-workstation-and-vmware-fusion, how-to-passthrough-usb-keyboard-mouse-hid-and-ccid-devices-to-vm-in-esxi 和 passthrough-usb-devices-from-esxi-to-vm
另外，此方法并非官方推荐的做法，根据 https://kb.vmware.com/s/article/1021345，官方更加建议使用一个PCI插槽的USB controller （上面有USB 接口）， 把整个controller设备直通给VM ，然后让虚拟机系统来识别连接在上面的USB设备。适用于常见的USB设备如键鼠，耳麦，智能卡读卡器，U盾等。除了主机板载的USB controller之外，类似的PCI USB controller如下面的型号都可以使用：
NEC chipset PCI-E usb3 controller(Chipset: NEC d720200, model:MC210)
Ti chipset PCI-E usb3 controller