标签： raspberrypi

前些天在ESXi on Arm — 树莓派4b安装ESXi中体验了在树莓派4b上使用ESXi on Arm。一些Arm64虚拟机用了十几天体验还可以。用Arm虚拟机体验了一些应用，比如Pi-hole，HomeAssistant，OpenMediaVault，AdGuard Home等等。

今天看到ESXi Arm Edition这里在10/22更新了新版本，有了一些Bug修复和新功能。

Changelog中首先声明的就是不能升级安装。但是可以选择Preserve VMFS的方式安装。安装好以后原有的虚拟机的Datastore里的虚拟机文件夹都还在，可以通过注册虚拟机的方式重新添加就可以用了。

下载镜像VMware-VMvisor-Installer-7.0.0-17068872.aarch64.iso，写入一个新的U盘（非之前已安装ESXi的U盘）。macOS下我用balenaEtcher写入。

原有ESXi关闭所有虚拟机，进入维护模式（其实没太大意义，因为我们不是升级），关机。

插入新写好的U盘，接上键盘。开机。（比如说我原有ESXi在三星U盘上，新写好的是金士顿）。

在白色树莓界面，按ESC，进入UEFI启动菜单，选择从新写好的金士顿U盘启动。启动界面还是跟之前一样记得按Shift+O去修改autoPartitionOSDataSize=xxxx。

加载完毕，选择安装在三星U盘后，会弹出如下提示：

选择preserve。然后后面安装步骤都一样了。

安装好以后，拔掉安装的金士顿U盘，重启。

启动完毕后，应该默认是DHCP，如果分配到的IP和之前不一样，可以进去修改一下静态地址，设置dns之类的。（ESXi系统本身是全新的，只是虚拟机文件的的VMFS datastore还在。所以其它NTP之类的设置也要重新去设置。）

一切设置完毕后。浏览器访问该VMFS datastore。选择注册虚拟机。

选择虚拟机文件夹，选择可选的vmx文件，点击注册。

注册成功。

在虚拟机菜单下可以看到该虚拟机。可以选择操作，编辑设置去确认是否有丢失的配置。

重复以上步骤注册其它虚拟机，不需要的虚拟机可以按文件夹去删除。

检查完设置没问题以后，虚拟机开机检查。

除了我暂时不用的Pi-hole，都开机了。

最后简单过一下更新说明：

Fix for https://flings.vmware.com/esxi-arm-edition/bugs/1098 (PSOD adding to VDS) 修复加入分布式交换机时紫屏的bug，我之前版本也加入VDS了，没遇到bug。

Support for Arm N1 SDP platform 新设备支持。

Support for VMs on Neoverse N1 CPU 没太懂，之前使用这个CPU不支持创建VM吗？和上面一行是相关的吧。

Support for UEFI-less VMs 支持非UEFI的VM，是指DeviceTree么?

Pass-thru stability improvements to LS1046A and LX2160A platforms 对两个平台的直通稳定性的提升。

Fix for vCenter/DRS incorrect CPU usage 对vCenter/DRS中错误显示CPU使用率的修复。

Fix for VM crash when VM storage fills up 修复VM在VM存储占满后崩溃的问题。

Stability fix for non-coherent DMA device support 不太懂，提升该种设备的稳定性。

Installer: tolerate RAM size within 4% of 4GB instead of 3.125 (for the otherwise unsupported RK3399 boards) 对4GB内存的限制的允许误差修改为在-4%以内，之前为-3.125%。相当于放宽了一点点内存限制，应该是因为RK3399达不到-3.125%之内。

Serial port handling improvements (for unsupported/unknown boards, to be a bit more resilient of firmware configuration errors) 对串口处理的一些改进。

看到标题是不是就觉得这是瞎折腾？

没错。如果树莓派4b中安装了ESXi on ARM，在ESXi中再安装Raspios，性能肯定不如直接使用树莓派4b裸装Raspios。

但是如果你使用一台8G版本树莓派4b，单独用一个Raspios又有点浪费了。可以试着在ESXi中多装几个Arm Linux系统，比如CentOS，Raspios，Ubuntu。然后可以在ESXi中随意切换虚拟机开关机。甚至可以同时运行几个Arm Linux系统，榨干它的性能。ESXi是可以超配的。如下图（各个虚拟的Linux空载时）。另外，还可以用到虚拟机的快照，克隆等功能，方便在上面开发测试软件，比如Pi-hole之类的。

Ubuntu，PhotonOS，Debian，CentOS在https://flings.vmware.com/esxi-arm-edition中附带的Pdf文档都说明了是支持并验证过的，方法也就是挂载ISO文件，去安装虚拟机。我就不做演示了。下面演示下装Raspios的过程。

因为官方下载到的2020-05-27-raspios-buster-arm64.img 并不默认支持EFI启动，而ESXi on Arm又只支持EFI启动，所以无法直接使用该镜像，我们要借助Debian的rescue mode来解决这个问题。

1. 下载raspios的img。使用StarWind V2V Converter转成vmdk（2个文件，上传至ESXi的datastore后显示成1个）。

2. 下载debian-10.6.0-arm64-netinst.iso，上传至datastore。

3. 创建虚拟机，类型Linux-Debian 10 x64。删掉原有虚拟的硬盘，添加上面转过的vmdk作为硬盘。光驱里加载Debian的iso文件，记得勾选上已连接，并去虚拟机选项里把引导选项的强行执行EFI设置的下次引导钩上。然后保存。cpu可以分2个核，内存1G或者2G都可以。网卡确保是能连外网的。

4. 启动虚拟机，去EFI设置的boot选项里，选择光驱启动 EFI DVD/CDROM。

5. 加载Debian，选择Advanced options,然后Rescue mode。

6. 语言，国家，键盘都默认即可。

7. 随意设置一个Hostname, Domain name, time zone.

8. Device to use as root file system 选择 /dev/sda2，一定不要选错。然后Mount separate /boot选Yes。在/dev/sda2中运行shell。

9. Continue。

10. 接下来在下方依次输入下面几行命令，注意因为需要联网下载，所以每一步都需要很长时间（根据网络情况而定）。如果某一步没有成功，一定要再执行一遍确保成功了再下一行。如果提示空间不足之类的，那就apt autoremove; apt autoclean之类的试试。

apt update
apt install linux-image-arm64
apt install grub-efi-arm64
grub-install --efi-directory=/boot/
update-grub
exit

整个过程其实就是通过debian的rescue去给raspios加了grub-efi启动选项支持。

11. 关闭虚拟机。 把Debian的ISO虚拟光驱断开连接并且去掉打开电源时连接。

12. 开机，等待第一个启动选项自动加载。完成后就看到熟悉的树莓派系统了。

13. 初始化设置。先不要更新，因为应该会遇到空间不足的问题。

14. 关机。加大硬盘的容量，比如扩大到20G。

15. 保存，开机。进入系统后去sudo raspi-config。选择第7项 Advanced Options。

16. 选择A1 Expand Filesystem。

17. 然后重启检查下硬盘是不是扩大了。

18. 可以apt update或upgrade啦。

19. 如果想安装open-vm-tools，可以按照ESXi-Arm-Fling-Doc.pdf文档中的第12步操作编译，该文档是Ubuntu中的步骤，Debian同样适用。

昨天VMware官方博客发布了https://blogs.vmware.com/vsphere/2020/10/announcing-the-esxi-arm-fling.html。以fling(非正式产品，属于社区性质的早期阶段产品，旨在从用户处得到一定的反馈和测试)的形式发布了esxi-arm-edition 。

具体的一些安装要求可以参照requirements

对于个人用户，可以使用4G和8G版本的树莓派4b来安装此版本ESXi.

简单总结了几点要求：

更新EEPROM（支持U盘启动）到最新并刷UEFI引导固件（ESXi on Arm需要,使用存储卡）,具体步骤可以参考fling中的pdf或者树莓派4 U盘启动+ UEFI引导 （4G版树莓派4b要去启动设置中将 Limit RAM to 3GB 禁用。）

注册My VMware并下载fling中的ESXi ISO文件，制作U盘启动盘（也可以在安装时把ESXi宿主系统安装在这个U盘或USB移动硬盘上，建议使用USB3.0，如果只用作ESXi系统，不用于虚拟机Datastore，有16G或者32G就足够了。USB移动硬盘可以是Sata，也可以是NVMe）

USB外接键盘和HDMI接口的显示器

带外接电源的USB3.0 hub,我用的是奥睿科的某款（非广告，理论上此类可独立供电hub都可以）

Youtube上找到一个视频教程，还是很不错的，安装部分在后面。

安装步骤如下（也可参照pdf)：

1. 将Hub与树莓派4b的usb3.0连接并接入独立电源，键盘通过usb2.0连接，显示器通过HDMI连接，U盘启动盘插入Hub。

2. 通电开机，在白色树莓界面，按ESC进入启动设置，到启动顺序中将U盘调整至最前，保存设置使生效。

3. 启动出现ESXi安装进度条，如果需要调整ESXi系统空间大小，可以在此时按Shift+O，在最下方的启动命令后方空格加上autoPartitionOSDataSize=xxxx 比如8G空间就是8192，这样剩余的U盘空间还可以在系统安装成功之后通过https://koolshare.cn/thread-180336-1-1.html此文的方法创建Datastore。

4. 接下来的界面和步骤对于熟悉ESXi安装的朋友就不会陌生了。

如果安装之前没有把U盘启动顺序调到前面，可以在安装好ESXi之后再去UEFI的启动顺序中设置。

安装之后，可以在上方启动成功后的界面按F2，输入Root密码去设置网络或者开启ESXi Shell等常规设置。然后就可以在局域网中通过vSphere client网页https://192.168.1.77 （上方DCUI界面显示的IP）去进一步设置了。

登陆之后，如果不是中文，建议去网页上方的下拉菜单的设置中切换语言。

几个推荐的设置或实践：

管理→系统→时间和日期，Edit NTP Settings， 设置使用网络时间协议，随主机启动和停止，NTP服务器可以使用你自己熟悉的时间服务器，比如ntp1.aliyun.com，保存。切换到服务菜单，启动ntpd服务。稍等一会，在切换到时间和日期页面，时间就会同步成功了。此处的时间还是以UTC时区显示，但其它近期任务等事件的时间戳都会是你所在的时区了，比如东八区。

如果没有在ESXi的黄色DCUI界面开启ESXi Shell和SSH服务，可以在网页客户端的服务中将TSM和TSM-SSH服务启动（请根据需求开启）。

个人使用可以用root账户来进行今后的管理操作，如果涉及多用户，建议在安全和用户菜单中，针对某一系统预设的角色添加用户，或者添加符合自己需求的特定角色后，再添加用户。

如果不方便使用USB存储来做Datastore，可以添加一个iSCSI存储来做Datastore，此操作可以通过ESXi shell来设置，也可以通过网页端操作。以ESXi shell为例：

    esxcli iscsi software set -e true 开启软件iSCSI

    esxcli iscsi adapter list 查看iSCSI适配器信息

   把iSCSI适配器与vmk0绑定

    添加iSCSI target （我在局域网的群晖中划分了一部分硬盘做iSCSI）

    重启ESXi后，此Datastore就会在数据存储菜单中看到了。

pdf文档中列出了目前支持的客户机系统

Ubuntu 20.04 LTShttps://ubuntu.com/download/server/arm

CentOS Linux 8http://isoredirect.centos.org/centos/8/isos/aarch64/

openSUSE Leap 15.2http://download.opensuse.org/ports/aarch64/distribution/leap/15.2/iso/

Photon OS 3.0https://github.com/vmware/photon/wiki/Downloading-Photon-OS

Debian 10.xhttps://cdimage.debian.org/debian-cd/current/arm64/iso-cd/

Fedora 32 Serverhttps://getfedora.org/en/server/download

以Ubuntu为例，下载ubuntu-20.04.1-live-server-arm64.iso，上传至Datastore，供创建虚拟机时做光盘引导。

安装成功

在ESXi首页的资源使用情况图中，可以看出来4G版Pi 4b在安装两个虚拟机之后内存是瓶颈了（我还装了一个VMware Photon虚拟机），所以更推荐使用8G版Pi 4b，一台树莓派上可以同时运行几个客户机，比如Ubuntu，Debian，CentOS等。

Tips:

此版本ESXi on Arm中没有自带VMware Tools的安装文件,所以无法通过虚拟机操作菜单安装，不过ESXi-Arm-Fling-Doc.pdf文档中，提供了创建虚拟机之后在虚拟机中编译并安装Open VM Tools的步骤。

已知问题：

USB3.0性能达不到协议上限，使用USB3.0的外接网卡（比如一些螃蟹USB网卡）时最高只能达到200Mbps。

监控中的网络和磁盘数据不准确，是因为I/O驱动的问题，目前还在开发中。

不同SoC的ARM设备之间不能进行vMotion，比如eMAG和树莓派之间。

此试用license为180天，过期需要重新安装，理论上也可以用其它有效的x86版vSphere license来授权。

此次ESXi on Arm并非只为树莓派设计，更多的使用场景和以后的发展方向应该是一些Arm-based SmartNICs，或者其它ARM服务器。Nvidia提出收购ARM要约之后，最近的VMworld2020大会上，Nvidia和VMware也宣布了一些合作，其中包括Project Monterey。（和NVIDIA, Pensando, and Intel这三家SmartNIC顶级厂商都建立了合作伙伴关系）有兴趣的可以去链接中查看或者网上搜索下。

相关文章

我的ESXi on Arm硬件

树莓派4 U盘启动+ UEFI引导