Virtual Tips

在之前的 vSphere虚拟网络01中，提到了vSphere中的两种虚拟交换机类型：标准交换机和分布式交换机。这篇里就虚拟交换机的知识进行一些深入的了解。

首先，虚拟交换机就是从软件层面来模拟一个Layer2的交换机。在物理网络中，交换机在Layer2利用它维护的CAM表来做点到点的数据包传输。在虚拟网络中，虚拟交换机检测到连接到它的虚拟端口的虚拟机，然后用MAC来转发流量到正确的目的地（点到点）。虚拟交换机基本上是用来在虚拟网络和物理网络之间建立连接的。

这里可以再看一下上一篇中用到的示意图

在ESXi安装之后，默认的配置有一个标准虚拟交换机，一个叫VM Network的端口组和一个作为ESXi管理口的叫vmk0的VMkernel port。这个默认配置可以用来实现基本的虚拟网络和物理网络的连通，如果你有更复杂的虚拟网络需求，我们就要自己来创建额外的VMkernel port，端口组或者虚拟交换机。

那么我们来查看下vSphere7版本的虚拟网络的一些限制https://configmax.vmware.com/guest?vmwareproduct=vSphere&release=vSphere%207.0&categories=2-0

从中我们能看到，ESXi主机支持最多4096个端口，其中8个作为预留口，但是最多活动端口是1024，其中8个作为预留口，那么最多可用并且活动端口就是1016。

关于隔离

在之前的vSphere虚拟网络01中提到了虚拟网络中的隔离，可以通过一个虚拟交换机的不同端口组设置不同VLAN ID来隔离，如下图

那么也可以通过多个虚拟交换机来直接做“物理隔离”，如下图

两种方式都可以做到隔离，但有什么不同呢？

首先，虚拟交换机是通过软件来模拟物理交换机的行为。那么在ESXi上创建越多的虚拟交换机就应该需要越多的资源来做交换功能。

其次，如果我们想做流量隔离，在单虚拟交换机上就需要配置VLAN，或者不用VLAN，用多虚拟交换机来“物理隔离”。因为在很多网络中，可能物理网络中也没有配置VLAN来做隔离，比如部门1连接物理交换机01，部门2连接物理交换机02，这样的物理隔离，那么我们就可以把部门1要用的虚拟资源连在虚拟交换机01上并且通过上行链路->物理网卡连接到物理交换机01上，然后部门2要用的虚拟资源连在虚拟交换机02上并且通过上行链路->物理网卡连接到物理交换机02上，这样部门1和部门2所需要的虚拟资源就“物理隔离”了，同时，Management和vMotion连接不同的物理交换机也可以实现管理和迁移的“物理隔离”。从整体上来说，我们也做到了业务部门的流量（部门1和部门2）和IT管理的流量（Management和vMotion)隔离。

最后我们看到图中每个虚拟交换机我们都设置了2个上行链路（冗余），这样单虚拟交换机需要2个物理网卡，4个虚拟交换机就需要8个物理网卡，这时候我们就要考量这台服务器是否有能力通过PCI插槽来接入这么多网卡了，因为PCI插槽还可能有连接阵列卡等设备的需求。

Tips:

不要因为你能创建多个虚拟交换机就去创建，要根据实际需求和硬件设备来具体分析，建议通过尽量少的虚拟交换机来实现需求。

标准交换机

标准交换机是通过ESXi主机来创建和管理的，这就意味着当你有多台ESXi主机时，你就要分别去每一台ESXi上创建标准交换机里的端口组等设置，可能这个工作量还不算什么，但是当一年之后你要去修改端口组，或者扩展端口组呢？（这种需求应该可以叫做Day2 operation吧)。

因为标准交换机不能集中管理，也许我们可以通过一些自动化脚本来实现，但自动化脚本也要适应上面提到的Day2 operation， 所以管理员的开销还是挺大的。

通过创建或者编辑标准交换机的操作界面，我们大致能了解到一些它的功能：

Layer2交换

IPv6

VLAN

网卡绑定

出口流量整形

安全策略

绑定和故障切换策略

总的来说，标准交换机可以解决大部分小型部署中的虚拟网络需求，我们应该避免在中型或大型部署中使用标准交换机，或者可以保留的使用有限的功能。更多的虚拟网络需求通过分布式交换机或者NSX来实现。

分布式交换机

分布式交换机在标准交换机的基础上，增加了一些额外的功能，而且提供了集中管理的接口。

比如：

入口流量整形

网卡绑定和故障切换策略中基于负载的绑定

端口洪泛控制

私有VLANs

以端口为单位的策略设置

端口镜像

NetFlow监控

端口状态监控

如图是个基于2台ESXi主机设置的分布式交换机示意图

所谓的集中管理，分布式交换机不是在ESXi主机上创建的，而是vCenter。在vCenter中在数据中心的Actions菜单中可以选择分布式交换机，然后创建或者导入。分布式交换机上的流量并不会通过vCenter来转发，来看一个分布式交换机的架构图。

从图中我们可以看到，vCenter上是分布式交换机的一个模板，设定了端口组，上行链路的个数。需要把ESXi主机加入分布式交换机，这时候就把交换机的模板推送到了加入的ESXi主机上，并且可以指定ESXi上的哪个物理网卡为分布式交换机的上行链路使用。ESXi主机上有一个Host proxy switch，它用来接收vCenter推送的模板，这样交换功能其实还是在ESXi主机上实现的。Day2 operation需要的设置可以在vCenter的模板上修改，就会推送到各个连接该分布式交换机的ESXi主机上，这就是集中管理。

这种架构，在vCenter上的分布式交换机实例被叫做控制平面/Control plane，交换机的管理是在这里实现的。在ESXi上的Host proxy switch被叫做数据平面/Data plane,交换机的数据交换是在这里发生的。

最后，来看一个多台ESXi所连接的分布式交换机的拓扑图吧。

左侧为端口组，我把vCenter自己单独放了一个端口组，把VMkernel放在一个端口组，剩余VM放在一个端口组。因为没有设置VLAN，实际上这几个端口组是可以互通的。

右侧为上行链路，这里我每个ESXi主机只设置了一个上行链路，对应一个ESXi上的vmnic。

如果win10这台虚拟机在esxi01这台主机上，u2004这台虚拟机在esxi02这台主机上，两台同在一个端口组的虚拟机，从拓扑图看来，直接在虚拟交换机就能交换数据，实际上，还是要通过各自的上行链路走到物理交换机才能交换数据的。

本篇为vSphere虚拟网络的一些基本理解，属于入门知识，先看下面的图来理解虚拟网络是如何构成的。

以单ESXi主机为例

从最上面虚拟机开始，上面配有虚拟网卡/vNIC（或者叫虚拟网络适配器），适配器的类型参考官方文档，以vSphere7.0为例https://docs.vmware.com/cn/VMware-vSphere/7.0/com.vmware.vsphere.vm_admin.doc/GUID-AF9E24A8-2CFA-447B-AC83-35D563119667.html

最近几个版本的vSphere都限定了一台虚拟机最多可以配置10个虚拟网络适配器。

再看图中间的虚拟交换机，在vSphere的网络配置里，虚拟交换机分为标准交换机（Virtual Standard Switch)和分布式交换机(Virtual Distributed Switch)，如下图。这里先以标准交换机为例，分布式交换机留到后面章节再展开讲。

在一个标准虚拟交换机里，我们可以设置三类连接类型

1. VMkernel网络适配器，这种连接类型是ESXi用来主机管理（通常所说的ESXi管理口），vMotion，iSCSI，NFS等服务的流量使用的连接类型，我们可以把不同的服务分到不同的VMkernel适配器上，也可以分配到同一个VMkernel适配器上，一般简写成vmk0,vmk1……VMkernel适配器需要分配IP地址，以vmk0作为主机管理端口为例，如它设置了IP地址192.168.1.50，我们就可以在局域网内通过192.168.1.50来管理这台ESXi主机。

2. 虚拟机端口组/PortGroup，端口组可以理解成虚拟机和虚拟交换机之间连接的一种模板，一般说来，虚拟机是将虚拟网卡连接到虚拟交换机上的端口组/PortGroup的一个端口上(想像成一台电脑的网线从物理网卡连接到了物理交换机上）来做网络交换（虚拟机使用直通的网络设备除外）。在创建端口组时还可以设置VLAN ID，这样同一个虚拟交换机下面还可以通过不同端口组来做VLAN隔离。

3.物理网络适配器，这是虚拟交换机和物理交换机连接的物理载体，桥梁。从示意图中，我们看到虚拟交换机中有一个端口（可以有多个）叫做上行链路/Uplink port，上行链路和物理网卡连接在一起，这个物理网卡在vSphere里可以标记为VMNIC, PNIC,UPLink，物理网卡作为连通虚拟网络和物理网络的桥梁，通常来说它本身不和IP地址绑定，所以当我们给ESXi主机分配IP时，并不是直接分配给了它的物理网卡，而是分配给了VMkernel适配器。

现在再回到开头的示意图，虚拟机虚拟网卡->虚拟交换机端口组->虚拟交换机内部交换->虚拟交换机上行链路->物理网卡->物理交换机，完成了虚拟机和物理网络的连通。

Tips:

如果物理交换机是VLAN交换机，我们还可以把ESXi物理网卡连接的物理交换机端口设置成Trunk口，tag上物理网络中的VLAN ID，在虚拟交换机的端口组里做VLAN ID的设置之后，就把虚拟机连接到了物理网络的VLAN里。

这就是vSphere虚拟网络的一些基本知识和示意图理解，后面我会深入的就其它虚拟网络内容进行展开。

声明：本文参考https://www.top-password.com/knowledge/reset-esxi-root-password.html中提到的挂载Ubuntu Live CD来清除ESXi原有密码，使ESXi再启动时可以通过空密码登陆后台，然后重新设置密码。如果英文阅读没问题的可以直接去看原文。

官方KB中虽然说ESXi的root密码只能通过重新安装来重置，但还是有网友成功通过上面提到的办法来重置。

由于物理机操作和拍照比较麻烦，我用ESXi中嵌套安装的ESXi挂载Live CD做演示。

以最新的ESXi7.0 Update1和Ubuntu 20.04 Live CD为例。

假设现在我们忘记root密码，无法登陆后台或者ESXi网页端了。

关闭ESXi主机，插上Ubuntu Live CD启动盘（可以是光驱，U盘等），我这里是嵌套ESXi，直接挂载ISO。

开机进入BIOS设置，确保LIVE CD启动在ESXi（硬盘）之前。

选择Try Ubuntu。

系统加载完毕后，点选Show Applications(左下角）。

搜索并运行gparted。

在ESXi7中我们要找的分区应该是这个BOOTBANK1的/dev/sda5。

关闭GParted并运行Terminal。

运行下面这几行命令，将该分区挂载到/mnt。

sudo -s

mount /dev/sda5 /mnt

cd /mnt

ls

找到我们需要的state.tgz压缩包。

然后将压缩包复制到临时目录/tmp，解压，查找local.tgz压缩包。

cp state.tgz /tmp

cd  /tmp

tar xzf  state.tgz

ls

找到了local.tgz压缩包。

解压local.tgz进入etc目录，找到shadow文件。

tar xzf local.tgz

ls

cd etc

ls

使用vi或者nano编辑shadow文件，以nano为例。

nano shadow

删除root后面第一个冒号和第二个冒号之间的内容（保留2个冒号）。

在nano编辑器中，Ctrl+X退出，提示是否保存修改时Y。

然后回车（使用当前文件名）。

接下来我们退回到etc上级目录，将修改的文件反向的打包压缩并覆盖/mnt/挂载点里的内容，然后取消挂载。

cd ..

tar czf  local.tgz  etc

tar czf  state.tgz  local.tgz

cp  state.tgz  /mnt/

umount  /mnt

这时候物理机可以关闭Ubuntu Live CD系统，并弹出光驱或者拔掉Live CD U盘，我这里在嵌套的ESXi虚拟机设置中把ISO文件停止挂载。

保存，开机，等待ESXi加载完成。

按F2，使用root空密码，回车。

成功，可以去设置新密码了。

今年上半年ESXi7.0发布后，大家发现螃蟹网卡和一些老旧的Intel网卡因为没有Native驱动而不被ESXi7.0支持了。

当然还可以继续使用ESXi6.7，因为里面有支持这些网卡的vmklinux驱动。

如果实在想使用7.0，有个折中的办法，接一个此驱动里提到的USB3.0网卡来做管理口（将驱动封装进7.0镜像，制作定制版启动U盘，此处步骤网上很多，就省略了）。

声明：以下纯属瞎折腾，请不要在重要环境里折腾。

下面以我的一台工控机为例，该机器使用6口Intel 82583V网卡，ESXi7.0已经不支持了。如果已经配置过USB3.0网卡，可以直接跳过从直通板载网卡部分开始看。

使用USB3.0网卡安装配置ESXi7.0

将USB3.0网卡（我的是使用AX88179芯片的某款绿联）连接工控机的USB3.0口，另一头插入网线，连接交换机或者路由器LAN口。

启动ESXi安装，小硬盘用户请记得调节autoPartitionOSDataSize=xxxx （参考如何不让ESXi7.0的虚拟闪存占掉你的小硬盘）。

安装一切顺利，直到遇到如下81%时的错误：

从上面的错误信息来看，说的是没有成功的选取网卡作为管理口。真实原因是此过程正常是在查找vmnic#名字的网卡，我们的板载网卡在ESXi7.0中不支持，而usb网卡的名字是vusb#，所以没有匹配到。

经过测试，其实这个81%的时候ESXi已经安装好了，只是USB3.0网卡没有被成功当作管理口，还需要几步额外操作。

1. 移除安装U盘（已经不需要了）。

2. 重启。

3. 当ESXi加载完成后按F2， 使用root空密码登陆 （之前安装时虽然设置了密码，因为81%的错误，配置没有保存）。

4. 选择Network Restore Options。

5. 保存退出，然后再F2进来。

6. 这时候Configure Management Network不是灰色了，可以选择了。

7. 在Network Adapters中选择vusb0，保存。

8. 这个时候稍等一下ESXi就会通过DHCP获取到IP了，如果需要设置静态IP，可以去IPv4 Configuration里设置。

9. 注意，因为USB3.0网卡的默认虚拟交换机设置会在ESXi下次重启后失效，所以要依照驱动中的Persisting USB NIC Bindings部分去设置/etc/rc.local.d/local.sh保存设置。

至此USB3.0网卡作为管理口已经设置好并且可以正常使用了，我们通过网页可以访问ESXi了。

在此基础上，创建虚拟机时就可以使用默认的vSwitch0的端口组VM Network了。

直通板载网卡

我们这里单独直通第六个口。

创建一个虚拟机，这里以Windows10为例。网卡默认使用vSwitch0的端口组VM Network。安装成功后，确保Windows已经可以获取到局域网IP，比如192.168.1.188.

将Windows关机，添加PCI设备（直通的板载网卡第六口），预留内存。保存设置，开机。

Windows网络连接中，显示有2个网卡（一个虚拟的，一个直通的82583V），两个一起选择，然后右键，选择桥接。

这个时候，为了验证桥接的结果，用网线将工控机第六口和我的一台电脑连接，等一会后就能看到电脑的以太网连接自动获取到了局域网IP，为192.168.1.189。 这样工控机的板载网卡也被使用上了。

此时，每个直通的网口，只能被一个物理机使用，或者连接物理交换机，路由器继续扩展，而不能被ESXi的管理口或者其它虚拟机使用。

我们来进一步利用ESXi里的虚拟交换机来使用直通的网卡。

将直通的网卡桥接传回给vSwitch

添加一个标准虚拟交换机，记得把安全下面的设置从拒绝改成接受。

此虚拟交换机不需要上行链路。

如果想做管理口，那么去VMkernel网卡中添加一个vmk1，使用vSwitch1。

创建一个Bridge端口组。

查看vSwitch1的拓扑，vmk1还获取不到局域网IP。

将之前的Win10虚拟机网络连接的桥接删除，关机，删除虚拟的VM Network网卡，添加一个新的虚拟网卡，使用Bridge端口组，保留直通的网卡。将直通的第六口用网线和局域网的交换机或者路由器LAN连接。开机。

进入Windows网络连接，此时直通的网卡应该能够获取到局域网IP。

将虚拟的Bridge和直通的网卡桥接。

稍等一会，去查看vSwitch1的拓扑。vmk1获取到了局域网IP:192.168.1.190

如果想使此管理口在ESXi开机后可用，那么就要在ESXi中将此虚拟机改成随ESXi开机自动启动。

接下来创建其它虚拟机，虚拟网卡使用Bridge端口组，就会通过此桥接的直通网卡获取到IP了。

至此，板载的Intel 82583V也可以在ESXi7.0中做管理口(可以通过https://192.168.1.190访问ESXi网页客户端)和给虚拟机使用了。

使用Bridge端口组下的虚拟机进行局域网测速。

移除USB3.0网卡上的网线，单独使用直通的网卡

如果我们既使用USB3.0网卡，又使用桥接后的直通网卡做ESXi管理口，看起来是有点多余，当然我们也可以一个接WAN，一个接LAN，同时做管理口。

我们先尝试不用USB网卡来管理ESXi。

把ESXi关机，拔掉USB网卡上的网线，注意，这里只能拔掉网线，不能把USB网卡也拔掉，因为ESXi开机启动时，如果检测不到vusb0，就会报一个没有网卡的错误而不能正常完成启动，后面的win10虚拟机也没法跟着自动启动了，所以我们插着USB网卡不插网线可以让ESXi正常启动。

ESXi开机，用局域网里其它机器一直ping新的管理口192.168.1.190。因为我们上面修改过local.sh，在网口状态是down的情况下会最多重试20次，每次sleep10秒钟，再加上本身我们设置虚拟机开机自动启动还有60秒延时，导致整个过程比较长（可以酌情去修改local.sh中的重试次数和sleep时长），要好几分钟（ping icmp_seq大概有500+），耐心的一直等到ping通了，就可以通过https://192.168.1.190访问ESXi网页客户端，此时桥接的windows虚拟机已经自动启动。(请记得把Win10系统的自动休眠等电源选项关闭，防止一段时间后虚拟机休眠了，桥接就断了。）

ESXi中查看物理适配器vusb0是链路已断开的状态(没插网线）。

不过这里还是建议大家也发挥下USB3.0网卡的功能，给它插上网线，接WAN也好，接LAN也好。

一点不完美

不太完美的就是使用Win10做桥接会占用较多的系统资源，因为要预留内存，比如我给Win10分配了2G内存。如果把桥接的虚拟机从Windows换成Linux，分配少点资源应该也足够。我这里就不试了，想试的去研究下Linux中的bridge-utils即可。也非常简单，把虚拟的Bridge端口组网卡和直通的网卡一桥接就行了。

USB Network Native Driver for ESXi今天更新到新版本，支持ESXi7.0.1了，我之前有ESXi7.0.0机器因为使用了USB网卡驱动一直没法升级到7.0.1。（ESXi升级补丁会报该USB网卡驱动缺少依赖，因为那个依赖从7.0.0的版本更新到7.0.1，版本就对不上了）

下面演示由vCenter管理的EXSi主机更新7.0.1（包含该USB网卡驱动）。

首先将USB网卡驱动更新下载，再将ESXi7.0.1离线包VMware-ESXi-7.0.1-16850804-depot.zip下载，然后用ESXi Customizer PS来封装镜像。具体步骤参照ESXi-Customizer-PS。

将这个封装好的ISO上传到vCenter的Lifecycle Manager里。

创建基准。

选择刚才上传好的ISO。

完成。

然后去要升级的ESXi Host，把所有虚拟机置于挂起或关机状态。进入维护模式。

在更新选项卡下方，附加基准。

选择刚才创建的基准，附加。

勾选该基准并修复。

接受协议和确定后，开始修复。

完成后ESXi自动重启，等待一会，vCenter显示连接上了ESXi，能看到7.0.1版本号了。

更新说明里提到了USB NIC Bindings are now automatically persistent。

所以我们可以去ssh里把相应的之前设置的启动脚本注释掉了。