我们在近期运营中，PVE节点开通的VM客户反馈了一些异常情况：
1、PVE VM启用firewall/ macfilter/ ipfilter，ipset rules正确，但没有网络，重装系统/ 防火墙关闭也无法恢复；但在PVE VM网卡停用firewall网络即恢复。
2、PVE VM网络正常，但firewall rules不生效。
3、pve-firewall出现错误: status update error: iptables_restore_cmdlist: Try `iptables-restore -h' or 'iptables-restore --help' for more information.
巡检中发现PVE的zfs-raidz2坏了一个盘，查询显示：
~# zpool status rpool
pool: rpool
state: DEGRADED
status: One or more devices has been removed by the administrator.
Sufficient replicas exist for the pool to continue functioning in a
degraded state.
action: Online the device using zpool online' or replace the device with
'zpool replace'.
scan: scrub repaired 0B in 00:43:00 with 0 errors on Sun May 12 01:07:02 2024
config:
NAME STATE READ WRITE CKSUM
rpool DEGRADED 0 0 0
raidz2-0 DEGRADED 0 0 0
ata-INTEL_SSDSC2KB019TZ_PHYI334000GD1P9DGN-part3 ONLINE 0 0 0
ata-INTEL_SSDSC2KB019TZ_PHYI334000NS1P9DGN-part3 ONLINE 0 0 0
ata-INTEL_SSDSC2KB019TZ_PHYI334000Q21P9DGN-part3 ONLINE 0 0 0
ata-INTEL_SSDSC2KB019TZ_PHYI334000Y91P9DGN-part3 ONLINE 0 0 0
ata-INTEL_SSDSC2KB019TZ_PHYI334000GE1P9DGN-part3 REMOVED 0 0 0
Proxmox+VE用于公有云、VPS的可靠性得到了很多同行长期的验证认可，整个生态环境也满足我的需求，所需功能也基本都能满足，所以我开始用PVE了。我考虑用本地存储，如果是用智简魔方的公有云平台，一般情况只有硬卡RAID10是最好方案；但PVE出现了多个方案，我挑了几个，但很犹豫哪个最合适我：ZFS-RAID-Z2、ZFS-RAID-Z3、ZFS-RAID10，以及硬卡RAID10。