Ubuntu Server 高级磁盘挂载指南：深入原理、生产环境实践与性能优化

# 查看当前系统的I/O调度器
cat /sys/block/sda/queue/scheduler
# 通常输出：[mq-deadline] kyber bfq none

# 查看NVMe设备的by-id链接
ls -la /dev/disk/by-id/ | grep nvme

# 输出示例：
# nvme-Samsung_SSD_960_PRO_1TB_S3EVNX0J123456 -> ../../nvme0n1
# nvme-Samsung_SSD_960_PRO_1TB_S3EVNX0J123456-part1 -> ../../nvme0n1p1

# 在/etc/fstab中使用by-id而不是设备名称
# /dev/disk/by-id/nvme-Samsung_SSD_960_PRO_1TB_S3EVNX0J123456-part1 /var/lib/mysql ext4 defaults 0 2

# 创建自定义udev规则文件
sudo nano /etc/udev/rules.d/99-backup-disk.rules

# 内容：基于磁盘序列号为特定备份磁盘创建符号链接
SUBSYSTEM=="block", ATTRS{serial}=="WD-WMC1T1234567", SYMLINK+="backup_disk"

# 重新加载udev规则
sudo udevadm control --reload-rules
sudo udevadm trigger

# 现在可以通过/dev/backup_disk访问该设备

# 识别存储设备的WWID
sudo /lib/udev/scsi_id -g -u -d /dev/sdb

# 创建多路径设备的udev规则
# /etc/udev/rules.d/99-multipath.rules
KERNEL=="sd*", SUBSYSTEMS=="scsi", PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name", RESULT=="3600508b400105e210000900000490000", SYMLINK+="disk/multipath-san-disk"

# 这样无论通过哪条路径访问，设备都会被正确识别为同一磁盘

# 创建针对数据库工作负载优化的EXT4文件系统
sudo mkfs.ext4 -O ^has_journal -E lazy_itable_init=0,lazy_journal_init=0 -L mysql_data /dev/nvme0n1p1

# 挂载选项优化
# /etc/fstab 条目：
# /dev/nvme0n1p1 /var/lib/mysql ext4 noatime,nodiratime,data=writeback,barrier=0,nobh,errors=remount-ro 0 2

# 解释关键选项：
# - noatime,nodiratime: 禁止记录访问时间，减少磁盘写入
# - data=writeback: 提供更好的性能，但可能增加崩溃后数据不一致的风险
# - barrier=0: 禁用写入屏障，提高性能（仅在有电池备份的RAID控制器上使用）
# - nobh: 不与buffer-head关联的写入，提高性能

# 注意：这些优化选项需要根据具体硬件和工作负载谨慎测试后使用

# 创建针对大文件优化的XFS文件系统
sudo mkfs.xfs -f -d su=256k,sw=4 -l su=256k,version=2 -L media_storage /dev/sdb1

# 参数解释：
# -d su=256k,sw=4: 设置条带单元和条带宽度，匹配RAID配置
# -l su=256k: 设置日志条带单元大小
# -l version=2: 使用XFS日志版本2，支持更大日志

# 挂载选项优化
# /etc/fstab 条目：
# /dev/sdb1 /mnt/media xfs rw,noatime,nodiratime,allocsize=64M,logbsize=256k,inode64,swalloc 0 2

# 关键选项说明：
# - allocsize=64M: 为延迟分配设置较大的预分配大小，适合大文件写入
# - logbsize=256k: 设置日志I/O缓冲区大小
# - inode64: 允许inode号在64位空间分配，避免32位限制
# - swalloc: 在条带边界上对齐分配，优化RAID性能

# 启用reflink支持（需要硬件和内核支持）
sudo xfs_io -c "reflink" /mnt/media/file1 /mnt/media/file2_copy

# 创建Btrfs文件系统
sudo mkfs.btrfs -L vm_storage /dev/sdc1

# 挂载并创建子卷
sudo mount /dev/sdc1 /mnt/vm
sudo btrfs subvolume create /mnt/vm/base_images
sudo btrfs subvolume create /mnt/vm/instances

# 设置不同的挂载选项
# /etc/fstab 配置：
# /dev/sdc1 /mnt/vm btrfs subvol=vm_storage,compress=zstd,space_cache,autodefrag 0 0
# /dev/sdc1 /mnt/vm/base_images btrfs subvol=base_images,compress=zstd,noatime 0 0
# /dev/sdc1 /mnt/vm/instances btrfs subvol=instances,compress=zstd,ssd,noatime 0 0

# 创建基础镜像的快照
sudo btrfs subvolume snapshot /mnt/vm/base_images/ubuntu-2004 /mnt/vm/instances/vm01

# 启用配额管理
sudo btrfs quota enable /mnt/vm
sudo btrfs qgroup limit 100G /mnt/vm/instances/vm01

# 创建ZFS存储池
sudo zpool create -f data_pool mirror /dev/sda /dev/sdb mirror /dev/sdc /dev/sdd

# 设置池属性
sudo zpool set autoexpand=on data_pool
sudo zpool set autoreplace=on data_pool

# 创建数据集并设置属性
sudo zfs create data_pool/analytics
sudo zfs set compression=lz4 data_pool/analytics
sudo zfs set atime=off data_pool/analytics
sudo zfs set recordsize=1M data_pool/analytics  # 针对大文件优化
sudo zfs set logbias=throughput data_pool/analytics

# 启用去重（需要大量内存）
sudo zfs set dedup=on data_pool/analytics

# 创建快照策略
sudo zfs set snapdir=visible data_pool/analytics
sudo zfs snapshot data_pool/analytics@$(date +%Y%m%d_%H%M)

# 设置定期快照
# 在cron中添加：
# 0 2 * * * /sbin/zfs snapshot data_pool/analytics@$(date +\%Y\%m\%d)
# 0 3 * * 0 /sbin/zfs snapshot -r data_pool@weekly_$(date +\%Y\%m\%d)

<file system> <mount point> <type> <options> <dump> <pass>

# /etc/fstab
# 根文件系统
UUID=a1b2c3d4-e5f6-7890-abcd-ef1234567890 / ext4 errors=remount-ro,noatime,discard 0 1

# 数据库数据目录 - NVMe SSD，性能优化
UUID=b2c3d4e5-f6g7-8901-bcde-f23456789012 /var/lib/mysql ext4 noatime,nodiratime,data=writeback,barrier=0,nobh 0 2

# 用户主目录 - 机械硬盘，稳定性优先
UUID=c3d4e5f6-g7h8-9012-cdef-345678901234 /home ext4 defaults,relatime 0 2

# 日志目录 - RAM磁盘，高性能
tmpfs /var/log tmpfs defaults,noatime,size=2G,mode=755 0 0

# NFS共享 - 网络存储
nas01:/export/shared /mnt/shared nfs rw,hard,intr,timeo=300,retrans=3,rsize=32768,wsize=32768 0 0

# CIFS共享 - Windows文件共享
//fileserver/data /mnt/win cifs credentials=/etc/smb-credentials,uid=1000,gid=1000,file_mode=0664,dir_mode=0775,iocharset=utf8 0 0

# SWAP分区
UUID=d4e5f6g7-h8i9-0123-defg-456789012345 none swap sw 0 0

# 创建挂载单元文件
sudo nano /etc/systemd/system/mnt-database.mount

[Unit]
Description=Mount Database Storage
Before=mysql.service
Requires=dev-disk-by\x2duuid-a1b2c3d4\x2de5f6\x2d7890\x2dabcd\x2def1234567890.device
After=dev-disk-by\x2duuid-a1b2c3d4\x2de5f6\x2d7890\x2dabcd\x2def1234567890.device

[Mount]
What=UUID=a1b2c3d4-e5f6-7890-abcd-ef1234567890
Where=/mnt/database
Type=ext4
Options=noatime,nodiratime,data=writeback

[Install]
WantedBy=multi-user.target

# 启用并启动挂载单元
sudo systemctl enable mnt-database.mount
sudo systemctl start mnt-database.mount

# 创建自动挂载单元
sudo nano /etc/systemd/system/mnt-backup.automount

[Unit]
Description=Automount Backup Drive

[Automount]
Where=/mnt/backup
TimeoutIdleSec=300

[Install]
WantedBy=multi-user.target

# 对应的挂载单元
sudo nano /etc/systemd/system/mnt-backup.mount

[Unit]
Description=Mount Backup Drive

[Mount]
What=/dev/disk/by-label/BACKUP
Where=/mnt/backup
Type=ext4
Options=noatime

# 启用自动挂载
sudo systemctl enable mnt-backup.automount
sudo systemctl start mnt-backup.automount

# 创建备份磁盘的自动挂载配置
# /etc/systemd/system/mnt-backup.automount
[Unit]
Description=Automount Backup Disk
Documentation=man:systemd.automount(5)

[Automount]
Where=/mnt/backup
TimeoutIdleSec=1800  # 30分钟无活动后自动卸载

[Install]
WantedBy=multi-user.target

# 对应的挂载单元
# /etc/systemd/system/mnt-backup.mount
[Unit]
Description=Backup Disk Mount
Requires=dev-disk-by\x2duuid-1234567890ABCDEF.device
After=dev-disk-by\x2duuid-1234567890ABCDEF.device local-fs.target
Before=backup.service

[Mount]
What=UUID=1234567890ABCDEF
Where=/mnt/backup
Type=ext4
Options=noatime,nodiratime,errors=remount-ro

# 创建备份服务单元
# /etc/systemd/system/backup.service
[Unit]
Description=Nightly Backup Service
Requires=mnt-backup.mount
After=mnt-backup.mount
ConditionPathIsMountPoint=/mnt/backup

[Service]
Type=oneshot
ExecStart=/usr/local/bin/backup-script.sh

[Install]
WantedBy=multi-user.target

# 设置定时器
# /etc/systemd/system/backup.timer
[Unit]
Description=Run backup nightly
Requires=backup.service

[Timer]
OnCalendar=*-*-* 02:00:00
Persistent=true

[Install]
WantedBy=timers.target

# 查看和设置I/O调度器
# 查看当前调度器
cat /sys/block/sda/queue/scheduler

# 临时更改调度器
echo 'mq-deadline' | sudo tee /sys/block/sda/queue/scheduler

# 永久更改调度器（使用udev规则）
# /etc/udev/rules.d/60-io-scheduler.rules
ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/scheduler}="mq-deadline"
ACTION=="add|change", KERNEL=="nvme[0-9]n[0-9]", ATTR{queue/scheduler}="none"

# 调整EXT4参数
# 增加日志提交时间（提高性能，增加风险）
sudo tune2fs -o journal_data_ordered /dev/sda1

# 调整inode缓存
echo 100000 | sudo tee /proc/sys/fs/inode-nr
echo 100000 | sudo tee /proc/sys/fs/inode-state

# 调整脏页回写参数
# 增加脏页比例阈值（更多内存用于缓存）
echo 20 | sudo tee /proc/sys/vm/dirty_ratio
echo 10 | sudo tee /proc/sys/vm/dirty_background_ratio

# 调整回写时间间隔
echo 5000 | sudo tee /proc/sys/vm/dirty_writeback_centisecs
echo 60000 | sudo tee /proc/sys/vm/dirty_expire_centisecs

# 调整内核参数
# /etc/sysctl.d/10-io-optimization.conf

# 增加文件句柄限制
fs.file-max = 1000000

# 优化虚拟内存管理
vm.swappiness = 10
vm.vfs_cache_pressure = 50

# 优化网络性能（影响文件传输）
net.core.somaxconn = 4096
net.core.netdev_max_backlog = 65536
net.ipv4.tcp_max_syn_backlog = 65536

# 调整EXT4文件系统参数
# 创建时使用dir_index和sparse_super选项
sudo mkfs.ext4 -O dir_index,sparse_super /dev/sdb1

# 挂载时使用优化选项
# /etc/fstab
UUID=xxxx /var/www ext4 noatime,nodiratime,data=ordered,commit=60,barrier=0 0 2

# 调整预读值（适合顺序读取）
sudo blockdev --setra 8192 /dev/sdb1

# 使用e4defrag进行定期碎片整理（针对频繁修改的文件）
sudo e4defrag -c /var/www > /tmp/frag_report.txt
sudo e4defrag /var/www/images/  # 对高碎片目录进行整理

# 使用适当PE大小创建物理卷
sudo pvcreate --dataalignment 1m /dev/sdb

# 创建卷组，设置适当PE大小
sudo vgcreate --physicalextentsize 4M vg_data /dev/sdb

# 创建条带化逻辑卷（提高性能）
sudo lvcreate -i 4 -I 64 -L 100G -n lv_striped vg_data

# 创建镜像逻辑卷（提高可靠性）
sudo lvcreate -m 1 -L 50G -n lv_mirror vg_data

# 创建精简配置的逻辑卷
sudo lvcreate -T vg_data/pool0 -L 100G
sudo lvcreate -V 50G -T vg_data/pool0 -n lv_thin

# 创建缓存逻辑卷
sudo lvcreate -L 100G -n lv_main vg_data
sudo lvcreate -L 10G -n lv_cache vg_data
sudo lvcreate -L 1G -n lv_meta vg_data
sudo lvconvert --type cache --cachevol lv_cache --cachemode writethrough vg_data/lv_main

# 创建针对数据库优化的LVM配置
# 使用大PE大小减少元数据开销
sudo pvcreate --dataalignment 1m /dev/nvme0n1
sudo vgcreate --physicalextentsize 16M vg_oracle /dev/nvme0n1

# 为不同数据库文件创建不同的逻辑卷
# 数据文件：条带化提高性能
sudo lvcreate -i 4 -I 128 -L 500G -n lv_data vg_oracle

# 重做日志：镜像提高可靠性
sudo lvcreate -m 1 -L 50G -n lv_redo vg_oracle

# 归档日志：独立逻辑卷
sudo lvcreate -L 200G -n lv_archive vg_oracle

# 创建快照用于在线备份
sudo lvcreate -s -L 20G -n lv_data_snap /dev/vg_oracle/lv_data

# 挂载时使用适合数据库的选项
# /etc/fstab
/dev/vg_oracle/lv_data /oracle/data ext4 noatime,nodiratime,data=writeback,barrier=0 0 0
/dev/vg_oracle/lv_redo /oracle/redo ext4 defaults 0 0
/dev/vg_oracle/lv_archive /oracle/archive ext4 defaults 0 0

# 创建数据库备份脚本
#!/bin/bash
# /usr/local/bin/lvm-db-backup.sh

# 设置变量
VG=vg_oracle
LV_DATA=lv_data
LV_SNAP=lv_data_snap
SNAP_SIZE=20G
MOUNT_POINT=/mnt/snap
BACKUP_DIR=/backup/oracle
DATE=$(date +%Y%m%d_%H%M%S)

# 刷新数据库缓冲区并开始备份模式
sudo -u oracle sqlplus / as sysdba << EOF
ALTER SYSTEM CHECKPOINT;
ALTER SYSTEM SWITCH LOGFILE;
ALTER DATABASE BEGIN BACKUP;
exit;
EOF

# 创建快照
sudo lvcreate -s -L $SNAP_SIZE -n $LV_SNAP /dev/$VG/$LV_DATA

# 结束数据库备份模式
sudo -u oracle sqlplus / as sysdba << EOF
ALTER DATABASE END BACKUP;
exit;
EOF

# 挂载快照
sudo mkdir -p $MOUNT_POINT
sudo mount /dev/$VG/$LV_SNAP $MOUNT_POINT -o ro

# 执行备份
sudo mkdir -p $BACKUP_DIR/$DATE
sudo rsync -av --progress $MOUNT_POINT/ $BACKUP_DIR/$DATE/

# 卸载并删除快照
sudo umount $MOUNT_POINT
sudo lvremove -f /dev/$VG/$LV_SNAP

# 清理旧备份（保留最近7天）
find $BACKUP_DIR -type d -mtime +7 -exec rm -rf {} \;

echo "Backup completed: $BACKUP_DIR/$DATE"

# 创建卷组用于虚拟机存储
sudo vgcreate vg_vms /dev/sdb

# 创建精简配置池
sudo lvcreate -T -L 500G --poolmetadatasize 10G vg_vms/thin_pool

# 创建基础镜像
sudo lvcreate -V 20G -T vg_vms/thin_pool -n base_ubuntu2004
sudo mkfs.ext4 /dev/vg_vms/base_ubuntu2004
sudo mount /dev/vg_vms/base_ubuntu2004 /mnt
# 安装操作系统...
sudo umount /mnt

# 从此基础镜像创建虚拟机
for vm_id in {1..10}; do
    sudo lvcreate -s vg_vms/base_ubuntu2004 -n vm_${vm_id}
    sudo lvchange -ky vg_vms/vm_${vm_id}  # 激活精简卷
done

# 配置虚拟机使用逻辑卷
# /etc/libvirt/qemu/vm1.xml
# <disk type='block' device='disk'>
#   <driver name='qemu' type='raw' cache='none' io='native'/>
#   <source dev='/dev/vg_vms/vm_1'/>
#   <target dev='vda' bus='virtio'/>
# </disk>

# 使用快照进行虚拟机备份
sudo lvcreate -s -n vm1_backup /dev/vg_vms/vm_1
sudo dd if=/dev/vg_vms/vm1_backup | gzip > /backup/vm1_$(date +%Y%m%d).img.gz
sudo lvremove -f /dev/vg_vms/vm1_backup

# 创建RAID 10阵列（最佳性能和可靠性平衡）
sudo mdadm --create /dev/md0 --level=10 --raid-devices=4 /dev/sd[b-e]1 --chunk=256

# 创建RAID 6阵列（更高容错能力）
sudo mdadm --create /dev/md1 --level=6 --raid-devices=6 /dev/sd[f-k]1 --chunk=512

# 添加热备盘
sudo mdadm --add /dev/md0 /dev/sdl1
sudo mdadm --manage /dev/md0 --add-spare /dev/sdl1

# 查看RAID详细信息
sudo mdadm --detail /dev/md0
cat /proc/mdstat

# 监控RAID状态
sudo mdadm --monitor --daemonise --mail=admin@example.com /dev/md0

# 创建优化的RAID 10配置
sudo mdadm --create /dev/md0 \
    --level=10 \
    --raid-devices=8 \
    /dev/nvme0n1 /dev/nvme1n1 /dev/nvme2n1 /dev/nvme3n1 \
    /dev/nvme4n1 /dev/nvme5n1 /dev/nvme6n1 /dev/nvme7n1 \
    --chunk=128 \
    --layout=far2

# 参数解释：
# - chunk=128: 设置条带块大小为128KB，适合大文件顺序读写
# - layout=far2: 使用远布局模式，提高顺序读取性能

# 优化RAID参数
echo 32768 | sudo tee /sys/block/md0/md/stripe_cache_size
echo 4096 | sudo tee /sys/block/md0/queue/max_sectors_kb

# 创建文件系统时优化参数
sudo mkfs.xfs -f -d su=128k,sw=8 -l su=128k,version=2 /dev/md0

# 挂载时使用优化选项
# /etc/fstab
/dev/md0 /data xfs rw,noatime,nodiratime,allocsize=1M,inode64,logbsize=256k 0 2

# 设置RAID监控和告警
# /etc/mdadm/mdadm.conf
MAILADDR admin@example.com
MAILFROM raid-monitor@storage-server

# 定期检查RAID一致性
# 在cron中添加：
# 0 5 * * 0 /usr/share/mdadm/checkarray --all --quiet

#!/bin/bash
# /usr/local/bin/raid-monitor.sh

RAID_DEVICES=("/dev/md0" "/dev/md1")
LOG_FILE="/var/log/raid-status.log"
EMAIL="admin@example.com"

for device in "${RAID_DEVICES[@]}"; do
    status=$(mdadm --detail $device | grep "State :" | awk '{print $3}')
    if [ "$status" != "clean" ] && [ "$status" != "active" ]; then
        message="WARNING: RAID array $device status is $status"
        echo "$(date): $message" >> $LOG_FILE
        echo "$message" | mail -s "RAID Alert: $device" $EMAIL
        
        # 尝试修复降级阵列
        if [ "$status" == "degraded" ]; then
            failed_drive=$(mdadm --detail $device | grep "faulty" | awk '{print $NF}')
            if [ -n "$failed_drive" ]; then
                mdadm --manage $device --remove $failed_drive
                new_drive=$(find_available_drive)  # 自定义函数查找可用驱动器
                if [ -n "$new_drive" ]; then
                    mdadm --manage $device --add $new_drive
                fi
            fi
        fi
    fi
done

# 检查数据一致性
echo "$(date): Starting RAID scrub" >> $LOG_FILE
echo check > /sys/block/md0/md/sync_action

# 停止阵列（如果仍在运行）
sudo mdadm --stop /dev/md0

# 检查磁盘健康状况
for disk in /dev/sd*; do
    sudo smartctl -a $disk | grep -E "(Reallocated_Sector_Ct|Current_Pending_Sector|UDMA_CRC_Error_Count)"
done

# 尝试强制组装阵列
sudo mdadm --assemble --force /dev/md0 /dev/sd[b-k]1

# 如果组装失败，使用ddrescue恢复数据
sudo apt install ddrescue

# 从故障磁盘创建镜像
sudo ddrescue -d -r3 /dev/sdf1 /mnt/recovery/sdf1.img /mnt/recovery/sdf1.log
sudo ddrescue -d -r3 /dev/sdg1 /mnt/recovery/sdg1.img /mnt/recovery/sdg1.log

# 使用镜像文件重新组装阵列
sudo losetup /dev/loop1 /mnt/recovery/sdf1.img
sudo losetup /dev/loop2 /mnt/recovery/sdg1.img
sudo mdadm --assemble /dev/md0 /dev/loop1 /dev/loop2 /dev/sd[h-k]1

# 恢复数据到新阵列
sudo mkdir /mnt/old_array /mnt/new_array
sudo mount /dev/md0 /mnt/old_array
sudo mount /dev/md1 /mnt/new_array
sudo rsync -av --progress /mnt/old_array/ /mnt/new_array/

# 重建阵列
sudo umount /mnt/old_array /mnt/new_array
sudo mdadm --stop /dev/md0
sudo mdadm --create /dev/md0 --level=6 --raid-devices=6 /dev/sd[l-q]1

# /etc/exports 高级配置
/data 192.168.1.0/24(rw,sync,no_subtree_check,no_root_squash,fsid=123)
/backup 192.168.2.0/24(ro,async,subtree_check,all_squash,anonuid=1000,anongid=1000)

# NFS服务器内核参数优化
# /etc/sysctl.d/10-nfs-server.conf
# 增加NFSd线程数
sunrpc.tcp_max_slot_table_entries = 256
sunrpc.udp_slot_table_entries = 256

# 增加网络内存缓冲
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.rmem_default = 16777216
net.core.wmem_default = 16777216

# 调整NFSd参数
# /etc/default/nfs-kernel-server
RPCNFSDCOUNT=32
RPCMOUNTDOPTS="--manage-gids --num-threads 8"

# 服务器端配置
# /etc/exports
/video_storage 192.168.10.0/24(rw,sync,no_wdelay,no_root_squash,no_subtree_check,insecure_locks)

# 客户端挂载优化
# /etc/fstab
nfs-server:/video_storage /mnt/video nfs4 rw,hard,intr,rsize=65536,wsize=65536,timeo=600,retrans=3,noatime,nodiratime,vers=4.2,tcp 0 0

# 使用多个NFS线程提高性能
# 客户端配置
# /etc/modprobe.d/sunrpc.conf
options sunrpc tcp_slot_table_entries=128
options sunrpc udp_slot_table_entries=128

# 监控NFS性能
nfsiostat -d 5  # 每5秒显示NFS I/O统计
cat /proc/net/rpc/nfsd  # 查看NFS服务器统计

# 安装Ceph部署工具
sudo apt install ceph-deploy

# 创建集群配置
ceph-deploy new node1 node2 node3

# 安装Ceph包
ceph-deploy install node1 node2 node3

# 部署Monitor节点
ceph-deploy mon create-initial

# 部署Manager节点
ceph-deploy mgr create node1

# 创建OSD（对象存储设备）
ceph-deploy osd create --data /dev/sdb node1
ceph-deploy osd create --data /dev/sdb node2
ceph-deploy osd create --data /dev/sdb node3

# 部署Metadata服务器
ceph-deploy mds create node1

# 创建Ceph文件系统
ceph osd pool create cephfs_data 128
ceph osd pool create cephfs_metadata 64
ceph fs new cephfs cephfs_metadata cephfs_data

# 客户端挂载
sudo mount -t ceph node1:6789:/ /mnt/ceph -o name=admin,secretfile=/etc/ceph/secret.key

# 安装GlusterFS
sudo apt install glusterfs-server

# 配置信任池
sudo gluster peer probe node2
sudo gluster peer probe node3

# 创建分布式卷
sudo gluster volume create data-volume transport tcp node1:/data/brick1 node2:/data/brick1 node3:/data/brick1
sudo gluster volume start data-volume

# 创建复制卷
sudo gluster volume create replica-volume replica 3 transport tcp node1:/data/brick2 node2:/data/brick2 node3:/data/brick2
sudo gluster volume start replica-volume

# 创建分布式复制卷
sudo gluster volume create dist-rep-volume replica 2 transport tcp node1:/data/brick3 node2:/data/brick3 node3:/data/brick3 node4:/data/brick3
sudo gluster volume start dist-rep-volume

# 客户端挂载
sudo mount -t glusterfs node1:/data-volume /mnt/gluster

# 使用Rook部署Ceph存储
kubectl apply -f https://github.com/rook/rook/raw/release-1.8/cluster/examples/kubernetes/ceph/common.yaml
kubectl apply -f https://github.com/rook/rook/raw/release-1.8/cluster/examples/kubernetes/ceph/operator.yaml
kubectl apply -f https://github.com/rook/rook/raw/release-1.8/cluster/examples/kubernetes/ceph/cluster.yaml

# 创建存储类
apiVersion: ceph.rook.io/v1
kind: CephBlockPool
metadata:
  name: replicapool
  namespace: rook-ceph
spec:
  failureDomain: host
  replicated:
    size: 3
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: rook-ceph-block
provisioner: rook-ceph.rbd.csi.ceph.com
parameters:
  clusterID: rook-ceph
  pool: replicapool
  imageFormat: "2"
  imageFeatures: layering
  csi.storage.k8s.io/provisioner-secret-name: rook-csi-rbd-provisioner
  csi.storage.k8s.io/provisioner-secret-namespace: rook-ceph
  csi.storage.k8s.io/node-stage-secret-name: rook-csi-rbd-node
  csi.storage.k8s.io/node-stage-secret-namespace: rook-ceph
reclaimPolicy: Delete

# 在Pod中使用持久存储
apiVersion: v1
kind: Pod
metadata:
  name: mysql-pod
spec:
  containers:
  - name: mysql
    image: mysql:8.0
    volumeMounts:
    - name: mysql-persistent-storage
      mountPath: /var/lib/mysql
  volumes:
  - name: mysql-persistent-storage
    persistentVolumeClaim:
      claimName: mysql-pv-claim
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-pv-claim
spec:
  storageClassName: rook-ceph-block
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi

# 使用访问控制列表（ACL）进行精细权限控制
sudo apt install acl

# 设置ACL权限
sudo setfacl -m u:www-data:rx /var/www/html
sudo setfacl -m g:developers:rwx /srv/project
sudo setfacl -d -m g:developers:rwx /srv/project  # 默认ACL

# 查看ACL权限
getfacl /var/www/html

# 使用文件属性增强安全性
sudo chattr +i /etc/passwd  # 设置不可变标志
sudo chattr +a /var/log/auth.log  # 只允许追加

# 使用SELinux或AppArmor进行强制访问控制
sudo apt install apparmor-profiles

# 启用AppArmor配置文件
sudo aa-enforce /usr/sbin/nginx
sudo aa-complain /usr/sbin/mysqld

# 创建自定义AppArmor配置文件
# /etc/apparmor.d/usr.sbin.nginx
#include <tunables/global>

/usr/sbin/nginx {
  #include <abstractions/apache2-common>
  #include <abstractions/base>
  #include <abstractions/nis>

  capability net_bind_service,
  capability setgid,
  capability setuid,

  /etc/nginx/** r,
  /usr/sbin/nginx mr,
  /var/log/nginx/** w,
  /var/www/html/** r,
}

# 创建用户组和用户
sudo groupadd developers
sudo useradd -m -G developers alice
sudo useradd -m -G developers bob

# 设置共享目录结构
sudo mkdir -p /srv/projects/{shared,alice_private,bob_private}

# 配置基本权限
sudo chown root:developers /srv/projects
sudo chmod 2775 /srv/projects  # 设置SGID位，保持组所有权

# 配置共享目录权限
sudo chown alice:developers /srv/projects/shared
sudo chmod 2777 /srv/projects/shared  # 所有人可读写，保持组所有权

# 配置私有目录权限
sudo chown alice:alice /srv/projects/alice_private
sudo chmod 2770 /srv/projects/alice_private
sudo setfacl -m g:developers:rx /srv/projects/alice_private  # 组可列表

sudo chown bob:bob /srv/projects/bob_private
sudo chmod 2770 /srv/projects/bob_private
sudo setfacl -m g:developers:rx /srv/projects/bob_private

# 使用AppArmor限制用户访问
# /etc/apparmor.d/home.d/users
#include <tunables/global>

/home/alice/ {
  # Owner permissions
  /home/alice/** rw,
  /home/alice/.ssh/** r,

  # Deny access to other users' home directories
  deny /home/bob/**,
  deny /home/carol/**,
}

# 启用配置
sudo apparmor_parser -r /etc/apparmor.d/home.d/users

# 创建加密分区
sudo cryptsetup luksFormat /dev/sdb1

# 打开加密分区
sudo cryptsetup luksOpen /dev/sdb1 encrypted_volume

# 创建文件系统
sudo mkfs.ext4 /dev/mapper/encrypted_volume

# 挂载使用
sudo mount /dev/mapper/encrypted_volume /mnt/secure

# 配置自动挂载
# /etc/crypttab
encrypted_volume /dev/sdb1 /root/keys/disk.key luks

# /etc/fstab
/dev/mapper/encrypted_volume /mnt/secure ext4 defaults 0 2

# 使用密钥文件而不是密码
sudo dd if=/dev/urandom of=/root/keys/disk.key bs=1024 count=4
sudo chmod 0400 /root/keys/disk.key
sudo cryptsetup luksAddKey /dev/sdb1 /root/keys/disk.key

# 安装eCryptfs
sudo apt install ecryptfs-utils

# 加密用户主目录
sudo ecryptfs-migrate-home -u alice

# 创建加密的私有目录
mkdir ~/Private
sudo mount -t ecryptfs ~/Private ~/Private

# 配置自动挂载
# /etc/fstab
/home/alice/Private /home/alice/Private ecryptfs defaults 0 0

# 使用密钥文件
ecryptfs-add-passphrase --fnek

# 全盘加密方案
# 使用LUKS加密根分区
# 在安装时选择"使用LVM加密"

# 或者手动配置
sudo cryptsetup luksFormat /dev/sda2
sudo cryptsetup luksOpen /dev/sda2 crypt_root
sudo pvcreate /dev/mapper/crypt_root
sudo vgcreate vg_root /dev/mapper/crypt_root
sudo lvcreate -L 20G -n lv_root vg_root
sudo lvcreate -L 8G -n lv_swap vg_root
sudo lvcreate -L 50G -n lv_home vg_root

# 创建文件系统
sudo mkfs.ext4 /dev/vg_root/lv_root
sudo mkswap /dev/vg_root/lv_swap
sudo mkfs.ext4 /dev/vg_root/lv_home

# 配置initramfs以在启动时解密
# /etc/crypttab
crypt_root /dev/sda2 none luks,discard

# 更新initramfs
sudo update-initramfs -u

# 启用TRIM支持（SSD）
sudo cryptsetup --allow-discards luksOpen /dev/sda2 crypt_root

# 安全擦除已删除数据
# 安装secure-delete
sudo apt install secure-delete

# 创建安全擦除脚本
#!/bin/bash
# /usr/local/bin/secure-wipe-free-space.sh
for mount_point in / /home /var; do
    if grep -qs "$mount_point" /proc/mounts; then
        sfill -f -z -l -l "$mount_point"
    fi
done

# 定期安全擦除
# 在cron中添加：
# 0 3 * * 0 /usr/local/bin/secure-wipe-free-space.sh

# 检查文件系统错误
sudo fsck -f /dev/sda1

# 使用高级修复选项
sudo fsck -y -c -f -v /dev/sda1

# 对于XFS文件系统
sudo xfs_repair /dev/sdb1

# 严重损坏时的XFS修复
sudo xfs_repair -L /dev/sdb1  # 清空日志（最后手段）

# 使用debugfs检查和修复EXT文件系统
sudo debugfs /dev/sda1
debugfs: ls -l  # 列出文件
debugfs: stat /path/to/file  # 检查文件信息
debugfs: undelete <inode> <name>  # 恢复删除的文件

# Btrfs文件系统修复
sudo btrfs check --repair /dev/sdc1  # 谨慎使用，可能造成数据丢失
sudo btrfs rescue zero-log /dev/sdc1  # 重置日志

# 使用smartctl监控磁盘健康
sudo apt install smartmontools

# 启用SMART监控
sudo smartctl -s on /dev/sda

# 查看磁盘健康信息
sudo smartctl -a /dev/sda

# 运行自检
sudo smartctl -t short /dev/sda  # 短自检
sudo smartctl -t long /dev/sda   # 长自检

# 查看自检结果
sudo smartctl -l selftest /dev/sda

# 监控磁盘温度
sudo hddtemp /dev/sda

# 使用磁盘健康监控脚本
#!/bin/bash
# /usr/local/bin/disk-health-monitor.sh
DISKS=("/dev/sda" "/dev/sdb" "/dev/nvme0n1")
THRESHOLD=40  # 温度阈值（摄氏度）
LOG_FILE="/var/log/disk-health.log"

for disk in "${DISKS[@]}"; do
    # 检查SMART状态
    smart_status=$(sudo smartctl -H $disk | grep "overall-health" | awk '{print $6}')
    if [ "$smart_status" != "PASSED" ]; then
        echo "$(date): $disk SMART status: $smart_status" >> $LOG_FILE
    fi

    # 检查温度
    temp=$(sudo smartctl -A $disk | grep "Temperature_Celsius" | awk '{print $10}')
    if [ -n "$temp" ] && [ $temp -gt $THRESHOLD ]; then
        echo "$(date): $disk temperature high: ${temp}C" >> $LOG_FILE
    fi

    # 检查重新分配扇区
    reallocated=$(sudo smartctl -A $disk | grep "Reallocated_Sector_Ct" | awk '{print $10}')
    if [ -n "$reallocated" ] && [ $reallocated -gt 0 ]; then
        echo "$(date): $disk has $reallocated reallocated sectors" >> $LOG_FILE
    fi
done

# 1. 检查系统日志
sudo tail -100 /var/log/syslog | grep -i error
sudo dmesg | grep -i sdb

# 2. 检查磁盘健康
sudo smartctl -a /dev/sdb

# 3. 如果发现磁盘错误，尝试重新挂载
sudo umount /var/lib/mysql
sudo fsck -y /dev/sdb1
sudo mount /dev/sdb1 /var/lib/mysql

# 4. 如果文件系统损坏严重，从备份恢复
sudo systemctl stop mysql
sudo umount /var/lib/mysql

# 使用ddrescue尝试数据恢复
sudo apt install ddrescue
sudo ddrescue -d -r3 /dev/sdb1 /mnt/recovery/mysql.img /mnt/recovery/mysql.log

# 挂载镜像文件检查数据
sudo mount -o loop /mnt/recovery/mysql.img /mnt/temp

# 如果数据可读，立即备份
sudo rsync -av /mnt/temp/ /backup/mysql-recovery/

# 替换故障磁盘
sudo mdadm --manage /dev/md0 --fail /dev/sdb1
sudo mdadm --manage /dev/md0 --remove /dev/sdb1
sudo mdadm --manage /dev/md0 --add /dev/sdc1

# 从备份恢复数据
sudo mkfs.ext4 /dev/sdc1
sudo mount /dev/sdc1 /var/lib/mysql
sudo rsync -av /backup/mysql-latest/ /var/lib/mysql/
sudo chown -R mysql:mysql /var/lib/mysql
sudo systemctl start mysql

# 验证数据库完整性
sudo mysqlcheck -u root -p --all-databases --check-upgrade --auto-repair

# 使用iostat查看磁盘I/O统计
sudo apt install sysstat
iostat -dx 5  # 每5秒显示扩展统计

# 使用iotop查看进程级I/O
sudo iotop

# 使用blktrace进行块层跟踪
sudo apt install blktrace
sudo blktrace -d /dev/sda -o trace
sudo blkparse trace

# 使用systemtap进行高级跟踪
sudo apt install systemtap
sudo stap -e 'probe vfs.read {printf("read: %s\n", execname())}'

# 使用bpfcc-tools进行eBPF跟踪
sudo apt install bpfcc-tools
sudo biosnoop  # 跟踪块I/O操作

# 自定义监控脚本
#!/bin/bash
# /usr/local/bin/io-monitor.sh
INTERVAL=5
DURATION=300
LOG_FILE="/var/log/io-monitor.log"

echo "$(date): Starting I/O monitoring for $DURATION seconds" >> $LOG_FILE

# 收集系统级I/O统计
iostat -dx $INTERVAL $((DURATION/INTERVAL)) >> $LOG_FILE &

# 收集进程级I/O统计
iotop -bot -d $INTERVAL -n $((DURATION/INTERVAL)) >> $LOG_FILE &

# 等待监控完成
wait

echo "$(date): I/O monitoring completed" >> $LOG_FILE

# 分析日志文件
grep "await" $LOG_FILE | awk '{print $10}' | sort -n | tail -5  # 最高await时间

# 1. 识别I/O瓶颈
iostat -dx 2
# 如果%util接近100%，await和svctm值高，说明存在I/O瓶颈

# 2. 识别产生I/O的进程
iotop -o

# 3. 使用lsof查看进程打开的文件
sudo lsof -p <pid>

# 4. 使用strace跟踪系统调用
sudo strace -p <pid> -e trace=file

# 5. 优化策略
# a. 调整I/O调度器
echo 'mq-deadline' | sudo tee /sys/block/sda/queue/scheduler

# b. 调整文件系统挂载选项
# 在/etc/fstab中添加noatime,nodiratime,data=writeback

# c. 调整内核参数
# /etc/sysctl.d/10-io-optimization.conf
vm.dirty_ratio = 20
vm.dirty_background_ratio = 10
vm.dirty_writeback_centisecs = 5000
vm.dirty_expire_centisecs = 60000

# d. 使用缓存或RAM磁盘
sudo mkdir -p /mnt/ramdisk
sudo mount -t tmpfs -o size=2G tmpfs /mnt/ramdisk

# e. 优化应用程序
# - 增加数据库缓存大小
# - 启用查询缓存
# - 优化日志轮转策略

# 6. 实施监控告警
# 使用Prometheus和Grafana监控磁盘I/O
# 设置告警规则：当磁盘使用率>90%或await时间>100ms时告警

# 创建自定义告警脚本
#!/bin/bash
# /usr/local/bin/io-alert.sh
THRESHOLD_AWAIT=100  # ms
THRESHOLD_UTIL=90    # %

while true; do
    iostat -dx 1 2 | awk -v await_th=$THRESHOLD_AWAIT -v util_th=$THRESHOLD_UTIL '
    /^sd/ {
        if ($10 > await_th || $12 > util_th) {
            system("echo \"" strftime("%Y-%m-%d %H:%M:%S") " High I/O on " $1 ": await=" $10 "ms, util=" $12 "%\" >> /var/log/io-alert.log")
            system("mail -s \"I/O Alert: " $1 "\" admin@example.com <<< \"Device: " $1 " await: " $10 "ms util: " $12 "%\"")
        }
    }'
    sleep 30
done