##정상 삭제 절차##
[확인]
# multipath -ll
  >> 삭제 WWN 정보 및 디스크 정보 확인
360002ac000000000000002650001aba2 dm-2 3PARdata,VV
size=2.0T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
`-+- policy='round-robin 0' prio=50 status=active
|- 1:0:0:0 sdb 8:16 active ready running
|- 3:0:0:0 sdc 8:32 active ready running
|- 1:0:1:0 sdk 8:160 active ready running
`- 3:0:1:0 sdj 8:144 active ready running
# lvs
# vgs
# pvs
# lsblk


[삭제 절차]
1. 서버내 파일시스템 umount
lvremove [lv명]
# lvremove vgtest_lv
vgremove [vg명]
# vgremove vgtest
pvremove [pv명]
# pvremove /dev/mapper/360002ac000000000000002650001aba2

2. 파티션 정리
kpart -d [device명]
# kpart -d /dev/mapper/360002ac000000000000002650001aba2

3. 멀티패스 장치 제거
multipath -w [device 명]
# multipath -w /dev/mapper/360002ac000000000000002650001aba2
multipath -f [device 명]
# multipath -f /dev/mapper/360002ac000000000000002650001aba2

4. 버퍼 플러쉬
blockdev --flushbufs [device 명]
# blockdev --flushbufs /dev/mapper/360002ac000000000000002650001aba2

5. 장치 정보 삭제 (이벤트 발생 방지용)

# multipath -ll  (확인한 디스크 정보로 기입)

|- 1:0:0:0 sdb 8:16 active ready running
|- 3:0:0:0 sdc 8:32 active ready running
|- 1:0:1:0 sdk 8:160 active ready running
`- 3:0:1:0 sdj 8:144 active ready running

echo 1 > /sys/block/[Disk명]/device/delete

# echo 1 > /sys/block/sdb/device/delete;
# echo 1 > /sys/block/sdc/device/delete;
# echo 1 > /sys/block/sdk/device/delete;
# echo 1 > /sys/block/sdj/device/delete;

6. 스토리지에서 조치 진행 (OS진행 완료)

(/var/log/message 이벤트 발생 확인)

 

[특이사항]
# 이중화 서버에서의 스토리지 해지시 한쪽 Node에서 Lv 정보가 남아있을 경우
1. lsblk 명령어로 lv 정보 비교
# lsblk

2. multipath 장치 제거 명령어 수행
multipath -w [device 명]
# multipath -w /dev/mapper/360002ac000000000000002650001aba2
multipath -f [device 명]
# multipath -f /dev/mapper/360002ac000000000000002650001aba2

3. 위 명령어 정상 수행되지 않는 경우 (Lv 정보 남아있는 서버에서 진행)
# dmsetup ls (남은 Lv 정보 확인)
dmsetup remove -f [Lv 명]
# dmsetup remove -f vgtest_lv
# dmsetup ls (삭제여부 확인)

4. 다시 multipath 장치 제거 명령어 수행
multipath -w [device 명]
# multipath -w /dev/mapper/360002ac000000000000002650001aba2
multipath -f [device 명]
# multipath -f /dev/mapper/360002ac000000000000002650001aba2

5. 버퍼 플러쉬
blockdev --flushbufs [device 명]
# blockdev --flushbufs /dev/mapper/360002ac000000000000002650001aba2

6. 장치 정보 삭제(이벤트 발생 방지용)

# multipath -ll (확인한 디스크 정보로 기입)

|- 1:0:0:0 sdb 8:16 active ready running
|- 3:0:0:0 sdc 8:32 active ready running
|- 1:0:1:0 sdk 8:160 active ready running
`- 3:0:1:0 sdj 8:144 active ready running

echo 1 > /sys/block/[Disk명]/device/delete
# echo 1 > /sys/block/sdb/device/delete;
# echo 1 > /sys/block/sdc/device/delete;
# echo 1 > /sys/block/sdk/device/delete;
# echo 1 > /sys/block/sdj/device/delete;

7. 스토리지에서 조치 진행 (OS진행 완료)

(/var/log/message 이벤트 발생 확인)