안녕하세요. 새해 복 많이 받으시기 바랍니다.
댓글로 문의주신 내용이 있어서, 댓글로 달까 하다가 아에 그냥 별도의 Post 로 작성합니다.
http://byounghee.ivyro.net/2018/12/25/large-vsan-cluster-support-more-than-32-hosts/#comment-131
댓글은 위와 같구요 내용은 이렇습니다.
HPE P440AR Controller + RAID0 로 구성된 환경이며, ESXi 를 업그레이드 할려고 보니, 6.5 이상버전에서는 RAID0 는 Certified 되있지 않더라 라는 내용입니다. 현재 사용중이신 버전이 어떤것인지는 모르겠지만 아마도 6.0 U2 내지는 U3 로 생각됩니다. vSAN 이면 6.2 라고 볼 수 있겠죠.
vSAN 호환성 확인을 해보니 실제로 P440ar 컨트롤러는 6.5 부터는 pass-through 에 대해서만 Certified 된 것으로 나옵니다. 이게 안타깝지만, HPE 쪽에서 pass-through 에 대해서만 호환성 테스트를 한것이라, VMware 입장에서는 어떻게 할 방법이 없기도 합니다.
그럼 이러한 케이스에서 업그레이드 진행은 어떻게 해야할지 한번 생각해봤습니다. 두가지 옵션 정도가 있을텐데요, 지원하시는 엔지니어입장에서는 둘다 고통스런 과정이 될 것 같습니다. ESXi 6.5 U2 및 vSAN 6.6.2 로 업그레이드 한다는 과정입니다.
Option A (현재 사용하는 P440ar 의 Driver/firmware 버전이 RAID0 및 pass-through 둘다 Certified 된 경우)
- ESXi 를 Maintenance Mode 로 진입 (Full Migration 옵션으로)
- 해당 호스트에 현재 생성되어있는 Disk group 제거
- RAID0 로 구성된 디스크를 Pass-through 로 변경
- 변경 후 Disk group 재생성
- 모든 호스트의 작업이 모드 변경 작업이 끝나면 ESXi upgrade 진행
- 마지막으로 ondisk format upgrade 진행
요약하면, 업그레이드 하기전에 pass-through 로 변경하는 것입니다.
Option B
- ESXi upgrade 진행
- https://kb.vmware.com/s/article/2146221 를 참조하여, ondisk format version parameter 변경
- ESXi 를 Maintenance Mode 로 진입 (Full Migration 옵션으로)
- Disk group 제거
- RAID0 로 구성된 디스크를 Pass-through 로 변경
- 변경 후 Disk group 재생성
- 마지막으로 ondisk format upgrade 진행
ESXi 업그레이드를 먼저 하는 방법입니다. 스텝이 약간 다른데요, 2번 스텝이 추가된 이유는 ESXi 의 버전을 올린상태에서 디스크 그룹을 생성하면 vSAN 6.6.2 가 사용하는 ondisk format version 으로 생성되기 때문에, 이걸 막기 위한 작업입니다. ondisk format 의 버전을 기존버전과 동일하게 유지하도록 조절하는 것입니다. 그리고 나서 ondisk format upgrade 를 진행합니다.
두작업 모두 유의해야될 내용은 마지막 ondisk format upgrade 를 하기전까지는 diskgroup 의 버전을 호스트마다 동일하게 유지하도록 유지해야합니다.
그리고 Full Migration 으로 작업하는 이유는 Disk group 의 재생성이 필요하기 때문에 혹시나 모를 상황에 대비하여 안전장치를 가져가기위함입니다. (더블폴트 대비용)
참고로 저라면 Option A 로 작업하겠습니다.
만약 ESXi upgrade 를 먼저 하고 나중에 RAID0 를 pass-through 로 변경하겠다 라는 생각이 있으시다면, 해당 구성은 not supported 라는것을 명심해두시기 바랍니다. 위의 Option B 도 Upgrade 때에만 잠시 RAID0 로 쓰는것이다 라는 전제가 필요합니다.
esxi의 업그레이드는 아니었지만, Raid0 -> passthrough로의 전환을 option A로 진행한 내역이 있네요. 진행에 특별한 문제는 없었던 기억이 있습니다.
아 새해 복 많이 받으시길 바랍니다. ㅎ 항상 잘보고 있습니다.
공유 감사합니다. 다른분께도 도움이 될듯 합니다.
안녕하세요, 차장님. 친절한 답변 너무 감사합니다.
참 난감한 상황이 2017년 초 구축 당시 HP DL380p Gen9 – P440ar 에서 BIOS에 보니 HBA mode(passthrough) 화면이 아예 보이질 않았습니다.
금번 이슈들로 인해 최근 확인해보니 P440ar overview에는 RAID or HBA 로 명시는 되어 있어 하드웨어 업체에는 재문의한 상황입니다.
이후의 이슈에 대해서는 다른 분께 조금이나마 도움이 될 수 있게 댓글로 공유드리겠습니다.
감사합니다!
vmware community에도 올라온 내용인듯 한데 드라이버의 문제일듯 합니다.
안녕하십니까!
vSAN에 대한 펌웨어/드라이버는 HCL에 맞게 구성은 했습니다만, 다시 한번 확인해보겠습니다 ㅎ
하드웨어 벤더의 답변 공유드리자면, 현재 하이퍼바이저 영역이 RAID-1, Cash/Capacity는 RAID-0 로 구성되어있습니다. P440ar 모델의 경우 “RAID or HBA” 로써 상기 방식을 혼합하여 사용할 수 없다고 하네요.
All clear 이후 HBA mode로 변경, 이후는 Option B 플랜 진행으로 해야할 것 같습니다.
하이퍼바이저 영역의 경우에는 조금 더 고려하여 고객에게 전달해야겠습니다..ㅎ
한개의 컨트롤러로 하이퍼바이저랑 vSAN구성…ㄷㄷㄷ 위험하네요.
이전에도 부팅 디스크는 RAID 로 구성하고 vSAN 은pass-through 로 구성하신 곳이 있어서 바꿔야 한다고 가이드한적이 있습니당.. 부팅 디스크가 문제겠네요.
Option A의 내용중 클러스터가 3대의 호스트일때 Full migration이 되나요?
그럴때는 안되죠 ㅎㅎ