오늘 VMware 내부의 슬랙채널에서 누군가 질문을 했길래 궁금해서 한번 알아봤습니다. 질문의 요지는
고객이 vSphere 7 에서 SmartNIC 을 쓰고 있는데, vSphere 8 으로 Upgrade 하면 DPU 로 사용가능할까?
정확하게는 vSphere 8 에서 사용할 수 있는 DSE (Distributed Services Engine) 용도로 쓸 수 있냐.. 가 질문이라고 봐야겠습니다. 그래서 한번 알아보았는데, 알아봤던 내용을 간략히 정리하여 공유합니다.
DPU 에 ESXi (ARM 기반 시스템을 위한 ESXi 로 ESXio 라고 불립니다.) 를 설치하기 위해서는 먼저 DPU 와 Motherboard 간에 Internal Cabling 이 되어있어야 합니다. 이 조건때문에, DPU 를 구매해서 장착해서 써야지 한다 하더라도 이 케이블링이 반드시 되어있어야 합니다.
예 : https://pubs.lenovo.com/sr650-v3/cabling_dpu
그래서 현시점에서는 BYOD 구성으로는 DPU 에 ESXi 를 설치할 수 없습니다. vSAN Ready Node 처럼 Pre-configed 가 된 하드웨어가 필요하며, nVIDIA 나 AMD Pensando DPU 가 장착된 HPE / Dell / Lenovo 서버를 구매하셔야 합니다. 물론 위에서 언급한 Internal Cabling 도 필요하구요.
Dell 서버에서는 NVIDIA BlueField-2 DPU 를 Paige card 를 통해 NC-SI(Network Controller Sideband Interface) 케이블을 사용하여 DPU 와 서버를 연결하여야 한다.. 라고 되어있습니다. 요렇게 생긴카드입니다.
Dell 에서는 Management Interface Card(MIC) 라고 부르는 모양이네요. ㅎㅎ
위와 같은 별도 케이블링이 필요하기 때문에, 서버를 구매하실때 포함시켜서 사셔야 합니다. 위와 같은 케이블링이 되어있다면, 서버의 BMC 를 통해 NC-SI 을 해서 DPU 와 통신할 수 있습니다.
두번째로, 현시점에서는 “신규설치” 만 가능합니다. ESXi 8 버전을 설치할 때, 서버에 장착되어있는 DPU 를 인식하게 되면, 호스트와 DPU 에 ESXi 를 동시에 설치할 수 있는 옵션이 제공됩니다.
Internal cabling 이 되어있지 않다면, 아래 DPU 가 검색되지 않습니다. 설치가 끝나면 sshdpu 라는 명령어를 통해 DPU 의 DCUI 화면에 접근할 수 있습니다.
그렇지만, DPU 에 ESXio 가 설치되더라도 vCenter 상에서는 별도의 호스트로 인식하지 않습니다. 따라서 현재는 vSphere 7 –> vSphere 8 업그레이드 하는 환경에서는 DPU 에 ESXio 를 설치할 수 없습니다.
DSE 설정 까지 가는 과정은 https://docs.nvidia.com/networking/display/public/SOL/RDG+for+vSphere+Distributed+Services+Engine+%28Project+Monterey%29+deployment+over+NVIDIA+BlueField-2+DPU 를 참조하시면 되겠습니다. (참고로 MIC 카드와 케이블링 다이어그램을 제외한 모든 사진의 출처도 해당 페이지 입니다.)