뜬금없이 안하던 짓을 해봤습니다. ㅋㅋㅋ 

일요일이 가기전에 그동안 작성해볼려고 했던 포스팅을 합니다. 오늘 주제는 홈랩. Homelab 입니다.

제가 경험해본바에 의하면 대체로 홈랩 구성하는데 이정도 돈을 썼다고 하면 미쳤다는 소리 듣긴 하는데요, 그래도 어쩌겠습니까 먹고살려고 하다보니 있으면 좋더라구요. 

없어도 괜찮으신분은 능력이 출중하신것이고요. ㅎㅎ 전 그러질 못해서

제가 최초에 자비로 구입했던 랩은 아래 셋트입니다. 현재 이세트는 개인용도보다는 제가 소속된 팀의 랩으로 혹사당하고 있습니다. 

서버 : HP DL360 Gen7  x 3

CPU : 2가지 모델이 섞여있는데 잘 기억이 안나네요. 암튼 E 와 L 시리즈로 구성되어있습니다. 4 cores x 2 해서 서버당 8코어

메모리 : 서버당 48GB

I/O Controller : HP P410i 

Hybrid vSAN 구성 

상당히 지저분한 구성이죠. VMware VCG 및 vSAN 호환성 가이드와도 맞지 않는 구성이라 그냥 망가질때까지 쓰자는 심정으로 굴리고 있습니다. 실은 제가 자비로 산 랩장비이지만, 실제로는 거의 접속하고 있지 않는 장비이기도 합니다. (혹시 사실분?-_-)

사무실의 기계실 내에 위치하고 있어서 홈랩은 아닙니다.

위 랩들은 제가 VCAP6-DCV 시험을 준비하는데, 상당한 도움을 주었구요, 열심히 연습한 덕분에 실제로 시간을 남겨놓고 시험을 끝낼 수 있었습니다. 그것도 벌써 3년전의 이야기네요.

위의 장비들을 사용하면서 느낀점은, 일단 오래된 장비들을 사서 쓰다보니 언제 Maintenance 에 문제가 생길지 알 수 없고 (실제로 Disk fault 가 발생한 이력이 있습니다.), 굳이 랩용도로 이렇게 개별 하드웨어를 사용할 필요가 있나? 였습니다.

그래서 처분할려다가, 처분하지 못해서 그냥 팀의 랩 장비용도로 쓰고 있는 것입니다.

그래서 기존 장비의 처분은 포기하고, 차라리 좋은 서버 또는 PC 를 1개 마련해서 나머지는 Nested 로 돌리자 라는 계획을 세웠구요.  그래서 아래와 같은 하드웨어를 도입하였습니다.

랩용도라 full load 가 걸릴일은 거의 없지만 소음 대비해서 Dell 정품 수냉쿨러로 변경해주었습니다. 

Server

Compute Server

T7910 을 도입하게 된 것은 일단 적절한 중고매물이 있었고, 상당히 조용한 시스템이였기 때문입니다.

단점은 Remote 제어기능이 없다는 것 (IDRAC 과 같은)

상당히 전기를 많이 먹는 조합이기 때문에 매일 켜두진 않고, 필요할때면 켜서 사용합니다.

전원제어는 스마트플러그를 통해서 하고 있습니다. 단순히 전력이 인입되면 자동으로 전원이 켜지는 정도 입니다.

참고로 만약 수냉쿨러를 도입하신다면 반드시 위의 그림과 같은 타공되어있는 Side Panel 을 같이 구하세요. 안그러면 발열 폭발합니다.(-_-)

만약 저와 같이 Fusion IO 도입을 생각하신다면 (용량대비 가격이 생각보다 저렴합니다.) 발열에 대한 고민을 꼭 하시기 바랍니다.

Nested vSAN Cluster 를 구성하는 데 사용하고 있고, 기타 VMware Solution 기동할때 사용합니다. (VROPS, VRLI 등등) 

Management Server

상시 켜놓는 PC 로 사용하고 있던 소형 PC 입니다.  그냥 윈도우10 운용중이였는데, 최근에 ESXi 를 설치해서 Management 용도로 사용합니다. 그래봐야 뭐 AD/DNS,NTP,vCenter(VCSA),Jump PC 정도의 VM 만 돌리고 있습니다.  

Dell 에 근무하는 지인의 힘을 빌려 상당히 저렴하게 구입했습니다. (A/S 5년!)

Networking

기존에는 그냥 일반 공유기를 사용하고 있었는데요, (Netgear orbi) 그러다보니, Nested 구성시에 Network 처리가 쉽지 않은편이였습니다. 그래서 pfsense 를 VM 으로 구동해서 사용중이였습니다만, 최근 아래와 같이 Ubiquiti 장비들로 도입하였습니다.

유선 공유기 – Ubiquiti Unified Security Gateway (USG)

• 기존 pfsense 의 역할을 대체 수행합니다. 보니까 ospf 나 bgp 등의 설정도 미약하게나마 가능해보여서 나중에 NSX 구성시에 한번 테스트 해볼 예정입니다. 

스위치 – Ubiquiti US-8 (1 PoE) 

• 기존에는 그냥 넷기어 스위칭허브를 사용하고 있었는데, Managed 가 가능한 스위치로 변경했습니다. 포트별로 VLAN 설정도 가능합니다. 

무선 AP – Ubiquiti FlexHD 

• 콜라캔 크기의 무선 AP 인데 상당히 강력한 성능을 냅니다만, 기존 오르비에 비해서 AP 숫자가 줄었기 때문에 커버리지는 줄었습니다만, 집이 작아서…
• 2.4Ghz 대역은 IoT 장비들 접속에 5Ghz 대역은 폰이나 태블릿 등의 접근에 사용합니다. IoT 장비들이 5Ghz 대역을 거의 지원하지 않기 때문에 2.4Ghz 대역은 필숩니다.
• 전원은 위 스위치의 PoE 포트를 통해 공급합니다.

Ubiquiti 컨트롤러를 통해서 보면 아래와 같은 토플로지 입니다. 아래 Mac address 로 나오는 장비들은 VM 이라고 보심 됩니다.. ㅋㅋ 

구글에서 얼마전에 공짜로 준 구글 미니도 보이네요.

Storage

작년에 미친짓한 부분이긴 한데요.

옥션 스마일데이 때 기존에 사용하던 DS716+ 를 팔고 DS1019+ 를 구매하였습니다.

Plex Server / Photo Station 등등의 다양한 용도로 사용하고 있습니다.  ESXi 에 마운트 되어있는 NFS 데이터스토어의 역할도 수행하고 있고,

iSCSI 테스트가 필요할때는 iSCSI Target 으로의 역할도 하고 있습니다. 

그리고 VPN 용도로도 사용중이구요. (USG 를 통해서도 가능하지만 Synology DSM 을 통한 VPN Server 설정이 원체 간단해서 그냥 사용중입니다.)

1G 라는 한계가 있어서 VM 을 기동하는 용도로는 사용하지 않고 있습니다.

디스크 구성은 다음과 같습니다.

Volume 1  – HGST 3TB * 2 (RAID1) 

Volume 2 – WD White 10TB * 3 (SHR) 

NVME Cache – WD Black 256GB * 2

NVME 캐쉬는 하드소음을 줄이기 위해 도입한 것이고.. 원래는 볼륨1 만 있었는데요. 

작년에 아마존발 10TB 하드 79$ 대란에 엮어들어갔다가… 기프트카드 20$ 만받고 다 물먹었습니다. 홧김에 되팔이에게 적정 가격으로 샀습니다.-_- 향후 계획은 Volume 1 도 동일한 용량으로 교체하는게 목표입니다만 당장 급한건 아니여서.

NVME 캐시는 Volume 2 에 마운트 되어있습니다. 어짜피 1G 대역폭 한계가 있기 때문에 큰 효용은 없다고 생각합니다. 

In Summary…

사실 얼마나 돈이 들었는지는 계산 못했구요, 먼가 생각지 못했던 돈이 생기거나, 아님 기존에 있던것들을 좀 판매하고 했기 때문에, 그렇게 많이 깨지진 않았을 것이다.. 라고 생각은 하고 있습니다만, 일반인이 봤을때는 많은 금액이 들어간것은 맞을겁니다.

그렇지만 제가 지금 일을 하는데 많은 도움이 된 것도 부정할 수 없는 사실이라, 후회하지는 않습니다. 뭐 투자개념으로 보고 있습니다.

사실 이렇게 구축하다보니 10G 네트워크 욕심이 나긴 하는데요, 일단은 까먹고 있기로 했습니다.

좀 더 보강한다면 NAS 용 UPS 가 하나 있으면 좋을것 같긴 한데, 아직은 결단하지는 않았습니다. 

ETC…

해외의 홈랩도 궁금하신가요? 최근에 커뮤니티를 통해서 Homelab 구성사례들이 수집되고 있는데요, 아래 링크에서 보실 수 있습니다. 저도 정리가 좀 더 되면 한번 Submit 해볼려고 합니다. 위의 내용들을 영어로도 써야해서 이게 좀 번거롭겠네요.

https://github.com/lamw/homelab

예산도 다양하구요, 저게 정말 홈랩인가 싶을정도의 몬스터 사이즈 랩도 존재합니다. 현재 가장 비싼랩은 USD 150,000 (15만불…) 이 투입된 랩 이라고 하네요. (https://www.vcdx181.com/actual-state.html)

반면 가장 영세한 LAB 은 USD 800 입니다. (https://www.virtuallyghetto.com/2016/03/vsan-6-2-vsphere-6-0-update-2-homelab-on-6th-gen-intel-nuc.html)

평균은 약 USD 10,000 정도 되는듯 합니다. 저는 평균보단 못하네요… ㅋㅋ