미래의 칩시장을 두고 엔비디아와 삼성이 전력 소모 문제에 대한 새로운 접근을 시도하며 최후 승리를 위해 분투하고 있습니다.
AI 기술의 발전과 함께 AI 전용 데이터센터를 건립하는데 가장 중요한 문제가 에너지 소비입니다. 현재 AI 연산에 필요한 고성능 GPU는 그 성능만큼이나 많은 전력을 소모하는데, 최근 엔비디아의 차세대 GPU인 ‘블랙‘ 시리즈는 개당 1000w의 전력 소모를 보이고 있습니다. 업소용 대형냉장고가 먹는 전기를 1개의 GPU가 삼키고 있으니 수만개에서 수십만개의 AI 데이터 센터로서는 전기소비가 가장 중요한 문제가 아닐 수 없습니다.
HBM
엔비디아는 고성능 컴퓨팅과 AI 분야에서 GPU의 선두주자로, HBM (High Bandwidth Memory) 기술을 사용하여 높은 처리 속도와 대규모 병렬 처리 능력을 강조합니다. HBM은 스택 메모리를 통해 프로세서와 가까운 위치에서 빠른 데이터 전송을 가능하게 함으로써, AI와 머신러닝 작업에서 요구되는 대규모 데이터 셋을 신속하게 처리할 수 있도록 지원합니다. 그러나 이는 상당한 전력 소모와 발열을 동반하며, 데이터센터의 에너지 효율성과 지속 가능성 측면에서는 부담을 줄 수 있습니다.
HBM은 주로 고성능 컴퓨팅과 그래픽 집약적 애플리케이션에 사용되는 메모리 기술입니다. 이 기술은 여러 개의 메모리 층을 수직으로 쌓아 올린 3D 스택 구조를 사용하여 고속도로처럼 뻥 뚫린 소통력을 보여주며 이로인해 에너지의 효율적인 측면에서서는 전력대비 성능이 우수하죠. 하지만 효율은 우수하지만 그것이 무색하게도 절대적으로 엄청나게 많은 열과 전기를 소비함으로 인해 향후 당국의 규제에도 걸릴 위험이 높습니다.
lpDDR
그런데 최근 삼성이 개발 중인 ‘마하칩‘은 lpDDR을 활용하고 있으며, 기존의 HBM (High Bandwidth Memory)과 달리 데이터 이동을 압축하여 처리합니다. 그러니까 HBM이 고속도로를 넗힌것과 같다면 이 lpDDR은 그 고속도로를 달리는 차량을 극소형화 한다는 개념인 것이죠. 이로써 에너지는 1/8, 가격은 1/10로 엄청나게 줄여주는 것입니다.
마하 칩은 LPDDR (low power double data rate) 메모리를 활용하여, 전력 소모를 크게 줄이면서도 효율적인 데이터 처리를 가능하게 합니다. 이 기술은 특히 모바일 기기에서 검증된 기술입니다. 이 기술을 바탕으로 향휴 데이터센터용으로도 개발이 완료되어 보급된다면 전력 관리 및 운영 비용을 크게 절감할 수 있는 장점을 가지고 있습니다.
물론 이러한 문제에 대해 엔비디아 역시 이러한 전력 문제를 인식하고 있으며, 다가오는 ‘루빈 GPU’와 ‘베라 루빈 GPU’에서 이러한 문제를 해결하기 위한 새로운 솔루션에 초점을 맞출 것으로 예상됩니다. 엔비디아의 CEO인 젠슨 황은 이미 데이터센터의 전력 부족 문제에 대응하기 위해 lpDDR에 주목하고 있다고 언급한 바 있습니다. 이는 높은 전력 소비가 필요한 HBM을 대체할 수 있는 가능성을 열어주고 있습니다.
따라서 삼성과 엔비디아 모두, AI 칩 시장에서의 경쟁이 단순히 성능의 경쟁을 넘어 전력 효율과 환경 영향을 고려한 기술 혁신으로 나아가고 있는 것으로 보입니다. 그리고 여기서 이미 lpDDR의 기술을 마스터하고 무엇보다 칩설계와 파운드리를 모두다 갖춘 삼성은 향후 칩 기술과 설계 능력을 바탕으로 이 분야에서 새로운 선두주자로 떠오를 가능성이 크며, 이는 데이터센터 설계와 운영에도 큰 변화를 가져올 것입니다.
<이하 광고>
