마이크로 소프트, Maia 100 AI Accelerator, Cobalt 100 CPU

마이크로소프트가  AI 전용  칩으로  ‘Microsoft Azure Maia 100 AI Accelerator’와 ‘Azure Cobalt 100 CPU’를 발표했습니다. 이 칩들은 마이크로소프트의 데이터 센터에서 인텔, AMD, 엔비디아와 함께 사용될 예정입니다.

마이크로소프트의 이러한 독자적인 칩의 출시는 클라우드 산업에서 중요한 의미를 가집니다. 이미 아마존, 구글 등의 클라우드 대기업들도 자체적인 실리콘 옵션을 제공하고 있기 때문에, 마이크로소프트의 이번 발표는 이러한 트렌드에 발맞춰 경쟁력을 강화하려는 전략으로 볼 수 있습니다. 또한, 이 칩들은 엔비디아와 같은 기존 칩 공급업체들을 대체하기보다는 고객에게 또 다른 선택지를 제공하기 위한 것으로, AI 처리력에 대한 높은 수요 속에서 칩 부족 문제를 해결하는 데 도움을 줄 수 있을 것으로 보입니다.

또한 이 칩들이 TSMC의 5나노미터 제조 공정을 사용하여 제작된다는 점에서, 현재 시장에서 최고 수준의 반도체 기술 중 하나를 사용하고 있다는 것을 알 수 있습니다. 이는 칩의 성능 및 효율성이 상당히 높을 것임을 의미합니다.

 

                                                                                                           Maia 100 AI Accelerator:

마이크로소프트의 새로운 AI 가속기인 Maia 100과 범용 CPU인 Cobalt 100은 각각 AI 트레이닝과 클라우드 작업에 최적화된 고성능을 제공합니다.

  1. Maia 100 AI Accelerator:

    • 이 칩은 5나노 공정으로 제조되어, 1050억 개의 트랜지스터를 포함하고 있습니다. 이는 복잡한 언어 모델을 학습하는 데 필요한 강력한 처리 능력을 제공합니다.
    • Maia 100은 특히 OpenAI의 대형 언어 모델을 학습시키는 데 사용되며, ChatGPT와 같은 모델을 운영하는 데 필요한 클라우드 기반 트레이닝과 추론 작업을 수행합니다.
    • 전체적으로 액체 냉각이 적용되어 있으며, 마이크로소프트는 이 칩을 위한 맞춤형 랙과 액체 냉각 라디에이터가 포함된 ‘사이드킥’을 설계했습니다​ (Maginative).
  2. Cobalt 100 CPU:

    • 이 128코어 ARM 기반 CPU는 Microsoft Cloud 내의 일반적인 작업을 최적화하여 수행하도록 설계되었습니다. 특히, Microsoft Teams와 SQL과 같은 서비스에 사용됩니다.
    • Cobalt 100은 기존의 Azure ARM 칩 대비 40% 향상된 성능을 제공합니다. 이로 인해 데이터 센터의 전력 효율성이 크게 개선될 것으로 기대됩니다​ (Maginative).

이 외에도 마이크로소프트는 Nvidia Hopper H100 GPU와 AMD EPYC Genoa 프로세서를 기반으로 하는 새로운 Azure NC H100 v5 가상 머신을 발표했으며, 이들은 AI 및 고성능 컴퓨팅 작업을 위해 설계되었습니다. 또한 Microsoft는 이 칩의 성능을 극대화하기 위해 전용 랙과 액체 냉각 시스템을 개발하였으며, 이는 AI 작업의 독특한 요구사항을 충족시키기 위해 설계되었습니다​ 

                                                                                     <Maia 100을 위한 전용 랙-마이크로 소프트>

따라서 소비자는 다음의 가상머신을 선택을 할 수 있습니다….

마이크로소프트는 Azure NC H100 v5 가상 머신(Virtual Machines, VMs)을 두 가지 구성으로 제공합니다. 이 가상 머신들은 고성능 컴퓨팅 작업 및 AI 작업을 위해 설계되었으며, 사용자는 자신의 필요에 따라 선택할 수 있습니다.

  1. 첫 번째 구성:

    • 40개의 가상 CPU(vCPUs)
    • 320GB RAM
    • 하나의 H100 GPU (94GB HBM3)
    • 40GBps의 Azure 네트워크 대역폭
  2. 두 번째 구성:

    • 80개의 가상 CPU(vCPUs)
    • 640GB RAM
    • 두 개의 H100 GPU (각각 94GB HBM3, 총 188GB)
    • 80GBps의 Azure 네트워크 대역폭

또한, 마이크로소프트는 AMD의 최신 Instinct MI300X GPU를 탑재한 ND MI300X v5 가상 머신도 제공합니다. 이 VM은 높은 성능을 요구하는 작업에 적합합니다.

  • ND MI300X v5 VM의 주요 사양:
    • 각 GPU당 400Gb/s의 NVIDIA Quantum-2 CX7 InfiniBand 연결
    • VM당 총 3.2Tb/s의 대역폭
    • 4세대 인텔 제온 스케일러블 프로세서
    • PCIE Gen5 호스트-투-GPU 연결, GPU당 64GB/s 대역폭
    • 16채널의 DDR5 DIMM

이러한 구성은 고성능의 데이터 처리 및 AI 모델 훈련에 필요한 강력한 계산 리소스를 제공하여, 복잡한 연산이 요구되는 대규모 프로젝트에 효율적으로 대응할 수 있도록 돕습니다.

<이하 광고>

© 2023 나의 웹 페이지