AI가 만들어지는 기본 원리와 시스템을 쉽게 정리했습니다.
Transformer의 병목을 어떻게 푸는지, NPU가 왜 중요한지, 데이터 병렬화와 모델 병렬화는 뭐가 다른지, AWS·Google·Azure의 AI 학습 클라우드는 어떻게 다른지를 다룹니다.
InfiniBand·NVLink 같은 데이터센터 인프라, 혼합 정밀도·희소 연산·가지치기로 비용을 줄이는 법, TensorCores·FLOPS·TOPS·HBM 같은 성능 지표까지 다룹니다.
AI 모델이 실제로 어떻게 만들어지고 돌아가는지, 전문 용어를 하나씩 풀어가며 정리한 시리즈입니다.