# GPU

SageMaker, GPU를 나눠 모델마다 자원을 배정한다

AWS가 NVIDIA MIG 기반 GPU 분할을 SageMaker Inference에 도입했다. 최신 GPU의 일부도 배치 선택지가 됐지만, 비용 이점은 부하와 인스턴스 활용 방식에 따라 달라진다.