AI·개발

글 5편

AI 모델과 개발 도구, 소프트웨어가 만들어지는 과정.

SageMaker, GPU를 나눠 모델마다 자원을 배정한다

하나의 GPU 내부를 파랑·주황·노랑의 크기가 다른 세 구획으로 나누고 각 구획에 서로 다른 연결망 모델을 배치해, 모델별로 GPU 자원을 나누어 할당하는 모습을 표현한 일러스트.

AWS가 NVIDIA MIG 기반 GPU 분할을 SageMaker Inference에 도입했다. 최신 GPU의 일부도 배치 선택지가 됐지만, 비용 이점은 부하와 인스턴스 활용 방식에 따라 달라진다.

전체 글 · 최신순

Cloudflare는 DNS 재처리 범위를 어떻게 줄였나

비스듬한 회색 DNS 레코드 격자에서 주황색 일부 레코드와 짙은 청색 공유 메타데이터가 화살표를 따라 아래의 한 묶음으로 모인다. 변경에 필요한 대상만 골라 재처리하는 구조를 나타낸다.