검색 결과

노르웨이의 2페타바이트 Huawei 플래시 스토리지와 LLM 훈련

Norway's 2 petabytes of Huawei flash storage and LLM training

노르웨이의 2페타바이트 규모 Huawei 플래시 스토리지가 LLM 훈련 인프라로 활용된 사례를 다룸. 대규모 AI 학습에서 스토리지 용량과 처리 성능의 중요성이 부각됨.

Bifrost - 초고속 엔터프라이즈 AI 게이트웨이

Bifrost - 초고속 엔터프라이즈 AI 게이트웨이

LiteLLM 대비 대폭 낮은 오버헤드를 내세운 엔터프라이즈용 AI 게이트웨이 프로젝트가 공개됨. 적응형 로드 밸런싱, 클러스터 모드, 가드레일, 1,000개 이상 모델 지원을 제공한다.

유휴 Inference GPU Pool을 이용한 GPU Job 스케줄링

유휴 Inference GPU Pool을 이용한 GPU Job 스케줄링

LG AI연구원이 LLM 서비스 운영 중 남는 inference GPU를 연구·실험 작업에 재활용한 사례를 소개함. 운영용 GPU 풀의 유휴 시간을 활용해 자원 효율과 작업 처리율을 높이는 방식이다.

노르웨이의 2페타바이트 Huawei 플래시 스토리지와 LLM 학습

노르웨이의 2페타바이트 Huawei 플래시 스토리지와 LLM 학습

노르웨이 국립도서관이 노르웨이어를 이해하는 주권 LLM 구축을 위해 2PB Huawei OceanStor Dorado 플래시 스토리지를 AI 학습 파이프라인에 투입. 영어 중심 상용 모델의 한계를 보완해 지역 언어와 문화 기록을 학습시키려는 목적.