검색 결과

Bifrost - 초고속 엔터프라이즈 AI 게이트웨이

Bifrost - 초고속 엔터프라이즈 AI 게이트웨이

LiteLLM 대비 대폭 낮은 오버헤드를 내세운 엔터프라이즈용 AI 게이트웨이 프로젝트가 공개됨. 적응형 로드 밸런싱, 클러스터 모드, 가드레일, 1,000개 이상 모델 지원을 제공한다.

유휴 Inference GPU Pool을 이용한 GPU Job 스케줄링

유휴 Inference GPU Pool을 이용한 GPU Job 스케줄링

LG AI연구원이 LLM 서비스 운영 중 남는 inference GPU를 연구·실험 작업에 재활용한 사례를 소개함. 운영용 GPU 풀의 유휴 시간을 활용해 자원 효율과 작업 처리율을 높이는 방식이다.

노르웨이의 2페타바이트 Huawei 플래시 스토리지와 LLM 학습

노르웨이의 2페타바이트 Huawei 플래시 스토리지와 LLM 학습

노르웨이 국립도서관이 노르웨이어를 이해하는 주권 LLM 구축을 위해 2PB Huawei OceanStor Dorado 플래시 스토리지를 AI 학습 파이프라인에 투입. 영어 중심 상용 모델의 한계를 보완해 지역 언어와 문화 기록을 학습시키려는 목적.