검색 결과
"infrastructure" · 22개 기사 · AI/ML
GLM은 자체 추론 인프라를 어떻게 구축했나
How GLM built its own inference infrastructure
GLM-5.3 기반 Infra Agent가 정확성 테스트·실행 추적·microbenchmark를 활용하는 ‘dense feedback’ 방식으로 자체 추론 시스템을 최적화. KV transfer 병목을 줄이고 kernel 중복 연산을 제거해 특정 구현에서 1.71배 성능 향상 달성.
Nvidia는 AI의 중앙은행이다
Nvidia is the central bank of AI
Nvidia가 AI 인프라 투자 보증과 고객 금융 지원을 확대하며 산업의 핵심 자금 공급자로 부상. 수요 둔화와 칩 가격 하락 시 고객 지원 계약이 대규모 손실로 이어질 위험.
OpenRouter, 시리즈 B로 1억 1,300만 달러 조달
OpenRouter raises $113M Series B
OpenRouter가 시리즈 B 라운드에서 1억 1,300만 달러를 유치함. AI 모델 라우팅·접근 인프라 사업 확장을 위한 자금 확보로 해석됨.
Open-weight AI, Kubernetes의 순간을 맞다
Open-weight AI is having its Kubernetes moment
오픈 웨이트 AI 생태계가 Kubernetes 초창기처럼 표준화와 운영 복잡성의 분기점을 맞고 있다는 분석. 배포와 운영 도구의 중요성이 커지는 흐름.
Google, xAI 데이터센터의 compute capacity에 대해 SpaceX에 월 9억2000만 달러 지급
Google to pay SpaceX $920M a month for compute capacity at xAI data centers
Google이 xAI 데이터센터의 compute capacity 확보에 월 9억2000만 달러를 SpaceX에 지급하는 계약이 보도됨. 대형 AI 인프라 수요가 클라우드 외부 파트너십까지 밀어올림.
Nvidia, OpenAI 인프라 파이낸싱 보장 규모 대폭 축소
Nvidia dramatically reduces amount of OpenAI infra financing it may guarantee
Nvidia가 OpenAI 데이터센터 관련 보장형 파이낸싱 규모를 크게 줄인 것으로 전해짐. 대규모 AI 인프라 자금조달에 대한 시장 기대를 낮추는 신호로 해석됨.
데이터센터 붐을 정당화하려면 AI에 연간 6조 달러 매출 필요
AI needs $6T in annual revenue to justify data centre boom
Bain은 세계 AI 산업이 데이터센터 투자를 정당화하려면 2031년까지 연간 6조 달러의 매출을 올려야 한다고 분석. 기존 AI 서비스 예상 매출을 제외하면 로보틱스·신약 개발 등에서 4조2천억 달러의 신규 매출 창출 필요.
공유지의 비극, AI 버전
The tragedy of the commons, AI edition
AI 확산이 공유 자원과 인프라에 부담을 주는 구조를 다룸. 개인의 이익은 커지지만 비용은 분산되는 전형적 공유지 문제를 AI 산업에 대입함.
유럽은 보유한 컴퓨트만으로 frontier AI model을 학습할 수 있나
Can Europe train a frontier AI model on the compute it owns?
유럽이 자체 보유 컴퓨트만으로 최전선 AI model을 학습할 수 있는지 다루는 EUromesh 프로젝트가 소개됨. 유럽 내 분산 학습 역량과 인프라 자립 가능성을 점검하는 내용.
Moonshot의 Kimi, Alibaba의 2만 개 Nvidia 칩 클러스터 활용
Moonshot’s Kimi uses 20k Nvidia chip cluster from Alibaba
중국 AI 스타트업 Moonshot의 Kimi가 Alibaba의 2만 개 Nvidia 칩 클러스터를 기반으로 구축된 것으로 전해짐. 대규모 인프라 확보가 최상위 모델 경쟁의 핵심 변수로 부상.
a16z의 2026년 기술 시장 분석 - 소프트웨어에서 AI 인프라로 이동하는 투자
a16z의 2026년 기술 시장 분석 - 소프트웨어에서 AI 인프라로 이동하는 투자
기술 산업이 2026년 S&P 500 이익 증가분의 약 76%를 차지하며 시장 성장을 주도. 대형 클라우드 기업의 연간 설비투자가 약 8,000억 달러에서 2027년 1조 달러 이상으로 늘면서 투자의 중심이 소프트웨어에서 AI 인프라로 이동.
AI, 데이터센터 투자 붐 정당화하려면 연 매출 6조 달러 필요
AI, 데이터센터 투자 붐 정당화하려면 연 매출 6조 달러 필요
Bain은 AI 인프라 투자를 지속하려면 2031년까지 연 매출 6조 달러가 필요하다고 추산. 이 가운데 약 4조 2,000억 달러를 신제품·서비스에서 창출해야 하는 것으로 분석.
DeepSeek Elastic Compute(DSec) - 대규모 AI 에이전트 학습용 샌드박스 인프라
DeepSeek Elastic Compute (DSec) - 대규모 AI 에이전트 학습을 위한 샌드박스 인프라
DeepSeek Elastic Compute는 AI 에이전트가 코드 실행과 파일 수정을 수행하며 학습할 수 있는 대규모 격리 환경. 약 160개 노드에서 하루 300만 개의 샌드박스를 처리하며 38만 개 이상 동시 실행과 초당 5,000개 생성을 지원.
재귀적 자기 개선을 향하여: GLM은 어떻게 자체 추론 인프라를 구축했는가
재귀적 자기 개선을 향하여: GLM은 어떻게 자체 추론 인프라를 구축했는가
GLM-5.3 기반 에이전트가 엔지니어들과 협업해 중국산 AI 가속기 10만 개 이상에서 GLM-5.3-Flash를 서비스하는 추론 인프라 구축. 모델 적응부터 실서비스 준비까지 2주 미만이 소요됐으며 메모리 최적화와 추론 단계 분리로 처리 성능 개선.
Meta가 AI 인프라의 매출 기여도를 측정한 방법
Meta가 AI 인프라의 매출 기여도를 측정한 방법
Meta가 개별 모델 출시 데이터를 분석해 7개 AI 인프라 플랫폼의 매출 기여도를 추정. 공유 인프라에 일반적인 A/B 테스트를 적용하기 어려운 문제를 분석적 측정 방식으로 보완.
Nvidia, ‘순환 금융’ 우려 일축하며 “1달러 투자할 때마다 100달러 돌아온다”
Nvidia, ‘순환 금융’ 우려 일축하며 “1달러 투자할 때마다 100달러 돌아온다”
Jensen Huang이 Nvidia의 AI 기업 투자와 데이터센터 금융 지원을 고객의 구매 자금 조달을 위한 ‘순환 금융’으로 보는 시각을 일축함. 100배 수익 발언은 생태계 투자 효과를 강조한 수사적 표현으로, 실제 투자수익률 공시는 아님.
Netflix의 사내 LLM 서빙 플랫폼
Netflix의 사내 LLM 서빙 플랫폼
Netflix가 LLM을 별도 시스템으로 분리하지 않고 기존 ML 인프라에 통합해 운영하는 서빙 플랫폼을 공개. vLLM과 Triton을 연결해 유연한 모델 지원과 디버깅, 확장성을 확보했다.
오픈 웨이트 AI가 Kubernetes의 순간을 맞고 있음
오픈 웨이트 AI가 Kubernetes의 순간을 맞고 있음
오픈 웨이트 모델이 공통 서빙·미세조정·운영 스택을 중심으로 AI 인프라 생태계를 묶는 기반으로 부상함. Kubernetes처럼 개발자·클라우드·기업의 확장과 혁신을 동시에 촉진할 수 있다는 관점이 제시됨.
새로운 산업혁명의 잠금 해제
새로운 산업혁명의 잠금 해제
AI의 잠재력은 전력, 지능, 조정된 행동이 함께 갖춰질 때 실제 생활수준 변화로 이어진다는 주장. 미국은 지능은 충분하지만 산업 인프라와 물리적 제약이 확장을 가로막고 있다고 지적함.
오픈소스 AI는 반드시 이겨야 한다
오픈소스 AI는 반드시 이겨야 한다
AI를 업무·교육·과학·공공 서비스의 핵심 인프라로 보고, 소수 기업의 조건과 가격에 종속돼서는 안 된다는 주장. 지능 시스템을 연구·배포·감사·교육·보존할 자유를 강조.
AI가 둔화하고 있다
AI가 둔화하고 있다
생성형 AI 인프라가 데이터센터 투자와 컴퓨트 약정을 정당화하려면 2030년까지 연간 2조 달러 이상의 AI 컴퓨트 매출이 필요하다는 분석. 계획된 190GW 데이터센터 규모를 감안하면 투자 회수 압박이 커지고, 업계의 성장 속도 둔화 가능성이 제기됨.
AI는 기술이지, 제품이 아니다
AI는 기술이지, 제품이 아니다
AI를 개별 제품이 아닌 모든 디바이스에 스며드는 기반 기술로 봐야 한다는 주장. Apple 같은 기업도 킬러 AI 제품보다 인프라로서의 AI 전략이 중요하다는 관점.