검색 결과

OpenJev

OpenJev

로컬 오픈 모델이 선택지별 확률을 직접 읽는 방식과 JSON을 토큰 단위로 생성하는 방식을 브라우저에서 비교하는 실험. 백엔드 없이 사용자 GPU에서 실행되며 입력과 모델 가중치는 브라우저에 유지.

MicroLLM Lab — 브라우저에서 초소형 LLM 7종 체험

MicroLLM Lab – Try 7 tiny LLM's in the browser

MicroLLM Lab은 25M~360M 규모의 양자화 모델 7종을 WebGPU로 브라우저에서 직접 실행·비교하는 도구임. 데이터의 외부 전송이나 서버 비용 없이 속도와 객관식 정확도 벤치마크를 제공함.

Ternlight – 브라우저에서 실행되는 7MB 임베딩 모델 (WASM)

Ternlight – 7 MB embedding model that runs in browser (WASM)

브라우저에서 WASM으로 동작하는 초경량 임베딩 모델을 공개. 로컬 추론과 클라이언트사이드 AI의 가능성을 넓힘.

WebLLM: 브라우저에서 고성능 LLM 추론을 수행하는 엔진

WebLLM: high-performance in-browser LLM inference engine

브라우저 내부에서 LLM 추론을 고성능으로 돌리는 WebLLM 소개. 서버 의존도를 낮추고 클라이언트 온디바이스 실행을 노린다.