검색 결과

Metal용 DeepSeek 4 Flash 로컬 추론 엔진

DeepSeek 4 Flash local inference engine for Metal

Metal 기반 로컬 추론 엔진 ds4 공개. Apple Silicon 환경에서 DeepSeek 4 Flash를 로컬로 실행하는 구현.

llama.cpp

llama.cpp

경량 로컬 LLM 추론 엔진 llama.cpp 관련 프로젝트 페이지. 다양한 환경에서 효율적인 온디바이스 실행을 지원하는 흐름을 강조함.

Show HN: Tiny-vLLM – C++와 CUDA 기반 고성능 LLM 추론 엔진

Show HN: Tiny-vLLM – high performance LLM inference engine in C++ and CUDA

C++와 CUDA로 구현한 Tiny-vLLM이 소개됨. LLM 추론 성능을 높이기 위한 경량 엔진을 목표로 함.

Wayfinder Router: 로컬과 호스팅 LLM 사이의 결정적 쿼리 라우팅

Wayfinder Router: deterministic routing of queries between local and hosted LLM

로컬 LLM과 호스팅 LLM 사이에서 쿼리를 규칙 기반으로 분기하는 라우터. 비용·지연시간·품질 기준에 따라 모델 선택을 자동화.