검색 결과

Metal용 DeepSeek 4 Flash 로컬 추론 엔진

DeepSeek 4 Flash local inference engine for Metal

Metal 기반 로컬 추론 엔진 ds4 공개. Apple Silicon 환경에서 DeepSeek 4 Flash를 로컬로 실행하는 구현.

llama.cpp

llama.cpp

경량 로컬 LLM 추론 엔진 llama.cpp 관련 프로젝트 페이지. 다양한 환경에서 효율적인 온디바이스 실행을 지원하는 흐름을 강조함.

Show HN: Tiny-vLLM – C++와 CUDA 기반 고성능 LLM 추론 엔진

Show HN: Tiny-vLLM – high performance LLM inference engine in C++ and CUDA

C++와 CUDA로 구현한 Tiny-vLLM이 소개됨. LLM 추론 성능을 높이기 위한 경량 엔진을 목표로 함.

Wayfinder Router: 로컬과 호스팅 LLM 사이의 결정적 쿼리 라우팅

Wayfinder Router: deterministic routing of queries between local and hosted LLM

로컬 LLM과 호스팅 LLM 사이에서 쿼리를 규칙 기반으로 분기하는 라우터. 비용·지연시간·품질 기준에 따라 모델 선택을 자동화.

오픈 모델이 예상 밖의 해방감을 준 이유

오픈 모델이 예상 밖의 해방감을 준 이유

opencode를 자체 추론 엔드포인트에 연결하자 데이터 흐름이 노트북과 개인이 소유한 인프라 안에 머물며 통제감이 커졌다는 경험담. Claude와 ChatGPT 같은 구독형 도구 대비 소유감과 자율성이 크게 체감됐다는 내용.

회사처럼 돈 쓰지 않고 집에서 AI 코딩하기

회사처럼 돈 쓰지 않고 집에서 AI 코딩하기

개인용 AI 코딩 비용을 줄이는 방법을 자가 호스팅, 오픈소스 모델 API 대여, 프런티어 구독 최적화로 분류함. 초기 비용과 성능, 운영 부담을 비교해 집에서 저비용으로 쓰는 현실적 선택지를 정리함.

Elixir v1.20: 이제 점진적 타입 언어

Elixir v1.20: 이제 점진적 타입 언어

Elixir v1.20에서 모든 프로그램에 타입 추론과 점진적 타입 검사가 적용됨. 어노테이션 없이도 죽은 코드와 런타임 실패 가능 버그를 더 일찍 찾아내는 방향으로 진화함.

whichllm - 내 하드웨어에서 실제로 돌아가고 최고 성능을 내는 로컬 LLM 찾기

whichllm - 내 하드웨어에서 실제로 돌아가고 최고 성능을 내는 로컬 LLM 찾기

하드웨어를 자동 감지해 실측 벤치마크 기준으로 로컬 LLM을 추천하는 CLI 도구. NVIDIA, AMD, Apple Silicon, CPU-only까지 지원해 사용 가능한 모델을 랭킹으로 제시.