검색 결과

vLLM Recipes 개편 - 모델+하드웨어 조합별 설정을 딸각 한방으로

vLLM Recipes 개편 - 모델+하드웨어 조합별 설정을 딸각 한방으로

vLLM Recipes가 개편돼 모델과 하드웨어 조합에 맞는 실행 설정을 인터랙티브하게 찾을 수 있게 됐다. 어떤 모델을 어떤 서버에서 돌릴지 빠르게 확인하는 용도다.

CrankGPT

CrankGPT

손과 발의 물리적 동력으로 토큰을 생성하는 완전 로컬·프라이빗 AI 솔루션. 가정용 기본 수동 모델부터 파워 유저·소규모 기업용 페달 모델까지 사용 규모별로 나뉨.

£200로 데이터센터 GPU를 게이밍 PC에 넣기

£200로 데이터센터 GPU를 게이밍 PC에 넣기

RTX 4080 16GB의 VRAM 한계를 보완하려고 중고 Tesla V100 SXM2 16GB를 어댑터와 함께 약 £200에 추가해 총 32GB VRAM 구성을 만들었음. 서버용 GPU를 PCIe 환경에 얹는 방법과 로컬 LLM 용도의 확장성을 보여줌.