← Repo TrendingGeeeekExplorer/nano-vllm
★ 14.4kPYTHONCHATBOT / AGENT
Buat apaLibrary Python ringan untuk menjalankan model bahasa besar (LLM) dengan inferensi cepat menggunakan vLLM versi nano yang lebih simpel dan mudah di-deploy.
Cocok buatCocok buat developer atau researcher yang mau eksperimen serving LLM secara lokal dengan resource terbatas tanpa setup vLLM penuh yang berat.
Lihat di GitHub →