← Repo Trendingvllm-project/vllm
★ 84.5kPYTHONCHATBOT / AGENT
Buat apavLLM adalah library Python untuk menjalankan inference model bahasa besar (LLM) dengan throughput tinggi dan latensi rendah menggunakan teknik PagedAttention.
Cocok buatCocok buat developer dan peneliti yang ingin deploy LLM sendiri secara efisien di server atau cloud.
Lihat di GitHub →