vLLM recipes
📄️ Gemma3 27B
A. gaunernst/gemma-3-27b-it-qat-autoawq + vLLM 0.12.0
📄️ Gemma4 31B
A. google/gemma-4-31B-it
📄️ Qwen3 VL 30B-A3B
A. QuantTrio/Qwen3-VL-30B-A3B-Instruct-AWQ + vLLM 0.11.0
📄️ Qwen3 VL 32B
A. QuantTrio/Qwen3-VL-32B-Instruct-AWQ + vLLM 0.12.0
📄️ Qwen3 VL Embedding 8B
A. Qwen/Qwen3-VL-Embedding-8B + vLLM 0.18.1rc
📄️ Qwen3.5 2B
A. QuantTrio/Qwen3.5-2B-AWQ + vLLM 0.18.1rc
📄️ Qwen3.5 122B-A10B
A. QuantTrio/Qwen3.5-122B-A10B-AWQ + vLLM 0.17.x
📄️ Qwen3.5 27B
A. Qwen/Qwen3.5-27
📄️ Qwen3.6 35B A3B
A. Qwen/Qwen3.6-35B-A3B