QwQ

实战 - vLLM部署 QwQ-32B-AWQ [单卡4090]

文章目录运行服务安装 vllm下载模型请求调用curl - completionscurl - chatcompletionsPython - completionPython - chat completion关于 QwQ 系列模型&a

实战 vllm QwQ AWQ

admin 6月前

91 0
2000元台式机竟成功本地部署通义千问QwQ-32B推理模型，性能比肩DeepSeek-R1！

大家好，我是九歌AI。　今天手痒痒，想折腾一下本地部署了，主要是通义千问 QwQ-32B对我太有吸引力了。只有 320 亿参数，性能确可与具备 6710

台式机 模型性能 通义千问 QwQ

admin 7月前

73 0