AWQ

实战 - vLLM部署 QwQ-32B-AWQ [单卡4090]

文章目录运行服务安装 vllm下载模型请求调用curl - completionscurl - chatcompletionsPython - completionPython - chat completion关于 QwQ 系列模型&a

实战 vllm QwQ AWQ

admin 6月前

92 0