Linux大棚 – 不忘初心的技术博客,浮躁时代的安静角落
  •  首页
  •  技术日记
  •  编程
  •  旅游
  •  数码
  •  登录
  1. 标签
  2. QDrant
  • 本地搭建属于自己的ChatGPT:基于PyTorch+ChatGLM-6b+Streamlit+QDrant+DuckDuckGo

    本地部署chatglm及缓解时效性问题的思路: 模型使用chatglm-6b 4bit,推理使用hugging face,前端应用使用streamlit或者gradio。
    自己的 pytorch ChatGpt ChatGLM QDrant
    admin 2025-1-31
    197 0
CopyRight © 2022 All Rights Reserved 豫ICP备2021025688号-21
Processed: 0.031 , SQL: 9