适用于 LLM 推理的最佳 NVIDIA GPU:综合指南
简介 GPT-4、BERT 等大型语言模型 (LLM) 和其他基于 Transformer 的模型彻底改变了 AI 格局。这些模型需要大量计算资源进行训练和推理。选择合适的 GPU 进行 LLM 推理可以极大地影响性能、成本效益和可扩展性
AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation Framework
本文是LLM系列的文章,针对《AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation Framework》的翻译。AutoGen:通过多代理对话框
LangChain大型语言模型(LLM)应用开发(二):Conversation & Memory
LangChain是一个基于大语言模型(如ChatGPT)用于构建端到端语言模型应用的 Python 框架。它提供了一套工具、组件和接口,可简化创建由大型语言模型 (LLM)
4. 使用LangChain的LLM对话记忆
对话记忆是聊天机器人如何以对话方式响应多个query的机制。他使得对话连贯,没有他,每个query都是当做完全独立的输入、而不考虑过去的交互。 上面的图代表了LLM有对话记忆和没有对话记忆。蓝色的
#LLM入门|Prompt#1.8_聊天机器人_Chatbot
聊天机器人设计 以会话形式进行交互,接受一系列消息作为输入,并返回模型生成的消息作为输出。 原本设计用于简便多轮对话,但同样适用于单轮任务。 设计思路 个性化特性:通过定制模型的训练数据和参数,使机器人拥有特定的个性化特点。 专门任务设计:
【LLM学习笔记】关于Prompt
一、相关定义 文献:The Prompt Report: A Systematic Survey of Prompting Techniques] 1. Prompt A prompt is an input t
【LLM】OpenAI 的DAY12汇总和o3介绍
noteo3 体现出的编程和数学能力,不仅达到了 AGI 的门槛,甚至摸到了 ASI(超级人工智能)的边。Day 1:o1完全
AI原生应用架构演进:LLM带来的变革与挑战
AI原生应用架构演进:LLM驱动的范式转变与工程挑战 关键词 AI原生架构 | 大语言模型(LLM) | 应用架构范式 | 智能交互系统 | 提示工程 | 向量数据库 | 认知架构 | 多模态融合 | 模型编排 摘要 本分析深入探讨
【LLM】Agent设计和开源框架汇总 | 记忆模块构建
note 开源Agent分为积累:自动agent(autoGPT、loopGPT、babyAGI)、半自动agent(camel)
LLM漫谈(八)| OpenAI 12天直播集锦
声明:本文是收集了网上关于OpenAI 12天直播的博文,若有侵权,联系我删除,感谢各位博主的奉献。此次 OpenAI 将发布会拆分为 12 天直播,是一次内容与形式的双重创新。这种形式通过延长发布周期,不断吸引观众注意力,
LLM部署,并发控制,流式响应(Python,Qwen2+FastAPI)
前言 随着生成式人工智能的快速发展,部分场景希望能过自主部署大型语言模型(LLM)服务器用于推理服务,而相关教程博文尽管很多,但
【LLM deployment & tuning】在macOS上实现基于MLX框架的LLM的部署和微调
基于通义千问模型的上市公司发展战略分析智能体 写在前面: 这个例子本身我个人感觉并不是很简洁,部分步骤可能略显冗余,本人也是第一次尝试LLM相对完整的项目的创建,也差不多是第一次写blog,有什么不合适或者不合理的部分还希望能多多听取各
NLP(十八):LLM 的推理优化技术纵览
原文:NLP(十八):LLM 的推理优化技术纵览 - 知乎 目录 收起 一、子图融合(subgraph fusion&
【prompt调优】利用LLM的认知进行Prompt的自优化
目录 思路 代码 打分函数 反馈和修改函数 示例演示 总结 思路 一个好的prompt应该始终以 response是否符合任务要求 为标准,由于LLM的回答具有黑盒性质,所以prompt
【LLM promote engineering】怎么去尝试用GPT帮你写一个新类型的文章
# 比如我准备写一篇调研报告,我之前不知道怎么写。1. 首先我找了一篇我觉得写的可以的文章做底板2. 送入gpt帮我生成大纲3. 告诉他我的想法4.生成一个属于我的相同文体的大纲5.让机器人逐步写出文章内容~
【LLM第五篇】名词解释:prompt
1.是什么 提示工程(Prompt Engineering)是一门较新的学科,关注提示词开发和优化,帮助用户将大语言模型(Large Language Model, LLM)用于各场景和研究领域。 掌握了提示工程相关技能将有助于用户更好地
LLM多轮对话设计模式:构建连贯上下文的对话系统
LLM多轮对话设计模式:构建连贯上下文的对话系统 【免费下载链接】llm Access large language models from the command-line 项目地址: https:gitco
bloop人工智能进展:LLM集成的下一步发展
bloop人工智能进展:LLM集成的下一步发展 【免费下载链接】bloop bloop is a fast code search engine written in Rust. 项目地址: https:git
xiaogpt量子计算探索:未来算力提升对LLM交互的影响
xiaogpt量子计算探索:未来算力提升对LLM交互的影响 【免费下载链接】xiaogpt Play ChatGPT and other LLM with Xiaomi AI Speaker 项目地址: https
论文阅读:ACM SIGIR 2025 Principles and Guidelines for the Use of LLM Judges
总目录 大模型相关研究:https:blog.csdnWhiffeYFarticledetails142132328 https:dl.acmdoiabs10.11453731120.3744588 https:
发表评论