首页
技术日记
编程
旅游
数码
登录
标签
梯度
打破瓶颈,揭秘千卡级集群中的Megaton-LM预训练技术精髓
4.1 Megatron-LM:千卡级集群预训练的“硬核”框架 Megatron-LM 是一个基于 PyTorch 的分布式训练框架,专门面向 Transformer 大语言模型(尤其是 GPTLLa
问题
梯度
空泡
admin
1月前
175
0
从理论到实践:全面解析Megatron-LM在千卡级集群中的作用
4.1 Megatron-LM:千卡级集群预训练的“硬核”框架 Megatron-LM 是一个基于 PyTorch 的分布式训练框架,专门面向 Transformer 大语言模型(尤其是 GPTLLa
问题
梯度
空泡
admin
1月前
27
0
【笔记】RuntimeError: Trying to backward through the graph a second time:将无关变量的梯度回传关系撤销
问题: RuntimeError: Trying to backward through the graph a second time, but the saved intermediate results hav
梯度
变量
回传
关系
笔记
admin
7月前
115
0
03 梯度(Gradient)很小怎么办(Local Minima与Saddle Point)-学习笔记-李宏毅深度学习2021年度
上篇:02 机器学习任务攻略-学习笔记-李宏毅深度学习2021年度 下篇:04 自动调整学习率(Learning Rate)-学习笔记-李宏毅深度学习
梯度
学习笔记
深度
年度
local
admin
2025-1-27
118
0
pytorch的GELU激活函数实现
pytorch的GELU激活函数实现
函数
计算
梯度
admin
2024-6-2
126
0
201209-树优公司-Isight-PE全局多目标优化算法-v1
201209-树优公司-Isight-PE全局多目标优化算法-v1
目标
优化
问题
算法
梯度
admin
2024-4-16
87
0
求势函数定积分
求势函数定积分
势函数
向量场
描述
梯度
区域
admin
2024-4-16
111
0
梯度、散度和旋度——定义及公式
梯度、散度和旋度——定义及公式
矢量
算子
梯度
旋度
散度
admin
2024-4-16
126
0
关于大学课程学习中梯度、散度和旋度的简单解析
关于大学课程学习中梯度、散度和旋度的简单解析
梯度
旋度
散度
admin
2024-4-16
130
0
梯度与梯度向量
梯度与梯度向量
梯度
向量
方向
admin
2024-4-16
147
0
矢量场,标量场,散度,梯度,旋度的理解教学内容
矢量场,标量场,散度,梯度,旋度的理解教学内容
梯度
矢量
运算
函数
方向
admin
2024-4-16
109
0
矢量场,标量场,散度,梯度,旋度的理解
矢量场,标量场,散度,梯度,旋度的理解
梯度
矢量
运算
方向
函数
admin
2024-4-16
130
0
高等数学课程大纲英文
高等数学课程大纲英文
学生
单元
梯度
分析
admin
2024-4-16
92
0
标量函数在某处的梯度
标量函数在某处的梯度
函数
梯度
向量
定点
用于
admin
2024-4-16
91
0
人工智能深度学习技术练习(习题卷9)
人工智能深度学习技术练习(习题卷9)
单选题
梯度
深度
使用
数据
admin
2024-4-16
89
0
数学分析17.3多元函数微分学之方向导数与梯度
数学分析17.3多元函数微分学之方向导数与梯度
方向
向量
导数
函数
梯度
admin
2024-4-15
122
0
lasso问题的梯度法python
lasso问题的梯度法python
梯度
系数
问题
迭代
向量
admin
2024-4-15
120
0
共轭梯度法求解lasso
共轭梯度法求解lasso
求解
梯度
共轭
admin
2024-4-15
113
0
clip的损失函数
clip的损失函数
函数
损失
输出
梯度
裁剪
admin
2024-3-25
136
0
人工智能技术中神经网络的常见问题
人工智能技术中神经网络的常见问题
训练
梯度
问题
使用
模型
admin
2024-3-8
125
0
1
2
»