首页
技术日记
编程
旅游
数码
登录
标签
getlinearschedulewithwarmup
学习率预热(transformers.get_linear_schedule_with_warmup)
1. 什么是warmup warmup是针对学习率learning rate优化的一种策略,主要过程是,在预热期间,学习率从0线性(也可非线性&
Transformers
getlinearschedulewithwarmup
admin
7月前
88
0