189 8069 5689
Pytorch中怎么使用finetune，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。
网站建设哪家好，找成都创新互联公司！专注于网页设计、网站建设、微信开发、小程序设计、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了蜀山免费建站欢迎大家使用！
1.固定参数
for name, child in model.named_children(): for param in child.parameters(): param.requires_grad = False
后，只传入 需要反传的参数，否则会报错
filter(lambda param: param.requires_grad, model.parameters())
2.调低学习率，加快衰减
finetune是在预训练模型上进行微调，学习速率不能太大。
目前不清楚：学习速率降低的幅度可以更快一些。这样以来，在使用step的策略时，stepsize可以更小一些。
直接从原始数据训练的base_lr一般为0.01，微调要比0.01小,置为0.001
要比直接训练的小一些，直接训练的stepsize为100000，finetune的stepsize: 50000
3. 固定bn或取消dropout：
batchnorm会影响训练的效果，随着每个batch，追踪样本的均值和方差。对于固定的网络，bn应该使用全局的数值
def freeze_bn(self): for layer in self.modules(): if isinstance(layer, nn.BatchNorm2d): layer.eval()
训练时，model.train()会修改模式，freeze_zn()应该在这里后面
4.过滤参数
训练时，对于优化器，应该只传入需要改变的参数，否则会报错
filter(lambda p: p.requires_grad, model.parameters())
看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注创新互联行业资讯频道，感谢您对创新互联的支持。