报告主题：基于权重约束和梯度约束的深度学习优化策略
报告人：雍宏巍 香港理工大学 计算学系在读博士
照片：
报告时间：2020年9月4日（周五）10:00-11:00
报告平台：腾讯会议：745136352
邀请人：贾西西
报告人简介：
雍宏巍 香港理工大学 (HK PolyU) 计算学系在读博士，分别于2013年和2016年获得西安交通大学(XJTU)应用数学系学士，硕士学位。目前也是阿里巴巴达摩院视觉计算组研究性实习生，从事深度学习方面的基础研究工作。主要的研究方向包括神经网络的优化算法，优化技巧和训练策略等。发表过多篇计算机视觉顶级期刊和会议的文章，包括TPAMI,TNNLS,TIP以及 ECCV,ICCV, NeurIPS等会议。同时也是TPAMI,TNNLS,TIP等顶级期刊和NeurIPS等会议的reviewer。目前谷歌Google Scholar引用量500+。
报告摘要：
对于深度神经网络，好的优化策略和优化技巧往往可以加速训练并且提升泛化性能。优化过程中对权重和其梯度进行合适的约束往往可以取得更好的优化效果。本讲座首先分享现有的深度学习优化问题中权重和梯度的约束方法和其求解策略，然后重点介绍ECCV的oral论文 “Gradient Centralization: A New Optimization Technique for Deep Neural Networks”。文章提出了一种梯度中心化的神经网络优化策略。通过对神经网络的权重的梯度进行中心化，来加速优化算法的收敛速度并且提升泛化性能。理论上，梯度中心化的方法可以被看成是一种梯度投影的方法，其可以提升目标函数的利普西斯性，同时约束权重的优化范围，在多个实际应用中，包括图像分类，检测分割等，梯度中心化测试都可以更快更好的优化我们的神经网络，进而得到更好的泛化性能。
