【PaddlePaddle Hackathon】20、在 Paddle 中新增 LARC

[TCChenlong]

（此 ISSUE 为 PaddlePaddle Hackathon 活动的任务 ISSUE，更多详见PaddlePaddle Hackathon）

【任务说明】

• 任务标题：在 Paddle 中新增 LARC

• 技术标签：深度学习框架，C++，优化算法

• 任务难度：中等

• 详细描述： LARC 优化器是 OpenSeq2Seq 框架中提出的一种优化器。相对于每层都使用相同学习率的 SGD 优化器，该 LARC 优化器考虑到在某些场景下，较大的学习率带来的大幅度参数更新，会导致训练出现分化。为使得训练更稳定，LARC 优化器引入了 trust 系数用来裁剪每一层的学习率。此任务的目标是在 Paddle 框架中，在已实现的 SGD 算法基础上，结合 OpenSeq2Seq 给出的场景，复现 LARC 优化器相对于 SGD 优化器的优势。

• 调用路径：paddle.optimizer.LARC

【提交内容】

• 任务 PR 到 Paddle

• 相关技术文档

• 任务单测文件

【技术要求】

• 了解 Paddle 动静态图下 Optimize pass过程

• 熟练掌握 C++ 、Python

• 熟悉 LARC 优化器算法原理和适用场景

[paddle-bot-old]

您好，我们已经收到了您的问题，会安排技术人员尽快解答您的问题，请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时，您也可以通过查看官网API文档、常见问题、历史Issue、AI社区来寻求解答。祝您生活愉快～

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API，FAQ，Github Issue and AI community to get the answer.Have a nice day!