support large scale ctr model with distributed lookup table[三期]

[jacquesqiao]

一期: #12008
二期: #13205

table save/load/infer:

• Fix mkdir conflict in save_inference_model Fix mkdir conflict in save_inference_model #14285 @seiriosPlus
• selected_rows save/load 目前把完整的tensor存下来了，就算没有对应的id，load也是一样，应该改改成只save有对应id的tensor，load也只load这部分数据。

速度优化

• 参数更新也是用sparse的方法 @jacquesqiao

dist table

• Dist table support multi table Dist table support multi table #14190 @jacquesqiao
• dist table support other optimize and regular config dist table support other optimize and regular config #14300 @jacquesqiao
• 稀疏更新+正则化在pserver端有bug，表现为当某个梯度为空的时候，dim为[0]，而正则项为dim为 [0, table_size] 后边check shape的时候挂了
• 按id出现的频率删除不常见的id，避免table太大，超过dict_size。
• distribute_lookup_table增加test 模式，在测试的时候，有可能出现训练阶段没见过的id，这种情况下应该把这个id对应的值返回0. Lookup sparse table add test mode #14387 @jacquesqiao
• pass 同步的问题。
• sgd_op检查了id是否超过selected_rows height, 在自动增长模式下，这个检查不应该存在 sgd_op optimize selected rows do not enforce id < height #14389 @jacquesqiao

性能优化

• [wip]add multi thread c++ reader. Add ctr reader #13983 @jacquesqiao

功能完善

• Optimize thread pool Optimize thread pool #14259 @jacquesqiao
• clean rpc server profiler clean rpc server profiler #14257 @jacquesqiao
• add bilinear_tensor_product(tensor_layer in V2) layer add bilinear_tensor_product layer #14336 @jacquesqiao
• gracefull shutdown 解决任务被kill报double free不知道为什么挂的问题
• support selu
• fix prelu layer
• gaussian_random support init selected_rows

[paddle-bot-old]

Since you haven't replied for more than a year, we have closed this issue/pr.
If the problem is not solved or there is a follow-up one, please reopen it at any time and we will continue to follow up.
由于您超过一年未回复，我们将关闭这个issue/pr。
若问题未解决或有后续问题，请随时重新打开，我们会继续跟进。