PaddleNLP 2.3.4 Release Note Candidate

[linjieccc]

New Features

UIE

• 新增uie-mini, uie-micro和uie-nano，支持模型微调及Taskflow一键调用。Add uie-mini, uie-micro and uie-nano for UIE #2604

WordTag-IE

• 新增基于中文词类知识的信息抽取工具，支持通过Taskflow一键调用。 Add the WordTag-IE tool  #2540

ERNIE-DOC

• ERNIE-DOC模型在分类任务上添加预测部署流程。【Hackathon No.77】基于ERNIE_DOC完成长文本分类任务 #1845

ERNIE Tiny

• 开源 ERNIE Tiny 预训练模型，效果、精度领先于HFL、UER、Huawei-Noah 同等规模下开源中文模型。

CLUE Benchmark

• 支持 CLUE 10 个任务的训练、评估、预测，支持用户产出预测结果提交至 CLUE 榜单，并提供 Grid Search 工具供用户一键训练，最终获取最优评估结果。

代码生成

• 新增CodeGen代码生成模型。[CodeGen] Add CodeGen model for code generation #2641

FasterGeneration

• FasterBART支持动转静和推理。[FasterBART] Suppport dygraph to static and inference #2519
• FasterGeneration 支持使用带有 onnx 的预测库的编译。Support FasterTransformer compiled with paddle inference lib with onnx #2463

文本分类

• 新增多标签层次分类。 add hierarchical text classification  #2501

Trainer

• 支持 constant、cosine、linear三种学习率调度策略。

生态贡献

• 新增XLM模型。[NEW MODEL] Add_XLM_model #2080

Bug Fix

• 修复UIE同类别嵌套的评估问题。 fix evaluation for the case of overlapping in the same category #2558
• 修复UIE prompt为英文时，prompt与文本的offset重叠的问题。fix bug of offset overlapping #2453
• 修复BERT Tokenizer调用get_offset_mapping出错的问题。 Fix bert offset mapping issues #2508
• 修复FasterGeneration部分模型Sampling解码出core的问题。Fix sampling decoding when model without parallel #2561
• 修复PretrainedTokenizer和PretrainedModel 中from_pretrained中的潜在问题。 Improve tokenizer #2521 checking existence of file before copy #2578 fix tokenizer isfile checking code #2424
• 修复LukeTokenizer当中的字段缺失导致保存时报错的问题。 add _entity_file field to LukeTokenizer #2631
• 修复ChineseBertTokenizer由于Tokenizer机制更新导致expect parameter的问题。 fix chinese bert tokenizer unexpected parameter #2625
• 修复 PretrainedTokenizer special token 设置被覆盖及遗漏的问题 Fix AddToken settings in tokenizers #2534 Fix special token settings in PretrainiedTokenizer #2629
• 修复 albert pad token id 缺失问题 [BugFix] fix albert pad token id #2495
• 修复 ERNIE-1.0 预训练使用amp 02时，加载checkpoint错误问题 [BugFix] Fix load ckpt weight for amp 02 #2479
• 移除RandomGenerator的is_init_py属性 [BugFix] Update trainer_base.py #2658

其他

• BERT 支持 fused_ffn、fused_attention进行fuse [Benchmark] Optimize bert using fused_ffn and fused_attention #2523

[ilovecode2018]

使用pip install paddlenlp==2.3.4，提示找不到这个版本。只有2.3.3

[linjieccc]

使用pip install paddlenlp==2.3.4，提示找不到这个版本。只有2.3.3

@ilovecode2018 感谢关注，2.3.4版本会在下周发布

[wj-Mcat]

New Feature

OPT 大模型

• 新增OPT大模型，并融入到Taskflow中

单元测试

• 添加多进程下tokenizer保存数据的单测 test pretrained tokenizer & model with multi process #2620

BugFix

• 修复PretrainedTokenizer和PretrainedModel 中from_pretrained中的潜在问题
  • Improve tokenizer #2521
  • checking existence of file before copy #2578
  • fix tokenizer isfile checking code #2424
• 修复LukeTokenizer当中的字段缺失导致保存时报错的问题 add _entity_file field to LukeTokenizer #2631
• 修复ChineseBertTokenizer由于Tokenizer机制更新导致expect parameter的问题： fix chinese bert tokenizer unexpected parameter #2625

[ZeyuChen]