Releases: CYang828/datasetstation
Releases · CYang828/datasetstation
版本1.0.1.3
文本清理
可用参数:
- remove_html_tag=True,
- convert_full2half=True,
- remove_exception_char=True,
- remove_url=True,
- remove_redundant_char=True,
- remove_parentheses=True,
- remove_email=True,
- remove_phone_number=True,
- delete_prefix=False,
- redundant_chars=None
- remove_punctuation=True,
- remove_whitespace=True,
版本 1.0.0.4
- 下载缓存判断
- 文本可视化探索
- 文本长度分布可视化,最佳截断长度计算
- 文本词云可视化
- 增加 preprocessing 处理过程函数
- 增加中文分词器
- 单字切词
- 分词切词包括:jieba