Skip to content

HawChang/nlp_toobox

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

15 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

NLP TOOLBOX

通用的NLP工具,完成各类NLP任务。

目标是沉淀基础模型网络,具体使用时通过json配置文件来搭建整个训练、预测流程。

已支持任务类型

  • 分类任务
  • 相似匹配任务
  • 生成任务

任务示例-生成诗词

已训练模型(放到tasks/text_generation/output下即可) 链接: https://pan.baidu.com/s/1f6jBhzLwZfJSTwOCM1K4_w 提取码: 69f0

执行语句

cd tasks/text_generation
sh run.sh -g 4 -c examples/poem_bert_generation.json

效果示例

示例1:

示例1

示例2:

示例2

示例3:

示例3

示例4:

示例4

示例5:

示例5

TODO

  • 优化模型配置逻辑
  • 优化库文件结构
  • 当前beamsearch是通用的beamsearch,可定制古诗的beamsearch增加效果
  • 当前beamsearch出现部分少字古诗,score为1,需要debug一下

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published