基于 transformers 库实现的多种 NLP 任务。
计算文本间的相似度,多用于:
搜索召回
、文本检索
、蕴含识别
等任务。
模型 | 传送门 |
---|---|
概览 | [这里] |
PointWise(单塔) | [这里] |
DSSM(双塔) | [这里] |
Sentence Bert(双塔) | [这里] |
在给定的文本段落中抽取目标信息,多用于:
命名实体识别(NER)
,实体关系抽取(RE)
等任务。
模型 | 传送门 |
---|---|
通用信息抽取(Universe Information Extraction, UIE) | [这里] |
通过设计提示(prompt)模板,实现使用更少量的数据在预训练模型(Pretrained Model)上得到更好的效果,多用于:
Few-Shot
,Zero-Shot
等任务。
模型 | 传送门 |
---|---|
PET(基于人工定义 prompt pattern 的方法) | [这里] |
p-tuning(机器自动学习 prompt pattern 的方法) | [这里] |
对给定文本进行分类,多用于:
情感识别
,文章分类识别
等任务。
模型 | 传送门 |
---|---|
BERT-CLS(基于 BERT 的分类器) | [这里] |
RLHF(Reinforcement Learning from Human Feedback)通过人类的反馈,将强化学习(RL)用于更新语言生成模型(LM),从而达到更好的生成效果(代表例子:ChatGPT);通常包括:
奖励模型(Reward Model)
训练和强化学习(Reinforcement Learning)
训练两个阶段。
模型 | 传送门 |
---|---|
RLHF(Reward Model 训练,PPO 更新 GPT2) | [这里] |
文本生成(NLG),通常用于:
小说续写
,智能问答
,对话机器人
等任务。
模型 | 传送门 |
---|---|
中文问答模型(T5-Based) | [这里] |