一个项目用于两个课程设计也挺不错^_^
本项目从学校课程设计中诞生，参考ClipCap进行中文图像标注工作。
该项目所使用数据集为Flickr30k，由于该数据集里面全是人物相关图像，所以导致本项目训练所得模型对包含人物的图像标注效果较好，而不含人物的图像效果较差。
“两个人的旁边有一个双臂张开的男人跑在足球场上。”
“两个穿着运动装的男人在运动场上庆祝。”
“三个人的旁边有一个双手握拳的男人奔跑在球场上。”
“两个人的旁边有一个双手握拳的运动员在球场上奔跑。”
“两个人旁有一个抬着右手的男人走在绿茵茵的球场上。”
进入ClipCap文件夹，在当前路径下，运行use.py，指令如下：
python use.py -m ./models/clipcap_mlp_finetune.model -i ./test_images/football.jpg
-m：训练好的模型存放路径。
-i：需要标注的图片路径。
见requirements.txt。
通过图像特征提取模型将图片转化为向量，再通过映射网络将所提取的向量转化为文本生成前缀，将文本生成前缀prefix_embeds与constant_embeds进行拼接作为输入传进GPT2模型，从而生成文本。
利用Clip在极大的数据集进行预训练所得到的图像特征提取模型的权重(ViT-L/14)
利用GPT2在极大的数据集进行预训练所得到的文本生成模型的权重
- MLP
- MLP + GPT2微调（本项目采用）
- Transformer
- Transformer + GPT2微调