多模态图文融合

目录

• 图文融合的数据集
• • 双模态情感分析数据集
  • • 图+文：
    • • 情感分类任务：
      • Aspect-level情感分析任务：
      • 反讽识别任务：
    • 视频+文：
    • • 面向评论视频的情感分类任务：
      • 对话视频的情感分类任务：
      • 新闻视频的情感分类任务：
      • 对话视频的反讽识别任务：
  • 三模态情感分析数据集
• 动作情感分析方法
• 表情情感分析
• 语义情感分析
• 各方面代表性的论文

图文融合的数据集

突然发现在综述里面找数据集真的好快，何苦自己找呢？！

双模态情感分析数据集

图+文：

情感分类任务：

1）Yelp数据集

2）Tumblr数据集

3）微博nCov数据集：中文的

Aspect-level情感分析任务：

1）Multi-ZOL数据集

2）Twitter-15和Twitter-17

反讽识别任务：

Twitters Sarcasm：是论文《Multi-Modal Sarcasm Detection in Twitter with Hierarchical Fusion Model》提供的代码和数据集（程序中的readme写了如何加载其中的图片）

视频+文：

面向评论视频的情感分类任务：

1）YouTube数据集

2）ICT-MMMO数据集

3）MOSI数据集

4）CMU-MOSEI集合

对话视频的情感分类任务：

1）MELD数据集

2）IEMOCAP数据集

新闻视频的情感分类任务：

News Rover Sentiment数据集

对话视频的反讽识别任务：

MUStARD数据集:论文《Towards Multimodal Sarcasm Detection(An Obviously Perfect Paper)》

三模态情感分析数据集

1.《Multimodal Language Analysis in the Wild_ CMU-MOSEI Dataset and Interpretable Dynamic Fusion Graph》–【多模态情感和情绪分析】2018年。 论文中描述的CMU-MOSEI数据集规模最大的三模态数据集，且具有情感和情绪两个标签。但是这里要注意，数据集是多标签特性，即每一个样本对应的情绪可能不止一种，对应情绪的强弱也不同，在[-3~3]之间。数据集的原始数据给出了，但是过于原始，即给出的是文本，音频和视频文件，图像还得自己去以固定频率捕获并且和文本语音对其还是比较麻烦的。大多实验都使用处理好的实验数据。 数据集的链接是： http://immortal.multicomp.cs.cmu.edu/raw_datasets/processed_data/ 2.《UR-FUNNY: A Multimodal Language Dataset for Understanding Humor》–【多模态幽默分析】2019年。 论文中描述的是UR-FUNNY数据集，包含文本语音图像三个模态来分析幽默情感。具体目前没用到没有细看，日后再补充。 数据集和代码链接是： https://github.com/ROC-HCI/UR-FUNNY 3.《MOSI: Multimodal Corpus of Sentiment Intensity and Subjectivity Analysis in Online Opinion Videos》–【多模态情绪分析】。 论文中描述的是CMU-MOSI数据集，跟上述的CMU-MOSEI数据集名字很像，但是发布较早，规模小且只有情绪的标签。数据集跟MOSEI一样，有处理好的实验数据，但是也有部分原始数据，video部分依然是视频不是已经捕获好的图像。 数据集的链接是： http://immortal.multicomp.cs.cmu.edu/raw_datasets/processed_data/ 4.《CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotations of Modality》–【中文多模态情绪】2020年。 论文中给出常规的文本、图片和语音的数据进行多模态情绪分类，其中标签更加细致，不仅有最终的标签，还有各个模态的标签。 具体如图所示。论文以及数据集具体我还没看，日后需要我将修改更仔细。 数据集链接是： https://github.com/thuiar/MMSA

参考文章：https://zhuanlan.zhihu.com/p/189876288?utm_source=wechat_session

动作情感分析方法

表情情感分析

语义情感分析

各方面代表性的论文