【对话生成】常见对话生成数据集整理，含下载链接(更新至2021.09.02)

【对话生成】常见对话生成数据集整理，含下载链接（持续更新）

• 前言
• 用于对话理解的对话数据集
• • IEMOCAP
  • SEMAINE
  • Mastodon
  • MELD
  • EMOTyDA
  • MEmoR
• 常规开放域对话数据集
• • OpenSubtitles
  • Cornell Movie-Dialogs
  • STC
  • Ubuntu Dialogue Corpus
  • Douban Conversation Corpus
  • LCCC
  • OpenViDial
  • PchatbotW
  • WDC-Dialogue
  • 待更新
• 情感对话数据集
• • DailyDialog
  • ESTC
  • EMPATHETICDIALOGUES
  • ESConv
  • 待更新
• 个性对话数据集
• • PERSONA-CHAT
  • PersonalDialog
  • 待更新
• 策略控制对话生成
• • PsyQA
  • 待更新

前言

本文主要整理对话生成领域相关的数据集，尤其是开放域对话生成。当前可以把开放域对话生成任务划分为：传统开放域对话生成、多模态对话生成、情感对话生成、个性化对话生成、策略控制对话生成等。笔者的划分是根据自己对该任务研究进展梳理而得到的理解，并不一定合理。

用于对话理解的对话数据集

IEMOCAP

发布时间：2008年

论文链接：https://link.springer.com/article/10.1007/s10579-008-9076-6

数据集链接：https://sail.usc.edu/iemocap/

数据集语言：英文

数据集模态：视频、音频、文本

数据集描述：IEMOCAP主要用于对话情感识别，包含151个对话、7433个语句、10个对话角色、10种情感标签。

SEMAINE

发布时间：2012年

论文链接：https://ieeexplore.ieee.org/document/5959155

数据集链接：https://semaine-db.eu/

数据集语言：英文

数据集模态：视频、音频、文本

数据集描述：SEMAINE主要用于对话情感识别，由四个固定形象的机器人与人进行对话，标注了4个情感维度：Valence (愉悦度), Arousal (激活度), Expectancy (预期), Power (力量)。Valence表示情感积极的程度，Arousal表示兴奋的程度，Expectancy表示与预期相符的程度，Power表示情感影响力。其中Valence、Arousa和Expectancy为[-1, 1]范围内的连续值，Power为大于等于0的连续值。

Mastodon

发布时间：2018年

论文链接：https://www.aclweb.org/anthology/C18-1063/

数据集链接：https://github.com/cerisara/DialogSentimentMastodon

数据集语言：英文

数据集模态：文本

数据集描述：Mastodon主要用于对话当中的情感与对话动作(DA)识别，尤其是联合识别任务。它包括535个对话、2217个语句，标注了3大类情感标签、27类对话动作(DA)。

MELD

发布时间：2019年

论文链接：https://www.aclweb.org/anthology/P19-1050

数据集链接：https://affective-meld.github.io/

数据集语言：英文

数据集模态：视频、音频、文本

数据集描述：MELD主要用于对话中的情感识别，也有部分论文将其用于情感对话生成或者多模态对话生成。它包括1433个对话、13708个语句，提供了3大类粗粒度情感标签以及7种细粒度情感标签。视频被切割成按语句划分的短视频，可以通过语句索引获得该语句对应的视频。

EMOTyDA

发布时间：2020年

论文链接：https://www.aclweb.org/anthology/2020.acl-main.402/

数据集链接：https://github.com/sahatulika15/EMOTyDA

数据集语言：英文

数据集模态：视频、音频、文本

数据集描述：EMOTyDA是一个类似于Mastodon的对话数据集，它主要整理了IEMOCAP以及MELD数据集，并且增加了12种常见的对话动作标签，最终包括了1341个对话以及19365个对话语句。可以用于情感和DA的联合识别任务。

MEmoR

发布时间：2020年

论文链接：https://dl.acm.org/doi/10.1145/3394171.3413909

数据集链接：https://github.com/sunlightsgy/MEmoR

数据集语言：英文

数据集模态：视频、音频、文本

数据集描述：MEmoR数据集主要用于多模态情感推理(ER)，包括8536个对话以及22732个语句，提供了14种情感标签并且对64个说话人标注了16PF、Big Five、MBTI三种个性特质用于辅助情感推理。我认为该数据集还可以用于情感对话或者个性化对话任务。

常规开放域对话数据集

OpenSubtitles

发布时间：2009年

论文链接：http://www.lrec-conf.org/proceedings/lrec2016/pdf/947_Paper.pdf

数据集链接：http://nlp.stanford.edu/data/OpenSubData.tar

数据集链接2：https://opus.nlpl.eu/OpenSubtitles-v2018.php

数据集语言：多语言（62种语言）

数据集模态：文本

数据集描述：OpenSubtitles主要用于开放域对话生成，包含2.6 billion语句。

Cornell Movie-Dialogs

发布时间：2011年

论文链接：https://www.aclweb.org/anthology/W11-0609/

数据集链接：http://www.cs.cornell.edu/~cristian/Cornell_Movie-Dialogs_Corpus.html

数据集语言：英文

数据集模态：文本

数据集描述：Cornell Movie-Dialogs包含从原始电影脚本中提取的大量元数据丰富的虚构对话集合，10,292 对电影角色之间的 220,579 次对话交流， 涉及 617 部电影中的 9,035 个角色，总共 304,713 条话语。

STC

发布时间：2015年

论文链接：https://www.aclweb.org/anthology/P15-1152/

数据集链接：https://coai-dataset.oss-cn-beijing.aliyuncs.com/STC-corpus.zip

数据集语言：中文

数据集模态：文本

数据集描述：STC是从微博爬取的语料构造的短文本对话(Short-Text Conversation)数据集，包含4.4 million个对话，。这里的数据集下载链接来自项目CDial-GPT。

Ubuntu Dialogue Corpus

发布时间：2015年

论文链接：https://www.aclweb.org/anthology/W15-4640/

数据集链接：https://github.com/rkadlec/ubuntu-ranking-dataset-creator

数据集语言：英文

数据集模态：文本

数据集描述：该数据集包含930,000个对话，7,100,000个语句，平均对话轮次为7.71轮，常用于开放域对话生成。

Douban Conversation Corpus

发布时间：2017年

论文链接：https://www.aclweb.org/anthology/P17-1046/

数据集链接：https://github.com/MarkWuNLP/

数据集语言：中文

数据集模态：文本

数据集描述：Douban数据集主要爬取自中文豆瓣论坛，包含1.1M个对话，7.7M个语句。

LCCC

发布时间：2020年

论文链接：https://arxiv.org/abs/2008.03946

数据集链接：https://github.com/thu-coai/CDial-GPT

数据集语言：中文

数据集模态：文本

数据集描述：LCCC数据集分为base和large两个版本，主要用于预训练大规模对话生成模型，其base版本包括了12M个对话，32.9M个对话语句。

OpenViDial

发布时间：2020年

论文链接：https://arxiv.org/abs/2012.15015

数据集链接：https://github.com/ShannonAI/OpenViDial

数据集语言：英文

数据集模态：图像、文本

数据集描述：OpenViDial 中的数据来自电影与电视剧，使用 OCR 从视频中抽取出对话文本，并配以当前对话所在的图像，因此，每一句话都有相应视觉背景，最终形成包含百万余条句子的大规模多模态对话数据集。其包含了1.1M个对话语句+视觉背景。

PchatbotW

发布时间：2021年

论文链接：https://arxiv.org/abs/2009.13284

数据集链接：https://github.com/qhjqhj00/Pchatbot

数据集语言：中文

数据集模态：文本

数据集描述：PchatbotW主要从微博爬取得到，包括了139,448,339个对话、 278,896,678，并且提供了时间戳和用户ID两种个性信息，可以隐式地建模说话者的个性。

WDC-Dialogue

发布时间：2021年

论文链接：https://arxiv.org/pdf/2108.01547.pdf

数据集链接：https://github.com/thu-coai/EVA

数据集语言：中文

数据集模态：文本

数据集描述：这是一个超大规模的中文对话数据集，其平均轮次为2.1，所以我认为其是单轮对话数据集比较妥当。该数据集包括了1.4B个对话，以及3.0B个语句，其规模可以说是前所未有的大！

待更新

发布时间：

论文链接：

数据集链接：

数据集语言：

数据集模态：

数据集描述：

情感对话数据集

DailyDialog

发布时间：2017年

论文链接：https://www.aclweb.org/anthology/I17-1099/

数据集链接：http://yanran.li/dailydialog

数据集语言：英文

数据集模态：文本

数据集描述：DailyDialog主要包括13118个对话、102K个对话语句，标注了7种情感、4类对话动作(DA)以及10个对话主题。可以用于对话情感识别、对话动作识别任务，以及情感对话生成任务。

ESTC

发布时间：2018年

论文链接：https://arxiv.org/abs/1704.01074

数据集链接：http://coai.cs.tsinghua.edu.cn/hml/challenge2017/

数据集语言：中文

数据集模态：文本

数据集描述：ESTC数据集是在STC数据集的基础上，使用一个训练好的文本情感分类器得到，通过文本情感分类器，自动标注了6类情感标签，常用于中文情感对话生成任务。

EMPATHETICDIALOGUES

发布时间：2019年

论文链接：https://www.aclweb.org/anthology/P19-1534/

数据集链接：https://github.com/facebookresearch/EmpatheticDialogues

数据集语言：英文

数据集模态：文本

数据集描述：EMPATHETICDIALOGUES主要用于共情对话生成，由25000个对话组成，提供了32种情感标签。

ESConv

发布时间：2021年

论文链接：https://arxiv.org/abs/2106.01144

数据集链接：https://github.com/thu-coai/Emotional-Support-Conversation

数据集语言：英文

数据集模态：文本

数据集描述：ESConv包括了1053个对话、31410个语句，提供了7种负向情绪、5个负向情绪问题以及8种情感支持策略。伴随着该数据集诞生的是首次出现的情感支持对话(ESC)任务。

待更新

发布时间：

论文链接：

数据集链接：

数据集语言：

数据集模态：

数据集描述：

个性对话数据集

PERSONA-CHAT

发布时间：2018年

论文链接：https://www.aclweb.org/anthology/P18-1205/

数据集链接：https://github.com/facebookresearch/ParlAI/tree/master/projects/personachat

数据集语言：英文

数据集模态：文本

数据集描述：PERSONA-CHAT包括10981个对话以及164356个语句，由1155个人参与对话，每个人指定了至少5句profile句子表示其个性。

PersonalDialog

发布时间：2019年

论文链接：https://arxiv.org/abs/1901.09672

数据集链接：https://github.com/silverriver/PersonalDilaog

Please contact [[email protected]] for the PersonalDialog dataset

数据集语言：中文

数据集模态：文本

数据集描述：该数据集包括20.83M个对话、56.25M个句子，对于每个说话人，提供了5种个性特征(Age, Gender, Location, Interest, self descriptions)。

待更新

发布时间：

论文链接：

数据集链接：

数据集语言：

数据集模态：

数据集描述：

策略控制对话生成

PsyQA

发布时间：2021年

论文链接：https://arxiv.org/abs/2106.01702

数据集链接：https://github.com/thu-coai/PsyQA

数据集语言：中文

数据集模态：文本

数据集描述：一个用于生成心理健康支持长篇咨询文本的中文数据集，该数据集主要收集了壹心理社区的问答数据，标注了6种助人策略，总共包括了22346个问题以及56063个回复。

待更新

发布时间：

论文链接：

数据集链接：

数据集语言：

数据集模态：

数据集描述：