Chatbot corpus

该数据集是一组用于评估对话环境中分词器性能的聊天机器人对话语料库。它是一个多语言数据集，其中语言的分布影响着分词的减少程度。分析显示，在该数据集中表现良好的语言，能更多地从针对对话优化的分词器中受益。任务是对聊天机器人对话中的分词器性能进行评估。