rSDE-Bench

该数据集是一个面向需求导向的软件开发基准，包含了复杂多样的软件需求，并具备对需求正确性进行自动评估的功能。此外，该自动评估指标（准确性）与人工评估高度一致，相关系数达到了0.9922。该数据集的任务是对软件需求进行评估，同时考察编码能力。