Regulatory activity is the default DNA state in eukaryotes (Human Data)

https://www.biorxiv.org/content/10.1101/2022.12.16.520785v1.full本研究推出MultiPL-E（多语言多编程语言基准测试集），一款用于评估大语言模型（Large Language Model, LLM）代码生成能力的标准化评测基准。该基准覆盖18种编程语言，包含逾12000道编程问题，每道问题均配有多份参考实现。MultiPL-E采用统一测试框架对代码的可执行性与语义正确性进行评估，可实现不同大语言模型及编程语言间的公平性能对比，有效弥补了现有代码评测基准在多语言覆盖广度与评估一致性方面的不足。