SWE-Lancer

SWE-Lancer是OpenAI推出的软件工程基准测试，包含1400多个真实世界的软件工程任务总价值100万美元。从50美元的Bug修复到32000美元的功能实现覆盖了真实自由职业中的各种任务类型。对评估AI模型的软件开发能力来说比纯算法题更接近实际工作情况。