
全新大语言模型多项选择题基准测试 SimpleBench 正式发布。该测试包含超过 200 道题目,涵盖时空推理、社会智力以及“语言对抗鲁棒性”(即陷阱题)等维度。测试结果显示,具备普通高中知识水平的非专业人士,在此项基准上的表现超越了当前最先进(SOTA)的大语言模型。
在绝大多数文本基准测试中,大语言模型的表现通常优于非专业人类,甚至日益超越专家级水平。然而,SimpleBench 的数据呈现出不同图景。基于九名参与者组成的小样本数据,非专业人类基线得分高达 83.7%,超越了所有受测大语言模型,包括目前排名第一的 Claude Fable(得分 81.9%)。
尽管预计模型性能将随时间推移而提升,但 SimpleBench 的结果证实,前沿大语言模型所依赖的记忆知识和近似推理检索能力,尚不足以准确回答这些基础问题。更多结果与方法细节可查阅完整技术报告,相关模型已在 Simple Bench 应用(LMcouncil.ai)中上线。