在北京大学化学与分子工程学院，有机化学覆按是好多同学痛并自得着的挑战。然则，期中考前出乎意料的一条见知，却让这场覆按的脑怒变得不同寻常：

“请防护，本次覆按范围不仅限于有机化学。”

但比起覆按范围的变化，科场里迎来的一批“寥落考生”，更让东说念主出东说念主猜度。

它们不需要落座，也无需纸笔。它们是GPT、Gemini、DeepSeek……这些当来寰宇上最灵敏的AI，正在云表与174位北大化学与分子工程学院的大二学生同场竞技。

这是一场用心遐想的“图灵测试”，亦然北大科研团队为大言语模子投下的一块“试金石”。

近日，北京大学化学与分子工程学院联结北大盘算中心、盘算机学院、元培学院团队，发布了最新后果SUPERChem。近期，他们以一套“北大试卷”为标尺，从容丈量着AI在科学推理上的的确规模。

覆按现场

一场寥落的期中考

掀开SUPERChem的题库，一种“压迫感”扑面而来。

晶体结构的精采贯通、响应机理的深度推演、死一火性质的定量盘算……这500说念题目并非来自网络上唾手可得的公开题库，而是源于对高难度试题和前沿专科文件的深度改编。

为什么要费尽坎坷从头出题？

“因为大模子太会‘背书’了。”团队成员解释说念。互联网可及的测试题大多已被强识博闻的AI在老师阶段熟读。而化学，恰正是一门不可只靠死记硬背的学科。它既有严实的逻辑推演，又充满了对微不雅寰宇的空间联想。“咱们相等深嗜，大言语模子的一维 next token prediction，能否处置二维、甚而三维空间中的复杂推理问题。”

要遐想一套让AI“没见过”、必须靠硬实力推理的题目，难度极高。然则，这正是北大化院的私有上风场合。近百名师生——其中不乏奥赛金牌得主——皆集起来，决定给AI出一套高门槛、重推理、防舞弊的试卷。

他们要考的，是AI是否果真“懂”化学。

一场游戏中的学术共创

遐想题目时时是败兴的，但这群年青的北大东说念主却把它形成了一场“游戏”。

为了构建这套高质料评估集，团队搭建了一个专属互助平台。在这里，出题、审题、修题从单调的任务，形成了一套步骤渐进的“通关”经过。成员们在平台上互助，相互审阅、相互“找茬”，让严谨的科学接洽与活跃的念念维碰撞交汇共融。

团队还引入了积分引发系统，让出题过程就像在游戏中打怪升级。一起题目需历经编写初稿、撰写贯通，再通过初审与终审的严格审核，每个要道均由不同的同学把关，并披发相应的积分。终审通过的题目，甚而最多迭代过15个版块。

SUPERChem题库的三阶段审核经过

当最宽广脑遇上“北浩劫度”

覆按收货揭晓。

在这场用心遐想的覆按中，东说念主类展现出了复杂的科学直观。行动基线，参与测试的北大化院本科生赢得了40.3%的平均准确率。这个数字本人，就足以证实这套题筹划硬核进度。

而AI的施展如何？

即即是收受测试的顶尖模子，其收货也仅与低年纪本科生的平均水平终点。

前沿模子在SUPERChem上的施展

前沿模子的正确率与RPF干系

让团队感到不测的是视觉信息带来的困惑。化学的言语是图形，分子结构、响应机理图蕴含着要害信息。然则关于部分模子而言，当引入图像信息时，其准确率不升反降。这证实，刻下的AI在将视觉信息调整为化学语义时，仍存在光显的感知瓶颈。

输入模态对不同模子的影响

然则，即使选对了谜底，解题体式也可能经不起推敲。因此，团队为每一起题目都标注了详确的评分法令。在SUPERChem这台“显微镜”下，AI是真懂仍是装懂，一目了然。

团队发现，AI的推理链条时时断裂于居品结构展望、响应机理识别以及构效干系分析等高阶任务。刻下的顶尖模子天然领有海量的常识储备，但在处理需要严实逻辑和深入表示的硬核化学问题时，仍显牛逼不从心。

推理断点所属化学材干散布

通向AGI的一小步

SUPERChem的降生，填补了化学限制多模态深度推理评测的空缺。

团队发布这项后果，并非为了证明AI的短板，而是为了鼓吹它走得更远。SUPERChem就像一个路标。它教唆咱们：从通用的聊天机器东说念主，到能够表示构效干系、推演响应机理的专科科学助手，中间还有很长的一段路要走。那是从“记取常识”到“表示物理寰宇”的超越。

当今，SUPERChem技俩已全面开源。团队但愿这套源自北大的“试卷”，能成为全球科学与东说念主工智能限制的全球金钱，去催化下一次时间的爆发。大约在不久的异日，当咱们再次掀开这张试卷时，AI能交出一份满分的答卷。那将是化学与东说念主工智能共同的惊喜。

挑战一下？

咱们及第了一起未能插足SUPERChem题库的“简便”题目，邀请你来体验这场覆按。

为挂牵门捷列夫发现元素周期律150周年，国外无邪和足下化学联结会将2019年设为“国外化学元素周期表年”。门捷列夫预言了多种其时未知的元素，M即为其中之一。

M是一种银白色金属，质软，能溶于浓硫酸、硝酸、盐酸和稀碱溶液。M与氧气加热至250°C响应，可得到淡黄色固体A，A经SOCl2处理可得到亮黄色固体B，B也可由M与黄绿色气体C告成加热响应得到；若将B与单质气体D加热至200°C响应，则调整为红色固体E；将M告成溶于稀盐酸，也可得到E的溶液；但若将镀有M的镁片溶于稀盐酸，不错制得极少二元化合物F；F在常温下为液体，不褂讪，其水溶液显酸性；F能与金属钾响应，生成淡灰色固体G，并放出单质气体D。

凭证上述信息，从以下选项选出正确的说法：

A：物资M的原子序数和族数的奇偶性不同

B：镀有M的镁片与稀盐酸响应，居品中Mg的化合价与A中M的化合价通常

C：G具有反萤石结构

D：由于空气氧化，E溶液久置会调整成含B溶液

起首：北京大学