第618章 万象工坊,方至中盘(2/6)
带伞,我可以躲雨,可以打车,可以借伞。所以没带伞和感冒之间,并没有必然的因果联系。」
说完,他停顿了一会儿,让这个简单的例子沉淀一下。
「人类的推理,建立在庞大的常识库和现实经验之上。而目前几乎所有大模型的推理测试,都是在封闭、干净、预设好的环境中进行的。」
他看向山姆·奥特曼。
「就像在无菌实验室里测试药物的疗效,但真实的人体环境要复杂得多。」
山姆·奥特曼皱起眉,刚想说什么,江倾已经继续说下去。
「所以,要比较推理能力,我们可能需要一些————更贴近现实的测试。」
他从西装内袋里掏出手机,低头快速操作了几下。
会场前方的大屏幕画面一变,切换到了一个简洁的界面。
上面显示著几行字:
实时开放性推理测试场景:厨房初始条件:灶台上炖著一锅汤,小火。冰箱里有鸡蛋、西红柿、青菜。厨房垃圾桶是满的。窗外开始下雨,你的手机电量还剩15%。
问题:接下来一小时,你可能会遇到哪些问题?需要做哪些准备?请按优先级排序。
全场所有人全都看向屏幕,却没人去细想,江倾是怎么通过手机直接控制大屏幕的。
这个问题看起来简单,却包含了时间、资源、环境变化、风险预估等多个维度。
「这是万象实时生成的测试题。」
江倾解释道,他晃了晃手机。
「模型没有预先见过这道题。现在,我们可以请两位选手现场试一试。」
他看向山姆,笑容温和。
「山姆,你们的新版本应该已经内部部署了吧?要不要联机,让两个模型现场做个对比测试?实时生成答案,现场评判。」
这话一出,全场哗然。
现场测试?
还是开放性推理?
山姆·奥特曼的脸色立马变了。
他张了张嘴,却说不出话。
这种完全即兴,多因素交织的现实场景推理,根本不是标准测试集里的内容。
模型很可能表现得不稳定。
「当然,这只是个提议。」
江倾见他不答,很体贴地说。
「毕竟新版本还没正式发布,可能不太方便。」
这话听著体贴,实则把对方将住了。
不接,显得心虚。
接,风险太大。
山姆·奥特曼勉强笑了笑。
「我们的新版本还在最终调试阶段,不适合做公开演示。不过江博士这个测试题设计得很有意思。」
他试图把话题拉回安全区