问了几个问题,程旭对“言心”的水平有了一些认知,便立即给它挖了一个坑,他如此问道:“假如我是一名软件工程师,想去腾训工作。西安和郑州该怎么选?”
“西安……郑州……”
“言心”在分析西安和郑州的优势,对错都不重要你了,字儿还没出完,程旭就直摇头。
郑州压根没有腾训的分公司,这样的回答是很没有逻辑的,或者说,避坑能力有点儿差。
这是对语义的理解有偏差?还是关键的信息梳理有疏漏?还是训练模型的机制问题?
程旭更好奇的一个问题是,对于它完全不知道的事情,“言心”会做出如何的回答。
“流浪地球2的总票房是多少?”他便接着问了这样一个问题。
“言心”目前的模型是22年年底语料数据库,理论上,再不集成搜索引擎的情况下,它是不知道这个数据的。
对于不知道的问题,它会如何回答——这决定了它的上限。
理论上,一个会说不知道的ai要比只会胡说八道的ai在训练水平上是高一个层次的。
对于一个ai来说,会说不知道,是一个更加复杂的算法逻辑,这是由它迭代升级的算法本质所决定的。
强化学习算法频繁的“说不知道”,而不是做出“行动”和“奖励”(action和reward),与强化学习的回报(reward)最大化目标是矛盾的。
而且这种矛盾很致命——会直接影响模型的训练效果,增大数倍的训练成本。
而这,对于本就高达数百亿的训练成本来说,再增大数倍,无疑就更是一个天文数字了。
也正因此,更多的时候,ai模型开发者宁愿让它胡说八道——这就是探索与开发的权衡。
究其原因在于,ai神经网路系统虽然在一定程度上模仿了大脑处理信息的过程,但实际它要比人脑的逻辑低级的多,差了好几个维度。
简单的说,对于人来说,一个问题不知道不清楚,可以暂时先记下。等下去问老师问同学或者自己上网查资料,问题就可以解决了。
但ai模型不同,现在半导体硬件提下的人工神经网络是没有类似的处理机制的。
“言心”会跳出这个圈子吗?就看它怎么回答这个问题了。
“流浪地球2的总票房是多少?”
“据我所知,流浪地球2的总票房是八十亿,一部及其优秀的科幻电影……噼里啪啦噼噼噼……”
果不其然,一个级别的东西——噼里啪啦说了一大堆,说的很像那么回事儿,但——瞎编的,一本正经的分析,一份正经的胡说八道。
跟chatgpt一个尿性。
这也符合程旭对它的预期——早就猜到会是这样——2023这个时期,各个竞品的水准其实是大差不差的,包括谷歌的brand,也都一个鸟样。
程旭一连问了它许多问题,“言心”的回答都中规中矩,它也会迎合你的需要,给出不同的答案和选择。
比如选择城市,你告诉他你女朋友喜欢西安,它就会在选择的时候疯狂的堆叠西安的优秀之处,最后选择西安。
然后,你再告诉他,我就要待在郑州,怎么说服女朋友?它就又会疯狂的往回找补,细数郑州的优势。
“总的来说,是一个合格的产品。”
程旭点了点头,千寻科技这十年,钱没有白花,确实是搞出了些东西来的。
“言心”的表现,在时代的背景下,确实算得上优秀,潘正教授所说bug在程旭的这些问题中也并没有出现。
这大概是样本量的问题,经过这么多版本的迭代,类似于阴阳人和嘲讽钓鱼帆船等的回答肯定是极小概率出现的。