banner
cream cat

cream cat

个人博主,无聊的人,不定期分享各类无聊但有趣的文章和小说,部分作品取自网络,如喜欢请支持正版

关于涌现

1、随着 ai 技术的爆火,尤其是 GPT 的出圈,涌现这个词一直在我脑海里来回的闪了又闪,按照 openai 公司对它们的模型能力的解释来看,他们并不知道为什么 GPT 从 3.5 开始出现超乎寻常的表现,或者说无法从原理上来解释这个表现,其实,这个词早就已经有了。

2、什么是涌现现象?从专业的名词解释是这样写的:涌现现象是指在一个系统中,由于大量微小的交互作用和相互作用,出现了一些出乎意料的整体性质或行为。这些整体性质或行为不能简单地通过分析系统中各个组成部分的行为来理解或预测,而是需要考虑系统整体的交互作用。
一个著名的例子是蚂蚁的行为。单个蚂蚁的行为很简单,但当它们以一定的方式相互作用时,整个蚁群可以表现出非常复杂的行为,如建造蚂蚁窝、寻找食物和保护蚂蚁群等。

3、那么对于大型 AI 模型来说,其实也是这个道理,随着训练数据量的提升,本来很简单的预测模型突然出现了逻辑理解能力,而因为这个能力可以带来更好的预测,更好的预测继续提高逻辑能力,飞轮效应产生,涌现出现。另外一个例子就是社交网络,当人群不断在社交中连接和影响的时候,反过来,社交网络本身也会对个人产生影响,彼此相互作用导致整个网络出现令人意外的状态或情景。

4、有很多国内的专家对 AI 是否有逻辑能力一直持有怀疑态度,他们认为语言模型无法产生逻辑,论点也是很简单,逻辑能力只有高等智慧的生物才会掌握,比如人类,可是人类并不是出生就有这个能力的,人类刚出生的时候只有本能反应,不管是呼吸能力还是进食能力,大脑神经元的发育是随着人类成长逐渐成熟,直到 20 岁以后才算完全发育完整,那么 AI 为什么就会不同呢?

5、另外 AI 相比人类有优势的地方在于,人类不管是细胞还是神经元的数量都有理论的上限,无法无限制的生长和扩张,但是作为硅基的电子计算机,其计算芯片可以无限的扩展和升级,英伟达最新的 A100 使用的是 7NM 工艺,而台积电很快要量产 5NM 以下的工艺,也就是后续高性能的 GPU 会发挥出比目前还要强大的计算能力。

6、对于未来 GPT 到底能有多大的潜力,业界说法不一,但是按照目前的迭代速度,我相信在 2 年内就可以看到生成式模型可以很好的完成视频类创建任务。另外中国大陆的几家公司也在开发相关产品,比如文言一心等,但是考虑到中国对文化产业的限制由来已久,而大语言模型如何审查?毕竟热点是动态的,审查也是动态的,而模型如果无法做到自我审查,则根本不会被大陆政府所推广,不信的看看比特币,和 crypto。

漫画老头.png

加载中...
此文章数据所有权由区块链加密技术和智能合约保障仅归创作者所有。