不知道大家有没有注意到,当下的人工智能,或者说AI,或者再进一步说深度学习的发展风向,在发生了巨大的变化ing。
《撞墙说》在我看来其实是一个具有巨大意义的事件。
我从这里开始瞎扯淡……

AI或者深度学习的瓶颈,我们从其热度的降温就能感受到。
“2016年Hinton说我们不用再培养放射科医生了”,你看,这事并没有发生呢。
深度学习发展至今变成了什么样呢?
AI在千行百业都产生了催化剂的增益效果,但它始终没有颠覆任何行业。怎么说呢:
- AI给锤子镶上了金刚钻,确实带来了效率提升,但锤子还是那个锤子,大概是个100%+20%的感觉(不要忘了锤子本身也在进步)。
- 千行百业带来的是市场的碎片化,这也是各个AI公司所面对的困境,要规模就得拼门类,稀碎的每个细分市场都得投人,而最终变得解决方案负责落地的人远大于代表生产力的算法研发的人。
- 保暖方思淫欲,固然AI能够带来效率的提升,但它始终不是根本,更多时候是锦上添花。那在经济下行的时代,如果要收缩保命,用屁股想也知道如果蜥蜴断尾该怎么断。
为什么会这样?我过去也思考过挺久的,还写过了些帖子想揭示某些我认为可能的陷阱。
到今天呢,我又想向上再抽象了一下这个问题,妄图进一步写写我的某些谬论。
做AI芯片的同学其实很熟悉,AI芯片有两个流派,类脑架构 VS 图灵架构,前者的典型是IBM的truthnorth,后者的典型是NVIDIA的GPU。
原则上,这两种架构来自于AI算法本身的不同流派,并且当下后者占据了绝大多数,这批大神讲究的是智慧这个词本身的博爱和普世,喜欢叨念着什么拘泥于人脑结构就让人工智能超越人类之类的。
撞墙了呗……
虽然,如我在前面帖子提到的,打破现有流程的解耦模式,直接高维拟合全流程的方法固然也在做了,但看上去还是陷入某些陷阱,难以改变现状……
所以,更进一步,这些号称要脱离人脑束缚的大神们,兜兜绕绕,又开始重提拟人化的AI路径了。
你看,所谓的连接派和符号派又开战了。
很多大神再次把符号主义看做了全村的希望!

符号是什么? 白话讲就是文字和语句。
最早的人类如果按山顶洞人算那是三万年前了,经历了两万七千年的原始社会,文字也就是符号在三千年前发明了,而人类文化真正的爆发,可以说是在文字出现之后的。
符号有什么用? 说白了就是只有在有了文字之后,人类才能摆脱raw data的训练,而可以凭空地把知识传递给下一代了,而知识在传递过程中逐渐形成累积效应,滚雪球一样爆炸了。真正的智慧才以此诞生。
所以当大家开始撞墙之后,原本沉寂(其实是太难)的人工智能符号主义开始不断被人挖掘出来。
引用一下boss的演讲……
第一,boss肯定是对的 ∠(`ω´*)
第二,借个梯子狗尾续貂 ∪・ω・∪
在符号主义这件事上,我觉得大神们特别不坦率。
符号主义的核心就是要弄清楚符号的数学基础是什么,以及怎样用算法表达粗来。
直爽一点,来逆向一下人脑吧!人脑是典型在连接主义的结构上实现了符号主义。
不要执着于图灵机和类脑机的差别了,那只是逆向之后的表达形式。
人脑的本质是神经元及其互联,如果人脑能够表达符号,那么符号本就不应该是一种主义,他应该是连接主义的一部分。
想一想大家身边的人类幼体,三岁之前的主要训练模式就是raw data,父母负责标注,这是猫(^・ェ・^),下次再看到再加强。历经三年的训练后,语言文字就开始逐渐成型,猫逐渐成为抽象的描述成为更多信息传递的一部分。这个期间人脑神经元的结构变化是关键。
我认为其中的结构一直都是连接。
要解释连接如何表达符号是其中的关键,到其最终,类脑机或图灵机也并不重要。
下面是我写的短篇中二科幻小说。哈哈
所谓意识的本质很重要。
意识也许就是符号抽象之后的具现化。
为什么无数神经元连接在一起能形成意识?
如果打开蚁群,无数蚂蚁通过信息素连接的蚁群有意识吗?
进一步打开整个人类族群,中国这个集合体有意识吗?地球全人类整体有意识吗?
我认为有,只是视角和认知的纬度不一样,所以不易理解。
人脑类似,也是无数神经元的群体,并以此表达出意识。
同理,我认为符号本身就是意识的组成体,而符号本身并不是神经元的某一个表达,而是若干神经元在某种意识形态(自由民主)下vote的结果。
你想想文字诞生的本质就是基于某种群体共识,也许只需要把这种宏观的共识机制复制到微观的神经元连接上。
即符号并不是某单个个体的表达,而是一定数量具有代表意义的群体在某种组织形式下的共同决策。
共产主义,这个词本身的符号并没有独立的意义,其真正的意义在于一个群体对其的共识(甚至存在一定偏差)。再举个例子,1+1=? 这个答案也不简简单单是一个符号。
回忆人类的文明演讲,真正的技术进步,其实还伴随着从封建到共和到……的组织形式的巨大变革。
智能,也许并不是简单划分一组功能,分配(mapping)给以先后连接关系的worker分工执行,而是无数个能够独立完成复杂功能,有一定自主能力的worker们通过某种类似政治制度的互联共识机制宏观体现出来的。
从芯片架构师的角度,本质上并没有类脑或图灵机的特别差异,除了足够的sensor,我看到的是你需要很多类似图灵完备的处理器,以及他们自己丰富的互联,并建立某种政治制度下的集群交互机制,也就是某种基于权重的信息reduce机制,这种基于连接的交互机制随着其生产力的提升而不断变革。
有点像tenstorrent…… milions of actors。
不过,剩下的问题是?
到底有意识的个体,是否能够写出有意识的代码? 要知道人类本身对共识如何达成本身就缺乏共识。
写到最后,回到计算机体系结构和芯片本身,我想表达的其实是我怀疑所谓高层次的抽象信息,并不能通过tensor core或FP32的乘法反复计算获得,而是通过具有自由度的互联总线,在不断优化的组织结构下交互信息获得的。
也就是说,要做好互联!
本文转自 知乎,原文链接:https://zhuanlan.zhihu.com/p/530516917,如需转载请自行联系原作者