文章大纲
- 工作方式：人的成长 -VS- 深度神经网络
- 培养成本：AI -VS- 养娃
* - 超大规模预训练模型可能摸到了强人工智能的边，但成本很高！
- 养娃的成本也不低！
- 其他启发，算法角度
* - 卷积- 从低级特征到高级特征，到抽象能力，到直觉
- 注意力机制 成长的关键期
- 后记 – 人生怎么走，算法有答案吗？
- 参考文献
为什么AI 越来越厉害，写作，下棋，绘画 几乎无所不能？因为你给她的学习资料，她是真学！
如果算上fine-tune ，强化学习，那她真是一个可以取其精华，去其糟粕，自我进化的人了！
– 题记
从孩提时候起人就有了模仿的本能。人最善模仿并通过模仿获得了最初的知识。幼儿会跟着大人的动作而模仿作同样的动作，并伴随强烈的兴趣。实际上，幼小动物的成长即模仿的过程，如幼小羚羊会跟在老羚羊后面模仿攀岩，雏鹰跟随老鹰模仿飞翔等。一个人在婴幼儿阶段大致相当于动物的长成阶段，多处于本能状态。 亚里士多德说，学习都是从模仿开始的。毫无疑问，神经网络，深度学习中的很多理念是模仿人类、生物神经学的很多理论建立起来，伴随着数学理论和硬件的蓬勃发展一路走向耀眼的繁荣！
AI 的爆发式增长，让我们看到：替代程序员写无bug 代码的 Copilot， google似乎具备推理能力的pathWays，全新的生产方式 AIGC(AI generated content )的代表 stable diffusion。
说实话这些AI 的水平着实令人汗颜。不过反过来想，都是人创作的算法，设计的网络嘛。如果能从大佬算法的思想中收获一些处理事物的角度，思考问题的方法也是很有收获的。
; 工作方式：人的成长 -VS- 深度神经网络
深度神经网络的很多处理方法大部分源自生物学的研究。最早的神经网络模拟就是研究怎么用计算机方法模拟单个神经元。
神经元的形状一般呈三角形或多角形，从结构上大致都可分成细胞体（soma）和突起（neurite）两部分。胞体包括细胞膜、细胞质和细胞核；突起由胞体发出，分为树突（dendrite）和轴突（axon）两种，所以从更加细致的分类结构上可以分为胞体和树突、轴突这三个区域。
尝试用数学的方式来表达神经元的工作结构，下面这几张图很清晰，说白了就是足够的刺激，进行激活就行。你娃喊你叫爸爸之前，你先得喊他几万次爸爸把那一套神经网络激活了！
至于最后神经网络激活的哪块，咋激活的？我们其实也可以不用太关心，因为有误差反向传播帮忙解决人工神经网络这个问题。
backprop算法能不能告诉我们大脑是如何学习的呢？目前好像科学家们还没弄清楚具体的大脑怎么反向传播误差。
虽然大脑与backprop之间存在诸多不同，但大脑有能力执行backprop中的核心算法。中心思想就是大脑能利用反馈连接来激发神经元活动，从而以局部计算出的误差值来编码”类反向传播的误差信号”（backpropagation-like error signals）。
吃一堑，长一智，我想应该是类似的吧。
吴恩达老师曾做了实验，通过数据驱动的模型调优可以获得效果的显著增长，而模型参数调优等骚操作基本没有什么卵用。
https://docslib.org/doc/822127/mlops-from-model-centric-to-data-centric-ai
所以，我们应该多体验生活，做行动派，所谓身教大于言传，孩子听到你怎么说那仅仅是模型调参。看到你怎么做，并且跟着一块实践，才是真正的成长。
培养成本：AI -VS- 养娃
今天下班回家，真好碰见娃饿了。我去冲奶粉，打开罐子一看：又空了。好家伙，小家伙饭量见长，快要养不起了。为人父母宁可自己饿着也要给子女最好的，培养栋梁之材自然要花费更多时间和金钱。统计数据已经要让很多即将结婚生子的人望而却步，但如果你看看大型AI 的训练成本和达到的水平，心里会不会好受一点？
现阶段，人工智能技术局限性还很大，某类模型往往只能解决特定细分领域的问题，模型”泛化”能力很差。通用人工智能才是人们的终极追求。为了这个终极追求，可以说大厂们已经掏了太多的钱啦！
超大规模预训练模型可能摸到了强人工智能的边，但成本很高！
从神经元的数量上来说，人类是目前已知生物中，神经元个数最多的生物，人类的神经元个数可以达到900到1000亿个，而狗和猫的神经元个数只有30到40亿个，这或许是为什么人类能过具有高智慧的缘由之一，我们可以简单的认为神经元的数量多少决定着生物的智慧化程度。
以NLP 中的大型预训练模型为例，比较著名的GPT-3模型规模为千亿量级，谷歌的Swith Transformer刚开始迈入万亿门槛。中国的”万亿俱乐部”已经有两个玩家了，智源研究院参数规模已经1.75万亿，超过了谷歌Swith Transformer的1.6万亿。阿里巴巴刚刚发布的M6的参数规模已经突破了10万亿。成年人大脑中约包含850-860亿个神经元，每个神经元与3万突触连接， 人脑突触数量预计2500万亿左右。它们的模型似乎还没有达到我们人脑的数量级。
人工智能本质上就是来自于这些神经元、突触。人脑也是一台计算机，这些神经元、突触就是基本的计算单元。如果要想人工智能达到人类水平，那在基本计算单元的数量规模上达到甚至超越人类大脑，就是一个必要条件。
google 的PaLM (Scaling Language Model with Pathways) 模型， 5400亿参数，花费为 900万 – 1700万美元，模型有了接近人类9-12岁儿童的解决数学问题的能力。
花几千万美刀顶多只会解初中数学题，这肯定不是你想看到的。。。
; 养娃的成本也不低！
所以，养个小孩的成本有多大，父母付出了多少艰辛，大概的衡量指标我们就可以参考google的例子。如果放在我国呢?
《中国生育成本报告（2022版）》
当你抱怨奶粉贵的时候，仔细一看，原来大头还是上小学以后！ 0-2 岁的支出只占了养育成本的一成多点！
所以结论是，一个城镇孩子供大大学父母大概需要花费 60万左右的资金成本。
余下的人力、感情成本如果全换成钱的话，我们依然参考 google Pathways model。
其他启发，算法角度
几年前，李开复老师说AI 最好的应用应该是人类5秒内通过经验或者决策工作的替代领域，比如车牌识别，自动售票等等。那时候比较有创造力的领域，AI 还不能征服。
卷积神经网络网络可以捕获数据的重要属性如空间位置，递归神经网络以及transformer语言模型可以捕获序列性质，自动编码器-AEs可以捕获数据的数据分布。如图1所示，这些深度学习模型已经彻底改变了语音识别、视觉物体识别和物体检测等领域。
大部分的网络结构，产生的效果，我们可以很容易的在人类的能力中找到对应点。
; 卷积- 从低级特征到高级特征，到抽象能力，到直觉
卷积网络是卷积层堆叠而成，而卷积实质是某种特征提取，这中卷积层的堆叠，使我们在每一层可以提取不同层次的特征。
如果用人的双眼作为类比，为什么人可以从茫茫人海中迅速识别出自己熟悉的面孔呢？科学研究表明，人眼拥有巨量视觉信号并行输入高带宽处理器，带宽约等于每秒100MB信息处理能力。人类经过百万年的进化，视觉系统具有很强的模式识别能力，对可视符号的感知速度比对数字或文本快多个数量级，且大量的视觉信息的处理发生在潜意识阶段。如视觉突变：人眼能够迅速在一大堆灰色物体中识别出红色物体。
注意力机制 成长的关键期
人类可以自然而有效地在复杂场景中找到显著区域。受这一观察的启发，注意力机制被引入计算机视觉，目的是模仿人类视觉系统的这一方面。这种注意力机制可以看作是基于输入图像特征的动态权重调整过程。注意力机制在许多视觉任务中取得了巨大成功，包括图像分类、目标检测、语义分割、视频理解、图像生成、3D 视觉、多模态任务和自监督学习。
在深度学习中，我们经常使用卷积神经网络（CNN）或循环神经网络（RNN）对序列进行编码。 想象一下，有了注意力机制之后，我们将词元序列输入注意力池化中， 以便同一组词元同时充当查询、键和值。 具体来说，每个查询都会关注所有的键－值对并生成一个注意力输出。 由于查询、键和值来自同一组输入，因此被称为 自注意力（self-attention） [Lin et al., 2017b][Vaswani et al., 2017]， 也被称为内部注意力（intra-attention）
深度学习中的注意力机制从形式上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息；从结果上看，人类的注意力机制的影响表现为被注意的特征引起的神经元反应幅度更大；而在深度学习中，注意力机制表现为给不同位置的信息赋予不同的权重，权重的大小代表了不同位置的注意程度，被注意信息的表征强度更大； 从这两方面看深度学习中的注意力机制很好的模仿了人类的注意力机制。
; 后记 – 人生怎么走，算法有答案吗？
小孩很小的时候，经常会花费很大的时间和精力去反复学习一个成年人看起来很简单的事情，注意是学习做这些事情：爬，走，吃饭，自主睡觉 。。。走路摔了跟头，他就不走了么，不是的，往往是继续摔跟头，继续走，直到最终学会走路。人类在追求自我突破的道路上，从来没有停滞不前，代表人类智慧结晶的强人工智能也还在不断完善和进化中。
其实与其说是AI 战胜了人类，不如说是人类扩展了自己的边界，将全人类的智慧结晶进行了传承吧。
P.S. 一个小实践
参考文献
大脑中的神奇世界：误差与反向传播
- https://new.qq.com/rain/a/20200529A0O9NW00
动物与人类的关键学习期，深度神经网络也有
- https://www.jiqizhixin.com/articles/2021-07-06-4
【论文阅读】思路打开 – Google 发现超大深度学习模型似乎具备推理能力
- https://mp.weixin.qq.com/s/n2KT7LcmGKyjn4o-MehAgQ
PaLM: Scaling Language Modeling with Pathways
- https://arxiv.org/pdf/2204.02311.pdf
卷积的理解
- https://zhuanlan.zhihu.com/p/576473340
《自然语言处理实战入门》深度学习基础 —- attention 注意力机制 ，Transformer 深度解析与学习材料汇总
- https://blog.csdn.net/wangyaninglm/article/details/125945128
白话注意力机制-2
- https://nimi.cuc.edu.cn/2021/0720/c3279a184760/pagem.htm
用随机梯度下降来优化人生
- https://www.bilibili.com/read/cv13335461?spm_id_from=333.999.0.0
Original: https://blog.csdn.net/wangyaninglm/article/details/127445791
Author: shiter
Title: AI终将战胜人类？– 以Model Training 的角度看养娃与深度学习的共性
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/651550/
转载文章受原作者版权保护。转载请注明原作者出处！