将简洁好用的结构反复重复,这也大大地降低了孟繁岐所需要的开发工程量。
AlNet是八层的结构,各自有一些独立的设计,在此时,8层已经是革命性的深度网络了。
更深的网络特别难以训练,因此原本直到14年,谷歌和牛津才分别把这個深度推进到22层和19层。
而ResNet的思想,彻底从根本上解决了网络变深就没法顺利训练的问题。它让50,100,150,甚至1000层网络的训练成为可能。
“从去年的8,到今年的100+层,甚至1000层也可以训练。在2013年的视角来看,这一剂猛药应该够劲了。”
不仅是深度上取得了开创性的突破,ResNet的性能也同样惊人。它是第一个Top-5错误率低于人类能力的结构,单模型达到了4.6%左右。
如果综合几个不同方式训练的ResNet,平均他们的输出再去预测的话,其TOP-5错误率甚至低至3.7%。
“其实在IMAGENET上做得太准了反而是一件怪事。”考虑到后世的研究中,该数据集中的标签其实有不小的比例是错误的,越贴近百分之百的准确率反而越有一些荒诞的感觉。
ResNet的Res指residual,正经点说是残差,说得明白一些是一种短路或者是跳跃链接。
();() 再说的浅显一点,假设原本的操作为f(x),ResNet就是把计算过程从f(x)改为f(x)+x。
这也是孟繁岐最早与付院长讨论的内容之一。
这种不带任何参数的支路链接,直接把操作前的内容加到操作后的内容上,是深度网络突然能够在上千层的深度下收敛的秘密所在。
在此之后的几乎所有AI文章,都很难绕得开这个思路。恺明本人单就这一篇文章,就在六七年的时间内收获了十五六万的文章引用。
不得不说这是一个天文数字。要知道即便是NatureCellScience三大世界级顶刊常客,著名华国美国双料科学院士抽出一个来,至今为止所有文章的总引用数量加在一起五万多都算是多的了。
当然了,单以论文被引用的次数来评价文章的水平和作者的水平是有失偏颇的。
很多基本学科曲高和寡,看得人少写得人也少。引用自然就上不去。
但就AI这个实用性实验性比较强的学科来说,内部去对比的话,引用的多少含金量还是相当之高的。
大家只会用代码投票,有价值的东西会一直迭代下去。有利于自己模型在任务上性能提升的技术,则会被一直引用下去。
学术界一直有这样的说法,搞理论的和搞实验的两边相互看不起。这倒也不是无中生有。
恺明凭借几篇代表作奠定自己历史地位后,就总有个别人喜欢说什么“ResNet的思想早就有人提过了”,“几十年前的东西不算什么新东西”,“这篇文章也就是流量大罢了,和流量明星是一样的”。
酸味都要溢出屏幕了。
孟繁岐不是没读过一些理论类的文章,但他个人觉得新时代的AI,P话谁都会说,代码写出来才是本事。你说几十年前就有的东西,怎么不写一个ResNet突破人类水准呢?
ResNet的核心代码难写吗?不难的。
基于阿里克斯的框架,只需几个小时的时间,他就可以基本复现出ResNet论文中的所有结构。
弱小和无知不是生存的障碍,傲慢才是。
请勿开启浏览器阅读模式,否则将导致章节内容缺失及无法阅读下一章。
大明:我杨宪,真的治扬! 海贼:阿卡姆肄业的小丑巴基 华娱之开局给周董上上对抗 我以道种铸长生 明日方舟之铁与血 主宰:虫族崛起 异常魔兽见闻录 神秘复苏之我没有外挂 当场怒喷哥哥,这解说不想干了? 什么叫世界名帅啊 天骄退婚,我提取词条修行 陨落星辰: 无限超神:抬头看见云霄天庭 火枪洗明路 大唐第一逆子 全职法师之魔法天赋 自遮天世界开始 纵目 前任都是天后,我火了 你是我的满世欢喜
下一本小奶龙寻亲记专栏求预收本文文案每一个故事中,除了有万众瞩目的主角,还有着无数不受人重视的配角。他们普通平凡,或许只有几行字的描述,或许连姓名都不为人知,只是简单一个代号,或许谁也不会...
国之将亡,必有妖孽。大唐天佑四年时,本应该覆灭的唐朝却不知为何得以续了两百年余年,可自此之后,妖魔纵生,天下大乱。自乱世而来的秦白能够通过打铁垂钓烹饪刺绣行医等获得各类神通,即修行诡异法门纸人赶尸符咒蛊虫又历经一个个熟悉但诡异的故事,板桥客栈倩女幽魂画皮河神青蛇画中仙,西游降魔...
...
李青石本来以为师父是个假装江湖高手的骗子,后来才知道原来是个贼牛掰的穿越者各位书友要是觉得家师太彪悍还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦!...
前世的黎歌是中部基地二把手,沈煜年让她夺取丧尸皇晶核,她做的完美无缺。可被推入那场漫天大火的人是她,笑她蠢的是沈煜年和白穗,救她的是被设计的丧尸皇。末世之初她重生到了同名同姓的白穗小跟班身上,稀有的...
世界中心的奥林波斯山上,众神之王宙斯紧握雷霆之矛,笑看诸界。他的面前,众神如林。北方的白银之厅,至高王座上的奥丁手持天界之枪,俯视世间。他的眼中,无尽风雪。南方的尼罗河畔,掌舵太阳船的阿蒙,目光落在...