【AI大咖】认真认识一代AI教父Hinton

龙鹏-笔名言有三

北京有三教育科技有限公司 CEO

AI长路漫漫，很多大咖功不可没，今天推出新的专栏《AI大咖》，让我们一起了解AI大牛，认识他们的研究，打听他们的八卦吧。

今天首“扒”深度学习鼻祖—Geoffrey Hinton，一起走进AI教父的传奇人生。

作者 | 言有三&小满

编辑 | 言有三&小满

1 30秒了解Hinton

Geoffrey Everest Hinton，加拿大认知心理学家和计算机科学家，1947年生人，现年72岁，有两任妻子，两个孩子，被誉为”人工智能教父“。

Hinton在剑桥大学获得实验心理学学士学位，在爱丁堡大学获得人工智能博士学位。现任Google副总裁兼工程研究员，同时在多伦多大学教书育人，也是VectorInstitute首席科学顾问。

个人主页：
http://www.cs.toronto.edu/~hinton/bio.html。

2018年因作为“深度学习领域的三大先驱之一”获得图灵奖，被彭博社选为2017年改变全球商业格局的50人。

Hinton率先将反向传播(Backpropagation)用于多层神经网络，发明了玻尔兹曼机(Boltzmann machine)，提出逐层初始化预训练方法揭开了深度学习的序幕，提出了胶囊神经网络(capsule network)。

Hinton也培养了一批“优秀”的学生，包括：

同获2018年图灵奖的Yann LeCun是Hinton的博士后，担任Facebook人工智能研究院总监。

Brendan Frey是Hinton的博士，DeepGenomics公司创始人和CEO。

Radford Neal是Hinton的博士，R语言的pqR解释器作者。

Ilya Sutskever是Hinton的博士，DNNresearch的联合创始人，目前任OpenAI 研究总监。

Alex Krizhevsky是Hinton的博士，AlexNet网络一作。

2 代表性研究论文

2.1、反向传播算法的使用

Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors[J]. Cognitive modeling, 1988, 5(3): 1.

2.2、CNN语音识别开篇TDN网络

Waibel A, Hanazawa T, Hinton G, et al. Phoneme recognition using time-delay neural networks[J]. Backpropagation: Theory, Architectures and Applications, 1995: 35-61.

2.3、DBN网络的学习

Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation, 2006, 18(7): 1527-1554.

2.4、深度学习的开篇

Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. science, 2006, 313(5786): 504-507.

2.5、数据降维可视化方法t-SNE

Maaten L, Hinton G. Visualizing data using t-SNE[J]. Journal of machine learning research, 2008, 9(Nov): 2579-2605.

2.6、DBM模型

Salakhutdinov R, Hinton G. Deep boltzmann machines[C]//Artificial intelligence and statistics. 2009: 448-455.

2.7、ReLU激活函数的使用

Nair V, Hinton G E. Rectified linear units improve restricted boltzmann machines[C]//Proceedings of the 27th international conference on machine learning (ICML-10). 2010: 807-814.

2.8、RBM模型的训练

Hinton G E. A practical guide to training restricted Boltzmann machines[M]//Neural networks: Tricks of the trade. Springer, Berlin, Heidelberg, 2012: 599-619.

2.9、深度学习语音识别开篇Hinton G, Deng L, Yu D, et al. Deep neural networks for acoustic modeling in speech recognition[J]. IEEE Signal processing magazine, 2012, 29.

2.10、深度学习图像识别开篇AlexNet

Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.

2.11、权重初始化和Momentum优化方法的研究

Sutskever I, Martens J, Dahl G, et al. On the importance of initialization and momentum in deep learning[C]//International conference on machine learning. 2013: 1139-1147.

2.12、 Dropout方法提出

Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

2.13、三巨头深度学习综述LeCun Y, Bengio Y, Hinton G. Deep learning[J]. nature, 2015, 521(7553): 436.

2.14、蒸馏学习算法

Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015.

2.15、Capsule Network

Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules[C]//Advances in neural information processing systems. 2017: 3856-3866.

Hinton总的论文引用量为280000+，近年来发表作品较少，但是随着深度学习研究进步，引用量大幅度增加。

所有的论文，在以下GitHub项目中可以获取，或者给公众号发送关键词消息“Hinton”，即可获得下载链接。

https://github.com/longpeng2008/Awesome_DNN_Researchers

3 代表性个人成就

1998年被授予英国皇家学会(Royal Society)会员

2001年被授予国际认知科学领域最高学术荣誉Rumelhart Prize

2005年被授予国际人工智能联合会议(IJCAI)卓越研究奖

2016年被授予美国国家工程院外籍院士

2018年被授予图灵奖

4 优秀，来自彪悍家族的压力

Hinton是Hinton家的优秀男性基因和Boole家的优秀女性基因的继承者。

布尔代数的Boole，深度学习泰斗Hinton，《牛虻》作者伏尼契，北京第一位中国绿卡获得者寒春……原来都是相亲相爱的一家人！

主人公Geoffrey Everest Hinton出生在英国南部的温布尔登，在布里斯托尔长大，下面是小时候的照片。

母亲(Margaret Clark)是一位数学老师，父亲(Howard Everest Hinton)是一位专注甲壳虫研究的昆虫学家。

Hinton的父亲是一个对体力和智力都严苛要求、让人心生敬畏的父亲，Hinton回忆说，“他喜欢那些思维清晰的人。如果你说了哪怕一点废话，他就会称其为垃圾。他不是那种多愁善感的思想者，他也不会虐待人，但他确实极其强硬。”

Hinton的曾祖父(Charles Howard Hinton)是一名数学家和科幻作家。

他的妻子叫Mary Ellen，Mary Ellen的父亲叫George Boole，就是布尔代数、布尔电路、布尔类型、布尔表达式等等中的布尔。

曾祖父有两个儿子，一位是主人公的爷爷，另一位(Sebastian Hinton)也生有两个孩子：William Howard Hinton和Joan Chase Hinton。哥哥William中文名韩丁，一位农学家、记者、马克思主义者，1945年来到中国，写过很多关于中国的书，最著名的就是《翻身》。妹妹Joan中文名寒春，芝加哥大学核物理研究所研究生，参与过曼哈顿计划，因原子弹的巨大破坏而放弃核物理，也是北京第一位中国绿卡获得者。

Hinton的中间名是Everest，来自他曾祖母的叔叔、地理学家Everest，“珠穆朗玛峰”的英文名就是以他的名字命名的。

爆过家谱后，是不是和小编一样感叹这个恐怖的家族拥有着十分强大的基因，一次访谈中Hinton打趣到，“我大概在7岁的时候就意识到，不读博士不行了”。

5 成功者的标配，不顺利的求学路

Hinton说过，从小他的母亲给过他两种选择：“做学者，或是做失败者”。

中学时，Hinton在克里夫顿学院结识了一位朋友了解到了全息图，其中讲到了人脑如何存储记忆，这是Hinton的AI之路的开始。

18岁的Hinton进入剑桥大学国王学院攻读物理和化学，但只读了一个月就退学了。一年之后，他又重新申请了国王学院的建筑学，结果又退学了，这次他只坚持了一天。之后又转向了物理和生理学，后来又转到了哲学，花1年修完了2年的课程，结果和自己的导师吵了起来。最后的最后，他转向了心理学，并在1970年获得实验心理学学士学位。毕竟，优秀的人才都要经历几次退学。

毕业后Hinton成了一名木匠，一边做书架、木门，一边思考大脑工作原理。

一年多的体力劳动后回归了学术界。1972年，Hinton进入爱丁堡大学，开始读人工智能博士，主攻神经网络。

一次，Hinton参加了一个类似EST-y的研讨班。活动最后一天，每个人都要宣布各自生命中最最想要的东西。当大家在窃窃私语说想要被爱时，Hinton的宣言令自己和大家都大吃一惊。“我真正想要的是一个博士！”，他怒吼到，点燃了一个7岁时就藏匿在内心的想法。