Author Archives: admin

Neural Networks and Deep Learning(三·一)梯度消失

原文的第三章内容较多,本博客将分四个部分进行介绍:梯度消失、正则化、权重初始化、超参数和其他,首先介绍梯度消失问题。

为简单起见,假设网络只包含一个输入和一个神经元,网络的损失是均方误差损失MSE,激活函数是Sigmoid函数。则该网络的参数只包含权重w和偏移量b。我们想训练这个网络,使得当输入为1时,输出0。

Continue reading

Neural Networks and Deep Learning(二)BP网络

这一讲介绍误差反向传播(backpropagation)网络,简称BP网络。

以上一讲介绍的MNIST手写数字图片分类问题为研究对象,首先明确输入输出:输入就是一张28×28的手写数字图片,展开后可以表示成一个长度为784的向量;输出可以表示为一个长度为10的one-hot向量,比如输入是一张“3”的图片,则输出向量为(0,0,0,1,0,0,0,0,0,0,0)。

然后构造一个如下的三层全连接网络。第一层为输入层,包含784个神经元,正好对应输入的一张28×28的图片。第二层为隐藏层,假设隐藏层有15个神经元。第三层为输出层,正好10个神经元,对应该图片的one-hot结果。

全连接网络表示上一层的每个神经元都和下一层的每个神经元有连接,即每个神经元的输入来自上一层所有神经元的输出,每个神经元的输出连接到下一层的所有神经元。每条连边上都有一个权重w。

Continue reading

Neural Networks and Deep Learning(一)MNIST数据集介绍

最近开始学习神经网络和深度学习,使用的是网上教程:http://neuralnetworksanddeeplearning.com/,这是学习心得第一讲,介绍经典的MNIST手写数字图片数据集。

MNIST(Modified National Institute of Standards and Technology database)数据集改编自美国国家标准与技术研究所收集的更大的NIST数据集,该数据集来自250个不同人手写的数字图片,一半是人口普查局的工作人员,一半是高中生。该数据集包括60000张训练集图片和10000张测试集图片,训练集和测试集都提供了正确答案。每张图片都是28×28=784大小的灰度图片,也就是一个28×28的矩阵,里面每个值是一个像素点,值在[0,1]之间,0表示白色,1表示黑色,(0,1)之间表示不同的灰度。下面是该数据集中的一些手写数字图片,可以有一个感性的认识。

Continue reading

Ubuntu下使用VSCode连接Github

VSCode是微软开源的一个很强大的IDE,可以支持几乎所有编程语言,而且是跨平台的,Linux用户终于可以用上宇宙最强IDE了。我最近在使用VSCode编写调试Python项目,其调试功能很强大,和VS上调试C++的感觉是一样的,强烈推荐。

VSCode还可以连接Github,进行版本控制。下面以我最近学习的深度学习项目为例,介绍下怎样在Ubuntu下使用VSCode连接Github。以我fork的repo为例:https://github.com/01joy/neural-networks-and-deep-learningContinue reading

伪·2018届校招面经

作为一个曾经的2018届硕士毕业生,为找工作忙活了大半年,最终收获了微软、百度、头条、Face++等十多个Offer。校招季对我来说,在9月份就差不多结束了。本来很早就酝酿了这篇博客,但是由于之后一系列事情,耽搁至今,趁着提交完年终技术报告,回家之前,把这段经历记录一下。 Continue reading

厦门之行

2017年12月7日~13日,打着参加“第三届全国质谱分析学术报告会”的旗号,实验室一行11人开启了为期一周的厦门之旅。有关学术交流的总结报告,已经在实验室内部分享了,这篇博客还是来聊聊吃喝玩乐的事吧:)

第一次乘坐飞机

本次出行分为飞机组和火车组,大部队说飞机不安全要坐火车,我因为想体验一下乘坐飞机的感受,于是选择了飞机组。第一次坐飞机,体验有三点:1)快。从北京到厦门,横跨整个中国,只花了3个小时,真的好快,除去吃午餐等时间,连一部电影都没看完!2)噪。起飞和降落的时候噪声特别大,平飞的时候噪声也不小,而且快要到目的地时,会有短暂的耳胀,孙老师说第一次坐飞机的人好像都会出现耳胀的情况。还有就是有时候飞机比较颠簸,放在桌子上的水都快晃出来了。3)美。我因为第一次坐飞机,特地选了一个靠窗的位置,想体验一把俯瞰神州大地的感觉。从窗户往下看时,地形地貌和谷歌卫星地图一摸一样,窗外的云就像一朵朵棉花糖,很漂亮,很像各种神话剧中的天庭。

飞机上不让开手机,这是在北京首都国际机场起飞前抓拍的照片,以后坐飞机记得带相机

Continue reading

逻辑回归之Python应用实例

上一篇博客主要介绍了逻辑回归的理论知识,这篇博客咱们用Python机器学习包sklearn中的LogisticRegression做一个分类的实例。

数据还是学生样本,只有两个特征,分别是两门课的分数score1和score2,类标号y表示这个学生是否能被录取。先上分类效果图:

Continue reading