从零开始用Python构建神经网络
动机：为了更加深入的理解深度学习,我们将使用 python 语言从头搭建一个神经网络,而不是使用像 Tensorflow 那样的封装好的框架.我认为理解神经网络的内部工作原理,对数据科学家来说至关重要.
这篇文章的内容是我的所学,希望也能对你有所帮助.
神经网络是什么?
介绍神经网络的文章大多数都会将它和大脑进行类比.如果你没有深入研究过大脑与神经网络的类比,那么将神经网络解释为一种将给定输入映射为期望输出的数学关系会更容易理解.
神经网络包括以下组成部分
一个输入层,x
任意数量的隐藏层
一个输出层,?
每层之间有一组权值和偏置,W and b
为隐藏层选择一种激活函数,q.在教程中我们使用 Sigmoid 激活函数
用 Python 可以很容易的构建神经网络类
训练神经网络
这个网络的输出 ? 为：
你可能会注意到,在上面的等式中,输出 ? 是 W 和 b 函数.
所以呢 W 和 b 的值影响预测的准确率. 所以根据输入数据对 W 和 b 调优的过程就被成为训练神经网络.
每步训练迭代包含以下两个部分:
计算预测结果 ?,这一步称为前向传播
更新 W 和 b,,这一步成为反向传播
下面的顺序图展示了这个过程：
前向传播
我们在 NeuralNetwork 类中增加一个计算前向传播的函数.为了简单起见我们假设偏置 b 为0：
但是我们还需要一个方法来评估预测结果的好坏(即预测值和真实值的误差).这就要用到损失函数.
损失函数
常用的损失函数有很多种,根据模型的需求来选择.在本教程中,我们使用误差平方和作为损失函数.
误差平方和是求每个预测值和真实值之间的误差再求和,这个误差是他们的差值求平方以便我们观察误差的绝对值.
训练的目标是找到一组 W 和 b,使得损失函数最好小,也即预测值和真实值之间的距离最小.
反向传播
我们已经度量出了预测的误差(损失),现在需要找到一种方法来传播误差,并以此更新权值和偏置.
为了知道如何适当的调整权值和偏置,我们需要知道损失函数对权值 W 和偏置 b 的导数.
回想微积分中的概念,函数的导数就是函数的斜率.
梯度下降法
如果我们已经求出了导数,我们就可以通过增加或减少导数值来更新权值 W 和偏置 b(参考上图).这种方式被称为梯度下降法.
但是我们不能直接计算损失函数对权值和偏置的导数,因为在损失函数的等式中并没有显式的包含他们.所以呢,我们需要运用链式求导发在来帮助计算导数.
链式法则用于计算损失函数对 W 和 b 的导数.注意,为了简单起见.我们只展示了假设网络只有 1 层的偏导数.
这虽然很简陋,但是我们依然能得到想要的结果—损失函数对权值 W 的导数(斜率),所以呢我们可以相应的调整权值.
现在我们将反向传播算法的函数添加到 Python 代码中
Youtube：
整合并完成一个实例
既然我们已经有了包括前向传播和反向传播的完整 Python 代码,那么就将其应用到一个例子上看看它是如何工作的吧.
神经网络可以通过学习得到函数的权重.而我们仅靠观察是不太可能得到函数的权重的.
我们成功了!我们应用前向和方向传播算法成功的训练了神经网络并且预测结果收敛于真实值.
注意预测值和真实值之间存在细微的误差是允许的.这样可以防止模型过拟合并且使得神经网络对于未知数据有着更强的泛化能力.
下一步是什么?
幸运的是我们的学习之旅还没有结束,仍然有很多关于神经网络和深度学习的内容需要学习.例如：
除了 Sigmoid 以外,还可以用哪些激活函数
在训练网络的时候应用学习率
在面对图像分类任务的时候使用卷积神经网络
我很快会写更多关于这个主题的内容,敬请期待!
最后的想法
我自己也从零开始写了很多神经网络的代码
虽然可以使用诸如 Tensorflow 和 Keras 这样的深度学习框架方便的搭建深层网络而不需要完全理解其内部工作原理.但是我觉得对于有追求的数据科学家来说,理解内部原理是非常有益的.
这种练习对我自己来说已成成为重要的时间投入,希望也能对你有所帮助
networkx是python的一个库,它为图的数据结构提供算法、生成器以及画图工具.这段时间在使用ryu进行最短路径获取,可以通过该库来简化工作量.该库采用函数方式进行调用相应的api,其参数类型通常为图对象.
函数API的调用,按照以下步骤来创建构建图：
①networkx的加载
在python中调用networkx通常只需要将该库导入即可
import networkx as nx
networkx提供了四种基本图对象：Graph,DiGraph,MultiGraph,MultiDiGraph.
使用如下调用方式,可以创建以上四种图对象的空图.
G=nx.Graph()
G=nx.DiGraph()
G=nx.MultiGraph()
G=nx.MultiDiGraph()
在 networkx中,图的各个节点允许以哈希表对象来表示,而对于图中边的各个参量,则可以通过与边相关联的方式来标识,一般而言,对于权重,用weight作为keyword,而对于其他的参数,使用者可以采用任何除weight以外的keyword来命名.
add_edge()函数,该函数在调用时需要传入两个参数u和v,以及多个可选参数
u和v即图中的两个节点,如果图中不存在节点,在调用时会自动将这两个节点添加入内,同时构建两个节点之间的连接关系,可选参数通常指这条边的权重等关系参量.需要注意的是,如果图中已经存在了这条边,重新进行添加时会对这条边进行跟新操作（也就是覆盖了原有的信息）.
对于该函数,除了上述的构建方式以外,还有以下几种方式来创建边：
G.add_edge(*e) # single edge as tuple of two nodes
有时候,当采用默认方式创建边以后,我们可能还会往边里面添加边的相关参数,这时候,可以采用下面的方式来更新边的信息：
#For non-string attribute keys, use subscript notation.
#上述两种更新方式,择一选取即可
细心的朋友可能注意到我在写创建图的内容的时候,提到了add_edges_from（）函数,该函数也是用来创建边的,该方式与add_edges()略有不同,比之add_edges()采用一个一个节点的方式进行创建,它来的更为便利.这个函数在调用时,需要一个节点元组作为参数以及多个可选参数作为边的信息.你可以这么传递：
默认创建节点之间的边：
G.add_edges_from([(u,v)])
也可以这么写,在创建的同时添加信息：
有些Python小白对numpy中的常见函数不太了解,今天小编就整理出来分享给大家.
Numpy是Python的一个科学计算的库,提供了矩阵运算的功能,其一般与Scipy、matplotlib一起使用.其实,list已经提供了类似于矩阵的表示形式,不过numpy为我们提供了更多的函数.
数组常用函数
①where()按条件返回数组的索引值
改变数组维度
a.ravel(),a.flatten():将数组a展平成一维数组
a.shape=(m,n),a.reshape(m,n):将数组a转换成m*n维数组
a.transpose,a.T转置数组a
数组组合
①hstack((a,b)),concatenate((a,b),axis=1)将数组a,b沿水平方向组合
数组分割
①split(a,n,axis=0),vsplit(a,n)将数组a沿垂直方向分割成n个数组
数组修剪和压缩
①a.clip(m,n)设置数组a的范围为(m,n),数组中大于n的元素设定为n,小于m的元素设定为m
数组属性
①a.dtype数组a的数据类型
数组计算
①average(a,weights=v)对数组a以权重v进行加权平均