前馈神经网络(feedforward neural network),在这种神经网络中,各神经元从输入层开始,接收前一级输入,并输入到下一级,直至输出层.整个网络中无反馈,可用一个有向无环图(directed acyclic araph,DAG)表示.

通常我们说的前馈神经网络有两种:一种叫back propagation networks–反向传播网络(BP网路),一种叫RBF network–径向基函数神经网络.

BP网络是所有神经网络中结构最为单纯的一种:

一般习惯上,我们喜欢把网络画成”左边输入,右边输出”的结构,一个向量从左边进入经过网络的运算从右边产生一个输出结果.就像上面这样,当前前馈神经网络的结构不是一种固定的,上面这两个图只是随意列出来了两种.

第一个神经网络有2层,每层4个节点.第二个神经元数量也不同–一层5个,一层3个,而且最后的输出层只有一个神经元,这些都是与第一个神经网络的不同之处,但他们也都是前馈神经网络.神经网络本身就有很多种设计模式,并且会在不同的模式下产生不同的训练效果和运用特点.

神经网络有一个不太好理解的地方就是好他的组成结构太复杂,元件太多–一层一层的神经元,会使得模型看上去很不直观.那好,我们就创造一个最简单的BP网络结构吧,把这一个网络研究明白了,再复杂的网络也就不在话下了

就两层,输入层不算,隐藏层算一层,输出层算一层,一共两层

x我们也让他最简单化,就一个维度–一个实数

隐藏层h和输出层o这两层都是 z=wx+b和的组合,那么这个网络一旦输入了x和y之后,他就可以开始训练过程了