前言
《神经网络与深度学习》
主线：
- 神经元如何模拟
- 神经元之间如何连接
- 简单神经网络
- 多层神经网络，分层是人脑学习的基本规律
模拟一个神经元：
- 信号源处理：
s=p1w1+p2w2+p3w3+pnwn+b - 传递函数：f(s)
各个变量的含义
- p代表树突，一个输入信号源
- w代表树突的强度权重
- f(s)，比如s是一个任意整数值，而要求的输出只能是0或1两个值，这就需要f(s)做一个转换。
神经元之间的连接不是固定不变的，在人的学习和成长过程中，一些新的连接会被逐渐建立起来，还有一些连接可能会消失。外界刺激就是神经网络的输入，在接收刺激后，刺激信号将传递到整个网络中，影响所有的神经元状态，神经元之间彼此连接并相互制约影响，不断调整彼此间的连接强度，直到达到稳定的状态，并最终对刺激做出反应。神经元之间的关系变迁形成了生物体的学习过程。
训练过程：
- 在上述神经元的表达式中w和b随机确定，p、s根据训练数据确定，f(s)有固定的几种选型，貌似根据经验确定
- 根据实际输出与s的误差，校正w、b
据总结，可以得出本书线索
- 单层神经网络：确定输入特征，单层，根据一定的数据训练即可
- 多层神经网络（浅层学习）：确定输入特征，一层中间层，输出层，确定每层神经元数量（大于输入特征数，具体值依赖对精度和运行速度的权衡），根据一定的数据训练即可。训练算法：BP算法。BP算法可以训练五层（三个中间层）以内的神经网络。
-
深度神经网络（深度学习）：输入特征，多层（五层以上）中间层（分层或分级处理是大脑识别一个物体的主要过程），输出层。涉及到特征选取（基于经验无法确定的话，便要学习特征）、中间层数确定（根据经验）、单层训练、回归训练等问题。
深度学习首先利用无监督学习对每一层进行逐层预训练去学习特征；每次单独训练一层，并将训练结果作为更高一层的输入；然后到最上层改用监督学习从上到下进行微调去学习模型。
再复杂的图形都是由基本图形构件组成，任何声音都可以由20种左右基本的声音结构合成。任何事物都可以划分成粒度合适的浅层特征（或者通过了解，或者通过特征学习），这些浅层特征可以作为第二层输入特征。
hand-on machine-learning with tensorflow
Arthur Samuel:machine learning is the field of study that gives computers ability to learn without explicitly programmed. PS：数据 vs 算法
对训练模型的描述：training a model means setting its parameters so that the model best fits the training set. for this purpose, we first need a measure of how well(or poorly) the model fits the training data.
梯度下降：Gradient Descent is a very generic optimization algorithm capable of finding optimal solutions to a wide range of problems. the general idea of Gradient Descent is to tweak parameters iteratively in order to minimize a cost function. it measures the local gradient of the error function with regards to the parameter vector \(\theta\), and it goes in the direction of descending gradient. once the gradient is zero, you have reached a minimum!