深度学习笔记

在神经网络中,激活函数的作用是能够给神经网络加入一些非线性因素,使得神经网络可以更好地解决较为复杂的问题。


CNN:

CNN filter尺寸计算:Feature Map的尺寸等于(input_size + 2 * padding_size − filter_size)/stride+1

1)卷积:对图像元素的矩阵变换,是提取图像特征的方法,多种卷积核可以提取多种特征。一个卷积核覆盖的原始图像的范围叫做感受野(权值共享)。一次卷积运算(哪怕是多个卷积核)提取的特征往往是局部的,难以提取出比较全局的特征,因此需要在一层卷积基础上继续做卷积计算 ,这也就是多层卷积。
2)池化:降维的方法,按照卷积计算得出的特征向量维度大的惊人,不但会带来非常大的计算量,而且容易出现过拟合,解决过拟合的办法就是让模型尽量“泛化”,也就是再“模糊”一点,那么一种方法就是把图像中局部区域的特征做一个平滑压缩处理,这源于局部图像一些特征的相似性(即局部相关性原理)。
3) 全连接:softmax分类


SVM


线性核和RBF的选择

  如果训练样本的特征数量过于巨大,也许就不需要通过RBF等非线性核函数将其映射到更高的维度空间上,利用非线性核函数也并不能提高分类器的性能。利用linear核函数也可以获得足够好的结果,此外,也只需寻找一个合适参数C,但是利用RBF核函数取得与线性核函数一样的效果的话需要寻找两个合适参数(C, γ)。

  分三种情况讨论:

  1. 样本数量远小于特征数量:这种情况,利用情况利用linear核效果会高于RBF核。
  2. 样本数量和特征数量一样大:线性核合适,且速度也更快。liblinear更适合
  3. 样本数量远大于特征数量: 非线性核RBF等合适。

word2vec

隐层没有使用任何激活函数,但是输出层使用了sotfmax。


个人资料
时海
等级:8
文章:263篇
访问:12.9w
排名: 2
推荐
欢迎关注"BAT笔试面试",每日一道面试题
利用碎片时间轻松搞定大厂面试
上一篇: 机器学习论文集锦
下一篇:Spring文档阅读笔记-IOC容器