深度神经网络 基本知识 记录

资���：https://www.bilibili.com/video/BV1K94y1Z7wn/?spm_id_from=333.337.search-card.all.click&vd_source=14a476de9132ba6b2c3cbc2221750b99

计划：3~4天

注：网课讲的内容比较糅杂，记录的内容可能会出现重复

杂

• 人工智能包括ML，ML包括DL
• 机器学习需要人工大量参与，深度学习可以主动提取特征
• 神经网络要看作是从数据中提取特征的方法

  深度学习的流程

  • 数据获取→特征工程→建立模型→评估与应用
  • 特征工程的主要内容？
    • 数据特征决定模型解决问题的上限，算法与参数的选择决定选择 何种方式逼近上限
    • 预处理和特征提取，是特征工程核心步骤
  • TODO 特征如何提取？
  • 深度学习的应用？
    • 计算机视觉（输入是图片）
      • 图片分类任务
        • 挑战： 光纤，形状，被遮挡，背景干扰
      • 癌细胞检测
      • 变脸
      • 分辨率重构
    • 自然语言处理（输入是文本） 

    深度学习基础

    • 线性函数/得分函数：属于每一个类别的得分值，不同像素点对识别图像是只猫，起到的作用不同。3072个像素点要对应3072个参数
    • W每行中不同的权重值影响最后的得分
    • 做不同的任务，区别是损失函数不同，损失函数含义：距离正确结果的距离
    • Softmax分类器：归一化得到x（range [0,1]）→取-log(x)作为损失值
    • 前向传播：从前往后。用W和x计算出Loss value​​​​​​​. 可以引入多个W，每个W关注特征不同
    • 反向传播：逐层从后往前传播。current_gradient = backward_gradient * local_gradient
      • 加法门单元：后边梯度v传来时，v分给x和y
      • MAX门单元：后边梯度v传来，仅传递给最大值
      • 乘法门单元：对于x而言，梯度值是yv；y梯度是xv
    • 整体架构
      • 层次结构：可以有好多个W矩阵
      • 全连接：多个特征可以叠加到下一层一个特征上
      • 非线性：每层计算结束后，会进行非线性映射