模型选择、欠拟合和过拟合

作为机器学习科学家，我们的目标是发现模式（pattern）。但是，我们如何才能确定模型是真正发现了一种泛化的模式，而不是简单地记住了数据呢？例如，我们想要在患者的基因数据与痴呆状态之间寻找模式，其中标签是从集合 { 痴呆,轻度认知障碍,健康 } 中提取的。因为基因可以唯一确定每个个体（不考虑双胞胎），所以在这个任务中是有可能记住整个数据集的。

将模型在训练数据上拟合得比在潜在分布中更接近的现象称为过拟合（overfitting），用于对抗过拟合的技术称为正则化（regularization）。

本章视频地址 本章讲义地址

在本章中，我们将介绍你的第一个真正的深度网络。最简单的深度网络称为多层感知机，它们由多层神经元组成，每一层都与下面一层（从中接收输入）和上面一层（反过来影响当前层的神经元）完全相连。当我们训练大容量模型时，我们面临着过拟合的风险。因此，我们需要为你提供第一次严格的概念介绍，包括过拟合、欠拟合和模型选择。为了帮助你解决这些问题，我们将介绍权重衰减和dropout等正则化技术。我们还将讨论数值稳定性和参数初始化相关的问题，这些问题是成功训练深度网络的关键。在整个过程中，我们的目标不仅是让你掌握概念，还希望让你掌握深度网络的实践方法。在本章的最后，我们将把到目前为止所介绍的内容应用到一个真实的案例：房价预测。我们将有关于模型计算性能、可伸缩性和效率相关的问题放在后面的章节中讨论。

softmax 回归

本章视频地址，本章讲义地址

遇到分类问题时，我们可以使用 softmax 方法将模型的输出作为概率，我们将优化参数以最大化观测数据的概率。为了得到预测结果，我们将设置一个阈值，如选择具有最大概率的标签。

本章视频地址，本章讲义地址

在介绍深度神经网络之前，我们需要了解神经网络训练的基础知识。在本章中，我们将介绍神经网络的整个训练过程，包括：定义简单的神经网络架构、数据处理、指定损失函数和如何训练模型。经典统计学习技术中的线性回归和 softmax 回归可以视为线性神经网络。为了更容易学习，我们将从这些经典算法开始，向你介绍神经网络的基础知识。这些知识将为本书其他部分中更复杂的技术奠定基础。

本文为 transformer模型原论文的学习笔记。

预备知识

CNN，RNN，LSTM都是什么？

参考文章

本文为学习李沐老师《实用机器学习》这门课程的笔记。

1. 明确目的
2. 做笔记

IEEE 802.11 无线局域网

802.11 无线局域网架构：

802.11 无线 LAN 的基本组成单元是基本服务集（BSS）

综述

通过这一章的学习，我们需要：
理解数据链路层服务原理。

• 差错检测和纠正
• 共享广播信道: 多址接入
• 链路层编址
• 可靠传输、流量控制：done!
  了解链路层的实现。
• 以太网
• 点对点协议 PPP

关系模型本质上是若干个存储数据的二维表。

表的每一行称为 记录（Record），每一列称为 字段（Column）。

字段定义了数据类型（整型、浮点型、字符串、日期等），以及是否允许为 NULL（表示字段数据不存在）。

关系数据库中，关系是通过 主键 和 外键 来维护的。