机器学习的数学基础

1. 线性代数

• 矩阵和向量运算
• 特征值和特征向量
• 奇异值分解(SVD)
• 主成分分析(PCA)
• 统计学

2. 概率论基础(概率分布、条件概率等)

• 常见概率分布(高斯分布、多项分布等)
• 抽样方法
• 估计与假设检验
• 贝叶斯统计
• 微积分

3. 导数和偏导数

• 梯度
• 矩阵微积分
• 最优化方法(梯度下降、牛顿法等)
• 算法和数据结构

4. 基本数据结构(数组、链表、树、哈希表等)

• 递归与动态规划
• 算法复杂度分析
• 信息论

5. 熵及其意义

• 数据压缩编码
• 交叉熵与相对熵
• 其他数据处理

6. 缺失值处理

• 数据规范化
• 维数灾难
• 特征工程