概率论初步
初等概率定义的三个条件
全概率公式
贝叶斯公式
链式法则
常用概率分布
多项式分布
玻松分布
高斯分布
Dirichlet 分布
信息论基础
常用概念
熵
条件熵
KL散度
最大熵原理
信息增益(information gain)
分类
模型
朴素贝叶斯
KNN
决策树
C4.5
支持向量机
libsvm
最大熵模型
工具
聚类
K-means
层次聚类
类型及其区别
算距离的方法
single
complete
工具
参数估计
EM算法
蒙特卡洛算法
Markov chain
Markov 随机过程
Gibbs采样算法
图模型
表示
有向图
无向图
学习算法(learning)
推断算法(inference)
Sum-product算法
传播算法
HMM
假设条件
前向和后向算法
CRF
图模型表示
推理算法
CRF++
Topic Model
Markov logic network(MLN)
Topic Model
pLSA
LDA
图模型表示
Gibbs 推理算法
hLDA
s-LDA
LLDA
最优化
约束条件是等号的最优化问题
lagrange乘子法
约束条件是不等号的凸优化问题
单纯形法
常用最优化算法
梯度下降法
模拟退火
爬山法
随机过程
Markov 随机过程
随机游走
排队论
贝叶斯学习
贝叶斯学派和统计学派
损失函数
常用的损失函数
贝叶斯先验
四种常用的选取贝叶斯先验的方法
参数和超参数
示例:LDA的先验选取
信息检索
常用的检索模型
布尔模型
向量空间模型
BM25
语言模型
评测指标
MAP
NDCG
开源工具
Lucene
Lemur
模型选择和特征选取
常用特征选择方法
模型选择方法
AIC
BIC
HQ
各模型特点对比