1. calibration 分类器的概率校准
   1. CalibratedClassifierCV([…])
   2. calibration_curve(y_true, y_prob)
2. clustering
   1. 类
      1. AffinityPropagation
         1. 一种基于数据点之间的“信息传递”的聚类算法
         2. 不需要在聚类前确定或估计类的个数。类似于k-medoid
      2. AgglomerativeClustering
         1. 常用的层次聚类算法
         2. 最初将每个对象看成一个簇，然后将这些簇根据某种规则被一步步合并，就这样不断合并直到达到预设的簇类个数
      3. Birch
         1. 利用层次结构的平衡迭代归约和聚类
      4. DBSCAN
         1. 基于密度的聚类算法
         2. 聚类的时候不需要预先指定簇的个数
         3. 最终的簇的个数不确定
      5. OPTICS
         1. 改进DBSCAN对输入参数不敏感
      6. KMeans
      7. MiniBatchKMeans
         1. 是 KMeans 算法的一个变体，它使用 mini-batches 来减少计算时间
      8. MeanShift
         1. 均值漂移算法是一种基于质心的算法， 其工作原理是更新质心的候选点，使其成为给定区域内点的均值
      9. SpectralClustering
         1. 适用于聚类数少时，在聚类数多是不建议使用
         2. 比K-Means算法，谱聚类对数据分布的适应性更强，聚类效果也很优秀
   2. 方法
      1. affinity_propagation(S[, …])
      2. cluster_optics_dbscan(reachability, …)
      3. cluster_optics_xi(reachability, …)
      4. dbscan(X[, eps, min_samples, …])
      5. k_means(X, n_clusters[, …])
      6. mean_shift(X[, bandwidth, seeds, …])
      7. spectral_clustering(affinity[, …])
      8. ward_tree(X[, connectivity, …])
         1. 基于特征矩阵的Ward聚类
      9. estimate_bandwidth(X[, quantile, …])
         1. 使用meanshift算法评估要用的带宽
      10. compute_optics_graph(X, min_samples, …)
          1. 计算OPTICS 可达性图
      11. 执行对应的聚类
3. compose
   1. ColumnTransformer(transformers[, …])
      1. 对pandas的DataFrame的列或数组做转换
   2. TransformedTargetRegressor([…])
      1. 在拟合回归模型之前对目标y进行转换
      2. 它以预测所用的回归器为参数，将应用于目标变量的变压器为参数
   3. make_column_transformer(…)
      1. 对给定转换器构建一个列转换器
4. impute： 缺失值插值处理
   1. SimpleImputer([missing_values, …])
   2. IterativeImputer([estimator, …])
   3. MissingIndicator([missing_values, …])
5. feature_extraction : 特征抽取
   1. DictVectorizer
      1. 将特征名称与特征值组成的映射字典构成的列表转换成Numpy数组或者Scipy.sparse矩阵
      2. 对类别列one-hot编码，连续列不处理
   2. FeatureHasher
      1. 直接对特征应用一个hash函数来决定特征在样本矩阵中的列索引
   3. image : 图像特征
      1. extract_patches_2d
         1. 将二维图像切成指定大小的小块
      2. grid_to_graph
         1. 像素到像素之间的连接图
      3. img_to_graph
         1. 像素到像素之间的梯度连接图
      4. reconstruct_from_patches_2d
         1. 从图像的小块中重构图像
      5. PatchExtractor
         1. 从图像集合中抽取每个图片的小块
   4. text ： 文本特征
      1. CountVectorizer
         1. 将文本中的词语转换为词频矩阵
      2. HashingVectorizer
         1. 文本降维，降维后解释性丢失
      3. TfidfTransformer
         1. 用于统计vectorizer中每个词语的TF-IDF值
      4. TfidfVectorizer
         1. 把原始文本转化为tf-idf的特征矩阵
6. feature_selection : 特征选择
   1. GenericUnivariateSelect
      1. 带配置策略的通用特征选取器
   2. SelectPercentile
      1. 按照最高得分的百分比选取特征
   3. SelectKBest
      1. 按照指定的积分函数，选取得分最高的k个特征
   4. SelectFpr
      1. 基于FPR测试选取低于alpha值的p值过滤器
   5. SelectFdr
      1. 给一个评估的伪发现率选取p值
   6. SelectFwe
      1. 基于族系误差率选取p值
   7. VarianceThreshold
      1. 移除低方差的特征
   8. SelectFromModel
      1. 能够用于拟合后任何拥有coef_或feature_importances_ 属性的预测模型
      2. 特征对应的coef_ 或 feature_importances_ 值低于设定的阈值threshold，那么这些特征将被移除。
   9. RFE
   10. RFECV
   11. chi2
       1. 卡方检验
   12. f_classif
   13. f_regression
   14. mutual_info_classif
   15. mutual_info_regression
   16. 单变量特征选择
   17. 递归特征消除
       1. 使用一个基模型来进行多轮训练，每轮训练后，移除权值系数低于阈值的特征，再基于新的特征集进行下一轮训练
   18. 互信息方法可以捕捉任何一种统计依赖
   19. 方差分析，计算方差分析（ANOVA）的F值 (组间均方 / 组内均方)
7. preprocessing
   1. FunctionTransformer
      1. 用户自定义构造转化器
   2. Binarizer
      1. 按照阈值将数据0/1化
   3. KBinsDiscretizer
      1. 将数据按照间隔分箱
   4. LabelBinarizer
      1. 将标签矩阵二值化
   5. LabelEncoder
      1. 对不连续的数字或者文本进行编号
   6. OneHotEncoder
      1. 对每个特征的每个可能的值，若有这个值则为1，若没有这个属性则为0
   7. OrdinalEncoder
      1. 将每个分类特征转换一个新特征 0至分类数-1的整数
   8. MultiLabelBinarizer
      1. 多标签二值化编码
   9. MaxAbsScaler
      1. 归一到 [ -1，1 ]
   10. MinMaxScaler
       1. 归一到 [ 0，1 ]
   11. RobustScaler
       1. 数据有离群点，对数据进行均差和方差的标准化效果不好时使用
   12. StandardScaler
       1. 将数据减去均值除以标准差
   13. Normalizer
       1. L1/L2正则化
   14. KernelCenterer
       1. 标准化，生成 kernel 矩阵，用于将 svm kernel 的数据标准化
   15. PowerTransformer
       1. 将数据从任意分布映射到尽可能接近高斯分布，以稳定方差和最小化偏度
   16. QuantileTransformer
       1. 将特征变换为均匀分布或正态分布
   17. PolynomialFeatures
       1. 进行特征的构造，构造的方式就是特征与特征相乘
   18. add_dummy_feature
       1. 增加一个附加的虚拟特征数据集。有些数据集不能很好地训练，得这样处理
   19. binarize
       1. 将矩阵X根据阈值转为bool值
   20. label_binarize
       1. 将简单的分类或回归模型拓展到多类分类模型时对y的变换
   21. maxabs_scale
       1. 稀疏数据进行缩放，并且不会破坏数据的稀疏型
   22. minmax_scale
       1. 将数据按照给定范围缩放
   23. normalize
       1. 将输入向量缩放到单位正则化
   24. quantile_transform
       1. 使用分位数信息对特征转换
   25. robust_scale
   26. scale
   27. power_transform
       1. 参数化的单调的指数变换族，使得数据分布偏向于高斯分布
   28. 归一化
   29. 数据标准化和正则化
   30. 数据重编码
   31. 数据分布重映射
   32. 构造新特征
   33. 在任意轴上对数据集进行标准化
8. covariance
   1. EmpiricalCovariance
      1. 只想抽取部分数据估计协方差
      2. 通过最大似然法来估计协方差
   2. EllipticEnvelope
      1. 在一个服从高斯分布的数据集中检测离群点的对象
   3. GraphicalLasso
      1. 使用L1正则的评估器的系数逆协相关评估
   4. GraphicalLassoCV
   5. LedoitWolf
      1. LedoitWolf 评估器
   6. MinCovDet
      1. 最小协方差行列式：协方差的鲁棒评估器
   7. OAS
      1. Oracle的近似收缩估计
   8. ShrunkCovariance
      1. 使用收缩的协方差估计
   9. empirical_covariance
      1. 计算最大似然协方差估计器
   10. graphical_lasso
       1. L1正则的协方差评估器
   11. oas
       1. 使用Oracle的近似收缩估计评估协方差
   12. ledoit_wolf
       1. 评估收缩的Ledoit-Wolf协方差矩阵
   13. shrunk_covariance
       1. 在对角矩阵上计算一个协方差矩阵
9. cross_decomposition
   1. CCA
      1. 典型相关分析
      2. 将高维的两组数据降到1维，再用相关系数分析相关性
      3. 降维到1维之后，两组数据的相关系数最大
   2. PLSCanonical
      1. 偏最小二乘法回归
   3. PLSRegression
   4. PLSSVD
      1. 偏最小二乘SVD
      2. 在互协方差矩阵上简单地执行SVD
10. decomposition : 矩阵分解
    1. DictionaryLearning
       1. 字典学习总是尝试学习蕴藏在样本背后最质朴的特征
    2. dict_learning
       1. 求解字典学习问题
       2. 找到数据的最合适的字典以及对应的编码
    3. dict_learning_online
    4. MiniBatchDictionaryLearning
       1. minibatch的字典学习
    5. FactorAnalysis
       1. 因子分析:从变量群中提取共性因子的统计技术，这里的共性因子指的是不同变量之间内在的隐藏因子。
    6. FastICA
       1. 独立成分分析，用于信号处理的信道分离
    7. fastica
       1. 在数据上执行独立成分分析
    8. PCA
       1. 找出数据里最主要的方面，用数据里最主要的方面来代替原始数据
    9. IncrementalPCA
       1. 要分解的数据集太大而无法放入内存时，增量主成分分析（IPCA）通常用作主成分分析 （PCA）的替代
       2. IPCA使用与输入数据样本数无关的内存量为输入数据建立低秩近似
    10. KernelPCA
        1. kernel tricks把低维 feature 映射到高维
    11. SparsePCA
    12. MiniBatchSparsePCA
        1. 使用一部分样本特征和给定的迭代次数来进行PCA降维，以解决在大样本时特征分解过慢的问题，
    13. NMF
        1. 非负矩阵分解: 将一个非负的矩阵分解为左右两个非负矩阵的乘积
    14. non_negative_factorization
        1. 计算数据的NMF
    15. LatentDirichletAllocation
        1. LDA.pdf
        2. 主题模型
           1. 文本建模
    16. SparseCoder
        1. 基于固定的、预先计算好的字典，找到数据的系数表征
        2. X ~= code * dictionary
    17. sparse_encode
        1. 根据传入的字典进行稀疏编码
    18. TruncatedSVD
        1. 1. 计算奇异值个数和奇异向量，生成一个可以代替原矩阵的近似矩阵
        2. 2. 将数据集的奇异值表征按重要性排列，舍弃不重要的特征向量
11. discriminant_analysis : 判别分析
    1. LinearDiscriminantAnalysis
       1. 投影后类内方差最小，类间方差最大
       2. PCA是无监督，它是有监督
    2. QuadraticDiscriminantAnalysis
       1. 相比于PCA，QDA对数据有更好的适用性
       2. 固定协方差矩阵下，LDA和QDA是没有分类结果差异 但在不同的协方差矩阵下，QDA优于LDA
12. dummy
    1. DummyClassifier
    2. DummyRegressor
    3. 基于简单规则的分类器和回归
13. ensemble : 集成学习方法
    1. AdaBoostClassifier
    2. AdaBoostRegressor
    3. GradientBoostingRegressor
    4. GradientBoostingClassifier
       1. 首先用简单的模型对数据进行建模，并分析错误的数据
       2. 对于以后的模型，我们特别关注那些难以处理的数据，以使它们正确
       3. 通过给每个预测变量赋予一些权重来组合所有的预测变量
    5. HistGradientBoostingRegressor
       1. 样本数高于1万时，比GradientBoost快
       2. 源于 LightGBM.
    6. HistGradientBoostingClassifier
    7. BaggingClassifier
    8. BaggingRegressor
    9. RandomForestClassifier
    10. RandomForestRegressor
    11. RandomTreesEmbedding
        1. 无监督的数据转换,通过由完全随机树构成的森林,使用数据最终归属的叶子节点的索引值（编号）对数据进行编码
        2. 编码的大小和稀疏度可以通过选择树的数量和每棵树的最大深度来确定
    12. ExtraTreesClassifier
    13. ExtraTreesRegressor
    14. IsolationForest
        1. 异常检测算法
        2. 适用于大规模数据，应用于网络安全的攻击检测 和流量异常，以及金融机构的欺诈行为
    15. VotingClassifier
    16. VotingRegressor
    17. Bagging: 减少方差
        1. 根据均匀概率分布从数据中重复抽样（有放回）
        2. 对训练过的分类器进行投票，将测试样本指派到得票最高的类中
        3. 每个抽样生成的自助样本集上，训练一个基分类器；
        4. 每个自助样本集都和原数据一样大
    18. boosting : 减少偏差
        1. 元估计器，它开始从最初原始训练数据中拟合一个分类器，然后接着用同样的训练数据进行迭代拟合训练下一个基分类器
        2. 虽然是同样的数据但是每次迭代时样本数据权重不一样
        3. 权重调整让下一个分类器更多地关注那些之前迭代中分错的样本
    19. 多数投票算法
    20. 极端随机树
        1. 提供额外的随机性，抑制过拟合； 并且具有更快的训练速度
        2. 增大了 bias（偏差）(遏制了方差)
14. gaussian_process : 高斯过程
    1. 类
       1. GaussianProcessClassifier
       2. GaussianProcessRegressor
    2. kernels
       1. WhiteKernel
          1. 主要用法是作为sum核的一部分，用来解释噪声分量。参数noise_level代表着估计过程中的噪声等级
       2. Kernel
          1. 所有kernel的基类
       3. ConstantKernel
          1. 作为Product Kernel的一部分，并且它 可以对核内的其他因子进行缩放，
          2. 作为Sum 核 ，它可以修改高斯过程的均值
       4. PairwiseKernel
          1. 成对核的核函数的包装器类
       5. Exponentiation
          1. 核需要一个基本核和一个标量参数 exponent ，然后通过 k_exp(X, Y) = k(X, Y) ^ exponentt来组合他们
       6. Product
          1. 通过 k_product(X, Y) = k1(X, Y) * k2(X, Y) 来组合两个核K1和K2
       7. Sum
          1. 通过k_sum(X, Y) = k1(X, Y) + k2(X, Y)来组合两个核K1和K2
       8. CompoundKernel
          1. 多种其他核的组合
       9. RationalQuadratic
          1. 是RBF 核与各种具有不同特性的长度尺度参数的比例混合（无限和）
          2. 它通过长度尺度参数l > 0 和比例混合参数 α > 0 来参数化的。但是目前仅支持 l
       10. Matern
           1. 是一种固定核，并且是 RBF核的一种概况。它有着一个额外的参数 ν ，这个参数用来控制产生函数的平滑度
       11. RBF
           1. 径向基函数核,一种固定核。它也以"平方指数"核这一名称被人所知。这个核通过长度尺度 l > 0 来实现参数化
       12. ExpSineSquared
           1. 指数正弦平方核，允许模型化周期函数。它通过长度尺度参数l > 0 与周期参数 p > 0 来参数化。目前仅支持 l
       13. DotProduct
           1. 点乘核是一种非固定核，通过设置先验N(0,1) 于系数 x_d(d = 1, ..., D) 和设置先验 N(0, σ_0 ^ 2) 与偏值上的一个线性回归来获得
       14. Hyperparameter
           1. kernel的超参数，以名称元组形式配置
       15. 核运算
       16. 基础核
       17. 组合核
15. isotonic : 保序回归等
    1. IsotonicRegression
    2. check_increasing
       1. 检验y是否是与x单调相关
    3. isotonic_regression
       1. 求解单调回归问题
16. kernel_approximation : 基于傅里叶变换的近似内核特征映射
    1. Nystroem([kernel, …])
       1. 近似于使用训练数据子集的核映射
    2. AdditiveChi2Sampler
       1. 按分量进行的确定性采样,每个分量被采样n次，每个输入维(两者的乘积来源于傅里叶变换的实部和复部) 产生2n+1维
    3. RBFSampler([gamma, …])
       1. 近似于RBF核的特征映射
    4. SkewedChi2Sampler([…])
       1. 近似于与斜卡方核类似的特征映射
    5. 不需要从数据样本中学习
       1. 只需知道特征数量即可，产生许多随机非线性来很好地拟合你的数据问题
       2. 没有需要解释的复杂的优化算法，事实上，优化本身被随机化取代
17. kernel_ridge : 使用核技巧的核脊回归（L2正则线性回归）
    1. KernelRidge
       1. 线性回归模型对输入变量x的噪音很敏感
          1. 输入矩阵存在多重线性
       2. 在原来最小二乘法模型的基础上加一个惩罚项，L1或L2
       3. 引入kernel就能够处理非线性数据
18. linear_model
    1. ARDRegression([n_iter, tol, …])
       1. BayesianRidge([n_iter, tol, …])
       2. ElasticNet([alpha, l1_ratio, …])
       3. ElasticNet([alpha, l1_ratio, …])
       4. HuberRegressor([epsilon, …])
       5. Lars([fit_intercept, verbose, …])
       6. LarsCV([fit_intercept, …])
       7. Lasso([alpha, fit_intercept, …])
       8. LassoCV([eps, n_alphas, …])
       9. LassoLars([alpha, …])
       10. LassoLarsCV([fit_intercept, …])
       11. LassoLarsIC([criterion, …])
       12. LinearRegression([…])
       13. LogisticRegression([penalty, …]) LogisticRegressionCV([Cs, …])
       14. MultiTaskLasso([alpha, …])
       15. MultiTaskLassoCV([eps, …])
       16. MultiTaskElasticNetCV([…])
       17. OrthogonalMatchingPursuit([…])
       18. OrthogonalMatchingPursuitCV([…])
       19. PassiveAggressiveClassifier([…])
       20. PassiveAggressiveRegressor([C, …])
       21. Perceptron([penalty, alpha, …])
       22. RANSACRegressor([…])
       23. Ridge([alpha, fit_intercept, …])
       24. RidgeClassifier([alpha, …])
       25. RidgeClassifierCV([alphas, …])
       26. RidgeCV([alphas, …])
       27. SGDClassifier([loss, penalty, …])
       28. SGDRegressor([loss, penalty, …])
       29. TheilSenRegressor([…])
       30. enet_path(X, y[, l1_ratio, …])
       31. lars_path(X, y[, Xy, Gram, …])
       32. lars_path_gram(Xy, Gram, n_samples
       33. lasso_path(X, y[, eps, …])
       34. orthogonal_mp(X, y[, …])
       35. orthogonal_mp_gram(Gram, Xy[, …])
       36. ridge_regression(X, y, alpha[, …])
    2. 贝叶斯自相关确定(ARD)回归
       1. 贝叶斯领回归
       2. 带L1和L2先验正则的线性回归
       3. 沿着正则路径迭代选取L1和L2的ElasticNet
       4. 对离群点鲁棒的线性回归模型
       5. 最小角回归，样本数量远远小于特征数量，高维问题
       6. 交叉验证的最小角回归
       7. 带L1正则的线性回归模型
       8. 迭代选取最佳L1正则的线性模型
       9. 带L1正则的Lars
       10. 使用BIC或AIC来做模型选取的带L1的Lars
       11. 逻辑回归分类器
       12. 多任务,y值不是一元的情况
       13. y值非一元情况下，L1,L2混合正则的Lasso模型
       14. 正交匹配追踪算法OMP
       15. 在线主动攻击型分类，大规模数据中增量学习方法
       16. 感知器分类算法
       17. 拟合高鲁棒性回归RANSAC，根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法
       18. 岭回归：使用L2正则的线性最小方差
       19. 使用岭回归的分类器
       20. 主要应用在大规模稀疏数据问题上，SGD的线性分类器
       21. 增量学习
       22. 稳健的多元回归模型
       23. 在坐标下降中计算弹性网络(Elastic Net)路径
       24. 使用LARS算法计算最小角度回归或Lasso路径
       25. 沿着坐标下降计算Lasso路径
       26. 使用普通等式解岭回归等式
19. manifold : 流型学习
    1. MDS
       1. 将空间A中系列点映射到新空间B中，同时保持点之间距离关系
       2. PCA的输入是样本点在原空间的坐标，而MDS则需要输入各个点的距离度量
    2. Isomap
       1. 把原始由欧式距离计算得到的D矩阵换成流形学习中的测地距离(geodesic distance)，然后执行MDS
    3. LocallyLinearEmbedding
       1. 空间变换过程中，只关注距离相近的点
       2. 如果某些样本靠的足够接近，那么其中任意 一个样本必然可以通过其它样本进行重构
    4. SpectralEmbedding : 拉普拉斯特征映射LE算法
       1. 高维空间中距离近的点映射到低维空间中后其位置也相距很近
       2. 将问题转化为求解图拉普拉斯算子的广义特征值问题
       3. 对包含离群点的数据鲁棒性很好
    5. TSNE
       1. 每个数据点近邻的分布进行建模
       2. 在原始高维空间中，我们将高维空间建模为高斯分布，而在二维输出空间中，我们可以将其建模为 t 分布
       3. 控制拟合的主要参数为困惑度（Perplexity）
          1. 等价于在匹配每个点的原始和拟合分布时考虑的最近邻数
    6. smacof
    7. locally_linear_embedding
       1. 在数据集上执行 LLE
    8. spectral_embedding
       1. 执行算法
20. mixture : 高斯混合模型
    1. BayesianGaussianMixture
    2. GaussianMixture
21. model_selection
    1. 切分器类
       1. KFold
       2. GroupKFold
          1. 在保证kFold的基础上，保证同一个group的数据不会拆分到train和test中
       3. StratifiedKFold
          1. 考虑数据集带有的标签
       4. RepeatedKFold
          1. 将K-Fold重复n次
       5. RepeatedStratifiedKFold
       6. LeaveOneGroupOut
       7. LeavePGroupsOut
       8. LeaveOneOut
       9. LeavePOut
       10. GroupShuffleSplit
           1. ShuffleSplit 和LeavePGroupsOut综合
       11. ShuffleSplit
           1. 自定义训练和测试数据
       12. StratifiedShuffleSplit
           1. 要考虑数据的标签
       13. PredefinedSplit
           1. 已经名明确test_fold
       14. TimeSeriesSplit
           1. 时间序列数据
       15. K折交叉验证 : 某一组为测试
       16. 留一法 : 固定几个为测试
       17. 随机划分法 : 先随机再分train/test
    2. 切分器函数
       1. check_cv
          1. 构建交叉验证之前的输入检查
       2. train_test_split
          1. 数据集切分为train/test/valid
    3. 超参数优化器
       1. GridSearchCV : 网格搜索
          1. 系统地遍历多种参数组合，通过交 叉验证确定最佳效果参数
       2. RandomizedSearchCV : 随机采样
          1. 对参数的随机搜索, 其中每个设置都 是从可能的参数值的分布中进行取样
          2. 优势
             1. 可以选择独立于参数个数和可能值的预算
             2. 添加不影响性能的参数不会降低效率
       3. ParameterGrid
          1. 应用于GridSearch中的参数词典
       4. ParameterSampler
          1. 从给定参数中采样
       5. fit_grid_point
       6. 参数优化
    4. 模型校验
       1. cross_validate
          1. 使用交叉验证的评估指标，同时记录训练和预测时间
       2. cross_val_predict
          1. 返回的是一个使用交叉验证以后的输出值，而不是评分标准
       3. cross_val_score
          1. 根据训练集，选择K折，以及评估指标，计算得分
       4. learning_curve
          1. 查看模型是否过拟合，计算并绘制模型的验证曲线
       5. permutation_test_score
          1. 通过排序评估交叉验证的得分在重要性
       6. validation_curve
22. multiclass ： 多分类和多标签分类
    1. OneVsRestClassifier
       1. 一个分类器对应一个类别， 每个分类器都把其他全部的类别作为相反类别看待
    2. OneVsOneClassifier
       1. 两两类别之间建立一个判别式，这样n个类别，总共需要n*(n-1)/2个判别式，最后通过投票的方式确定样本所属类别。
    3. OutputCodeClassifier
23. multioutput : 多输出的回归和分类
    1. ClassifierChain
       1. 多标签模型将所有二分类模型链在一起
    2. RegressorChain
    3. MultiOutputRegressor
       1. 对于每一个目标可以训练出一个回归器，所以它无法利用目标之间的相关度信息
    4. MultiOutputClassifier
       1. 为每一个目标训练一个分类器
24. naive_bayes : 朴素贝叶斯
    1. BernoulliNB
       1. 适用于离散特征的情况，所不同的是，伯努利模型中每个特征的取值只能是1和0
       2. 一般用于文本分类
    2. MultinomialNB
       1. 在计算先验概率和条件概率时会做平滑处理，避免未在训练集中出现的值会导致后验概率为0
    3. GaussianNB
       1. 假设这些一个特征的所有属于某个类别的观测值符合高斯分布
       2. 连续的特征变量，多项式模型就会导致不平滑，即使平滑，得到的条件概率也难以描述真实情况。此时应该采用高斯模型
    4. ComplementNB
    5. 连续数据
    6. 离散数据
25. neighbors : 最近邻
    1. BallTree
       1. 为了改进KDtree的二叉树树形结构，使用超球面而不是超矩形划分区域，在高维甚至很高维的数据上高效
    2. KDTree
       1. KD 树是一个二叉树结构，它沿着数据轴递归地划分参数空间，将其划分为嵌入数据点的嵌套的各向异性区域
       2. 适用于维度小于20的，过高会产生维度灾难
    3. DistanceMetric
    4. KernelDensity
       1. 核密度估计
    5. KNeighborsRegressor
    6. LocalOutlierFactor
       1. 适用局部离群因子的无监督离群点检测
       2. 基于密度的LOF算法要更简单、直观，不需要对数据的分布做太多要求，还能量化每个数据点的异常程度（outlierness）
    7. KNeighborsClassifier
       1. 可以自然地处理多类问题，而不需要增加模型的大小，并且不引入需要用户进行微调的额外参数
    8. RadiusNeighborsClassifier
       1. 在给定半径范围内的邻居中使用投票机制
    9. NearestCentroid
       1. 是直接选择最近质心来分类，所以仅有两个参数，距离度量和特征选择距离阈值
       2. 每个质心的每个特征的值除以该特征的类中的方差. 然后通过 shrink_threshold 来减小特征值
    10. adiusNeighborsRegressor
    11. NearestNeighbors
    12. NeighborhoodComponentsAnalysis
        1. 提高最近邻分类相对于标准欧氏距离的准确性
        2. 直接最大化训练集上k近邻(KNN)得分的随机变量，还可以拟合数据的低维线性投影，用于数据可视化和快速分类
    13. kneighbors_graph
        1. 计算X中的点的K个邻居的(权值)图
    14. radius_neighbors_graph
        1. 计算X中的点的邻居的(权值)图
26. neural_network : 神经网络
    1. BernoulliRBM
       1. 伯努利受限玻尔兹曼机
    2. MLPClassifier
    3. MLPRegressor
27. pipeline
    1. FeatureUnion
       1. 把若干个transformer objects组合成一个新的transformer
       2. 训练阶段每个transfer独立训练，数据变换时可以并行执行
    2. make_union
    3. Pipeline
    4. make_pipeline
       1. 从给定评估器中构建一个Pipeline
28. random_projection : 随机投影
    1. GaussianRandomProjection
       1. 使用高斯随机投影降维，投影降维前后，数据点的空间分布距离基本保持不变
    2. SparseRandomProjection
       1. 使用稀疏随机矩阵，通过投影原始输入空间来降低维度
       2. 可以替换高斯随机投影矩阵来保证相似的嵌入质量，且内存利用率更高、投影数据的计算更快
    3. johnson_lindenstrauss_min_dim
       1. 找到`安全`数目的组成成分来投影
       2. 保守估计随机子空间的最小大小来保证随机投影导致的变形在一定范围内
29. semi_supervised
    1. LabelPropagation
       1. 标签传播分类器
    2. LabelSpreading
30. svm
    1. 评估器
       1. LinearSVC
          1. 基于liblinear库实现
          2. 训练集实例数量大（大于1万）时也可以很好地进行归一化
          3. 既支持稠密输入矩阵也支持稀疏输入矩阵
       2. LinearSVR
       3. SVR
       4. SVC
          1. 基于libsvm库实现
          2. 训练集实例数量大（大于1万）时很难进行归一化
       5. NuSVC
       6. NuSVR
       7. OneClassSVM
          1. 只有正样本，没有负样本，训练数据中没有离群点，构建一个最小超平面
          2. 异常点检测
       8. l1_min_c
          1. 使用 L1 罚项时 C 的下界，以避免模型为空（即全部特征分量的权重为零）。
       9. 线性不可分的数据不能使用
       10. nu代表训练集训练的错误率的上限，或者说支持向量的百分比下限
    2. libsvm : 低阶方法
       1. cross_validation
       2. decision_function
       3. fit
       4. predict
       5. predict_proba
31. tree
    1. DecisionTreeClassifier
    2. DecisionTreeRegressor
    3. ExtraTreeClassifier
       1. 极度随机的分类树
       2. 与随机森林相同点
          1. bootstrap了样本
          2. 随机选取了部分特征，来构造一个棵树
       3. 与随机森林不同点
          1. 每棵决策树选择划分点的方式不同
    4. ExtraTreeRegressor
    5. export_graphviz
       1. 以DOT格式导出一个决策树
    6. plot_tree
       1. 打印决策树
    7. export_text
       1. 导出决策树的所有规则文本
32. datasets
33. utils
    1. arrayfuncs
       1. min_pos
          1. 返回数组中最小正值
    2. as_float_array
       1. 数组转为浮点类型
    3. assert_all_finite
       1. 数组不包含NaN或极限值的断言
    4. check_X_y
    5. check_array
    6. check_scalar
       1. 验证标量参数的类型和值
    7. check_consistent_length
       1. 检查所有的数组有相同的第一维度
    8. check_random_state
    9. class_weight
       1. compute_class_weight
          1. 评估不均衡数据的类别权重
       2. compute_sample_weight
          1. 根据类别评估不均衡数据的类别权重
    10. extmath
        1. safe_sparse_dot
           1. 安全的计算稀疏矩阵的点积
        2. randomized_range_finder
           1. 计算正交矩阵其取值范围为传入的范围A
        3. randomized_svd
           1. 计算一个截断的随机的SVD
        4. fast_logdet
           1. 对称计算log(det(A))
        5. density
           1. 计算稀疏向量的密度
        6. weighted_mode
    11. gen_even_slices
    12. graph
        1. single_source_shortest_path_length
           1. 计算从源到目标的所有可达路径的最短路径
    13. graph_shortest_path
        1. graph_shortest_path
           1. 在正的有向图或者无向图上执行最短路径图搜索
    14. indexable
        1. 使得数组可以索引，用于交叉验证
    15. ...
34. inspection : 模型检查
    1. partial_dependence
    2. plot_partial_dependence
35. metrics
    1. 模型选取
       1. check_scoring
       2. get_scorer
          1. 根据传入的字符串返回计分器
       3. make_scorer
          1. 根据一个性能指标或损失函数构造计分器
    2. 分类指标
       1. accuracy_score
          1. 分类准确率
       2. auc
          1. 根据梯形规则计算AUC
       3. average_precision_score
          1. 根据预测【得分】计算平均精度
       4. balanced_accuracy_score
          1. 可以避免在不平衡数据集上作出夸大的性能估计
       5. brier_score_loss
          1. Brier分数是衡量概率校准的一个参数
       6. classification_report
       7. cohen_kappa_score
          1. kappa系数在医学领域应用比较多,用来评价一个分类器的准确性，特别是在标签不平衡的状态下
       8. confusion_matrix
          1. 混淆矩阵
       9. f1_score
       10. fbeta_score
           1. 权衡recall和precision之间的重要性的性能指标
           2. 当beta大于1，更多关注recall；当beta小于1，更多关注precision
       11. hamming_loss
           1. 计算多标签分类(Multi-label classification)模型精度
       12. hinge_loss
           1. 专用于二分类问题
       13. jaccard_score
           1. 雅克比相似度得分
       14. log_loss
           1. 对数回归，逻辑回归损失、交叉熵损失
       15. matthews_corrcoef
           1. 观察到的和预测的二元分类之间的相关系数
           2. 描述真假阳性和阴性的混淆矩阵最好的一个系数
       16. multilabel_confusion_matrix
           1. 计算多标签/多分类的混淆矩阵，将多分类转换为2分类
       17. precision_recall_curve
       18. precision_recall_fscore_support
       19. precision_score
       20. recall_score
       21. roc_auc_score
       22. roc_curve
       23. zero_one_loss
           1. 所有样本的损失的平均损失
    3. 回归指标
       1. explained_variance_score
          1. 解释回归模型的方差得分
          2. 越接近于1说明自变量越能解释因变量的 方差变化，值越小说明效果越差
       2. mean_absolute_error
          1. 评估预测结果和真实数据集的接近程度
       3. mean_squared_error
          1. 拟合数据和原始数据对应样本点的误差的平方和的均值
       4. mean_squared_log_error
          1. log对数的差的平方的均值
       5. median_absolute_error
          1. 绝对值误差的中位数
       6. max_error
          1. 直接返回y_pred和p_true数组中最大的残差
       7. r2_score
          1. 判定系数，解释回归模型的方差得分
    4. 排序指标
       1. coverage_error : 范围误差
          1. 计算了那些必须在最终预测（所有真实的label都会被预测）中包含的labels的平均数目
          2. 想知道有多少top高分labels时
       2. label_ranking_average_precision_score
          1. Label ranking平均准确率
       3. label_ranking_loss
          1. 对label对没有正确分配的样本进行求平均
    5. 聚类指标
       1. fowlkes_mallows_score
          1. 针对训练集和验证集数据之间求得的查全率和查准率的几何平均值
       2. adjusted_rand_score : 调整兰德系数
          1. ARI取值范围为[-1,1]，值越大意味着聚类结果与真实情况越吻合
          2. 需要给定实际类别信息C
       3. calinski_harabasz_score
          1. 计算类中各点与类中心的距离平方和来度量类内的紧密度，通过计算各类中心点与数据集中心点距离平方和来度量数据集的分离度，CH指标由分离度与紧密度的比值得到
          2. 可应用于真实index未知的模型评估
       4. davies_bouldin_score
          1. 度量每个簇类最大相似度的均值
       5. cluster.contingency_matrix
          1. 建立描述标签之间关联的矩阵
       6. homogeneity_completeness_v_measure
          1. 完整性和同质性调和
       7. completeness_score
          1. 完整性分数
          2. 每个群集只包含单个类的成员
       8. homogeneity_score
          1. 同质性分数
          2. 给定类的所有成员都分配给同一个群集
       9. mutual_info_score
       10. normalized_mutual_info_score
           1. 标准化的互信息
       11. adjusted_mutual_info_score
           1. 调整后的互信息
       12. silhouette_score
           1. 轮廓系数适用于实际类别信息未知的情况
           2. 单个样本，设a是与它同类别中其他样本的平均距离，b是与它距离最近不同类别中样本的平均距离
           3. 对于一个样本集合，它的轮廓系数是所有样本轮廓系数的平均值
       13. silhouette_samples
       14. v_measure_score
       15. 互信息方法
           1. 衡量两个数据分布的吻合程度
       16. 同质性和完整性
    6. 双向聚类指标
       1. consensus_score
          1. 共识得分
    7. 配对指标
       1. pairwise_distances
          1. 计算矩阵X和Y的距离矩阵
       2. pairwise_distances_argmin
          1. 计算某点与点集合中最短距离
       3. pairwise_distances_argmin_min
          1. 计算某点与点集合中最短距离
       4. pairwise_distances_chunked
          1. 生成一个距离矩阵块，以可选的衰减分块
       5. pairwise
          1. cosine_similarity
             1. 计算X和Y的余弦相似度
          2. cosine_distances
             1. 计算X和Y的余弦距离
          3. distance_metrics
             1. 根据传入的字符串返回距离指标
          4. euclidean_distances
             1. 欧式距离
          5. haversine_distances
             1. 根据经度计算两个点的球面距离
          6. paired_euclidean_distances
          7. paired_manhattan_distances
          8. paired_cosine_distances
          9. paired_distances
          10. manhattan_distances
          11. additive_chi2_kernel
              1. 计算观测值X和Y中的加性卡方核
          12. chi2_kernel
              1. 计算X和Y的指数卡方核
              2. 计算机视觉应用中训练非线性支持向量机时
          13. linear_kernel
              1. 线性核函数，也就是一种在 degree=1 和 coef0=0 (同质化) 情况下的polynomial_kernel
          14. polynomial_kernel
              1. 计算两个向量的d次方的多项式核函数。 多项式核函数代表着两个向量之间的相似度
          15. pairwise_kernels
          16. kernel_metrics
              1. 根据传入的字符串返回配对的距离度量指标
          17. sigmoid_kernel
              1. S型核函数也被称为双曲切线或者 多层感知机
          18. rbf_kernel
              1. 计算两个向量之间的径向基函数核 (RBF)
          19. laplacian_kernel
              1. 一种径向基函数核的变体
36. 辅助
37. 单调函数的回归
    1. 用来做统计推断，估计最大值