常见的机器学习&数据挖掘知识点

叁歲伎倆 2022-08-04 09:27 332阅读 0赞

## 常见的机器学习&数据挖掘知识点 ##

##### 转载请说明出处 #####

### Basis(基础)： ###

*  SSE(Sum of Squared Error, 平方误差和)
 *  SAE(Sum of Absolute Error, 绝对误差和)
 *  SRE(Sum of Relative Error, 相对误差和)
 *  MSE(Mean Squared Error, 均方误差)
 *  RMSE(Root Mean Squared Error, 均方根误差)
 *  RRSE(Root Relative Squared Error, 相对平方根误差)
 *  MAE(Mean Absolute Error, 平均绝对误差)
 *  RAE(Root Absolute Error, 平均绝对误差平方根)
 *  MRSE(Mean Relative Square Error, 相对平均误差)
 *  RRSE(Root Relative Squared Error, 相对平方根误差)
 *  Expectation(期望)&Variance(方差)
 *  Standard Deviation(标准差，也称Root Mean Squared Error, 均方根误差)
 *  CP(Conditional Probability, 条件概率)
 *  JP(Joint Probability, 联合概率)
 *  MP(Marginal Probability, 边缘概率)
 *  Bayesian Formula(贝叶斯公式)
 *  CC(Correlation Coefficient, 相关系数)
 *  Quantile (分位数)
 *  Covariance(协方差矩阵)
 *  GD(Gradient Descent, 梯度下降)
 *  SGD(Stochastic Gradient Descent, 随机梯度下降)
 *  LMS(Least Mean Squared, 最小均方)
 *  LSM(Least Square Methods, 最小二乘法)
 *  NE(Normal Equation, 正规方程)
 *  MLE(Maximum Likelihood Estimation, 极大似然估计)
 *  QP(Quadratic Programming, 二次规划)
 *  L1 /L2 Regularization(L1/L2正则, 以及更多的, 现在比较火的L2.5正则等)
 *  Eigenvalue(特征值)
 *  Eigenvector(特征向量)

## Common Distribution(常见分布)： ##

### Discrete Distribution(离散型分布)： ###

*  Bernoulli Distribution/Binomial Distribution(贝努利分布/二项分布)
 *  Negative Binomial Distribution(负二项分布)
 *  Multinomial Distribution(多项分布)
 *  Geometric Distribution(几何分布)
 *  Hypergeometric Distribution(超几何分布)
 *  Poisson Distribution (泊松分布)

### Continuous Distribution (连续型分布)： ###

*  Uniform Distribution(均匀分布)
 *  Normal Distribution/Gaussian Distribution(正态分布/高斯分布)
 *  Exponential Distribution(指数分布)
 *  Lognormal Distribution(对数正态分布)
 *  Gamma Distribution(Gamma分布)
 *  Beta Distribution(Beta分布)
 *  Dirichlet Distribution(狄利克雷分布)
 *  Rayleigh Distribution(瑞利分布)
 *  Cauchy Distribution(柯西分布)
 *  Weibull Distribution (韦伯分布)

## Three Sampling Distribution(三大抽样分布)： ##

*  Chi-square Distribution(卡方分布)
 *  t-distribution(t-分布)
 *  F-distribution(F-分布)

## Data Pre-processing(数据预处理)： ##

*  Missing Value Imputation(缺失值填充)
 *  Discretization(离散化)
 *  Mapping(映射)
 *  Normalization(归一化/标准化)

## Sampling(采样)： ##

*  Simple Random Sampling(简单随机采样)
 *  Offline Sampling(离线等可能K采样)
 *  Online Sampling(在线等可能K采样)
 *  Ratio-based Sampling(等比例随机采样)
 *  Acceptance-rejection Sampling(接受-拒绝采样)
 *  Importance Sampling(重要性采样)
 *  MCMC(Markov Chain MonteCarlo 马尔科夫蒙特卡罗采样算法：Metropolis-Hasting& Gibbs)

## Clustering(聚类)： ##

*  K-MeansK-Mediods
 *  二分K-Means
 *  FK-Means
 *  Canopy
 *  Spectral-KMeans(谱聚类)
 *  GMM-EM(混合高斯模型-期望最大化算法解决)
 *  K-Pototypes
 *  CLARANS(基于划分)
 *  BIRCH(基于层次)
 *  CURE(基于层次)
 *  STING(基于网格)
 *  CLIQUE(基于密度和基于网格)
 *  2014年Science上的密度聚类算法等

## Clustering Effectiveness Evaluation(聚类效果评估)： ##

*  Purity(纯度)
 *  RI(Rand Index, 芮氏指标)
 *  ARI(Adjusted Rand Index, 调整的芮氏指标)
 *  NMI(Normalized Mutual Information, 规范化互信息)
 *  F-meaure(F测量)

## Classification&Regression(分类&回归)： ##

*  LR(Linear Regression, 线性回归)
 *  LR(Logistic Regression, 逻辑回归)
 *  SR(Softmax Regression, 多分类逻辑回归)
 *  GLM(Generalized Linear Model, 广义线性模型)
 *  RR(Ridge Regression, 岭回归/L2正则最小二乘回归)，LASSO(Least Absolute Shrinkage and Selectionator Operator , L1正则最小二乘回归)
 *  DT(Decision Tree决策树)
 *  RF(Random Forest, 随机森林)
 *  GBDT(Gradient Boosting Decision Tree, 梯度下降决策树)
 *  CART(Classification And Regression Tree 分类回归树)
 *  KNN(K-Nearest Neighbor, K近邻)
 *  SVM(Support Vector Machine, 支持向量机, 包括SVC(分类)&SVR(回归))
 *  CBA(Classification based on Association Rule, 基于关联规则的分类)
 *  KF(Kernel Function, 核函数)  
    
    
     *  Polynomial Kernel Function(多项式核函数)
     *  Guassian Kernel Function(高斯核函数)
     *  Radial Basis Function(RBF径向基函数)
     *  String Kernel Function 字符串核函数
 *  NB(Naive Bayesian,朴素贝叶斯)
 *  BN(Bayesian Network/Bayesian Belief Network/Belief Network 贝叶斯网络/贝叶斯信度网络/信念网络)
 *  LDA(Linear Discriminant Analysis/Fisher Linear Discriminant 线性判别分析/Fisher线性判别)
 *  EL(Ensemble Learning, 集成学习)  
    
    
     *  Boosting
     *  Bagging
     *  Stacking
     *  AdaBoost(Adaptive Boosting 自适应增强)
 *  MEM(Maximum Entropy Model, 最大熵模型)

## Classification EffectivenessEvaluation(分类效果评估)： ##

*  Confusion Matrix(混淆矩阵)
 *  Precision(精确度)
 *  Recall(召回率)
 *  Accuracy(准确率)
 *  F-score(F得分)
 *  ROC Curve(ROC曲线)
 *  AUC(AUC面积)
 *  Lift Curve(Lift曲线)
 *  KS Curve(KS曲线)

## PGM(Probabilistic Graphical Models, 概率图模型)： ##

*  BN(BayesianNetwork/Bayesian Belief Network/ Belief Network , 贝叶斯网络/贝叶斯信度网络/信念网络)
 *  MC(Markov Chain, 马尔科夫链)
 *  MEM(Maximum Entropy Model, 最大熵模型)
 *  HMM(Hidden Markov Model, 马尔科夫模型)
 *  MEMM(Maximum Entropy Markov Model, 最大熵马尔科夫模型)
 *  CRF(Conditional Random Field,条件随机场)
 *  MRF(Markov Random Field, 马尔科夫随机场)
 *  Viterbi(维特比算法)

## NN(Neural Network, 神经网络) ##

*  ANN(Artificial Neural Network, 人工神经网络)
 *  SNN(Static Neural Network, 静态神经网络)
 *  BP(Error Back Propagation, 误差反向传播)
 *  HN(Hopfield Network)
 *  DNN(Dynamic Neural Network, 动态神经网络)
 *  RNN(Recurrent Neural Network, 循环神经网络)
 *  SRN(Simple Recurrent Network, 简单的循环神经网络)
 *  ESN(Echo State Network, 回声状态网络)
 *  LSTM(Long Short Term Memory, 长短记忆神经网络)
 *  CW-RNN(Clockwork-Recurrent Neural Network, 时钟驱动循环神经网络, 2014ICML）等.

## Deep Learning(深度学习)： ##

*  Auto-encoder(自动编码器)
 *  SAE(Stacked Auto-encoders堆叠自动编码器)  
    
    
     *  Sparse Auto-encoders(稀疏自动编码器)
     *  Denoising Auto-encoders(去噪自动编码器)
     *  Contractive Auto-encoders(收缩自动编码器)
 *  RBM(Restricted Boltzmann Machine, 受限玻尔兹曼机)
 *  DBN(Deep Belief Network, 深度信念网络)
 *  CNN(Convolutional Neural Network, 卷积神经网络)
 *  Word2Vec(词向量学习模型)

## Dimensionality Reduction(降维)： ##

*  LDA(Linear Discriminant Analysis/Fisher Linear Discriminant, 线性判别分析/Fish线性判别)
 *  PCA(Principal Component Analysis, 主成分分析)
 *  ICA(Independent Component Analysis, 独立成分分析)
 *  SVD(Singular Value Decomposition 奇异值分解)
 *  FA(Factor Analysis 因子分析法)

## Text Mining(文本挖掘)： ##

*  VSM(Vector Space Model, 向量空间模型)
 *  Word2Vec(词向量学习模型)
 *  TF(Term Frequency, 词频)
 *  TF-IDF(TermFrequency-Inverse Document Frequency, 词频-逆向文档频率)
 *  MI(Mutual Information, 互信息)
 *  ECE(Expected Cross Entropy, 期望交叉熵)
 *  QEMI(二次信息熵)
 *  IG(Information Gain, 信息增益)
 *  IGR(Information Gain Ratio, 信息增益率)
 *  Gini(基尼系数)
 *  x2 Statistic(x2统计量)
 *  TEW(Text Evidence Weight, 文本证据权)
 *  OR(Odds Ratio, 优势率)
 *  N-Gram Model
 *  LSA(Latent Semantic Analysis, 潜在语义分析)
 *  PLSA(Probabilistic Latent Semantic Analysis, 基于概率的潜在语义分析)
 *  LDA(Latent Dirichlet Allocation, 潜在狄利克雷模型)
 *  SLM(Statistical Language Model, 统计语言模型)
 *  NPLM(Neural Probabilistic Language Model, 神经概率语言模型)
 *  CBOW(Continuous Bag of Words Model, 连续词袋模型)
 *  Skip-gram(Skip-gram Model)

## Association Mining(关联挖掘)： ##

*  Apriori算法
 *  FP-growth(Frequency Pattern Tree Growth, 频繁模式树生长算法)
 *  MSApriori(Multi Support-based Apriori, 基于多支持度的Apriori算法)
 *  GSpan(Graph-based Substructure Pattern Mining, 频繁子图挖掘)

## Sequential Patterns Analysis(序列模式分析) ##

*  AprioriAll
 *  Spade
 *  GSP(Generalized Sequential Patterns, 广义序列模式)
 *  PrefixSpan

## Forecast(预测) ##

*  LR(Linear Regression, 线性回归)
 *  SVR(Support Vector Regression, 支持向量机回归)
 *  ARIMA(Autoregressive Integrated Moving Average Model, 自回归积分滑动平均模型)
 *  GM(Gray Model, 灰色模型)
 *  BPNN(BP Neural Network, 反向传播神经网络)
 *  SRN(Simple Recurrent Network, 简单循环神经网络)
 *  LSTM(Long Short Term Memory, 长短记忆神经网络)
 *  CW-RNN(Clockwork Recurrent Neural Network, 时钟驱动循环神经网络)
 *  ……

## Linked Analysis(链接分析) ##

*  HITS(Hyperlink-Induced Topic Search, 基于超链接的主题检索算法)
 *  PageRank(网页排名)

## Recommendation Engine(推荐引擎)： ##

*  SVD
 *  Slope One
 *  DBR(Demographic-based Recommendation, 基于人口统计学的推荐)
 *  CBR(Context-based Recommendation, 基于内容的推荐)
 *  CF(Collaborative Filtering, 协同过滤)
 *  UCF(User-based Collaborative Filtering Recommendation, 基于用户的协同过滤推荐)
 *  ICF(Item-based Collaborative Filtering Recommendation, 基于项目的协同过滤推荐)

## Similarity Measure&Distance Measure(相似性与距离度量)： ##

*  EuclideanDistance(欧式距离)
 *  Chebyshev Distance(切比雪夫距离)
 *  Minkowski Distance(闵可夫斯基距离)
 *  Standardized EuclideanDistance(标准化欧氏距离)
 *  Mahalanobis Distance(马氏距离)
 *  Cos(Cosine, 余弦)
 *  Hamming Distance/Edit Distance(汉明距离/编辑距离)
 *  Jaccard Distance(杰卡德距离)
 *  Correlation Coefficient Distance(相关系数距离)
 *  Information Entropy(信息熵)
 *  KL(Kullback-Leibler Divergence, KL散度/Relative Entropy, 相对熵)

## Optimization(最优化)： ##

### Non-constrained Optimization(无约束优化)： ###

*  Cyclic Variable Methods(变量轮换法)
 *  Variable Simplex Methods(可变单纯形法)
 *  Newton Methods(牛顿法)
 *  Quasi-Newton Methods(拟牛顿法)
 *  Conjugate Gradient Methods(共轭梯度法)。

### Constrained Optimization(有约束优化)： ###

*  Approximation Programming Methods(近似规划法)
 *  Penalty Function Methods(罚函数法)
 *  Multiplier Methods(乘子法)。
 *  Heuristic Algorithm(启发式算法)
 *  SA(Simulated Annealing, 模拟退火算法)
 *  GA(Genetic Algorithm, 遗传算法)
 *  ACO(Ant Colony Optimization, 蚁群算法)

## Feature Selection(特征选择)： ##

*  Mutual Information(互信息)
 *  Document Frequence(文档频率)
 *  Information Gain(信息增益)
 *  Chi-squared Test(卡方检验)
 *  Gini(基尼系数)

## Outlier Detection(异常点检测)： ##

*  Statistic-based(基于统计)
 *  Density-based(基于密度)
 *  Clustering-based(基于聚类)。

## Learning to Rank(基于学习的排序)： ##

*  Pointwise  
    
    
     *  McRank
 *  Pairwise  
    
    
     *  RankingSVM
     *  RankNet
     *  Frank
     *  RankBoost；
 *  Listwise  
    
    
     *  AdaRank
     *  SoftRank
     *  LamdaMART

## Tool(工具)： ##

*  MPI
 *  Hadoop生态圈
 *  Spark
 *  IGraph
 *  BSP
 *  Weka
 *  Mahout
 *  Scikit-learn
 *  PyBrain
 *  Theano  
    …

## 以及一些具体的业务场景与case… ##