1. Main topics
   1. Entropy and Information gain 
      1. https://www.youtube.com/watch?v=IPkRVpXtbdY
   2. Train / test split 
      1. https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html
   3. K-fold cross-validation 
      1. http://scikit-learn.org/stable/modules/cross_validation.html
   4. Hyper parameters and Grid search 
      1. http://scikit-learn.org/stable/modules/grid_search.html
      2. https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html
   5. Roc- curve
      1. https://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html
2. my Jupiter notebooks
   1. https://gist.github.com/DaryaManuhina
   2. https://gist.github.com/DaryaManuhina/0b92e59c8cbb0506c9c0c4cc8156ff08
3. Accuracy, Precision, Recall and F-score
   1. Accuracy
      1. TP+TN/(TP+TN+FP+FN)
      2. доля правильных ответов алгоритма
         1. бесполезна в задачах с неравными классами
   2. Precision
      1. TP/(TP+FP)
         1. True Positive
         2. False Positive
      2. Точность
         1. насколько хорошо получается находить положительные классы, не переплачивая за это ложными срабатываниями
            1. precision = не прихватить лишнее
         2. не отвечает на вопрос
            1. насколько в целом хорошо получилось находить все положительные примеры
         3. https://scikit-learn.org/stable/modules/generated/sklearn.metrics.precision_score.html#sklearn.metrics.precision_score
   3. Recall
      1. TP/(TP+FN)
         1. True Positive
         2. False Negative
      2. Полнота
         1. насколько в целом мы можем находить все положительные примеры
            1. recall = не пропустить нужное
         2. Вопрос
            1. правла ли мы нашли всех представителей положительного класса
         3. не несет не какой информации какую цену переплатили мы
         4. https://scikit-learn.org/stable/modules/generated/sklearn.metrics.recall_score.html#sklearn.metrics.recall_score
   4. F-score
      1. F-мера - гармоническое среднее между точностью и полнотой. Cтремится к нулю, если точность или полнота стремится к нулю
      2. F1 = 2 * (Precision * Recall) / (Precision + Recall)
      3. https://scikit-learn.org/stable/modules/generated/sklearn.metrics.f1_score.html
   5. It will be interesting
      1. Confusion matrix¶
         1. формат представления предсказания модели и реальных исходов
            1. https://scikit-learn.org/stable/auto_examples/model_selection/plot_confusion_matrix.html
      2. Classification: True vs. False and Positive vs. Negative
         1. https://developers.google.com/machine-learning/crash-course/classification/true-false-positive-negative
   6. Let's count
      1. import sklearn precision = sklearn.metrics.precision_score([15,30], [15,40], average='micro', zero_division=1) recall = sklearn.metrics.precision_score([15,30], [15,40], average='macro') F1= precision * recall * 2 / (precision + recall)
   7. полностью изолированы друг от друга
4. Sources
   1. "Popular Classification Models for Machine Learning"
      1. https://www.analyticsvidhya.com/blog/2020/11/popular-classification-models-for-machine-learning/
   2. Открытый курс машинного обучения. "Тема 3. Классификация, деревья решений и метод ближайших соседей"
      1. https://habr.com/ru/company/ods/blog/322534/
   3. "Lets Open the Black Box of Random Forests"
      1. https://www.analyticsvidhya.com/blog/2020/12/lets-open-the-black-box-of-random-forests/
   4. Курс "Введение в Data Science и машинное обучение"
      1. https://stepik.org/course/4852/syllabus
      2. https://github.com/dgokondra/stepik_pandas_notebooks.github.io
   5. Метрики в задачах машинного обучения
      1. https://habr.com/ru/company/ods/blog/328372/
   6. scikit-learn.org
      1. https://scikit-learn.org/stable/auto_examples/model_selection/plot_precision_recall.html
      2. https://scikit-learn.org/stable/modules/generated/sklearn.metrics.f1_score.html
      3. https://scikit-learn.org/stable/modules/tree.html
      4. https://scikit-learn.org/stable/modules/cross_validation.html