1. 機械學習 Supervised Learning
   1. Supervised Learning
      1. 餵資料讓電腦學出規則
      2. 同時可以INPUT 跟OUTPUT
         1. X input
         2. Y output
      3. 1類,Classfication 預測的目標是類別型的變數
         1. 男女/EMAIL類別
      4. 2類, Regression (回歸曲線) 預測的目標是實數
         1. 股價
         2. 身高值
      5. 搜尋引擎
      6. 對input 與output之間有比較確定的"老師"去告訴你資料是什麼
      7. 3. Clustering
      8. 4. Probabilistic Graphical Model
      9. 5. Transfer learning
         1. 把過去的資料領域轉換到另一個相似的領域
      10. 6. Multi-label learning
          1. 同時有多個標簽類別
      11. 7. Multi-instance learning
      12. 8. Cost-sensitive leering
          1. 正樣本跟負樣本猜錯時的代價會非常大差距時(例如人是否生什麼病)
      13. 9. Active learning
          1. 資料裡有標注的資料也有沒有標注的資料時，希望能都使用或優化沒有標注的資料時
      14. 10. Semi-supervised learning
   2. Differend type of output
      1. 需要用大量的INPUT資料去TRAIN出讓電腦判斷的規則，產出OUTPUT結果
   3. Terminology
      1. training data
      2. test data
         1. 測試train出的模型效果與效能
      3. Features
         1. 給定特定的資料input
         2. 又叫Attributes
         3. Target Variable (預測的目標)
            1. Classification
      4. Example
         1. 分支主題 1
   4. Unsupervised Learning
      1. 沒有Y(不知道預測的目標)
      2. 大量的X FEATURE
   5. A variety of ML Tasks
      1. 1.Classification
         1. 1/2
            1. C=2 Binary CF(classification)
            2. C>2 Multi-class CF
            3. Linear or non-linear
         2. Example
            1. 想辦法找到規則的
            2. E-mail spam check
            3. 用決策樹想辦法找到一個規則
      2. 2.Regression
         1. linear regression
         2. support vector regression
         3. Example -股價預測
      3. 3.Clustering
         1. 沒有標準答案
         2. Unsupervised Learning
            1. 沒有Y(不知道預測的目標)
            2. 大量的X FEATURE
         3. 把資料分成多個群
         4. 沒有特定的分群方式
      4. others
   6. Overfitting Vs underfitting
      1. Overfitting
         1. 過度複雜的訓練資料
         2. 造成模型過度複雜
      2. 理想值
      3. Underfitting
         1. 資料太簡單
   7. Quiz
   8. The Following Schedules
      1. Simple
         1. Unsupervised Learning
         2. supervised Learning
         3. KNN and K-means
   9. KNN
      1. Example of movie type classification
      2. K Nearest Neighbour(KNN)
         1. 找多少個Neighbour? = K
         2. K= 超參數(由人所給與的參數)
         3. 參數=>自已會學習的參數(一般在AI領域的用法)
         4. K=1 & K=4時 同一筆資料會被認為是不同的資料分群
      3. KNN Classifier
         1. how to select K
            1. K 太小時 EX取1 , OVER FITTING
            2. K 太大時 EX K取150 , Under FITTING
            3. Overfitting Vs underfitting
            4. Overfitting
            5. K太小
            6. 理想值
            7. Underfitting
            8. K太大
         2. Discussion
            1. How to select K
            2. How Fast for Model training/testing?
            3. 即時效上的要求
            4. 需要測試的程度跟測試的複雜度
            5. 依實際的案例決定作法
            6. 事先作好分類的資料結構
            7. 如何加速?
            8. how to measure "distance"?
            9. 是否適合適用歐式距離的計算方式?
            10. Can we appoly Knn when some features are categorical? (目前較為困難, 除非能定義點跟點之間的距離)
            11. Can we use KNN to do regression?
         3. Discussion
            1. why feature normalization?
            2. 需要將資料的散布維度變成是相似距離的分布
         4. Quiz
            1. trainning Data
            2. x=height ,y=gender
      4. K-means
         1. KNN(有要預測的目標)
         2. 分群(沒有要預測的目標)
      5. 需要比較低的建立MODEL Training時間
      6. 需要的測試時間較高
   10. Decision
       1. Decision Tree
          1. Training Set
          2. Learned Decision Tree(如何根據資料產生出決策樹)
          3. How do make Tree?
          4. 需要比較高的training時間
          5. 需要的測試時間較少
          6. primary issues in tree construction
             1. Expected information (Entropy)
             2. 用亂度來作為決策樹產生方式
             3. Entropy = 0 時資料最為乾淨
             4. 用不同的參數作為分群的決策樹判斷, 測出亂度
             5. 從分群後的資料亂度 減掉 原本資料的亂度, 看亂度進步的程度愈高者優先做為分群的參數
             6. ID3 Entropy
             7. Attribute selection
             8. Example use (AGE)
             9. income
             10. student
             11. credit_rating
             12. AGE(分成3群)
             13. youth
             14. middle_age
             15. Senior
             16. Gini-Index
             17. 目前比較常見
             18. 因為計算效率上較高
             19. 不一樣的條件的決策規則就有不同的
       2. Random forest( Muti Tree)
          1. 很多顆樹合在一起的結果
          2. 1.每顆樹只用一部份的FEATURE
          3. 2.每顆樹都只能用一部份的TRAINING DATA
             1. 同1萬筆資料但放入重新再取資料
          4. 3.用多數決的方式去看10顆樹的預測結果
          5. 實務上很好用
          6. =Like XG bost?
          7. XOR => A & B都有時
             1. 決策樹的順序在特定情況時會不適用
             2. 是很短視近利式的判斷模式（當第一步是Ａ或Ｂ時都會最佳化，但Ｃ（以ＸＯＲ為例）Ｃ＝Ａ跟Ｂ的交集時才會是最適合的，但決策樹無法判斷類似此類因順序不同而有不同的最佳解的狀況
          8. 如果希望決策樹能解決短視近利的問題，那可能會在每一個判斷環節都要作全ＤＡＴＡ的重覆比對的判斷，Training所需要花費的代價可能會增大非常多
   11. Linear Regression (打不出曲線的代表符號所以用ð代替)
       1. Define the form of the function f(x) explicitly
          1. – If you believe that x and y have a non-linear relationship,
          2. you should assume a non-linear f(x)
       2. Find a good f(x) within that family
          1. – i.e. find good θ0 and θ1 such that "
       3. 預測的Y跟實際觀測到的Y之間的距離=>Measuring ERROR
       4. Simple linear regression
          1. • For now, assume just one (input) independent variable x, and
             1. – Multiple linear regression assumes an input vector
       5. one (output) dependent variable y
       6. Multiple Linear Regression
          1. X
          2. Totle solution
          3. 找到每一個決策樹
       7. FINDING Good parameters
       8. Gradient Descent
          1. Gradient Descent
          2. Learning Rate =需漸漸給小
       9. 曲線ð
          1. Overfitting Vs underfitting
             1. Overfitting
             2. d = 9
             3. 理想值
             4. d=3
             5. Underfitting
       10. Consider Using Close for solution
           1. 需要極大量的資料
           2. 需要高度的運算資源與儲存空間還有機器
           3. 資料量不多的情況可以考慮
       11. Consider Using Gradient Descent(GD)
           1. Required space
              1. X=[x]
              2. y
              3. ð feature
              4. Z
              5. If n = 1M(百萬)
              6. 少於80GB 的公式解的空間需求
           2. 效能極大化優於公式解
           3. 對於無法用公式解的問題(無法定義出公式)
       12. Quiz
           1. If the features are all categorical
           2. – Can you apply linear regression?
           3. – Can you apply decision tree?
           4. – Can you apply knn?
           5. • If all features are numerical, which one runs faster during “test” phase?
           6. – Linear regression? Decision tree? KNN?
              1. 1.liner regression
              2. 2.decision tree? (如果不會重覆拜訪太多時也許比較快)
              3. 3.KNN(肯定最慢)
       13. When to stop updating?
           1. • Possible stopping criteria:
           2. – Improvement drops (e.g., < 0)
           3. – Reached small error
           4. – Achieved predefined # of iterations
       14. Regularization to avoid overfitting
           1. 正規化
       15. Regularized linear regression
           1. 正規化的線性回歸值怎麼取?
           2. 最常用 Ridge Regression
           3. 最常用 Laso Regression
              1. 取絕對值
              2. 能讓ð值能容易變成零
              3. 比較能取得Feature
       16. how to select <landa>?
           1. 用實驗的方法決定
           2. 跟線性回歸值ð的方式類似，先隨意給一個值再去跑測試
       17. Stochastic gradient descent (SGD) –motivation
           1. ð值希望求出愈小愈好
       18. Gradient Descent
           1. Gradient Descent(GD) look all training
           2. SGD 1 time look one data training
              1. 資料量非常大但只需要一部份資料就能求出曲線ð的時候SGD有比較大優勢
              2. Supports online learning
           3. Mini-batch gradient descent
              1. 介於SD與SGD之間的數量
              2. 通常最常用這個方式作Gradient Descent
              3. 一次要用多少筆資料(用Batch)
   12. Evaluation (regression)
       1. Evaluating regression models
          1. Mean square ERROR(MSE)
             1. 預測的準時, 不準的值會被放大
             2. 對平方值的ERROR狀況作處理(特別誇張的數值)
          2. Mean Absolute Error (MAE)
          3. Median Absolute Error (MedAE)
             1. 取絕對值的中間值，比較不會被極端值影響
          4. • R2 score (coefficient of determination)
             1. 平方和
             2. 用來比較你的Model跟另一個mean Model(比較差的)作比較
             3. 分母是mean model 分子是自已的 model(都取平方和)
             4. R2愈接近於1時效果愈好
             5. 最大值為1(最好)
             6. 最小值接近於負無限大
          5. A closer look of R2 score (coefficient of determination)
   13. Logistic Regression( Classfication 的方式 )
       1. Classification by linear regression?
       2. 能否找到一條曲線(ð)去預測腫瘤的分類方法?
       3. 但會受到許多極端值的影響
       4. Logistic Function
          1. y=公式解
          2. 取得S-shaped 的curve
          3. 讓曲線愈接近
       5. 希望找到對的ð0跟ð1
       6. 用預測值跟實際值的距離有多少來判斷MODEL
       7. 因為會接近於0到1之間, 所以接近於機率的計算方式
       8. Probability and likelihood
          1. 三條公式是對每一筆TRAINING DATA的y=1 或y =0的機率是多少?
          2. 整個 traindata (觀察到的整個Traindata的資料)
          3. 找到對的ð0跟ð1
       9. Likelihood and log likelihood
          1. 最log(最大)=logð
          2. 取LOG後的數值仍然可以保持跟LOG前的曲線相近
          3. 取LOG的好處, 相乘變相加, 會加快
          4. 數值上會比較容易讓最後的值變成接近零
          5. 數值上的原因讓計算的資源可以大量的減化
          6. 找到最大的值的負值=>等於最小值的ð,所以讓LOGð加上負值
          7. 目標要求得最佳ð的值
          8. 負的最大化的LOGð=“cross entropy loss”
          9. 怎樣定義接近
             1. 在linear regression時是要取得最小的ð值
             2. 在Logistic Regression時會取得最大的ð值
          10. 可用L1 or L2 mode
          11. 要一直對ð作最佳化的UPDATE
       10. Quizzes
           1. Stochastic gradient descent for online learning a batch learning algorithm?
       11. A few words on SVM
           1. SVM: Support vector machines
           2. lost function is =>錯誤在可容忍的範圍時就當成是沒有錯誤( 零)
           3. Loss functions
              1. hinge loss
              2. square hinge loss
              3. logistic loss
           4. Non-linear feature mapping by kernel trick
              1. 一般要加非線性資料時用人工的方式生成非線性的資料(EX 兩兩相乘)會大量的增加資料量跟運算量
              2. 可能可以產生無限維的資料的ð值?(意思也許是可以自動生成大量的自動生成大量的資料?)
           5. 心得?
              1. <心得>上一堂的統計課中的離群值計算可以套用?
              2. 可能可以產生無限維的資料的ð值?(意思或許是可以自動生成大量的自動生成大量的資料?)
   14. Classification metrics
       1. • Accuracy
       2. • Precision
          1. Confusion matrix
          2. 猜是正的而且是正確的比例有多少?
          3. 若故意只回傳有信心的正樣本則正確比就會高(危險的狀況)
       3. • Recall
          1. 所有正樣本裡有多少被猜中是正的?(以搜尋引擎為例)
          2. 如果全部的預測都回傳為正的就等於完全猜中(危險的狀況)(與Precision 是Trade off的相對關係)
       4. • F1 score
          1. 分支主題 1
       5. • Precision recall curve
       6. • ROC curve and AUC
          1. 性質:若正樣本10%,負樣本90%, 則永遠猜樣本多的就會對
          2. 若預測效果曲線愈靠近則愈貼近於曲線的左側
          3. 即使分佈不平均, 有ROC CURVE 就能計算AUC
             1. 猜的愈接近0表示猜的愈不好
             2. 如果永遠猜多數 AUC=接近於0.5
             3. 最理想的狀況
             4. AUC=1
   15. Data Preprocessing
       1. 若某個值有3個FEATURE
       2. We may encode UK as “1,0,0”, Japan as “0,1,0”,and “Maxico” as “0,0,1”
          1. 若直接用1,2,3分類, 則等同於假設距離是固定的
       3. 如何把 encode categorical features by natural numbers?
   16. Selecting hyper-parameters
       1. • Grid search
          1. – A fancy name of exhaustive search
          2. – Manually specify subset of the hyper-parameter space and step size
          3. – Try all parameter combinations and check their performance (by cross-validation)
       2. • Random search
          1. – Surprisingly good performance
          2. • Among the tunable parameters, important ones are only a few
       3. Bayesian optimization
          1. – Iteratively picking hyper-parameters for experiments
       4. 關鍵的資料TRAINING的流程與結構圖
   17. Multi-class classification
       1. • Leverage on binary classifiers
          1. – One-vs.-rest (aka one-vs-all)
          2. – One-vs.-one
       2. • Other methods
          1. – Decision trees
          2. – KNN
          3. – Neural networks
   18. Bias Vs Variance
       1. overfitting and underfitting 如何找到?
       2. Bias
          1. model 太簡單 到F的距離為BIAS, 不容易到到F
          2. 訓練的樣本數不夠多, 則可能資料不符合大多數
       3. Data size vs model complexity
   19. Model Selection
       1. Model selection的方式
       2. • Domain knowledge is important
          1. – If you know the relationship between x and y is linear,why choose quadratic?
       3. • Algorithm selection is important
          1. – complex enough to fit the training data well, and
          2. – simple enough to prevent overfitting
       4. • Data size is important
          1. – Applying complex models on small data tends to over- fitting
          2. – Applying simple models on massive data tends to under-fitting
   20. Q&A
       1. Training data & testing data 的分別與差異?
          1. 要小心不能把不該把時間序裡的資料(例如未來的資料放到現在的資料中)
          2. 切DATA的時候, TRAINING DATA應該要事先先作
          3. 資料的Y值最好是相似的
       2. 在作類別的分類時
          1. 資料隨著時間類別會增加的狀況時? 可能不太適用於Supervised Learning
       3. 案例( 將SVM架構化的資料變成 符合, 將FEATURE都作了normalization
2. 案例分享1
   1. 對每個頁面作權重評分
   2. 網路世界的資訊
      1. 頁面分數
      2. 持續停留的時間
      3. 點擊的次數
      4. 再返回的次數
   3. 用新的變數提升模型表現
   4. 設備故障檢測分析
      1. 航空公司
         1. 最後一哩路的故障檢測
         2. 面臨挑戰
            1. 何時需要換零件的"最後一哩路"
            2. 非預測的維修支出是大的成本費用
            3. 傳統資料分析僅
         3. 利用路徑分析
            1. 將時間序放入分析
            2. 在事件與事件之間的時間序放入
   5. 企業網路安全分析
      1. Cyber Security Intelligence?
      2. 找到
      3. 每個人的設備在瀏覽過的網站形成的路徑進行分析
      4. 用路徑相似度作分群與分析
      5. 觀察已知的感染病毒的機器的網路節點的次數
      6. 下班後最好能關掉電腦避免被當作跳板
      7. 連線的平均路徑比一般使用者長
      8. 先內部CHECK是否是白名單裡的網站
      9. 再外部CHECK重要的網站節點是否有問題?
      10. 分析出分群的結果反饋
   6. 金融反詐欺分析
      1. 詐欺的PATTEN很難找出
      2. 99.5%的誤報比例
      3. 低檢出率
      4. 快速演進的詐欺手法( 不同手法不容易判斷 )
      5. 怎麼把交易變成圖片?
         1. Input 把交易的資訊輸入
         2. Raw features 找出前八大關聯性資料的關聯
         3. 用強關聯的資料, 針對每個人的交易去產出強關聯的資料圖像
         4. 成功的偵測率提高50%
         5. 用八個不同的循迴去作演算法的優化
      6. 整合線上交易
   7. 結論
      1. 如何建立一個優質的資料平台
      2. 資料架構
         1. 如何建立一個邏輯式的資料中心平台
      3. 資料模型
         1. 跟據特定業務才去取相關的資料
      4. 資料品質
         1. 透過使用者經驗與業務規則，建立資料的分析程序，並將問題反映給前端系統負責人員
      5. 資料分析
         1. 首重價值性問題的反應
      6. 資料呈現
      7. ＡＩＡ總校資料的
         1. 視覺化呈現
         2. Data Analytics is a perpetual Project
3. 案例分享2 The Reality of data competition
   1. Outline
   2. Netflix Prize
      1. 問題: 如果比賽辦3年(增加推建的精準度)
      2. 1.3年的時間 百萬獎金大懸賞
      3. 2.使用者體驗的研發外包絕佳案例
      4. 3.競賽與實務上的差異
   3. Life cycle of data competition
      1. enterprise
         1. Netflix
         2. Airbnb
         3. google
         4. kkBOX
      2. data
         1. image
         2. text
         3. User Behavior
      3. solution
         1. 影像相關的解法
         2. Forum 的sharing
      4. participant
         1. 專案領域研究者
         2. 工程師
   4. what to learn
      1. participant
      2. data provider
         1. how to define our problem
         2. how to prepare the data
         3. let more people know the data we have
         4. what's the most appropriate way to solve the problem
         5. 對一個問題該怎樣好好去處理
   5. Data Competition
      1. Machine learning
         1. price prediction
         2. user classification
         3. recommendation
         4. 得到Training Process
            1. 資料提供方希望
      2. Deep learning
         1. NLP
         2. Image Classification
         3. object detection
         4. 可以得到Feature Engineering
            1. 要餵什麼樣的資料進去?
            2. 要能變成TABLE類的DATA
   6. Process of data science
      1. define problem
         1. define metrics
            1. data exploration
            2. Model building
            3. Model Evaluation
            4. Model Testing
            5. process
      2. define problem
         1. fine the problem
         2. translate the problem
      3. Evaluation Metrics
         1. 實務上可能不只在乎推建的精準度
         2. 希望用戶看到的東西是愈多愈好, 能有驚奇的效果
         3. 所以會希望能在推建時精準度不要下降太多但能增加其它想達到的效果比如更有趣, 更多產品被看見
      4. Data Exploration
         1. 了解我們的資料
         2. 變成內部服務時會有不同的時間區段的問
         3. 資料的使用情境會各自有不同的情況發生
      5. Model Building
         1. 很難知道模型從中學到什麼?
         2. 為什麼熱狗賣的變差了?
            1. Bread
            2. flavor
            3. sauce
            4. Weather
            5. Location
         3. 找出模型在建模的過程中得到
      6. Simple/complex(feature/model)
         1. feature
            1. simple
            2. complex
         2. model
            1. simple
            2. 容易被implement or debug
            3. Logistic Regressing
            4. complex
         3. Production
            1. 要在模型的成效跟複雜度之間作做權衡
         4. Computation effort
         5. Difficulty of implementation
         6. Difficulty of explanation
         7. "Simple is GOOD"
      7. the Difference in character
         1. Data Scientist Definition
         2. Data Product Pipeline
            1. ETL
            2. DATA的整合與整理
            3. Model Building
            4. 個別的分析
            5. Analytics
            6. 成為一個 produce
         3. Data Product Characters
            1. data engineer
            2. Machine learning Engineer
            3. Data Scientist
            4. Business Analyst
      8. Summary
         1. 什麼是資料競賽
   7. User 使用者行為分析
      1. 一開始用戶在什麼時間點聽什麼歌
      2. 滑動的頻率非常高時?
      3. 點擊的次數
      4. 操作的變動
      5. 時間點的不同?
      6. 把時間點收集再作分群
      7. 頁面層級的分層
      8. 要設定一些假設的使用者情境
      9. DATA整合的方法, 對齊資料的方式
4. 案例分享Whoscall
   1. 2016年(思考獲利)
   2. 考慮到離線或網路不好的環境下如何內建
   3. 很大的資料庫的VALUE
      1. platform
      2. phone
      3. telco
      4. IOT
      5. Government
   4. 詐騙集團的範例
      1. 為什麼會有斷離的時間區段?
      2. 因為罪犯會去熱身
   5. Business Models
      1. 核心價值在對電話號碼的理解
      2. 9成的營收靠廣告
      3. 怎麼去協助其它人?
         1. 該接的電話但沒有被容易識別的方式
         2. 告訴消費者這個號碼是該去接的
         3. 普遍的電話接通率是3成
         4. 商業電話接通的效率是很低的，所以作了 Whoscall ANSWER
         5. 電話助理
   6. Trust as a Serveice
      1. 辨視AI的技術
      2. AI Strategy
      3. How to upgrade whoscall
         1. Call Embedding Via Deepwalk
         2. Frauddetector 2.0
            1. 初期誤報率過高
      4. Offline Database
      5. Personalized Database
         1. Deepwalk+Kmeans分成150群
         2. 分群後Hit rate =>1.8% & 1.2%的提升率
      6. 資料分析之前需要的
         1. Big data company in facts
         2. 清理資料
         3. 資料在分析之前需要先被整理
         4. 錯誤的資料=>沒有資料
      7. Robot call
         1. 愈快回價值愈高
         2. 判斷電話號碼是不是活著的
      8. 如何判斷Y?
         1. 以回報率來判斷
         2. 時間
         3. 頻率
         4. 量
         5. 特殊的行為
         6. 先作預測/ 再交由人確認
      9. 電話的屬性
         1. 由電話的特別行為的特徵屬性上作判斷的辨別
      10. Phone number 最初不是拿來用作ID,但現在大量的被使用