1. 前言
   1. 當成本不再是負擔，大數據將實現哪些可能？
   2. 人們每天上傳至雲端的檔案數量
      1. 多達一億張相片
         1. 十億份文件
      2. 更別提數位影音
         1. 交易
            1. 生物醫療
      3. 每天全球所創造的資料量
         1. 高達2.5艾位元組
            1. (exabyes, 即1000,000,000,000,000,000)。
   3. 但資料量大就是大數據嗎?
      1. 究竟什麼是大數據?
         1. 又為何大數據會在近幾年突然興盛起來？
            1. 時常耳聞的
            2. Hadoop
            3. MapReduce
            4. Spark
            5. 技術
            6. 又是什麼呢？
   4. 今天
      1. 就讓我們來聊聊什麼是大數據
         1. (Big Data)。
2. 大數據的源起
   1. 「儲存成本」
      1. 「資料取得成本」
         1. 因科技進步而大幅下降
            1. 造就了這個年代大數據的興起
   2. 30年前
      1. 1TB檔案存儲的成本為16億美金
         1. 如今一個1TB的硬碟不到100美金
      2. 同時間
         1. 全球各行業的資料量成長
            1. 更是急速攀升
         2. 根據預估
            1. 從2013年至2020年
            2. 將成長10倍的資料量
            3. 資料總量將從4.4ZB增加至44ZB。
   3. 以天文學為例
      1. 2000年美國太空總署
         1. 在新墨西哥州
            1. 發起的史隆數位化巡天
            2. (Sloan Digital Sky Survey)
            3. 專案啟動時
      2. 望遠鏡在短短幾周內收集到的資料
         1. 已經比天文學歷史上總共收集的資料還要多。
   4. 在生物醫學領域
      1. 新型的基因儀三天內
         1. 即可測序1.8 TB的量
      2. 使的以往傳統定序方法
         1. 需花10年的工作
            1. 現在1天即可完成
   5. 在金融領域
      1. 以銀行卡
         1. 股票
            1. 外匯等
            2. 金融業務為例
      2. 該類業務的交易峰值每秒可達萬筆之上。
   6. Google
      1. 每天要處理超過24 千兆位元組的資料
      2. 這意味著其每天的資料處理量
         1. 是美國國家圖書館所有紙質出版物所含資料量的上千倍
   7. Facebook
      1. 每天處理500億張的上傳相片
      2. 每天人們在網站上點擊”讚”(Like)按鈕
         1. 或留言次數大約有數十億次
   8. YouTube
      1. 使用者人數已突破十億人
         1. 幾乎是全體網際網路使用者人數的三分之一
      2. 而全球的使用者
         1. 每天在YouTube 上觀看影片的總時數達上億小時
   9. Twitter
      1. 每秒鐘平均有6000多條
         1. 推文發布
      2. 每天平均約五億條推文
   10. 千禧年開始
       1. 天文學
          1. 海洋學
             1. 生物工程
             2. 電腦科學
             3. 到智慧型手機的流行
       2. 科學家發現
          1. 仰賴於科技的進步
             1. (感測器
             2. 智慧型手機)，
       3. 資料的取得成本
          1. 相比過去開始大幅地下降
             1. 過去十多年蒐集的資料
             2. 今朝一夕之間即能達成
       4. 也因為取得數據
          1. 不再是科學研究最大的困難
             1. 如何「儲存」、
             2. 「挖掘」
             3. 海量數據
             4. 並成功地「溝通」分析結果
             5. 成為新的瓶頸與研究重點
   11. 接下來
       1. 我們將進一步介紹
          1. 大數據的定義
             1. 特性
             2. 與發展重點
3. 什麼是大數據？
   1. 大數據意指資料的規模巨大
      1. 以致無法透過傳統的方式
         1. 在一定時間內進行儲存
            1. 運算與分析
      2. 至於「大」是多大
         1. 則各家定義不一
            1. 有兆位元組(TB)、
            2. 千兆位元組(PB)、
            3. 百萬兆位元組(EB)、
            4. 甚至更大的規模單位
      3. 然而
         1. 若真要找到符合這麼大規模數據量的企業
            1. 倒也是不容易
   2. 事實上
      1. 根據451 Research
         1. 資料科學家 Matt Aslett
            1. 他將大數據定義為
            2. 以前因為科技所限而忽略的資料
            3. 討論這些以前無法儲存
            4. 分析的資料
      2. 如本文第一段所言
         1. 由於在近年來儲存成本降低與資料獲取量變大
            1. 因而能觀察到不曾注意過的商業趨勢
            2. 讓企業做出更全面的考量。
   3. 無論企業規模大小
      1. 我們應注重的不僅是數據量本身
         1. 而應將「大數據」作為
            1. 科學研究
            2. 商業方法
            3. 運營心態
      2. 大數據需要全新的處理方式
         1. 以新型的
            1. 儲存運算方法
            2. 分析數據
            3. 產出溝通圖表
            4. 分析結果視為戰略資產
4. 大數據的特性？
   1. 目前大部份的機構
      1. 大數據的特性歸類為「3V」
         1. 1.資料量 (Volume)
            1. 無論是天文學
            2. 生物醫療
            3. 金融
            4. 聯網物間連線
            5. 社群互動
            6. 每分每秒都正在生成龐大的數據量
            7. 如同上述所說的TB、PB、EB規模單位
         2. 2.資料類型 (Variety)
            1. 資料多樣性
            2. 舉一個簡單的例子：
            3. │資料類型│ 0 │ 0 │ 1 │ 0 │ 0 │ 1 │ 0 │ 0 │ 1 │ 0 │ 0 │ 1 │…
            4. 就算上述資料量高達 1 TB
            5. 採用傳統統計方法
            6. 很容易地找到
            7. 資料規律
            8. 也因此
            9. 真正困難的問題在於
            10. 分析多樣化的資料
            11. 從文字
            12. 位置
            13. 語音
            14. 影像
            15. 圖片
            16. 交易數據
            17. 類比訊號
            18. 等結構化
            19. 非結構化
            20. 包羅萬象的資料
            21. 彼此間能
            22. 進行交互分析
            23. 尋找數據間的
            24. 關聯性
         3. 3.資料傳輸速度 (Velocity)。
            1. 資料即時性
            2. 大數據亦強調
            3. 資料的時效性
            4. 隨著使用者每秒都在
            5. 產生大量的數據回饋
            6. 過去三五年的資料已毫無用處
            7. 一旦資料串流到
            8. 運算伺服器
            9. 企業便須立即進行分析
            10. 即時得到結果
            11. 立即做出反應修正
            12. 才能發揮資料的
            13. 最大價值
         4. 目前台灣真正能符合大數據「3V」定義的企業微乎其微
            1. 在數據分析上更是不可能
            2. 通常是由資料科學團隊
            3. 向企業的IT部門
            4. 登入企業伺服器取得資料
            5. 除了量與多樣性已難以達到以外
            6. 在「即時性」這一點上便不符合
            7. 唯有企業內部自建
            8. 即時的資料分析團隊
            9. 並隨時產出分析反饋
            10. 方能稱作大數據分析
5. 大數據的發展重點
   1. 我們在上述提到了如何用非傳統的方法
      1. 「儲存」、「挖掘」與「溝通」資料
         1. 以挖掘嶄新商業機會
            1. 是當前的一大技術方向
   2. 講到大數據
      1. 我們便不能不提與之息息相關的軟體技術
         1. 「Hadoop」
   3. Hadoop
      1. 由Java語言撰寫
         1. 是Apache軟體基金會
            1. 發展的開源軟體框架
            2. 不但免費
            3. 擴充性高
            4. 部屬快速
            5. 同時還能自動分散系統負荷
            6. 在大數據實作技術上非常受歡迎
   4. Hadoop的核心主要由兩個部分所構成
      1. 一.為資料儲存
         1. Hadoop分散式檔案系統
            1. (Hadoop Distributed File System)
      2. 二為資料處理
         1. 「Hadoop MapReduce」
6. – Hadoop分散式檔案系統
   1. (Hadoop Distributed File System, HDFS)：
      1. 由多達數百萬個叢集(Cluster)所組成
         1. 每個叢集有近數千台用來儲存資料的伺服器
            1. 被稱為「節點」(Node)。
      2. 其中包括主伺服器(Master Node)
         1. 從伺服器(Slave Node)。
   2. 每一份大型檔案儲存進來時
      1. 都會被切割成一個個的資料塊 (Block)，
         1. 並同時將每個資料塊複製成多份
            1. 放在從伺服器上保管
   3. 當某台伺服器出問題時
      1. 導致資料塊遺失或遭破壞時
         1. 主伺服器就會在其他從伺服器上尋找副本複製一個新的版本
            1. 維持每一個資料塊都備有好幾份的狀態。
   4. 簡單來說
      1. Hadoop 預設的想法是所有的Node 都有機會壞掉
         1. 所以會用大量備份的方式預防資料發生問題
      2. 另一方面
         1. 儲存在該系統上的資料雖然相當龐大
            1. 又被分散到數個不同的伺服器
            2. 但透過特殊技術
            3. 當檔案被讀取時
            4. 看起來仍會是連續的資料
            5. 使用者不會察覺資料是零碎的被切割儲存起來。
7. Hadoop MapReduce：
   1. MapReduce是一種計算模型
      1. 分為Map和Reduce兩項功能。
   2. 「Map」功能會先將大資料拆成小資料
      1. 並以Key-Value格式備用
         1. 比如有數千萬份的資料傳入
            1. Map會計算每個字出現的次數
         2. 比如computer這個字出現了一次
            1. 便以(computer, 1)
            2. 這樣的 (Key, Value) 格式表示。
   3. 「Reduce」則是彙整
      1. 意即彙整所有相同的Key並計算出現的總次數
   4. 簡單來說
      1. Map僅是在各節點上計算少量數據
      2. 而Reduce則是統計各地數據
         1. 將結果送回主伺服器進行公布
   5. MapReduce的好處在於無須將所有資料都搬回中央去運算
      1. 而能在各地先簡單的處理完畢後
         1. 再回傳數據
            1. 如此更有效率
   6. 總而言之
      1. Hadoop分散式檔案儲存系統(HDFS)是一個超大型的儲存空間
         1. 並透過Hadoop MapReduce進行運算。
   7. Hadoop成功解決了檔案存放、
      1. 檔案備份
         1. 資料處理等問題
            1. 因而應用廣泛
            2. 成為大數據的主流技術
   8. Amazon
      1. Facebook
         1. IBM
            1. Yahoo
            2. 皆採取Hadoop作為大數據的環境
8. Spark
   1. 事實上近兩三年來
      1. Apache軟體基金會
         1. 另一個新星
            1. 「Spark」
            2. 隱隱有取代Hadoop MapReduce的態勢。
   2. 在大規模資料的計算
      1. 分析上
         1. 排序作業的處理時間
            1. 一直是個重要的指標
            2. 相較於Hadoop MapReduce在做運算時
            3. 需要將中間產生的數據存在硬碟中
   3. 因此會有讀寫資料
      1. 延遲問題
         1. Spark使用了
            1. 記憶體內運算技術
            2. 能在資料尚未寫入硬碟時
            3. 即在記憶體內分析運算
            4. 速度比Hadoop MapReduce可以快到100倍。
   4. 許多人誤以為Spark將取代Hadoop
      1. 然而
         1. Spark沒有分散式檔案管理功能
            1. 因而必須依賴Hadoop的HDFS作為解決方案
            2. 作為與Hadoop 相容而且執行速度更快的開源軟體
            3. 來勢洶洶的Spark想取代的其實是Hadoop MapReduce。
   5. 另一方面
      1. Spark 提供了豐富而且易用的API
         1. 更適合讓開發者在實作
            1. 機器學習演算法
   6. 2015年6月
      1. IBM宣佈加入Apache Spark社群
         1. 以及多項與Spark專案相關的計畫
            1. IBM將此次的大動作宣稱為
            2. 可能是未來10年最重要的
            3. 開放源碼新計畫
            4. 計畫培育超過一百萬名資料科學家
9. 資料分析 – 機器學習
   1. 介紹完了Hadoop基礎架構後
      1. 讓我們來看看資料分析上的最熱門技術
         1. 「機器學習」
   2. 如何從大數據中挖掘
      1. 資料規律
         1. 以改善科學或商業決策
            1. 以手動方式探索資料集的傳統統計分析
            2. 已難以應付大數據的量與種類
   3. 唯有透過「機器學習」，
      1. 以電腦演算法
         1. 達成比以往更深入的分析。
   4. 機器學習發端於1980年代
      1. 是人工智慧的一項分支
         1. 透過演算法模型建構
            1. 使電腦能從大量的歷史數據中
            2. 學習規律
            3. 從而能識別資料
            4. 或預測未來規律
   5. 從Google搜尋技術與廣告
      1. 到醫療
         1. 金融
            1. 工業
            2. 零售
            3. 基礎建設
            4. 機器學習的應用涵蓋各行各業
            5. 一夕之間即可能有著天翻地覆的革新
   6. 後續的系列文章中
      1. 我們將帶領讀者進一步瞭解機器學習的發展潛能。
10. 資料溝通 – 資料視覺化
    1. 隨著「數據導向決策」的時代來臨
       1. 資料科學家
          1. 在分析完數據後
             1. 如何成功地將分析結果傳遞出去
             2. 使企業接收到該資訊呢?
    2. 資料視覺化 (Data Visualization)
       1. 的重要性與潛在的龐大商機
          1. 因此愈發被凸顯出來。
    3. 人類的大腦在閱讀圖像畫面的速度遠比文字更快
       1. 資訊視覺化的優勢在於
          1. 以一目瞭然的方式
             1. 呈現資料分析結果
             2. 比查閱試算數據或書面報告更有效率
    4. 「Tableau軟體」
       1. 和微軟開發的
          1. 「Power BI」
             1. 產品皆主打在資料分析後
             2. 將自動產生簡潔易懂的資訊圖表
             3. 並隨著新增的數據分析結果生成
             4. 儀錶板(Dashboard)
             5. 供使用者查詢動態報表
             6. 指標管理等服務。
    5. 我們在本篇文章中介紹了大數據的精神意義
       1. 大數據無統一定義
          1. 代表著傳統的儲存
             1. 分析技術難以應付的高維度資料
       2. 實際上大數據的特性包括了3V：
          1. 量(Volume)、
             1. 多樣性(Variety)
             2. 即時性(Velocity)。
    6. 我們也介紹了大數據在「儲存」、
       1. 「挖掘」
          1. 「溝通」
             1. 的重點發展方向
             2. 從Hadoop
             3. 機器學習
             4. 資料視覺化
             5. 大數據的相關技術日新月異
    7. 唯有建立合適的
       1. 資料科學團隊
          1. 將數據視為企業的
             1. 策略性資產
             2. 方能發掘無所不在的商業機會
             3. 在此波數據浪潮下創造競爭優勢