1. 工作应用
   1. 业务相关
      1. 用户画像
      2. 风险控制
   2. 决策相关
      1. 数据科学的领域，了解统计学、算法
      2. 数据科学家
   3. 工程相关
      1. 如何实施、实现、解决什么业务
      2. 数据工程师
2. 工程核心
   1. 数据源
      1. 特点决定数据采集和数据存储的技术选型
      2. 四种
         1. 内外部
            1. 内部主动写入
            2. CRM
            3. Hadoop
            4. mongo
            5. Apache Kafka
            6. ORACLE
            7. 外部网络拉取
            8. 获得外部数据本身提供的api
            9. 调用api获取，如微信
            10. 写爬虫获取
            11. 特点
            12. 数据结构不一致，需要转换和清洗加工
            13. ETL，由ETL进行数据提取、转换、加载，清洗、去重、去噪
         2. 结构化和非结构化数据
            1. 结构化偏向文件，NoSQL数据库
         3. 不变可添加数据，可修改可删除数据
            1. 前
            2. 增量同步策略
            3. 后
         4. 数据量大小
            1. 大
            2. Lambda架构
            3. 高延迟
            4. batch处理方式
            5. 实时分析
            6. 流式处理
   2. 数据存储
      1. 相同数据多种表现形式，存储不同类型数据库中
         1. poly-db数据冗余生态
      2. 按数据源分类
         1. 三种
            1. 数据源的类型和采集方式
            2. 采集后数据的格式和规模
            3. 分析数据的应用场景
      3. 场景
         1. 场景一
            1. 舆情分析
            2. 选择用ES，在单机上做了一个简单的测试，大概三亿多条数据，用最坏的查询条件进行搜索，保证这个搜索是全表搜索（基于Lucence创建了索引，使得这种搜索更高效），整个查询时间能控制在几秒以内
         2. 场景二：商业智能产品
            1. 对数据集进行分析（聚合运算为主）
            2. Parquet列式存储
            3. 要求
            4. 既要满足大数据量的水平可伸缩
            5. 同时满足高性能的聚合运算
         3. 场景三：Airbnb大数据平台
            1. 数据来源
            2. 大量的事件
            3. 本身的业务数据
            4. 技术处理：
            5. 日志数据通过Kafka
            6. 线上通过Sqoop
            7. 为什么不是flume，这里是指已经得到后的考量？
            8. 数据存储选择HDFS
            9. 通过Presto对Hive表执行 即席查询
   3. 数据处理
      1. 业务角度
         1. 查询检索
         2. 数据挖掘
         3. 统计分析
         4. 深度分析
            1. 机器学习
            2. 神经网络
      2. 技术角度
         1. Batch SQL
         2. 流式处理
         3. machine learning
         4. Deep learning
      3. 编程模型
         1. 离线编程模型
         2. 内存编程模型
         3. 实时编程模型
3. 分支主题 3