內容簡介

Hadoop時代來臨之後，雖然已經建立了完整的生態圈，包括儲存、運算，叢集管理以及NoSQL/RDMS等，但這拼圖的最後一個缺角，卻是讓Hadoop人員搥胸頓足的即時處理。Spark的出現，不是淘汰Hadoop，而是讓這個Ecosystem更加完整。

Spark完整的語法、支援Hadoop的MapReduce，再加上特殊的架構以及自有的查詢語言，讓整個大數據圈為之震憾，也打破了Hadoop保持的大數據處理紀錄。如果你是Hadoop的使用者，這本書是你一定要深深研讀，如果你是大數據的新手，這也是你入門的最好選擇。

本書特色

●完全從企業處理大數據夜霧場景的角度出發，利用實際範例的程式碼來組織內容，從零起步，不用任何基礎。
●全書利用Spark框架中核心程式碼解析，掌握Spark實用開發技術，輕鬆駕馭Spark核心和子框架
●於網站附彩色程式碼圖檔供讀者下載、參考

• CHAPTER 01 Spark 程式設計模型(第1-1頁)
  • 1-1 Spark：一體化、多元化的高速大數據通用計算平台和函數庫(第1-1頁)
  • 1-2 Spark 大數據處理架構(第1-23頁)
  • 1-3 Spark 子架構解析(第1-32頁)
• CHAPTER 02 建置 Spark 分散式叢集(第2-1頁)
  • 2-1 架設 Hadoop 單機版本和虛擬分散式開發環境(第2-2頁)
  • 2-2 架設 Hadoop 分散式叢集(第2-37頁)
  • 2-3 Spark 叢集的動手架設(第2-55頁)
  • 2-4 建置 Hadoop 單機版本和虛擬分散式環境(第2-68頁)
• CHAPTER 03 Spark 開發環境及其測試(第3-1頁)
  • 3-1 架設和設定 IDEA 開發環境(第3-1頁)
  • 3-2 測試 IDEA 環境(第3-20頁)
  • 3-3 實戰：在 IDEA 中開發程式，並執行在 Spark 叢集中(第3-22頁)
• CHAPTER 04 Spark RDD 與程式設計 API 實戰(第4-1頁)
  • 4-1 深度解析 Spark RDD(第4-1頁)
  • 4-2 Transformation Operations 動手實戰(第4-7頁)
  • 4-3 Action Operations 動手實戰(第4-17頁)
  • 4-4 Spark API 綜合實戰(第4-21頁)
• CHAPTER 05 Spark 執行模式深入解析(第5-1頁)
  • 5-1 Spark 執行模式概述(第5-2頁)
  • 5-2 Standalone 模式(第5-13頁)
  • 5-3 Yarn-Cluster 模式(第5-52頁)
  • 5-4 Yarn-Client 模式(第5-62頁)
• CHAPTER 06 Spark 核心解析(第6-1頁)
  • 6-1 Spark 核心初探(第6-1頁)
  • 6-2 Spark 核心核心原始程式解讀(第6-10頁)
  • 6-3 以 RDD 的 count 操作為例觸發 Job 全生命週期原始程式研究(第6-17頁)
  • 6-4 Akka 驅動下的 Driver、Master、Worker(第6-29頁)
• CHAPTER 07 GraphX 大規模圖型計算與圖型擷取實戰(第7-1頁)
  • 7-1 Spark GraphX 概覽(第7-2頁)
  • 7-2 Spark GraphX 設計實現的核心原理(第7-6頁)
  • 7-3 Table operator 和 Graph Operator(第7-10頁)
  • 7-4 Vertices、edges、triplets(第7-11頁)
  • 7-5 以最原始的方式建置 graph(第7-14頁)
  • 7-6 動手撰寫第一個 Graph 程式實例並進行 Vertices、edges、triplets 操作(第7-14頁)
  • 7-7 在 Spark 叢集上使用檔案中的資料載入成為 graph 並操作(第7-25頁)
  • 7-8 在 Spark 叢集上掌握比較重要的圖型操作(第7-34頁)
  • 7-9 Spark GraphX 圖型演算法(第7-55頁)
  • 7-10 淘寶對 Spark GraphX 的大規模使用(第7-60頁)
• CHAPTER 08 Spark SQL 原理與實戰(第8-1頁)
  • 8-1 為什麼使用 Spark SQL(第8-2頁)
  • 8-2 Spark SQL 執行架構(第8-8頁)
  • 8-3 解析 Spark SQL 元件(第8-22頁)
  • 8-4 深入了解 Spark SQL 執行的計畫(第8-40頁)
  • 8-5 架設測試環境(第8-53頁)
  • 8-6 Spark SQL 之基礎應用(第8-58頁)
  • 8-7 ThriftServer 和 CLI(第8-70頁)
  • 8-8 Spark SQL 之綜合應用(第8-78頁)
  • 8-9 Spark SQL 之最佳化(第8-84頁)
• CHAPTER 09 Machine Learning on Spark(第9-1頁)
  • 9-1 Spark MLlib 機器學習(第9-1頁)
  • 9-2 MLlib 經典演算法解析和案例實戰(第9-36頁)
  • 9-3 MLLib 其他常用演算法解析和程式實戰(第9-136頁)
• CHAPTER 10 Tachyon 檔案系統(第10-1頁)
  • 10-1 Tachyon 檔案系統概述(第10-1頁)
  • 10-2 Tachyon 入門(第10-5頁)
  • 10-3 Tachyon 深度解析(第10-11頁)
  • 10-4 Tachyon 設定參數一覽(第10-17頁)
  • 10-5 小結(第10-18頁)
• CHAPTER 11 Spark Streaming 原理與實戰(第11-1頁)
  • 11-1 Spark Streaming 原理(第11-1頁)
  • 11-2 Spark Streaming 實戰(第11-9頁)
• CHAPTER 12 Spark 多語言程式設計(第12-1頁)
  • 12-1 Spark 多語言程式設計的特點(第12-1頁)
  • 12-2 Spark 程式設計模型(第12-6頁)
  • 12-3 深入 Spark 多語言程式設計(第12-8頁)
  • 12-4 Spark 多語言程式設計綜合實例(第12-21頁)
• CHAPTER 13 R 語言的分散式程式設計之 SparkR(第13-1頁)
  • 13-1 R 語言快速入門(第13-1頁)
  • 13-2 使用 SparkR(第13-40頁)
• CHAPTER 14 Spark 效能最佳化和最佳做法(第14-1頁)
  • 14-1 Spark 效能最佳化(第14-1頁)
  • 14-2 Spark 效能最佳化細節(第14-13頁)
• CHAPTER 15 Spark 原始程式解析(第15-1頁)
  • 15-1 BlockManager 原始程式解析(第15-2頁)
  • 15-2 Cache 原始程式解析(第15-30頁)
  • 15-3 Checkpoint 原始程式解析(第15-51頁)
• APPENDIX A 動手實戰 Scala 三部曲(第A-1頁)
  • A-1 第一部動手體驗 Scala(第A-3頁)
  • A-2 第二部動手實戰 Scala 物件導向程式設計(第A-14頁)
  • A-3 第三部動手實戰 Scala 函數式程式設計(第A-27頁)

作者簡介

王家林

本書作者王家林在Spark、Hadoop、Android 等方面有豐富的原始程式開發、實務和效能最佳化經驗，徹底研究了Spark 從0.5 到1.1 共18 個版本的Spark 原始程式。
他是Hadoop 原始程式級專家，曾負責某知名公司的類別Hadoop 架構開發工作，專注於提供Hadoop 整合式解決方案，同時也是雲端運算分散式大數據處理的最早實作者之一。