アプリケーションエンジニアのためのApache Spark入門

概 要

Apache Sparkは、大規模データ処理のための高速かつ汎用性の高いエンジンです。開発・利用が簡単で機能も豊富なことから幅広い分野で利用されています。本書は、アプリケーション開発プログラミングの経験者を対象に、Apache Sparkを使うための基礎知識から各機能の実装方法、商用システムで利用する場合の留意点などを解説した入門書です。データ分析プラットフォームの考え方から集計・機械学習分析のアプリ開発までわかります!

著者 新郷美紀(監)、今井雄太、川村康爾、木村宗太郎、外賀伸治、須田桂伍、高木章光、田中裕一、森下雄貴
価格 本体3400円(税別)
ISBN 978-4-7980-5377-6
発売日 2018/2/17
判型 B5変
ページ数 352
CD/DVD
ダウンロード
表紙イメージ
購入 アマゾンで購入する
楽天で購入する

※リンク先によっては、販売ページが用意されていないことがあります。あらかじめご了承ください。

新しいウィンドウで開く 書籍購入のご案内

サポート

サポート情報は以下からご参照下さい。

サポート情報へのリンク

目次

Chapter 1 データ分析プラットフォームの概要

1.1 データ分析プラットフォームの要件

1.2 データ分析プラットフォームのデータ処理

1.3 データ処理の各機能

1.4 Spark が注目されている理由

1.5 Spark Q&A 集

Chapter 2 Spark の概要

2.1 Apache Spark とは?

2.2 Spark の各コンポーネント

2.3 Spark の実行環境

2.4 IoT 基盤

2.5 本書で利用する環境

2.6 インタラクティブシェルの起動と実行

Chapter 3 サンプルユースケース概要

3.1 サンプルユースケース

3.2 必要となる仕組み(機能)

3.3 それぞれの仕組み(機能)に求められること

3.4 ソフトウェアの構成

3.5 土壌検知機からのデータ

Chapter 4 Fluentd、Kafka によるデータ収集

4.1 データを集める技術

4.2 データ収集詳細 -Fluentd 詳細-

4.3 データ収集詳細 -Apache Kafka 詳細-

4.4 データ収集フローの構築?Fluentd + Kafka によるセンサデータ収集基盤を作る-

4.5 実運用に向けて

Column より柔軟なデータフローを実現するためのApache NiFi

Chapter 5 Spark Streaming によるデータ処理

5.1 ストリーム処理とは?

5.2 Spark Structured Streaming によるストリーム処理

5.3 センサデータのストリームデータ処理(1 イベント単位)

5.4 センサデータのストリームデータ処理( 結果出力)

5.5 実際に運用するにあたって考慮するべきこと

Chapter 6 外部ストレージへのデータ蓄積

6.1 ファイルへの出力

6.2 データベースへの出力

6.3 Spark とCassandra

6.4 Spark とCassandra を連携するアプリケーションを作る

Chapter 7 Spark Streaming によるデータ分析

7.1 ストリーム処理固有の事情

7.2 ストリームデータ分析で求められる機能

7.3 センサデータのストリームデータ分析(Window 処理)

7.4 より高度なアプリケーションを作る上で考えること

Chapter 8 Spark SQL によるデータ処理

8.1 前処理とアドホック分析

8.2 利用する環境の説明

8.3 Jupyter の概要

8.4 Jupyter でSpark を利用するための環境構築

8.5 Jupyter 上でのSpark の実行

8.6 Pandas

8.7 matplotlib

8.8 データ分析

8.9 データの書き込み

8.10 DataFrame、Spark SQL のチューニング

Chapter 9 Spark MLlib によるデータ分析

9.1 データ分析プロセスについて

9.2 今回のユースケースにCRISP-DM プロセスを当てはめる

9.3 機械学習とは?

9.4 Spark を使用した機械学習

9.5 ユースケースに沿って、バッチ分析を行う

Chapter 10 プロダクションに向けたシステムアーキテクチャを考える

10.1 Spark を構成するコンポーネントたち

10.2 デプロイ

10.3 クラスタマネージャの選択

10.4 クラスタをどこに作る?

10.5 ストレージの選択

10.6 Spark アプリケーションをアーキテクティングする

Column IoT デバイスをどのように手に入れるのか

Appendix サンプルデータの作成

A.1 センサデータ作成スクリプト

PR

秀和システム