Google BigQueryではじめる 自前 ビッグデータ処理入門
ビッグデータの蓄積や分析には、外部ベンダーに依頼したり、本格的なプログラム開発が必要? いいえ、そんなことはありません! 本書は、GoogleのBIGQueryを利用し、WebブラウザやExcelを使ってビッグデータを蓄積したり、分析したりする方法を解説します。ノン・プログラミングにフォーカスしつつも、最終章ではビッグデータ蓄積を効率化するプログラムも紹介します。あなたもお手元のPCでビッグデータ処理を始めてみましょう!
【サポートはこちら】→https://www.shuwasystem.co.jp/support/7980html/4187.html
【サポートはこちら】→https://www.shuwasystem.co.jp/support/7980html/4187.html
Chapter 1 ビッグデータ処理の考え方
1.1 ビッグデータ活用のメリットを押さえておこう
1.1.1 ビッグデータに死ねと言われた東急
1.1.2 ビッグデータの活用例
1.1.3 ビッグデータの活用範囲と経済効果
1.2 ビッグデータ処理を支えるテクノロジーを理解しよう
1.2.1 データ量によるビッグデータの定義とは?
1.2.2 4Vによるビッグデータの定義とは?
1.2.3 Google検索から始まったビッグデータ処理システム
1.2.4 ビッグデータ関係の数値データ
1.3 ビッグデータ処理のパターンを知っておこう
1.3.1 3つの処理パターン
1.3.2 大量のデータを一括処理するならバッチ処理
1.3.3 その場でできるインタラクティブクエリー処理
1.3.4 リアルタイムでできるストリームデータ処理
Chapter 2 巨大データを扱うシステム
2.1 ビッグデータ処理システムのプラットホーム
2.1.1 目視で解析してみる
2.1.2 PC/サーバを利用して解析してみる
2.1.3 クラウドを利用して解析してみる
2.2 ビッグデータ解析で使用される分析手法
2.2.1 データマイニングの概要
2.2.2 テキストマイニング
2.3 ビッグデータ処理システムにおけるプログラム処理手順
2.3.1 Hadoopでワードカウント
2.3.2 形態素解析を使用した日本語ワードカウント
2.3.3 MapReduce処理結果の利用
2.4 MapReduceとBigQueryの関係
2.4.1 MapReduceとDremel
2.4.2 BigQueryの概要
2.5 BigQueryはなぜ速い
2.5.1 カラム型ストレージ
2.5.2 木構造のアーキテクチャー
2.5.3 DremelはGoogleスピードでビジネスを駆け抜けるキーとなる
2.6 BigQuery連携システムの概要
2.6.1 データインプット/アウトプットの方法
2.6.2 ビッグデータの管理機能
Chapter 3 ノン・プログラミングのビッグデータ処理
3.1 BigQueryについて知っておこう
3.1.1 BigQueryの基本的なシステム構成
3.1.2 BigQueryの特徴
3.2 BigQueryの基本操作に慣れてみよう
3.2.1 BigQueryを使用するための準備をする
3.2.2 CSVデータをBigQueryにロードする
3.2.3 ロードされたデータをクエリーで検索する
3.2.4 Excelから直接クエリー文で検索・表示する
3.3 ツールを使用してデータを収集しよう
3.3.1 センサからExcelへデータを入力する
3.3.2 Twitterデータをツールで収集してアップロードする
3.3.3 8種類のSNSからキーワード収集してアップロードする
Chapter 4 プログラムによる本格的ビッグデータ処理
4.1 Cloud Datastoreを大量データの保存場所にしよう
4.1.1 Cloud DatastoreからCloud Storageにデータをロードする
4.1.2 Cloud StorageからBigQueryにデータをロードする
4.2 ExcelデータをBigQueryにインポートしてみよう
4.2.1 ExcelデータをGoogle Driveにアップロードする
4.2.2 プロジェクトを作成する
4.2.3 サーブレットを記述する
4.2.4 Javaビーンズを記述する
4.2.5 スプレッドシートデータをUI表示する
1.1 ビッグデータ活用のメリットを押さえておこう
1.1.1 ビッグデータに死ねと言われた東急
1.1.2 ビッグデータの活用例
1.1.3 ビッグデータの活用範囲と経済効果
1.2 ビッグデータ処理を支えるテクノロジーを理解しよう
1.2.1 データ量によるビッグデータの定義とは?
1.2.2 4Vによるビッグデータの定義とは?
1.2.3 Google検索から始まったビッグデータ処理システム
1.2.4 ビッグデータ関係の数値データ
1.3 ビッグデータ処理のパターンを知っておこう
1.3.1 3つの処理パターン
1.3.2 大量のデータを一括処理するならバッチ処理
1.3.3 その場でできるインタラクティブクエリー処理
1.3.4 リアルタイムでできるストリームデータ処理
Chapter 2 巨大データを扱うシステム
2.1 ビッグデータ処理システムのプラットホーム
2.1.1 目視で解析してみる
2.1.2 PC/サーバを利用して解析してみる
2.1.3 クラウドを利用して解析してみる
2.2 ビッグデータ解析で使用される分析手法
2.2.1 データマイニングの概要
2.2.2 テキストマイニング
2.3 ビッグデータ処理システムにおけるプログラム処理手順
2.3.1 Hadoopでワードカウント
2.3.2 形態素解析を使用した日本語ワードカウント
2.3.3 MapReduce処理結果の利用
2.4 MapReduceとBigQueryの関係
2.4.1 MapReduceとDremel
2.4.2 BigQueryの概要
2.5 BigQueryはなぜ速い
2.5.1 カラム型ストレージ
2.5.2 木構造のアーキテクチャー
2.5.3 DremelはGoogleスピードでビジネスを駆け抜けるキーとなる
2.6 BigQuery連携システムの概要
2.6.1 データインプット/アウトプットの方法
2.6.2 ビッグデータの管理機能
Chapter 3 ノン・プログラミングのビッグデータ処理
3.1 BigQueryについて知っておこう
3.1.1 BigQueryの基本的なシステム構成
3.1.2 BigQueryの特徴
3.2 BigQueryの基本操作に慣れてみよう
3.2.1 BigQueryを使用するための準備をする
3.2.2 CSVデータをBigQueryにロードする
3.2.3 ロードされたデータをクエリーで検索する
3.2.4 Excelから直接クエリー文で検索・表示する
3.3 ツールを使用してデータを収集しよう
3.3.1 センサからExcelへデータを入力する
3.3.2 Twitterデータをツールで収集してアップロードする
3.3.3 8種類のSNSからキーワード収集してアップロードする
Chapter 4 プログラムによる本格的ビッグデータ処理
4.1 Cloud Datastoreを大量データの保存場所にしよう
4.1.1 Cloud DatastoreからCloud Storageにデータをロードする
4.1.2 Cloud StorageからBigQueryにデータをロードする
4.2 ExcelデータをBigQueryにインポートしてみよう
4.2.1 ExcelデータをGoogle Driveにアップロードする
4.2.2 プロジェクトを作成する
4.2.3 サーブレットを記述する
4.2.4 Javaビーンズを記述する
4.2.5 スプレッドシートデータをUI表示する