ビッグデータ分析基盤の構築事例集 Hadoopクラスター構築実践ガイド

著者名：古賀政純

インプレス（2018/05発売）

• ISBN：9784295003694

内容説明

※この商品は固定レイアウトで作成されており、タブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字列のハイライトや検索、辞書の参照、引用などの機能が使用できません。

Apach Hadoop 3/MapR 6.0とエコシステムによるビッグデータ分析基盤の構築の実践ガイド
　Hadoop基盤の方向性の検討や戦略の立案、および、意思決定を行う企画部門
や、実際に基盤構築を行う技術者が、導入前の検討を実践できる内容を盛り込みまし
た。具体的には、ビッグデータ処理システムの経緯、目的、Hadoopとその周辺
ソフトウェアの特徴、導入時の検討項目、注意点、システム構成例などの要点を知る
ことができます。また、大規模なデータ処理基盤の構築の経験がない技術者でも、
Hadoopをインストールし、使用できるように、一連の手順をステップバイステップで
具体的に記載しています。
　エコシステムとしては、日本の企業においても
導入が積極的に行われているインメモリ型の分析、および、機械学習のフレームワーク
を提供するSpark、機械学習エンジンのMahout、従来のRDBMSのSQL文のようなデータ操作を実現するHive、Impala、列指向の分散データベースであるHBase、データの加工や
抽出を行うPig、RDBMSとHadoop間でのデータ転送を実現するSqoop、SNSやログなどの
さまざまな種類データをHadoopに取り込むFlumeといった、利用頻度の高いHadoop周辺
ソフトウェアの具体的な構築手順と使用例を網羅しました。これらの多くの事例により、
最新のビッグデータ処理基盤で提供される機能や基本的な使用法を理解できます。

目次

表紙
商標について
はじめに
本書の表記
目次
第 1 章 ビッグデータ分析基盤の概要
1-1 ビッグデータ分析ニーズの拡大
1-2 Hadoop の種類を知る
1-3 Hadoop の沿革
1-4 Apache Hadoop 3
1-5 まとめ
第 2 章 Hadoop のシステム構成
2-1 Hadoop 導入前の検討
2-2 ハードウェアコンポーネントの検討
2-3 MapR 6.0
2-4 MapR 6.0 におけるハードウェアの検討
2-5 Hadoop クラウド基盤の検討
2-6 まとめ
第 3 章 ハードウェアの事前設定と Hadoop のインストール
3-1 Hadoop クラスターハードウェアの設定
3-2 Apache Hadoop 3 基盤の構築手順
3-3 MapR 版 Hadoop 基盤の構築手順
3-4 まとめ
第 4 章 Hadoop クラスターの運用管理
4-1 Apache Hadoop 3 クラスターの管理
4-2 MapR クラスターの運用管理手法
4-3 まとめ
第 5 章 Spark - SQL、ストリーミング、グラフデータの処理、分類器の利用
5-1 ビッグデータ処理の高速化
5-2 Spark on Hadoop 3 クラスターの構築
5-3 Scala プログラム
5-4 Spark on MapR クラスターの構築
5-5 MapR 版 Spark のスタンドアロン構築
5-6 Spark SQL
5-7 Spark Streaming
5-8 Spark GraphX
5-9 SparkR
5-10 Spark MLlib
5-11 ニューラルネットワークによる学習
5-12 まとめ
第 6 章 Hive/Impala/HBase/Pig - データベースの操作
6-1 Apache Hive
6-2 Apache Impala
6-3 Apache HBase
6-4 MapR-DB
6-5 Apache Pig
6-6 まとめ
第 7 章 Sqoop/Flume- データのインポート/エクスポート
7-1 Apache Sqoop
7-2 Apache Flume
7-3 まとめ
第 8 章 Mahout - 機械学習（クラス分類と協調フィルタリング）
8-1 Apache Mahout とは？
8-2 Apache Mahout の実行例
8-3 まとめ
索引

奥付

感想・レビュー

※以下の感想・レビューは、株式会社ドワンゴの提供する「読書メーター」によるものです。

[Kentaro]

Googleが自社内の膨大なデータを効率よく分析する手法と基盤となるアーキテクチャを研究しており、その内容を論文に発表した。この論文を参考に、米国Yahooが、自社データの分析を行うための開発をし、オープンソースとして公開したのがHadoopである。 ビッグデータを扱う上での最大の問題は従来型のRDBMSとDWHにおけるスケーラビリティの弱さになり、その解決にはハードウェアの増強に多大なコストがかかってしまう。一方でHadoopのアーキテクチャは、分散型の構造をしているのでx86サーバーを追加するだけだ。

2020/03/30

[shiojojo]

hadoopの構築について書かれている。 私はAWS glueがhadoop及びspark群の何をマネージドしているのかを知りたくて本書を読んだ。なので構築部分は流し読みし、アーキテクチャの説明を主に読んだ。 本書を読むまでhadoopとsparkの違いもよくわかっていなかった。 今まで、glueの説明で分からないことがよくあったが、本書を読んだことで、アーキテクチャがわかり、理解が深まると思う。

2021/11/14

[Q]

ビッグデータのデータ加工の仕組みを知りたかったのだけれど、導入事例が主で、その仕組みついてはあまり言及がなかった。

2019/08/14