Tag Archives: Apache

クラスタマネージャーApache Mesosを使って、Amazon EC2にクラスタを構築。

スクリーンショット 2015-01-06 0.02.26

Apache Sparkを試しています。 高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる! Apache SparkをJavaアプリケーションから使う。 ここまでは、単一のホストで動作を試していましたが、分散処理のためのライブラリなので、複数ホストで試さなければ本当の性 ... Read More »

Apache SparkをJavaアプリケーションから使う。

スクリーンショット 2015-01-04 11.12.06

「高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる!」に続いて、Apache Sparkの操作をJavaからしてみます。 Apache SparkをJavaから操作 下記のSparkのプログラミングガイドを参考にしました。 Spark Programming Guide ... Read More »

高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる!

スクリーンショット 2015-01-03 17.09.12

最近、規模の大きなデータを、高速に処理する方法を調べています。 Apache Sparkは高速な分散処理エンジン 「高速に」といっても、「スループットが高い」という意味と、「レスポンスが早い」という意味があります。 「スループットが高い」というのは、一定時間にどれだけたくさんの処理ができるかです。「 ... Read More »

Scroll To Top