Category Archives: Spark

道玄坂LT祭りに登壇しました。

スクリーンショット 2015-01-15 0.52.15

ライトニングトークした記録です。 道玄坂LT祭り お誘いいただき軽い気持ちで登壇してみたら、参加者200人くらいでびっくりでした。集客力すごいです。 道玄坂LT祭り(ミドル・インフラ) : ATND 1/3くらいのテーマは全然ついていけませんでした。インフラの世界は深いです。 発表資料 年末年始にい ... Read More »

Apache SparkをJavaアプリケーションから使う。

スクリーンショット 2015-01-04 11.12.06

「高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる!」に続いて、Apache Sparkの操作をJavaからしてみます。 Apache SparkをJavaから操作 下記のSparkのプログラミングガイドを参考にしました。 Spark Programming Guide ... Read More »

高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる!

スクリーンショット 2015-01-03 17.09.12

最近、規模の大きなデータを、高速に処理する方法を調べています。 Apache Sparkは高速な分散処理エンジン 「高速に」といっても、「スループットが高い」という意味と、「レスポンスが早い」という意味があります。 「スループットが高い」というのは、一定時間にどれだけたくさんの処理ができるかです。「 ... Read More »

Scroll To Top