三度の飯とエレクトロン

ライトニングトークした記録です。 道玄坂LT祭り お誘いいただき軽い気持ちで登壇してみたら、参加者200人くらいでびっくりでした。集客力すごいです。 道玄坂LT祭り(ミドル・インフラ) : ATND 1/3くらいのテーマは全然ついていけませんでした。インフラの世界は深いです。 発表資料 年末年始にい ... Read More »

Apache Sparkは、HDFS、Cassandra、HBase、S3など、様々なデータソースを元に分析を実行することができます。 CassandraのデータをApache Sparkで分析したい 以前、Cassandraについてブログを書きました。Cassandra Java Driverを使 ... Read More »

「クラスタマネージャーApache Mesosを使って、Amazon EC2にクラスタを構築。」で構築したクラスタを使って、Sparkの分散処理を実行してみます。 Apache SparkをAmazon EC2にインスール 今回は、SparkをAmazon EC2のインスタンスにインスールしていきま ... Read More »

「高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる！」に続いて、Apache Sparkの操作をJavaからしてみます。 Apache SparkをJavaから操作 下記のSparkのプログラミングガイドを参考にしました。 Spark Programming Guide ... Read More »

最近、規模の大きなデータを、高速に処理する方法を調べています。 Apache Sparkは高速な分散処理エンジン 「高速に」といっても、「スループットが高い」という意味と、「レスポンスが早い」という意味があります。 「スループットが高い」というのは、一定時間にどれだけたくさんの処理ができるかです。「 ... Read More »