三度の飯とエレクトロン

運営中のサービスにどんどん機能追加していくと、ある時テーブルの定義を変更したくなったり、インデックスを追加したくなるときがあります。 運営中なので、できるだけサービスを停止させたくないですが、運営中なので、それなりにレコード数が増えていて、ALTER TABLEが数秒で終わらないレベルになっていたり ... Read More »

ライトニングトークした記録です。 道玄坂LT祭り お誘いいただき軽い気持ちで登壇してみたら、参加者200人くらいでびっくりでした。集客力すごいです。 道玄坂LT祭り(ミドル・インフラ) : ATND 1/3くらいのテーマは全然ついていけませんでした。インフラの世界は深いです。 発表資料 年末年始にい ... Read More »

Apache Sparkは、HDFS、Cassandra、HBase、S3など、様々なデータソースを元に分析を実行することができます。 CassandraのデータをApache Sparkで分析したい 以前、Cassandraについてブログを書きました。Cassandra Java Driverを使 ... Read More »

「クラスタマネージャーApache Mesosを使って、Amazon EC2にクラスタを構築。」で構築したクラスタを使って、Sparkの分散処理を実行してみます。 Apache SparkをAmazon EC2にインスール 今回は、SparkをAmazon EC2のインスタンスにインスールしていきま ... Read More »

Apache Sparkを試しています。 高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる！ Apache SparkをJavaアプリケーションから使う。 ここまでは、単一のホストで動作を試していましたが、分散処理のためのライブラリなので、複数ホストで試さなければ本当の性 ... Read More »