Elasticsearch Elasticsearch入門！概要とはじめての検索
この本を読みました！Elasticsearch実践ガイド
Elasticsearchとは？
Elasticsearchは、「検索サーバ」です。内部には、Apache Luceneという、検索ライブラリを採用して...
ミドルウェア
Elasticsearch 
Amazon Web Services MySQLのALTER TABLEで、無停止でテーブル定義変更できるpt-online-schema-change
運営中のサービスにどんどん機能追加していくと、ある時テーブルの定義を変更したくなったり、インデックスを追加したくなるときがあります。
運営中なので、できるだけサービスを停止させたくないですが、運営中なので、それなりにレコード数が増えていて、...
Spark 道玄坂LT祭りに登壇しました。
ライトニングトークした記録です。
道玄坂LT祭り
お誘いいただき軽い気持ちで登壇してみたら、参加者200人くらいでびっくりでした。集客力すごいです。
道玄坂LT祭り(ミドル・インフラ) : ATND
1/3くらいのテーマは全然ついていけま...
Cassandra Cassandraの大規模データをApache Sparkの分散処理で分析する！
Apache Sparkは、HDFS、Cassandra、HBase、S3など、様々なデータソースを元に分析を実行することができます。
CassandraのデータをApache Sparkで分析したい
以前、Cassandraについてブログ...
Mesos Apache Mesosで構築したクラスタ上で、Apache Sparkの分散処理を実行する。
「クラスタマネージャーApache Mesosを使って、Amazon EC2にクラスタを構築。」で構築したクラスタを使って、Sparkの分散処理を実行してみます。
Apache SparkをAmazon EC2にインスール
今回は、Spar...
Mesos クラスタマネージャーApache Mesosを使って、Amazon EC2にクラスタを構築。
Apache Sparkを試しています。
高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる！
Apache SparkをJavaアプリケーションから使う。
ここまでは、単一のホストで動作を試していましたが、分散処...
Java Apache SparkをJavaアプリケーションから使う。
「高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる！」に続いて、Apache Sparkの操作をJavaからしてみます。
Apache SparkをJavaから操作
下記のSparkのプログラミングガイドを参考に...
Spark 高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる！
最近、規模の大きなデータを、高速に処理する方法を調べています。
Apache Sparkは高速な分散処理エンジン
「高速に」といっても、「スループットが高い」という意味と、「レスポンスが早い」という意味があります。
「スループットが高い」と...
Cassandra sstableloaderでCassandraにデータをバルクインポートする。
サービスのデータの一部を、Cassandraへ移行することを検討しています。
そんな時問題になるのが、どうやってデータを移動させるか、です。
sstableloaderでデータインポート
Cassandraへのデータの移行方法として候補に上...
Presto 分散SQLクエリエンジンPrestoをMac OS Xにインストール
Webサービスの運用にデータを活用する場合、まず改善のための仮説を立てます。そして、その仮説が正しいか検証するために、データベースから関連するデータを抽出します。
このデータを抽出する作業は、解析内容が複雑になるほど、そしてデータが多いほど...