ミドルウェア

Elasticsearch

Elasticsearch入門!概要とはじめての検索

この本を読みました!Elasticsearch実践ガイド Elasticsearchとは? Elasticsearchは、「検索サーバ」です。内部には、Apache Luceneという、検索ライブラリを採用して...
Amazon Web Services

MySQLのALTER TABLEで、無停止でテーブル定義変更できるpt-online-schema-change

運営中のサービスにどんどん機能追加していくと、ある時テーブルの定義を変更したくなったり、インデックスを追加したくなるときがあります。 運営中なので、できるだけサービスを停止させたくないですが、運営中なので、それなりにレコード数が増えていて、...
Spark

道玄坂LT祭りに登壇しました。

ライトニングトークした記録です。 道玄坂LT祭り お誘いいただき軽い気持ちで登壇してみたら、参加者200人くらいでびっくりでした。集客力すごいです。 道玄坂LT祭り(ミドル・インフラ) : ATND 1/3くらいのテーマは全然ついていけま...
Cassandra

Cassandraの大規模データをApache Sparkの分散処理で分析する!

Apache Sparkは、HDFS、Cassandra、HBase、S3など、様々なデータソースを元に分析を実行することができます。 CassandraのデータをApache Sparkで分析したい 以前、Cassandraについてブログ...
Mesos

Apache Mesosで構築したクラスタ上で、Apache Sparkの分散処理を実行する。

「クラスタマネージャーApache Mesosを使って、Amazon EC2にクラスタを構築。」で構築したクラスタを使って、Sparkの分散処理を実行してみます。 Apache SparkをAmazon EC2にインスール 今回は、Spar...
Mesos

クラスタマネージャーApache Mesosを使って、Amazon EC2にクラスタを構築。

Apache Sparkを試しています。 高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる! Apache SparkをJavaアプリケーションから使う。 ここまでは、単一のホストで動作を試していましたが、分散処...
Java

Apache SparkをJavaアプリケーションから使う。

「高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる!」に続いて、Apache Sparkの操作をJavaからしてみます。 Apache SparkをJavaから操作 下記のSparkのプログラミングガイドを参考に...
Spark

高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる!

最近、規模の大きなデータを、高速に処理する方法を調べています。 Apache Sparkは高速な分散処理エンジン 「高速に」といっても、「スループットが高い」という意味と、「レスポンスが早い」という意味があります。 「スループットが高い」と...
Cassandra

sstableloaderでCassandraにデータをバルクインポートする。

サービスのデータの一部を、Cassandraへ移行することを検討しています。 そんな時問題になるのが、どうやってデータを移動させるか、です。 sstableloaderでデータインポート Cassandraへのデータの移行方法として候補に上...
Presto

分散SQLクエリエンジンPrestoをMac OS Xにインストール

Webサービスの運用にデータを活用する場合、まず改善のための仮説を立てます。そして、その仮説が正しいか検証するために、データベースから関連するデータを抽出します。 このデータを抽出する作業は、解析内容が複雑になるほど、そしてデータが多いほど...
タイトルとURLをコピーしました