Spark 高速な分散処理エンジンApache Sparkの操作を対話シェルで試してみる！
最近、規模の大きなデータを、高速に処理する方法を調べています。
Apache Sparkは高速な分散処理エンジン
「高速に」といっても、「スループットが高い」という意味と、「レスポンスが早い」という意味があります。
「スループットが高い」と...
高速
Spark 
Java 高速圧縮アルゴリズムsnappyのgzipとの比較
昨日、snappyという圧縮アルゴリズムについて書きました。
高速な圧縮・解凍アルゴリズムsnappy
今日は、snappyとgzipとの比較について書きます。
テストデータ
テストデータは、Growth Pushの計測データを模倣したラ...
Java 高速な圧縮・解凍アルゴリズムsnappy
最近、シリアライズ・デシリアライズについて調べています。
MessagePack、Kryo、Protocol Buffersなどのシリアライザーのパフォーマンス比較
それと同時に、圧縮・解凍のアルゴリズムについても調べています。
ネットワー...