Webからビジュアルに操作可能なアプリ向けA/BテストツールApptimize

A/BテストツールといえばOptimizelyが有名ですが、iPhone・Androidアプリ向けのA/Bテストツールはまだこれと言った勝者が決まっていません。
つい先週、OptimizelyもネイティブアプリのA/Bテストに参入することが発表され、ますます分からなくなってきました。
Optimizelyが強力な6製品をリリース、人材育成に加えてiOS対応で“モバイル戦争”にも参入
Optimizelyのツールはまだβ版でデベロッパープレビューの段階ですが、先発のツールで有名なものにApptimizeがあります。

Apptimize | Mobile A/B Testing for iOS and Android. Improve Your Native App Codelessly in Real-time
Apptimizeは、2013年夏のYコンビネータの出身で、iPhoneとAndroidに特化したA/Bテストツールを提供しています。

モバイルアプリ向けのA/Bテストツール
Apptimizeに登録する。
SDKの導入をする。
ビジュアルエディタでパターン作成
計測するメトリクスの設定
設定が終わったらテストの実行
ホットフィックスでリリース後のアプリの更新
価格はプラン制
参考ページ

モバイルアプリ向けのA/Bテストツール

WebサービスのA/Bテストに比べて、モバイルアプリのA/Bテストツールの開発は難しいです。
Webサービスの画面は、HTMLという文字列で表現されるので、一部を変更するのが比較的簡単です。一方のiPhone・Androidアプリの画面の構成要素は、文字では表現できないオブジェクトなので操作するのが難しいです。
また、Webサービスにしてもアプリにしても、A/Bテストツールの管理画面はWebページであることも、アプリのA/Bテストツールの難しさです。WebサービスのA/Bテストの場合は、操作対象の画面をそのまま表示すれば済むのですが、アプリの場合はそうはいきません。
その一方で、A/Bテストツールの導入によるメリットは、Webサービスよりアプリの方が大きい場合があります。iPhoneアプリは、画面を少し変更するだけでも、Appleによる審査の通過が必要なためです。
A/Bテストツール自体が画面を動的に変更する機能をもつため、こういうツールの導入によって、画面の変更のたびに審査をする必要がなくなります。

Apptimizeに登録する。

さっそくApptimizeに登録してみます。
必要な情報は、名前とメールアドレスとパスワードのみなので、すぐに完了します。入力したメールアドレスに確認メールが届くので、A/Bテストを実行する時までに、URLをクリックしておく必要があります。

アプリ名と、プラットフォームを聞かれるので、入力してA/Bテストの設定を開始します。

今年に入ってから、Apptimizeに強力なビジュアルエディタが公開されたのですが、Androidは未対応とのことなので、今回はiPhoneアプリで導入テストをしてみます。

SDKの導入をする。

アプリ名とプラットフォームを指定すると、SDKの導入画面へ移動します。

iPhoneアプリへのSDKの導入方法は2種類用意されています。手作業で導入する方法と、CocoaPodsを利用して導入する方法です。今回は、CocoaPodsを利用して導入します。
プロジェクトのPodfileに、Apptimizeを追加します。

platform :ios, '7.0'
# ...(略)...
pod 'Apptimize'

そして、ターミナルから、podコマンドを実行して依存の解決を実行します。

pod install

これでライブラリの導入は完了です。
設定として、認証のための鍵を登録する必要があるので、アプリのplistにApptimizeAppKeyというキーを作成し、そこに鍵を指定します。


        
        ApptimizeAppKey
        xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

これで完了です。
SDKの導入に関して少し特徴的なのは、プログラムを1行も書いていないことかもしれません。おそらく、Objective-Cのカテゴリを利用して処理を注入することで初期化処理を呼び出しているのだと思います。

アプリを起動しても特に何も起きないのですが、ログ出力によってApptimizeが起動していることは分かります。

Apptimize: Version 2.2.2
Not an App Store release; setting up the socket manager for development mode.
Apptimize: Setting up the websocket for development mode.

ビジュアルエディタでパターン作成

導入が完了したら、あとは全てWebの管理画面からおこなうことができます。
画面のパターンの作成は、アプリのビュー構造が自動的に取り込まれてWebに表示されます。ここでボタンの文字列や色を変更することができます。

管理画面の構成がXcodeの設定に似せてあるので特に迷わず操作できると思います。これでiPhoneアプリのビューがダイナミックに変更できると思うと凄いです。
この画面の表示のために、SDKからWebSocketでApptimizeサーバに接続しているらしく、ダッシュボードで画面を書き換えると、アプリの方もつられて書き換わります。

計測するメトリクスの設定

A/Bテストなので、目的は単に画面を書き換えることでなく、計測によってどのパターンが最適かを導き出すことです。
計測対象も管理画面から設定することができます。しかも、ビジュアルエディタ上で計測対象のボタンを選ぶだけです。

管理画面の操作はとても簡単なので、SDKの導入だけエンジニアにやってもらえば、あとは誰でもできると思います。

設定が終わったらテストの実行

ここまで完了したら、あとはテストを実行するだけです。

これで、作成したパターンに応じてユーザーごとにビューが操作され、指定のメトリクスを測定してくれます。
データ点を取るところまでいっていないのですが、結果画面にはパターンごとに割り振られたユーザー数と、コンバージョン数などが表示されます。

これは簡単に使えて、かなり強力です。

ホットフィックスでリリース後のアプリの更新

リリース後のアプリに問題を見つけてしまった時の絶望感といったらないです。Apptimizeは、ダイナミックなビューの書き換えができるので、ちょっとした不具合はリリース後でも修正することができます。
この機能は、ホットフィックスという名前がついています。

画面の操作の仕方は、A/Bテストのパターンを作るのと同じです。もしクラッシュする機能をリリースしてしまった場合などは、導線を切ったりすることができます。