<Pick Up> Paktor avoids a huge mistake by A/B testing before deploying

アジア市場向けの「Paktor」は、表示された相手をフリックして、タイプの子をlikeまたはdislikeするだけで素敵な相手が見つかるデートアプリ。過去のユーザー分析などを踏まえて立てた仮説をもとに、アプリにとある変更を加えようとしていた。

でも、今時、ABテストを比較的簡単に行えるサービスもあるんだし、と「Apptimize」を使って実施したABテスト。既存バージョンでは、相手の好みを判断するためのアイコンはThumbs up（好き：上向きの親指）かThumbs down（嫌い：下向きの親指）。これを、ハートマークと×マークに置き換えるというのが改善案だった。

ハートという、アプリの目的でもある恋愛感情を思わせるアイコンにすることで、ユーザーのエンゲージメントは高くなるだろうと見込んでた。ところが、実際にABテストをしてみると、ハートアイコンのクリック率は以前の親指アイコンに比べて6%減少。これを成長率と売上げに置き換えると、前月比26%のマイナス成長、売上げは年間で11%も失うことに。

Paktorのチームは、気軽な気持ちでフリックして相手を見つけようとしているユーザーにとって、ハートマークはそれがもっと真剣なもの、コミットメントのあるものだという意思表明につながるということで敬遠されたのでは？と分析。たしかに「いいね！」に比べて、ハートはより「好き」という感情を表現する気はするね。

via. Apptimize