Kissmetricsのプロダクトディレクターが、100回のユーザビリティテストを自ら受けて学んだ10のこと

SHARE:

Charles-LiuCharles Liu氏は、サンフランシスコに住む@KISSmetricsのデザイン・リサーチ・センターのマネージャー。遠隔ユーザーテスト、調査設計、A/Bテスト、アナリティクスなどを用いて、チームの課題解決を後押ししている。Twitter アカウントは、@chuckjliu

本記事は、Mediumへの投稿記事をLiu氏から許可を得て翻訳したものです。元の英語記事もどうぞ。


2005年、Jared Spool氏(UX研究所「UIE」の創業者)は、ユーザビリティテストのベストプラクティスについて書いている。2014年になった今、それはどう変わったのだろうか?

ユーザビリティテストは、ユーザーにテストに参加してもらうことで、プロダクトやサービスを評価するテクニックだ。ユーザーは、タスクを遂行し(またはそれを試みる)、観察者はその様子を見聞きし、ノートをとり、そこから学ぶ。

約150回に及ぶユーザービリティテスト(その全てをUsability Hub上で行った)を受けてみた結果、今日におけるユーザービリティテストの活用され方について面白いことを学ぶことができた。まずは、ユーザビリティテストをを独自につくる際に避けたいことを頭に入れておくと良い。Spool氏の「Seven Common Usability Testing Mistakes」(ユーザビリティテストにおいて最も頻繁な7つの間違い)は、最適な入門記事だと思う。

1. Webサイトの色味をテストする

people-test-colors-CL
で、具体的にここで何をすればいいの?

ユーザービリティテストの目的は、人が特定のタスクを達成することを阻むであろう重大な問題を特定することにある。残念ながら、このテストは、僕が達成すべきタスクについて具体的に明示していない。単に、より適していると思う背景の色を聞いているだけだ。

このテストは、どちらかというとブランドアイデンティティーについての質問だと思う。「この色は、Webサイトの内容に合っていますか?」「この色は、プロダクトがユーザーに感じてほしい感情に適した色ですか?」といった質問の答えを見つける緒になるものだ。この類のトピックスは、無作為に選ばれたユーザーに聞くのではなく、ブランドアイデンティティーを包括的に見るクリエイティブディレクター、またはクライアントに対して、自分たちのブランド価値を象徴するのにふさわしいかを確認すべきだと思う。

2. テストを難しくしすぎて、ユーザーがタスクを達成できない

そもそも読むことができない。
そもそも読むことができない。

これは、僕がどこをクリックするかを見るための何のひねりもないクリックテストだ。ところが、どの選択肢も小さすぎて読めないため、自分がクリックしたい場所を的確にクリックすることができない。もし、このスクリーンショットがもっと拡大されていれば、求められていることに答えられたと思う。自分がやるべきことはわかるが、自分がクリックしている場所を正しく認識する方法が存在しない。こんなテストを受けると、こんな気分になってしまう。

冗談じゃなく。僕はあなたの手伝いがしたい。手伝わせてくれ。
冗談じゃなく。僕はあなたを手伝いたい。手伝わせてくれ。

3. 好みのロゴを選ばせる

これでユーザビリティテストと呼んでいいものか。
これってユーザビリティテストと呼べるの?

このロゴは、社内で重要な問題を象徴しているものなのか?このロゴについて、ビジネスオーナーは何を知りたいのか?ユーザービリティテストでロゴを選ばせることで、完成するデザインに影響しうるどんなラーニングを得ようとしているのか。これが不明瞭なことは問題だ。ここでは、どちらのロゴが好みかを問われているが、その答えは主観的でしかない。

GAPがロゴ変更をした時の大惨事を覚えているだろうか?ロゴは、ブランドのアイデンティティに対して長期的なインパクトをもたらす。ロゴに関する無作為なユーザーに対して行うユーザービリティテストにはリスクが伴う。このテストの結果には、大した意味がない。そもそも、ビジネスやクライアントが、自分たちのブランド価値をロゴが適切に象徴しているのかがわからないのだから。

仮に、建築事務所のロゴを見せられて好きな方を選べと言われたとする。この先の人生で、僕がその建築事務所と関わる可能性は極めて低い。つまり、どのロゴであろうと構わないのだ。それでもロゴを選ばざるを得ないなら、ただ色が好みだからといった単純な理油で適当に選ぶことになるだろう。

ロゴは、この会社のブランドアイデンティティに大きくインパクトを与えるものだ。だから、無作為なデモグラフィックに対してユーザービリティテストすることは、リスクでしかないと思う。もし、ブランドアイデンティティを大切にしたいなら、パートナーや実際の顧客、そのほかのステークホルダーと共にロゴを選ぶべきだろう。

4. クラウドソーシングでロゴをゼロからデザインする

これはユーザビリティテストとして行うべきじゃない。ターゲット層ではなくランダムな人にロゴデザインを委ねることは事業を危険に陥れる可能性がある。
これはユーザビリティテストとして行うべきじゃない。ターゲット層ではなくランダムな人にロゴデザインを委ねることは事業を危険に陥れる可能性がある。

これにはちょっと驚いた。ユーザビリティのクリックテストで、どちらのロゴのほうが好みか、また文字は大文字が良いか、小文字が良いかを選ばせるというもの。

一つ前のラーニングで共有したように、これは適当に選ばれた人ではなく、会社の見込み顧客に対して行うべきテストだと思う。いくつかのロゴをデザインして、見込み顧客に対してそれを見せて反応を見てみればいい。適当な人たちにロゴデザインを作ってもらうより、よっぽどユーザーの意見や好みを知ることに役立つはず。

5. ユーザーにとって良いだけでなく、「ユーザーとビジネス」に良いか

best-for-business-CL

過去に4年間カスタマーサポートとして働いて、このスクリーンの異なるバージョンを目にしたことがある。この場合、購入や店舗での体験についてのカスタマー評価を測定するのに、ユーザービリティテストが正しいやり方だとは思わない。なぜなら、事業における超重要なメトリクスは、ユーザビリティテストで測るべきではないからだ。本来聞くべきは、そもそも、なぜこのスクリーンを見せたいのか?ではないだろうか。

例えば、左側のYes/Noのスクリーンのほうが、クリックテストでより良い成績だったとしよう。一目でわかって簡潔だから、ユーザーはすぐに判断することができるのだろう。

事業を進めていく中で、改善すべき点を特定したい場合。この方法では、何人の顧客がアンケートにYesまたはNoで答えたかの数字を知るだけにとどまってしまう。これ以外の定性的な情報は全くない。Yes/Noが事業改善に役立つことはない。改善すべきポイントがどこにあるのかについて知るという肝心なことが達成されない。

6. 似過ぎた選択肢でテストしようとする

以下の例を見てみてほしい。二度見しない限り、2つのどこが違うのかをパッと把握することはできないのではないか。

間違い探し
間違い探し

皆さんには違いがわかるだろうか?

左のフィルター欄は、ダークグレイの色をしている。右のバージョンでは、ダークグレイの範囲が右側のトップ部分にまで広がっている。この違いがすぐに目につかないため、テストでどちらかを選べと言われても選びようがない。

デザインをテストするなら、微々たる違いではなく、もっと違いが明瞭な選択肢を用意するべきだろう。

7. A/Bテストをすべきところでユーザビリティテストを行う

should-use-ab-test-CL

このクリックテストで唯一違うのは、下方にあるCTA(Call to Action)のボタンにあるコピー(文言)のみだ。これは、ユーザービリティテストではなく、A/Bテストのほうがより良い結果が得られるのではないか。

なぜか?

A/Bテストでは、ユーザービリティテストが終わるのを待つことなく、各要素のパフォーマンスを確認することができる。また、A/Bテストなら、僕のような今後、一度もプロダクトを見ることがないような無作為な被験者ではなく、実際の顧客に対してそれを行うことができる。どちらの方が改善につながる意味のある結果を得られるかは、言うまでもない。

8. ユーザービリティテストを正しくセットアップしていない

どう見ればこれが「改善」にあたるのかわからない
どう見ればこれが「改善」にあたるのかわからない

まず、ユーザーがそれを正しく理解した上でテストに臨めるよう、「状況」を具体的に設定することが重要だ。これは、「あなたがどこどこで、◯◯な気持ちになっている時に、××をしようとしています」といった具合に説明して伝えることが多い。

例:結婚式のためのドレスを探しているとしましょう。

次に、ユーザーが何をすべきかを理解できるよう、タスクを明確に提示すること。5秒テストでは、何が記憶に残っているかを問うたり、何を事業とする会社なのかを理解できたかなどが聞かれる。クリックテストは、デザイナーが意図したユーザーがクリックすべきものがきちんと伝わっているか、そこに迷いがないかをテストすることが多い。

例:この企業がどんなサービスや製品を提供しているかわかりましたか?
例:セール商品が並んでいる場所をクリックしてください

上記のテストでは、状況の設定もなければ、タスクも明記されていない。何をするべきかがわからなければ、どっちのフォームが見やすいかを判断することなどできるはずがない。

上記のテストが全く同じ画像を表示していること(そもそも選ぶこと自体できない)以外にも、このテストの設定のされ方が間違っている。このテストが何を達成しようとしているのかが明示されていない。これでユーザー、そして事業の役に立つはずがない。

9. 適切なテスト方法を選ばない

5秒テスト中に設けられたこの部分は、本来、別のクリックテストとして行うべき。
5秒テスト中に設けられたこの部分は、本来、別のクリックテストとして行うべき。

とある5秒テストでは、Webサイトをじっと見たものの、それを見た後にどこをクリックしますか?と質問された。

5秒テストは、全体のデザインの中で突出した要素を分析することで、デザインの改善につなげることができる。また同時に、第一印象について聞き、デザインのわかりやすさを試す役割を果たす。

クリックテストは、要素の配置やレイアウト、また◯◯をしてくださいと依頼したタスクを達成できるかどうかを見極めることに役立つ。

冒頭で紹介したテストは、本来、5秒テストとクリックテストに分けて行われるべきだったと思う。5秒テストと、どこをクリックするかの質問がごちゃ混ぜになってしまった結果、僕はどこをクリックするかを正確に説明することができなかった。画像はパッと見せられただけでもう見えなくなってしまったし、どこにどんな要素があったかを覚えていなかったから。

10. ヘッドラインの文言をテストするのがお好き

test-headline-copy-CL

ヘッドラインのコピー(文言)に関するテストがたくさんあった。僕が想像する以上に。それは全て5秒テストだったため、同じ人が作成したテストだったのかもしれない。2つ以上のコピーが並んでいる時に、その全てにたった5秒で目を通すことは困難だった。

これがGoogle AdWordsのリンクだったなら、どれが適切かを評価するより良い方法は、全てを並べてどれがクリックされるかを見ることだと思う。リンクがクリックされたことで、読まれるコンテンツ量がどれだけ増えたのかを測定すればいい。このテストをメディアが実施するなら、編集者が採用するコピーを決定するだろう。素晴らしいヘッドラインの付け方を知りたければ、Copybloggerを参考にすると良い。

11.(ボーナス)ユーザービリティテストでドメインを決める

choose-domain-names-CL

特にベルギー大使館ほど重要であろう機関が、ユーザービリティテストでドメインを判断するのはどうなのだろうか。これについては、これ以上コメントしようがない。

まとめ

僕が受けたユーザービリティのうち、3つに1つには何かしらの問題があり、テストを実施する上の理由付けに疑問が残った。Spool氏が2005年に記事を書いてから長い時間が経って、僕たちは多くのことを学んだと思う。でも、完璧なザービリティテストへの道のりは、まだまだ遠い。

なぜテストをしているのかを明確にし、また適切なオーディエンス(被験者)に対してそれを実施すること。至極敏感なロゴのような要素は、Usability Hub上にいる無作為な人に対してではなく、選び抜いたデモグラフィックを対象にしてテストしよう。また、正しいテストを用意することは、その結果をどう活かすのかと同じくらい重要だ。用意するタスクが、自分たちが知ろうとすることに合ったものであることも当然求められる。

ユーザービリティテストは、問題を特定するための素晴らしい方法だと思う。プロダクトやサービスに関する新旧の問題を見つけるためにおおいに活用してほしい。そこで特定された問題の改善を実施したなら、それが本当に改善されているかを再度テストしてみることを忘れずに。

あなたは、自分でユーザービリティテストを実施したことがありますか?その時、何をテストしましたか?みなさんが学んだことについてもぜひ聞かせてほしい。

ハッピーテスティング!

*この記事は、もともとKISSmetricsのブログ、また僕の個人ブログに登場したものです。

(翻訳:三橋ゆか里)