対面でのDesirability Testingは、参加者がカードを物理的に手に取り、迷いながら並べる様子そのものが情報になる。リモート環境では、その「触感」が失われる。しかし、それを補う設計を施せば、地理的制約なく参加者を集められる、非同期で複数人のデータを短期間に収集できるなど、対面では実現しにくい利点が生まれる。
オンラインでDesirability Testingを設計する上で先に決めるべきは、同期か非同期かだ。これはツールの選択より先に来る判断で、プロジェクトの目的・参加者の特性・確保できるリソースによって答えが変わる。
同期 vs 非同期——選択の判断軸
同期（ビデオ会議）が向いているのは、ファシリテーターによる掘り下げが必要なとき、参加者が慣れないツールに誘導が必要なとき、複雑なプロトタイプを案内しながら体験させるときだ。対面に最も近い形でデブリーフが行えるため、「なぜそのカードを選んだか」の文脈を深く引き出せる。
非同期が向いているのは、参加者の地域や時間帯がバラバラなとき、5名以上のデータを短い期間で収集したいとき、参加者が自分のペースで答えた方が率直な回答が得られると判断したときだ。デブリーフは行えないか、行えても限定的になる。その分、質問設計が精度を左右する。
ハイブリッドも有効な選択肢だ。非同期でカード選択を先に完了させ、選んだカードとその理由を事前入力させた上で、短い同期セッション（20〜30分）でフォローアップの対話を行うパターンは、時間効率と質の両立がしやすい。
リモートリクルートの設計
対面と比べてリモートリクルートは間口が広い反面、ノーショー率（直前キャンセル・無応答）が高くなりやすい傾向がある。以下の点を設計に組み込むことで、有効回答数を安定させられる。
スクリーニング条件を絞りすぎない。 リモートDesirability Testingは、対象プロダクトを「日常的に使う人」でなくとも成立する。感情的な第一印象を測りたい段階では、むしろ事前知識が少ない参加者の方が純粋な印象を返してくれることがある。スクリーニングの基準は「評価できる文脈を持つ人か」に絞り込む。
リマインダーを2〜3回送る。 非同期の場合、依頼から回答まで数日空く。最初の依頼、翌日のリマインダー、締め切り前日の最終リマインダーで回収率が大きく変わる。リマインダーは「再度のお願い」ではなく「作業を進めるための補足情報」として送る方が返答率が上がる。
インセンティブの設計を明確に。 何をお礼として提供するかを最初のリクルートメッセージに明記する。曖昧なまま始めると、参加者側に「やって損をした」感が残り、デブリーフの質も下がる。
オンラインカード選択ツールの設計
物理カードの代替として、オンラインホワイトボードツール（付箋やフレーム機能を持つもの）を活用する設計が主流になっている。118枚全てを展開するとスクロール量が増えて認知負荷が高くなるため、30〜50語に絞ったセレクションを用意する方法が現場では多く採用されている。
セレクションを作る際の原則は、ポジティブとネガティブを同程度の比率で含めることと、対象プロダクトの文脈に無関係な形容詞を事前に除外することだ。B2Bのデータ管理ツールに「かわいい」「遊び心がある」が含まれていても参加者が迷うだけになる。
操作説明は短く、動画で済ます。 非同期では参加者にツールを自力で操作してもらう必要がある。テキストで3ステップ以上を説明するより、30秒の画面収録動画を1本用意した方が脱落率が下がる。
自由記述欄を必ず設ける。カード選択は入口でしかないという対面での原則は、リモートでも変わらない。選んだカードそれぞれに「なぜこれを選んだか（1〜2文）」を書けるテキスト欄を用意する。これが非同期でのデブリーフ代替になる。記述を強制にするか任意にするかは迷うが、「強制・短文（任意の長文より）」の方が有効回答率は高い。
同期ファシリテーションの注意点
ビデオ会議上でDesirability Testingを実施する場合、対面と異なる準備が必要になる。特に「参加者の物理的な手の動き」が見えないことを前提に、各ステップの設計を組み直す必要がある。
プロトタイプの共有方法を事前に確認する。 参加者に自分の画面でプロトタイプを操作してもらうのか、ファシリテーターの画面共有で見てもらうのかを決める。前者は参加者の操作感を直接観察できるが、接続環境の差が体験のばらつきを生む。後者は環境差をなくせるが、参加者の能動的な探索が制限される。どちらを選ぶかは、プロトタイプが「見て判断するもの」か「使って判断するもの」かによる。
カメラオフ参加者への対応を事前設計する。 表情が見えない状態でデブリーフを進めると、ファシリテーターが沈黙を読み間違えやすい。参加者が話し終えたかどうかの確認を、「何かありますか？」ではなく「今のカードについては、以上でしょうか？」と具体的に聞く形にすると進行がスムーズになる。
録画の同意を必ず取る。 セッション冒頭で録画の目的（チーム内での分析のみ、外部共有しない等）を伝え、書面または画面上での同意確認を完了させてから録画を開始する。対面でも同様だが、リモートでは参加者側が「記録されている意識」が高い分、この手続きの丁寧さが参加者の率直さに影響する。
非同期データの分析手順
非同期で収集した場合、デブリーフのリアルタイム対話がないため、自由記述の読み込みが分析の核になる。カード選択の数値集計はあくまで入口で、記述が持つ文脈を読むことで初めて改善の方向が見えてくる。
カード選択の集計は全体傾向の把握に留め、「選ばれた理由」の記述を個別に読むことに時間をかける。5名から同じカード「先進的」が選ばれていたとして、理由が「操作フローが直感的だった」「UIが見慣れないデザインだった（良い意味で）」「他社サービスと違う感じがした」と3方向に散らばることがある。この散らばりを均して「先進的と評価された」と結論づけると、改善の方向性を誤る。
ネガティブカードの自由記述は優先的に読む。対面では「退屈な」を選んだ参加者にすぐフォローの質問を投げられる。非同期では手が届かないため、ネガティブカードに対してより詳しく書くよう誘導する補足設問を事前に仕込んでおくことを検討する。
リモート特有の落とし穴
ツール操作の難しさが感情評価に混入する。 オンラインホワイトボードに慣れていない参加者は、カードを探して迷う時間が「プロダクトへの戸惑い」と混同されるリスクがある。ツールの操作を「評価に入る前の準備として完了させる」時間を確保する設計が有効だ。練習用の付箋を1枚操作させてから本題に入る、というウォームアップが機能する。
同期セッションでの沈黙処理を誤る。 オンラインでの沈黙は対面より長く感じるため、ファシリテーターが性急に言葉を埋めてしまいやすい。思考している沈黙を遮ることは、対面より多くの有益な発言を失う。「少し考える時間を取っていただいて大丈夫です」と一言添えてから待つ習慣をつける。
非同期回答の「出来すぎた」回答を鵜呑みにする。 参加者がいくつかの選択肢を調べた上で選んだ可能性、あるいは「良い参加者」を演じた可能性が対面より高い。特に記述が長くて整合性が取れすぎている場合は、後続の同期フォローアップで確認するか、そのデータの扱いを慎重にする。
接続トラブルへの過剰対応でセッションが乱れる。 音声が途切れる、画面共有が落ちるといった技術的なトラブルは起こる前提で進める。ファシリテーター自身が冷静に「少々お待ちください、接続確認します」と続け、セッションを完全に止めないことが重要だ。参加者の集中とセッションの文脈は、一度切れると再構築に時間がかかる。
参考
- Joey Benedek & Trish Miner, “Measuring Desirability: New Methods for Evaluating Desirability in a Usability Lab Setting”, Proceedings of the Usability Professionals Association 2002 Annual Conference, 2002
- Nielsen Norman Group, “Remote Moderated Usability Tests: How to Do Them”, nngroup.com
- Steve Portigal, Interviewing Users: How to Uncover Compelling Insights, Rosenfeld Media, 2013