フィードバック + コントロール

AIを使うときに新しいこと

ユーザーのフィードバックは、ユーザーと、プロダクト、そしてチームのあいだのコミュニケーションチャネルです。フィードバックを活用することは、テクノロジーを向上させ、コンテンツをパーソナライズし、ユーザーエクスペリエンスを向上させる、強力でスケーラブルな方法です。

AIプロダクトにおいて、基盤となるAIモデルの出力とユーザーエクスペリエンスを向上させるのに、ユーザーのフィードバックとコントロールがとても重要です。ユーザーがフィードバックをできるようになれば、ユーザーは自分のエクスペリエンスをパーソナライズし、プロダクトがユーザーにもたらす利益を最大化することに対して、直接の役割を果たすことができます。ユーザーがシステムに対して適切なレベルのコントロールを持っていれば、システムへの信頼感が高くなります。

フィードバックとコントロールメカニズムについてに主に考えるべき点は次です。

➀ フィードバックをモデルの改善に合わせる。暗黙的なフィードバックと明示的なフィードバックの違いを明らかにし、適切な粒度で有用な質問をします。

➁ 影響を与える価値と時期を伝える。人々がなぜフィードバックをするのか理解し、ユーザーエクスペリエンスがいつどのように向上されるのか、期待値を設定します。

➂ コントロールと自動化のバランスをとる。ユーザーに、エクスペリエンスの特定の側面においてコントロールを与え、フィードバックをすることをかんたんにオプトアウトできるようにします。

---

➀ フィードバックをモデルの改善に合わせる。

一般に、フィードバックを収集するためのメカニズムには「暗黙的」なものと「明示的」なものがあります。どちらのタイプのフィードバックでも、どのような情報を収集しているのか、それが何のためにあるのか、それがユーザーにどのように利益になるのかを、ユーザーに知らせることが重要です。できるかぎり、フィードバックを使ってAIを向上させる方法を見つけてください。

暗黙的なフィードバックを確認する

暗黙的なフィードバックは、プロダクトログからわかるユーザーの行動やインタラクションに関するデータです。このフィードバックには、ユーザーがアプリを開いた日時や、レコメンドを受け入れた、または拒否した回数など、貴重なかたまりが含まれることがあります。これらの情報はたいていは、ふだんのプロダクトの利用の一環として発生します。この種の情報を明示的に要求する必要はありませんが、収集していることをユーザーに通知し、許諾を得てください。

プライバシーについては、「メンタルモデル」と「データ収集 + 評価」で少し話しました。ユーザーは、自分の行動がいつ入力やフィードバックとして使われているのかをつねに意識しているわけではないので、このデータの用途を説明するときは、「説明 + 信頼感」と「メンタルモデル」の章にある考慮事項を確認してください。とくに、暗黙的なフィードバックを利用するということ（ユーザーの行動ログをとるなど）を、ユーザーがオプトアウトできるようにすべきです。また、これを利用規約に含める必要があります。

明示的なフィードバックを集める

明示的なフィードバックは、ユーザーが、AIからの出力に対して意図的にコメントをすることです。往々にして、これは定性的です。たとえば、レコメンドが役立つかどうか、写真のラベルなどの分類が間違っていなかったか、あるいはどのくらい間違っていたかなどです。明示的なフィードバックには、アンケート、レーティング、いいねを表す上向きの親指マークや不満を表す下向きの親指マーク、自由入力欄など、さまざまな形式があります。

明示的なフィードバックでする質問と回答は、ユーザーにとって理解しやすいものでなければなりません。また、言葉づかいが望むフィードバックの種類に合った声と調子になっていること、そして攻撃的に受け取れる言葉や表現を避けることも、重要です。深刻なことを尋ねるときに、冗談は一般的には適切ではありません。

明示的なフィードバックにはふたつの方法があります。

1. あなたやチームは、テーマについてのユーザーのフィードバックをレビューし、それに応じてプロダクトに変更を加えます。
2. データとして、AIモデルに直接にフィードバックします。

後者のためにしているときは、受け取ったフィードバックデータが実際にモデルの改善に使えるようにしてください。システムとユーザーの両方が、フィードバックが何を意味するのかを理解する必要があります。

ほとんどの場合、フィードバックの回答の選択肢は、互いに排他的で、全体に網羅的であるべきです。たとえば、親指を立てるサインと親指を下向きにするサインは明白（"いいね" or "いや"）で、相互に排他的であり（not "いいね and いや"）、有用な意見を網羅しています（"ふつう"はあまり実用的ではありません）。より詳細なフィードバックがほしいときは、ユーザーが自分の体験を評価する方法に合った選択肢を示してください。

二重のフィードバックを解釈する

ひとつのフィードバックに、暗黙的なシグナルと明示的なシグナルの両方が同時に含まれることがあります。たとえば、一般的な「いいね」は、他の人とコミュニケーションをとるための手段（明示的なシグナル）であると同時に、レコメンドモデルを調整するために役に立つデータ（暗黙的なシグナル）でもあります。このようなフィードバックは、ユーザーがすることと、ユーザーがAIモデルに望むことのあいだに、明確な関連性がつねにあるとは限らないため、混乱を招く可能性があります。たとえば、あるユーザーがひとつのコンテンツに反応したからといって、その同じコンテンツをもっと見たいという意味だとは限りません。ユーザーはそれを却下しようとしているのかもしれませんし、一時的な好奇心に惹かれただけかもしれません。

このようなとき、モデルのチューニングに暗黙的なシグナルをどのように使うかを検討することが重要です。すべての行動が同じように解釈できるわけではありません。同じように、明示的なフィードバックが広い意味で解釈できるときは、「これは問題ありません」を「これはかつてなく最高のものであり、これから私が見たいのはこのようなものだけです」と言いかえてみて、モデルのチューニングに与える影響を減らすことを検討してください。

モデルのチューニングのための設計

理想は、人々がフィードバックしたいことと、モデルをチューニングするのに役立つデータとが一致することです。しかし、その保証はありません。ユーザー調査をして、人々が影響を与えることができると期待しているものが何かを見つけてください。たとえば、ビデオのレコメンドシステムでは、人々は、AIモデルが理解するのと異なる概念レベルでフィードバックをしたいと思っているかもしれません。モデルは「この制作者のビデオをもっと見たい」と解釈していても、ユーザーは「ペアレントフッドについてのビデオをもっと見たい」と考えているのかもしれません。

さまざまな種類のフィードバックを収集するかしないか、というトレードオフすべてについて、部門横断的にステークホルダーと話し合ってください。強く明確なシグナルはチューニングには最適ですが、行動にもとづいて意図を推測する方法には注意してください。時には、長期間にわたってインタラクションを見ると、行動と意図のより正確なパターンを抽出することができます。

---

➁ 影響を与える価値と時間を伝える

人々にフィードバックをする時間をとってもらうためには、それに価値があり影響力がある必要があります。これをどのように伝えるかが、ユーザーが参加してくれるかどうかの鍵になります。往々にして「価値」は動機づけになるので、具体的なユーザーのメリットの観点からフィードバックのリクエストを組み立ててください。

フィードバックのメリットをユーザーに伝えるためのメッセージ発信を考える前に、そもそも人々がフィードバックをなぜするのか、からはじめましょう。

なぜ人々がフィードバックをするのか理解する

人々が、プロダクトや体験についてフィードバックをする理由は多くあります。以下に、標準的な理由のいくつかを、それぞれの長所と短所とともに挙げます。

ユーザーにとって知覚される価値と実際の価値を合わせる

メリットが明確でも具体的でもなければ、ユーザーはなぜフィードバックをしなければならないのかを理解できないでしょう。ユーザーはフィードバックするのを避けるかもしれませんし、避けることができないなら、無意味な反応や、プロダクトやコミュニティにとって結局は有害になるフィードバックをするかもしれません。

ユーザーが、自分のフィードバックがプロダクトの開発者にしか価値がないと思ったら、意図的に悪いフィードバックをするかもしれません。たとえば、あなたの「無料」アプリの背後にある意図が、じつはユーザーに無許可で集めたデータを広告主に売ることだとユーザーが推測したら、アンケートで得られるフィードバックは色づけされているでしょう。

理想的には、ユーザーは自分のフィードバックの価値を理解し、それがわかる形でプロダクトに現れることです。ユーザーにとって、AIが何を実際に提供してくれるのか、わかることを価値へと結びつけるのは、あなた次第です。

ユーザーエクスペリエンスの変化にフィードバックを結びつける

ユーザーからのフィードバックを受け取ったことを感謝するだけでも信頼感をつくることができますが、しかしできれば、プロダクトは、システムが次に何をするのか、あるいはユーザーの入力がAIにどのような影響を与えるのか、知らせるとよいでしょう。

ユーザーのフィードバックが、いつどのようにユーザー個々の体験を変えるのか、具体的に伝えることが必ずしもできるとは限りません。しかしできるなら、プロダクトが決まったスケジュールで体験を届けることができるようにしてください。できることなら、ユーザーへすぐに影響のあるフィードバックをしてください。

以下に、フィードバックのタイミングと影響を説明するためのアプローチを紹介します。

1.「ご意見ありがとうございます」

• 影響のタイミング：なし
• 範囲：なし

2.「ありがとうございます！　あなたのフィードバックにより、今後のランニングのレコメンドが改善されます」

• 影響のタイミング：広く「未来」
• 範囲：すべてのユーザーの「レコメンド」

3.「ありがとうございます！　今後のランニングのレコメンドを改善します」

• 影響のタイミング：広く「未来」
• 範囲：あなたの「レコメンド」

4.「ありがとうございます！　次回のレコメンドには丘は含まれません」

• 影響のタイミング：「次」。決まった習慣がないと、これは少しあいまいです。
• 範囲：「丘」カテゴリー

5.「ありがとうございます。レコメンドが更新されました。見てください」

• 影響のタイミング：「更新されました」というのは即時を意味します。
• 範囲：更新されたコンテンツを実際にやってみたとき。

AIの改善への期待値を設定する

多くのシステムでは、ユーザーからのフィードバックがあっても、AIの出力の多くは以前と変わらないことがあります。ユーザーがより多くのフィードバックをするにつれて、ひとつひとつのフィードバックがAIモデルに与える影響は少なくなります。また、モデルにした改良がわずかすぎて、ユーザーがすぐにはフィードバックできないこともあるでしょう。

フィードバックが、AIモデルの改善にまったく関係していないこともあります。たとえば、プロダクトは、レコメンドの一部として「もっと見る/もっと少なくする」というフィードバックボタンを含むことがありますが、そのフィードバックはAIモデルのチューニングには使われないでしょう。たんに表示されるコンテンツに対するフィルタであり、将来のレコメンドには影響しません。このようなときに、ユーザーが即座にチューニングされるというメンタルモデルを持っていると、ミスマッチな期待になり、ユーザーは混乱し、失望し、不満に感じるでしょう。

このような状況を回避するには、上記のメッセージの例を使って、フィードバックの範囲と影響するまでの時間を明らかにします。モデルがユーザーのニーズに合うようになるまでの時間がユーザーにわかっていれば、ユーザーエクスペリエンスは良くなります。

最良のデータとフィードバックがあっても、AIモデルの改善をすぐにすることはほとんど不可能です。エンジニアリングチームは、個人からのさらなる情報や、グループからの追加データや、あるいはバージョンアップまで、モデルの更新を待たなければならないかもしれません。

こういった遅れが実状であるということは、モデルのパフォーマンスの向上や、AIプロダクトからのより関連のある出力を、ユーザーはいつ期待すればよいのか、明確な期待値を設定しておく必要があるということです。明確なデザインとメッセージで、それをすることができます。

---

➂ コントロールと自動化のバランスをとる。

AIプロダクトにおいて、自動化とユーザーコントロールのあいだに本質的なバランスがあります。プロダクトは、いつでも、すべてのユーザーにとって完璧というわけにはいかないので、ユーザーがニーズに合わせて、出力を調整したり、編集したり、オフにしたりできるようにします。現実の世界におけるユーザーのコンテキストと、ユーザーの手元にあるタスクとユーザーの関係性は、ユーザーがプロダクトをどのように使うかを決めます。タスクを「自動化」するか、プロセスを「拡張」するかどうかについては、「ユーザーニーズ + 成功の定義」の章で詳しく説明しています。

人々がコントロールをいつ維持したいのか理解する

AIプロダクトをつくるとき、もっとも価値のあるプロダクトは、人々が現在は手作業でしているタスクを自動化するものだと思いがちです。これは、現在は完了するのに7つのステップが必要なものを、1つのコマンドでできるようにするようなプロセスでしょう。たとえば、テーマソングコレクションを生成できる音楽アプリを想像してみてください。それがあれば、ユーザーは、アーティストのレビューをし、トラックを聴き、収録すべき曲を決め、そしてソングリストを編集するという時間をかける必要はありません。

このようなプロダクトによるユーザーの利益は明らかに思えるかもしれませんが、しかし、このようなプロダクトをつくるチームは、往々にして、ユーザーが自動化とコントロールについてどのように感じるか、貴重な教訓を学ぶことでしょう。AIであるかないかにかかわらず、人々がタスクやプロセスのコントロールを維持することを望む状況もあります。タスクを「自動化」するのか、プロセスを「拡張」するのかについては、「ユーザーニーズ + 成功の定義」の章で詳しく説明しているので、ここではかんたんに説明します。

人々がいつコントロールを放棄するか理解する

人々がコントロールを放棄しても完全にかまわないと感じ、AIや自動化されたシステムの助けを好むときも、もちろんたくさんあります。

オプトアウトをできるようにする

はじめてAIを紹介するときは、ユーザーがAIを試せるようにするか、AIを無効にすることができるように検討してください。AIのメリットを明確に説明したあとは、その機能を使わないというユーザーの意志を尊重してください。ユーザーはあとでAIを使うことにしたのかもしれません。

プロダクトが、人間のできるタスクとプロセスを拡張するには、人々は、状況に応じて何をするかをコントロールできる必要があります。そのひとつの方法は、ユーザーがタスクを、ふだんの自動ではないやりかたで、できるようにすることです。「メンタルモデル」の章で述べたように、手動による方法は安全で有用な代替方法です。エラーや失敗はAIを改善するのに不可欠なものなので、ユーザーは間違いなく手動によるフェイルセーフを必要とするでしょう。プロダクトの使いはじめはなおのことです。

ユーザーの日常生活における、プロダクトの相対的な優先順位に留意してください。プロダクトを使う人々は、おそらくマルチタスクで、他のプロダクトやアプリも使っていて、概していろいろな方向に注意が引っ張られています。たとえば、ナビゲーションアプリが、ユーザーが運転しているときに、より速い代替ルートをレコメンドすれば、より早く帰宅することができるでしょうが、ユーザーの意識が乗客と交通状況とに散らばっているときは、使うのは危険でしょう。プロダクトはおそらくユーザーの生活の焦点では​​ないので、エンゲージメントを求めることは戦略的に、最小限に、そしてかんたんに却下できるようにすることを忘れないでください。

編集できるようにする

ユーザーの設定は時間とともに変化する可能性があるため、ユーザーが機械学習モデルのどの設定をコントロールできるようにするか検討し、それを調整できるようにします。これまでシステムのレコメンドや予測に関連性がなかったとしても、将来的には関連性が増すかもしれません。プロダクトは、これまでにした選択を消去したり、更新したり、機械学習モデルをデフォルトのパーソナライズされていない状態へとリセットしたりできるようにするべきです。

---

まとめ

AIによる機能やプロダクトをつくるときには、フィードバックとユーザーのコントロールが、ユーザーとシステムのあいだのコミュニケーションと信頼感を築くために、そしてユーザーのニーズを長期にわたって満たすプロダクトを開発するために不可欠です。フィードバックのメカニズムは、「メンタルモデル」、「説明 + 信頼感」、そしてAIのチューニング方法と密接に連携しています。これら3つの側面は、ユーザーにとってプロダクトを改善するうえでの鍵となります。

AIを使うとき、フィードバックとコントロールのメカニズムについて、新しく考えるべき点が3つあります。

➀ フィードバックをモデルの改善に合わせる。「暗黙的な」フィードバックと「明示的な」フィードバックの差を明確にし、適切な粒度の適切な質問をする。

➁ 影響を与える価値と時期を伝える。なぜ人々がフィードバックをするのかを理解し、メリットを説明し、フィードバックがユーザーの体験をいつどのように変えるのかを伝えて、メンタルモデルを構築する。

➂ コントロールと自動化のバランスをとる。ユーザーが求めるエクスペリエンスの側面をコントロールできるようにするとともに、フィードバックすることをかんたんにオプトアウトできるようにする。

議論を円滑にし、イテレーションをスピードアップし、落とし穴を避けたいですか？　ワークシートを使用してください。

---

---