生成AIで定性調査を10Xする試み
はじめに
インタビューは定性調査の一環として重要性を持つ一方で、その分析には多大なコストと時間が必要となる。この記事ではPM DAOで取り組んだ、生成AIを活用したインタビューの定性分析方法の紹介をする。
課題
- 定性調査のコストと費用対効果
定性調査は詳細な情報を提供するが、その分析には時間とリソースが必要である。また、効果が直接的にわかりにくい場合もある。結果として、多くの場合、コストセンターとなりやすい。
- 実践スキルの不足と教育機会の限定
定性調査は一定のスキルと経験を求められるが、それを身につける機会は十分には存在しない。多くの人々が概念や手法を理解しているものの、実践できる人はおそらく少ない。
解決策
- インタビューの自動書き起こしによる効率化
従来、インタビューの書き起こしは多くの時間と労力を必要としていた。しかし、AIを利用すると、インタビューの音声を自動的にテキストへと変換できる。 - 長文コンテキストに対応したAIモデルの利用
これまでの定性分析では、長く複雑な文脈を適切に分析することは困難だった。しかし、GPT-4 8K、Claude 100kといった長文コンテキストにも対応したモデルが登場し自動分析がさらに容易になった。 - 経験を踏まえたプロンプト作成
これまでの定性調査および、その後の企画やプロダクト改善につながる示唆だしや経験から、誰でも扱いやすい汎用的なプロンプトを作成し、再現性を高める。
やりかた
ケーススタディPM DAOでリリースしているGPTを活用して、アイデアからユーザー仮説を逆解析するプロダクト「Value Discovery」の価値検証や改善のためのインタビューを事例にする。
インタビュー概要：
価値検証・改善点を探索するためにデプスインタビュー調査(45-60min/人)
※インタビュー対象者様からは生成AIを活用した分析に許諾頂いている
条件：
生成結果の評価およびバイアス回避のために以下の条件を定めた
-他のPdMおよびUXデザイナーの2人がインタビューを実施・手作業で分析
-自動分析者の私はインタビュー・分析に参加しない
-自動分析後にインタビューの録画を見返すことは良い
1.インタビューの目的と検証項目をもらう
他メンバーがインタビュー終了させた後、下準備として目的と検証項目を回収する。あえてインタビューには参加せずにさら地でいくのだ。
2.インタビューの自動書き起こしの実行
オンラインで実施したインタビューの録画をAIを使用して音声を自動的に書き起こす。これにより、手作業による書き起こしよりも時間と労力を節約することができる。
発話者ごとに区切ってあげるのが後から見る人に親切だろう
例：モデレーター：今日はよろしくお願いします。
Aさん：こちらこそ、よろしくお願いします。
…..
この記事に書き起こしのやり方概要を載せている
書き起こした後に校正をするのだが、校正プロンプトに「Value Discovery」の概要やインタビュー目的を追加することを忘れずに。
3.汎用プロンプトの作成
AIモデルに対する適切な汎用プロンプトを作成する。プロンプトは分析アプローチや方向性、示唆出しのを指示する役割を果たす。インタビューごとに異なるプロンプトを作成するのは大変なので、目的と検証項目を書き換えるだけで毎回つかえるテンプレートをつくるのが賢いだろう。
プロンプトの設計（下準備）：
実際のプロンプト：
すこし手間取り….初めて作るときは20-30分ほど掛かってしまった。
4.自動分析の実施とセルフレビュー
作成したプロンプトを用いてChatGPT-4、Easy-Peasy.AIやClaude 100kによる自動分析を実施し、その結果を確認する。
目的や検証項目と照らし合わせて、私が評価を行いながら、結果の信頼性や解釈の妥当性を内容を知らないなりに努力してみる。
5.第三者による評価とフィードバック
今回はプロンプト作成に与えるバイアスを回避するために、あえて私はインタビュー内容を見ずに望んだ。なので自動分析の結果を、チームの第三者の専門家メンバーに評価してもらう。
読みにくいかなと思い、抜粋して表にしたり。
ここで、2名のメンバーが手作業でおこなった上位下位分析やユーザー行動フローの結果と照合してもらう。
筋は結構良さそうです！（表を見ながらコメントしてます）上位下位関係分析でヒアリング結果をもとに上位ニーズを整理していましたが、そこに上がっているキーワードと文脈はほぼほぼ網羅できている印象です。(8割〜9割)表のUser needs/User Challengesのところにチームに関するペインやニーズがもうちょっと入ったら完璧だったかなと思います。
筋通っていると思います！仮説の精度から外れるんですが、リサーチに参加していないメンバーはこのresultsは発話のどこから抽出されているか知りたいなと思いました。
よしっ！さらに、以下は校正した書き起こしに対する反応
そして、頂いたフィードバックからプロンプトを微調整して再度結果を出力して納品する。つまり他の関係者の意見を取り入れ、結果の妥当性や洞察の質を向上させるのだ。
さらに、インタビューしたユーザーのカスタマージャーニーマップを出力した。
すごい！確かにStageを指定してあげればうまく流れを整理できそうですね。 あとは、横軸の項目がそれぞれちゃんと出てるのが良い感じ！
また、別のインタビューでは
.... (省略) これいいですね。Value Assessor時代から目指していた価値。要は自信を持ってもらったり、周りから信頼をもらうために、Value Discoveryも存在するという、大きな感情的・社会的ジョブだと思う
おわりに
これまでAIには代替できないと考えられていた人の行動や心理の分析だが、近年のAI技術の発展により精度もさることながら、速度も人間が行うのに比べて何十倍にも早くなるのである。
今回は簡単な分析プロンプトを使って行った。もちろん高度なプロンプトを使ってさらに深く、そして多角的に分析することで、より人間の分析者が取りこぼしてたことや自身が陥っていたバイアスに気づきを与えることができる。
みなさまも試してみてはいかがだろうか！？
更新の通知を受け取りましょう
気になるトピックスが、きっと見つかる 
他では得られない独自の知見 
交流から生まれる新たな価値 
投稿したコメント