施策前の平均
4.34%
施策後の平均
3.78%
境界を落ち込みの前に置けば失敗施策、後ろにずらせば成功施策。折れ線は一度も書き換えていないのに、あなたが置いた「いつ効いたはず」だけで評価が正反対になる。
折れ線そのものは最初から一本きり。なのに、施策を打った週をどこに置くかで評価は「改善」にも「悪化」にも転ぶ。結論を決めていたのはデータではなく、いつ効いたはず、という仮説の置きどころだった。
第5週はいくつになる? ハンドルを上下にドラッグして予想を置いてから開く。
予想を置いてから開くと、実測とのズレが驚きとして手元に残る。いきなり数字だけを眺めた人には、この「思っていたのと違う」が生まれない。学びのタネは、データそのものではなく予想と実測の差の側にある。
ペルソナ設計を先にやる理由
「誰のためのサイトか」が曖昧なまま数値を見ても、その数値が良いのか悪いのか判断できない。訪問者像(ペルソナ)を先に具体化しておくことで、初めて「この離脱率は想定より高いのか」を判断する基準ができる。
例: 計算ツールに来た訪問者。目的は数十秒で達成できるはず
理想は1〜2分以内。長いほど「迷っている」サイン。
同じ滞在4分が、なぜ良い兆候にも悪い兆候にも見えるのか。値は一切いじっていないのに、想定する訪問者を替えるだけで評価が裏返る。数値の良し悪しは、それを読むペルソナが手前で決めている。
ほぼ全員が4分前後。平均=典型、と読んで概ね正しい。
平均4分は据え置きでも、その内訳は一山にも、即離脱層と熟読層の二山にもなる。平均の近くに人がいるとは限らない。どんな層を束ねた4分かを問わないまま、たった一つの数字で全員を語れるだろうか。
定量(GA数値)と定性(ユーザーの声)の使い分け
GAの数値は「どこで何が起きているか」を教えてくれるが、「なぜ起きているか」までは教えてくれない。数値で異常箇所を見つけ、ユーザーインタビューやレビューといった定性情報で理由の仮説を立てる、という組み合わせが必要になる。
定量: ステップ別の離脱率 (どこ を1つ選ぶ)
定性: ユーザーの声 (なぜ を1つ選ぶ)
MEMO
申込フォームの完了率が先月から半減した。直したいが、どこで・なぜ落ちているかが真っ白。定量と定性を1つずつ選ぶところから。
「どこ」と「なぜ」を選び違えると、噛み合わない文しか組めない。定量が指す離脱ポイントと、定性が語る理由がぴたりと重なったときだけ、次に試す一手が決まる。片方だけでは、方向も優先度も宙に浮いたままだ。
観測されたCVR
15.0%
95%信頼区間の幅
±15.6pt
サンプルが少ないと区間が広く、真の5%から大きくずれた数字も普通に出る。この上下に一喜一憂しても意味がない。
定量の数字も、サンプルが小さいうちは偶然で大きく上下する。「n=20でCVR 10%」に一喜一憂しても意味がない。数字を読むには、真の値の見当(仮説)と、どれだけ集めれば信じてよいかの感覚が要る。
「数字が悪い」から「何を変えるか」への橋渡し
離脱率が高いという事実だけでは改善案は出ない。「ペルソナならこの画面で何を求めているか」という仮説を挟んで初めて、「情報が足りないのか、導線がわかりにくいのか」という具体的な改善仮説にたどり着ける。
全体の相関 r
0.95
気温を揃えた帯の相関 r
0.19
全体では X と Y は強く相関する(r≈0.95)。ところが気温を揃えた帯(赤)だけを取り出すと、その相関はほぼ消える。両方を同時に押し上げていた本当の原因は気温のほうだった。相関を根拠に「Xを増やせばYも増える」とは言えない。
「Aが増えるとBも増える」。この相関に飛びついて施策を決めると外す。裏で両方を押し上げている第三の要因(交絡)を疑えないと、動かすべきでないレバーを引いてしまう。
セグメント別(どの層でも旧Aが上・固定)
新規ユーザー
リピーター
全体(構成比で動く)
全体では新デザインBの勝ち——なのに、どのセグメントでも実は旧Aの方が上。構成比が生んだ錯覚。
全体の勝敗だけを見て「新デザインの勝ち」と結論づけると、どの層でも実は負けていた、という取り違えが起きる。効くのはどの層か。その見立てを持って分解してから、初めて勝者を名乗らせていい。
改善サイクルをAIと回すための質問設計
数値だけをAIに渡して「改善案を出して」と頼むより、ペルソナ・数値・気づいた定性情報をセットで渡す方が、的外れでない改善仮説が返ってきやすい。
触れているのは集計の窓だけ。データ側は指一本ぶんも動かしていないのに、開始と終了の位置しだいで傾きの符号がひっくり返る。
同じ系列でも、どこからどこまでを切り取るかで「上昇」にも「下落」にもなる。結論を先に決めて、それに合う期間を選んでいないか。AIに数字を渡す前に、まず自分の切り取り方を疑いたい。
このグラフに「意味のあるトレンド」はある?
完全な偶然の上下からも「勢い」や「山」は立ち上がり、人はそこへ後から原因をあてがう。だから順番を逆にしない。先に仮説を立て、それを確かめる問いとしてAIにぶつける。この型が、ノイズに物語を語らせない歯止めになる。
AIに投げるプロンプト例
Webサイトの改善を一緒に考えてほしいです。 - 想定しているペルソナ: [ここに記入] - 気になっている数値(離脱率・滞在時間等): [ここに記入] - ユーザーから聞いた声・気づいたこと: [ここに記入] 数値だけでなくペルソナと定性情報も踏まえて、「なぜこの数値になっていそうか」の仮説と、次に試すべき改善案を提案してください。