製品の何かを変更したときに発生した問題が、本当にその変更が原因であるのかを確認するには、計測したデータを見て、それが変更の影響によるものであることを正しく推定できなければなりません。それができなければ、その後の正しい行動につなげることができません。
変更の影響を正しく反映するようなデータを計測することが学びの前提であり、計測すべきデータ、すなわち評価基準をどのように設定するかがきわめて重要になります。
通常業務における生産性は、機能的な卓越性（マーケティング、営業、製品開発など、それぞれの機能における卓越性）によって測られていることがほとんどです。つまり、各機能のスペシャリストが自分の仕事に没頭できた時間の割合で効率を測ってきました。
このような生産性評価においては、仕事そのものが適切であったのか、つまり本当に顧客にとっての価値を生み出すものであったのかの検証がおろそかになっています。
本来、顧客にとっての価値につながらない仕事は、どれほど時間をかけ、どれほど努力を傾けたとしても、すべは無駄にしかなっていません。
スタートアップ・チームの生産性は、検証による学びの効率性でなければなりません。スペシャリスト一人ひとりの効率向上は目的に含まれません。機能横断的に仕事をして検証による学びを得るチームが求められます。
チームの生産性を追求する過程では、メンバーの個人的効率は必ず落ちることを覚悟しておく必要があります。大事なのは「構築−計測−学習」のフィードバック・ループを少しでも早く回すことです。
検証による学びに切り替えると、いいと思う前に駄目だと感じることがほとんどです。なぜなら、旧方式では問題自体が認識しにくいのに対し、新方式では問題がはっきりと突き付けられるからです。このことは、あらかじめ知っておくべきです。
コホート分析
スタートアップに相応しい評価基準は、総数ではなく「コホート型」です。総数または累計値を見るのではなく、製品と新しく接する顧客グループの成績を個別に見る方法です。このお互いに独立したグループを「コホート」と呼びます。
「コホート」とは、共通した因子を持ち、観察対象となる集団のことを指します。元々は、生まれた時代が同じ人々の集まりのことを指し、「○○世代」などというときの「世代」に相当するようです。
例えば、ある月に新たにユーザー登録した顧客を把握し、その顧客を母数にして、そのうちでアプリケーションをダウンロードした比率、試用した比率、リピートした比率、有料契約した比率などのように見ていきます。
総数では個々の数が増加しているように見えても、コホートで見ると、全く違った状況にあることが見えてきます。ある比率は増加していても、それ以外の比率は全く増加していない、あるいは減少しているものさえあることが分かります。
スプリットテスト
データを見て因果関係を探ろうとすると、時間差があるために曖昧な予測になったり、他の影響要因を排除できなかったりします。このような曖昧さを排除するには、新機能の投入をスプリットテストするのが有効です。
スプリットテストとは、異なるバージョンの製品を同時並行で顧客に提供する実験です。同じ属性の2つの顧客グループに対し、異なるバージョンの製品を提供し、反応の違いを見ますので、異なる機能と反応の違いとの直接の因果関係を見つけることができます。
ただし、スプリットテストでは、一度に一つの違いをテストするようにしないと、因果関係が曖昧になってしまうことに注意しなければなりません。
かんばんによる優先順位づけ
優先順位をつける方法として、トヨタ生産方式の「かんばん」を応用する例があります。
例えば、ソフトウェア製品の場合、それぞれの機能に関わる製品開発を「バックログ」（未処理）、「構築中」、「構築完了」、「検証中」の4段階に分けます。
検証では、定量的にはスプリットテストで顧客行動の変化を確認することができます。定性的には顧客の面接調査、場合によってはアンケート調査で行うこともできるかもしれません。
それぞれの段階を示すかんばんの使用枚数は、例えば3枚のみとし、かんばんが余っていなければ、別の製品開発がその段階に入ることはできないようにします。
通常、「検証中」のかんばんが足りなくなり、他の開発が進まなくなってしまうことが多いようです。これまで、機能を開発することをもって評価の対象としてきた組織でそのようになります。その機能が本当に必要であったかどうかは検証されてこなかったのです。
明確な仮説に基づく明確な目的をもって機能を開発してこなかったような場合、「ともかく作ってみよう」といった曖昧な動機で様々な機能を開発する習慣があったような組織の場合、検証を想定していないため、作った後にどのように検証してよいか分からない状態になりがちです。
明確な仮説がなければ、検証できないことが分かります。検証できなければ成果を測れないので、生産性にカウントすべきではありません。生産性は、検証による学びをベースに測ります。
3つの「しやすさ」
リーン・スタートアップの尺度として重要なのは、「行動しやすさ」、「分かりやすさ」、「チェックしやすさ」です。
「行動しやすさ」は、明確な因果関係が前提です。因果関係がはっきりしなければ、顧客が行動した理由が分かりませんので、学ぶことができず、次の行動につながりません。
「分かりやすさ」は、データの意味が分かることです。分かりやすさは行動しやすさにつながります。
評価尺度の実体は人間ですから、データを見て、製品に接したときの顧客の行動を想像できなければなりません。この点でも、総数よりコホート型データが望ましいと言えます。
「分かりやすさ」は、生データをレポートとしてどのように表現するかにも関わります。どのような形式のグラフにするか、実数で表現するか、割合で表現するか、変化率で表現するか、などによって訴えるものが変わります。
「チェックしやすさ」は、データの信頼性の補強します。特に、プロジェクトの失敗を示唆するようなデータに関しては、信頼性を疑う意見が出てきがちです。失敗を認めたくない心理が働くからです。
レポートのまとめ方が信頼性を証拠づけるようになっていないことが原因であることが少なくありません。できる限りマスターデータを利用し、その出所は明らかにしたうえでレポートにまとめなければなりません。
マスターデータ自体が信用できないということになれば、「分かりやすさ」も損ないます。そのデータから顧客の行動をイメージできない可能性があります。
いずれにしても、人の行動をデータで表現しているものですから、最終的には顧客と話す形で検証できなければなりません。評価は、定性的にも行う必要があります。
