今やオンラインでビジネスを行う企業は何らかの形でA/Bテストを行っているようです。今月発売されたハーバード・ビジネス・レビュー6月号の中でも、「オンライン実験」というキーワードでこの点に触れています。
A/Bテストは施策の効果を検証するために実験をする手法で、一般的にはランダム化比較試験(RCT)と呼ばれるものです。
テクノロジー企業がビジネス実験を組織に拡大する方法 ネットフリックスやエアビーアンドビーが実践する | イヤボール・ボジノフ,デイビッド・ホルツ,ラメシュ・ジョハリ,スベン・シュミット,マーティン・ティングレー | [“2025年6”]月号｜DIAMOND ハーバード・ビジネス・レビュー
テクノロジー企業を筆頭に、ほとんどの企業がオンライン実験を行っている。イノベーションの創出が狙いだが、実際には実験の設計・実施・分析ができる者がデータサイエンティストに限られることから、本来必要な規…
アマゾン・ドットコム、アルファベット、メタ・プラットフォームズ、マイクロソフト、ネットフリックスなどの先進的テクノロジー企業は長年、オンライン実験によってイノベーションを加速させてきた。
https://dhbr.diamond.jp/articles/-/11973
A/BテストはWebサービスやアプリケーションのUX・サービス改善の文脈で語られることが多いものですが、ビジネスから離れて考えると治験や実証系研究などで古くから利用されている歴史あるアプローチです。
データから施策効果や物事の因果関係を捉えようとすると、究極的にはA/Bテストに辿り着きます。その他の手法も多く開発されていますが、何らかの前提条件や制約があるからです。一方、ピープルアナリティクスのように、倫理的な面でA/Bテストを取り入れにくい分野もあります。
そこで、本レターではピープルアナリティクスにおける効果測定に焦点を当て、課題やアプローチを探っていきます。
なぜ効果検証が必要なのか？
人事課題を解決するために何らかの施策を打ったら、その効果があったのかどうか検証したくなるのは自然な話だと思います。もし100%成功すると確約できる施策であれば検証は不要なのかもしれませんが、そう言い切れる施策はほぼないはずです。
したがって、「上手くいく」と考えて施策案にGoサインを出したとしても、それは「仮説的なソリューションだ」と考えるべきです。そのため、ビジネスの現場では、人事を問わず施策実行の状況や効果を報告することがよく求められます。
仮に過去に実施して効果があった施策だとしたとしても、それがいかなる場面、いかなる状況でも効果的だと言い切るのは難しいはずです。したがって、施策を実行した後は何らかの方法で対象の動向をモニタリングすべきでしょう。
ピープルアナリティクスで効果検証のテーマの例をいくつか挙げてみます。
- 時間外の抑制施策を展開した後、本当に時間外が下がったか確認する。
- 特殊な採用方式で従業員を確保した後、その方法が効果的だったのか調査する。
- 従業員エンゲージメントの改善のためマネジャー研修を実施した後、その効果を検証する。
この中で 「1. 時間外」はとても分かりやすいのではないでしょうか。何らかの施策をする、しないにかかわらず、コンプライアンスや労働安全衛生のリスクがあるため、多くの企業でモニタリングされています。そのため、問題の発生にも気づきやすいですし、施策効果の確認も自然な形で行われるはずです。
続いて「2. 特殊な採用方式」について考えてみます。企業にとって優秀な人材を確保することは常に重要な課題ですが、その一方で、その方法について正確に評価するのは難しいものです。特に、一斉採用かつメンバーシップ型の人事制度を取っている組織では、この課題感が大きいはずです。採用した人材のパフォーマンスがピークに達するまでに年数を要するため、様々な要素が入り込んでしまい、そのパフォーマンスが採用方式だけの話なのかどうか測るのが難しいからです。
では、「3. 従業員エンゲージメント（以下、エンゲージメント）」はどうでしょうか。ここ数年でエンゲージメントの重要性は認知されてきて、ある程度大きな規模の企業であれば概ね調査しています。また、労働市場の流動性の高まりと人手不足の課題と向き合う上で、エンゲージメントへの関心が高まり続けています。
実際、様々な企業でエンゲージメント向上のための施策を打っているという話をよく見聞きします。ピープルアナリティクス事例のセミナーやコンペでは必ずと言ってよいほど登場するテーマです。
その一方で、その向上施策の効果がどの程度あったのか、精密に評価しようとするとなかなか難しい面があるのも事実です。
そこで、本レターではエンゲージメント向上を狙ってマネジャー研修を実施した場面を想定し、効果検証のアプローチを探っていきます。
ケース： エンゲージメント向上のためのマネジャー研修
架空の企業A社では離職率が課題となっており、その対策の一環でエンゲージメントの向上が求められているとします。そして、エンゲージメントサーベイの結果を詳しく分析したり、職場インタビューを行ったりしたところ、マネジャーの行動が鍵だとわかりました。
こうした事前調査を経て、マネジャー研修を行うことでエンゲージメントの向上を図るという施策がとられました。研修だけでは効果が薄いかもしれないので、研修後のアフタフォローとして伴走支援も行いました。結構手厚いですね。
ただし、全員参加というわけにはいかなかったので、ひとまず組織全体に募集をかけつつ任意参加という形になりました。結果、全マネジャーの20-30%程度は参加するに至っています。
さて、この研修に参加したマネジャーがマネジメントしている組織を母集団とし、施策の前後でエンゲージメントスコアを測ってみたところ以下のような状況となりました。この施策は効果があったと考えてよいでしょうか？
