データ分析の問題設定や分析方法など、データアナリスト向けの情報をまとめています。
こんにちは。データ経営コンサルタントの武田邦敬です。 リニューアル後1回目の配信になります。 本レターでは、しばらくデータアナリストやデータサイエンティストが抱える課題感について考えてみたいと思います。今回のテーマは「データ分析ダンジョンに潜む魔物」ということで、データ分析プロジェクトの最大の障壁を取り上げます。チームの状況や経験年数によって壁は変わってくると思いますが、過去の自分やチームメンバーが直面してきた課題から、もっとも重たいものをあげてみました。 まずは、過去の失敗事例からお伝えしたいと思います。...
解きたい問題に対して分析アプローチを考える場面というのは、データサイエンティストやアナリストの腕の見せ所です。 例えば、人事データからハイパフォーマーの行動特性を探るタスクでは、パフォーマンスや行動特性の計量方法から、それらの関係性を推測するモデリング手法、評価観点などの分析アプローチを考えることなります。これは問題設定とも呼ばれ、業務課題を技術課題に落とし込む重要なフェーズで、データサイエンティストやアナリストの応用力が問われます。 問題設定が完了すればあとはデータを使って分析していくことなります。そして、分析を依頼された人やチームへのレポーティングを行えば分析プロジェクトは完了となるわけですが、このときに次のような会話になったことはないでしょうか？ * 分析結果を報告したら「わかっている話しかないね。もっと何かないの？」といわれてしまった。 * 分析結果をめぐってクライアントチームのメンバーが対立し始めてしまった。 * PoC結果を報告したが「システムはできていないの？ 早くAIを導入して楽にしてよ」と指摘されてしまった。 * 「大変参考になりました」とのコメントがあ...
効果検証タスクはガチっとした実験デザインを行う必要があるので、諸条件に沿って検討していくと分析アプローチはおのずと絞られてきます。一方、探索的データ分析や何らかの自動化を目的とした機械学習タスクでは、試行錯誤の過程でさまざまな分析手法を試すことになります。 ここで、解くべき問題が難しいときや曖昧性が高い場合、「うまくいく手法を探そう」と考えると上手くいかないことがあります。 私が駆け出しデータサイエンティストだったころ、この壁によくあたっていました。事例や教科書を調べて使えそうな手法をリストアップして試しても、なかなか目標点に到達できないという状態が続きました。先輩や上司と会話しても、「XXXは試した？」「YYYの文献を読んでみたら」というアドバイスが続き、試すことが増えるばかりで足踏みしているように感じたものです。考えなしに試すだけで生産的でなかったなと今では思います。 定番の分析アプローチがワークしないときは、問題とデータをよく観察し、問題設定そのものじっくり考える必要があります。特効薬はなく、状況に即したアプローチを考えることが大切です。 このようなとき、複数の分析手法を...
データ分析を始めるときには、何らかの手段でデータを集めることになります。ピープルアナリティスクの場合、組織で運用している人事給与システムのデータが軸になります。そして、分析テーマに応じて勤怠、旅費、タレントマネジメントなど関連システムのデータや、組織サーベイやアセスメント結果なども利用していきます。場合によっては、SFAや財務会計などの他業務のデータまで手を広げることもあるかもしれません。 もしデータレイクやデータウェアハウスといったデータ基盤が整っている場合は、データ基盤にアクセスして抽出してくることになります。そうでない場合は、各システム・データの管理部門とコミュニケーションをとって集めてくることになるでしょう。 データ抽出と集約にかかる時間は組織によって違いがあるものですが、それなりに時間がかかる印象です。人事データアナリストの皆さんは、分析プロジェクトのデッドラインを気にしながらデータの到着を待った経験があるのではないでしょうか。これは、データ分析プロジェクトが遅延する代表的な要因です。 このようなとき、人事データアナリストが打てる手はいくつかあります。第一に分析アプロー...
ピープルアナリティスクに携わるデータアナリストは、人事担当者やデータ管理部門など多くのステークホルダーと会話を重ねながらプロジェクトを進めていくことになります。分析テーマやアプローチの検討から始まり、定期的なディスカッション、意思決定者へのレポーティングなど様々な場面があります。あるいは、データアナリストチーム内で、メンタリングを受けることもあるかもしれません。こうした会話はとても大切です。 その一方で、データアナリストはデータから何らかの知見や考察を得るべく、データ分析作業に時間をかけます。データの抽出から前処理、モデリング、評価、報告書の作成までやることはたくさんありますね。 分析プロジェクトに参画して間もない方は、思ったよりも前処理に時間がかかったり、評価方法がわからなかったりして、余裕がない状態になることもあるでしょう。また、プロジェクトで採用した分析手法が未経験で、どうやって分析したらよいのだろう？と焦って調べることになるかもしれません。 このようなとき、期日までに作業を終わらせることを目指し、とにかく手を動かすことを優先する方もいらっしゃることでしょう。しかし、データ...
データ分析プロジェクトでは、何らかの分析手法を利用することになります。予測モデルを作るなら教師あり学習手法を用いてモデル化していくでしょうし、じっくり探索するような場面ではグラフや統計モデルを使いながらあれこれ試行錯誤するかもしれません。 分析の目的、つまり問題設定によってデータ分析アプローチは大きく変わります。その一方で、同じような問題であったとしても、利用できるデータ分析手法はたくさんあります。 もし、コストと時間を無限に使えるのでしたら、世界中にある分析手法をすべて試して最も問題に適したアプローチを採用すればよいでしょう。しかし、現実にはそれは難しいことですし、分析チームが古今東西のすべての手法に精通するというのも現実的ではないと思います。 そこで、すべての分析手法を試す時間がないときに「線形手法と非線形手法の両方を試してみる」という戦術をよく使います。これは、回帰のような予測タスクであっても、教師あり学習手法を用いた探索であっても同様です。特に分析の初期フェーズでは問題の難しさを見るうえで便利です。 分類問題の例 例えば、離職予測モデルを作るような場面を想像してみま...
データ活用プロジェクトで予測モデルを作る場面はよくありますね。AIや機械学習技術が浸透してきた今日、データから予測モデルを作ることは特別なものではなくなってきました。 ところで、どのような場面で予測モデルを利用されていますか？ 予測という言葉を文字通り捉えると、何となく将来的なものを予測するように感じる方もいらっしゃるかもしれません。参考書によっては、予測モデルを用いたアプローチについて「何が起こりそうか？」という問いと紐づけて説明しているものもあります。この表現は大変わかりやすいのですが、もう少し幅を広げて考えることもできます。 データサイエンスにおける「予測」とは？ データサイエンスにおいて「予測」を考えるとき、それは必ずしも将来の予測だけを意味するわけではありません。例えば、以下のようなタスクも予測タスクといいます。 * Webに投稿された記事のジャンルを推定してタグ付けする。 * ユーザーが次に何を買いたいか予測してレコメンドする。 * 従業員の労務記録からストレス状態を推定する。 * メールの文面からスパムかどうか判別して仕分ける。 * 画像に含まれる物...
データ分析プロジェクトで分析テーマが決まった後は、分析アプローチを考えることになります。例えば、エンゲージメントと働き方の関連を探るプロジェクトでは、エンゲージメントのデータとしての取扱いを吟味しつつ、働き方のモデリングを行った上で回帰問題として取り扱うかもしれません。 このように、回帰問題などの定番の分析アプローチに落とし込める場合は、スムーズに検討を進めることができます。しかし、テーマを聞いたときに分析アプローチがすぐには思い浮かばない場合もあります。 そのようなときは、他分野のデータ分析手法を調べてみると解決できるかもしれません。 一例として配置の問題を取り上げてみましょう。 人事担当者から「異動による配置パターンを分析してほしい」と依頼があったとして、どのようにアプローチすればよいでしょうか。異動傾向を掴むために配置パターンを類型化したいというご要望と考えてください。 ふんわりとしたテーマですが、配置案作成の省力化やハイパフォーマーの経験分析など、様々な場面でサブタスクとしてよく出てくるテーマです。 言葉で「配置パターン」と書くと簡単そうに見えますが、実際に...
はじめてデータ分析に取り組むときには「どうやって分析したらよいのだろう？」と悩むものです。しかし、それ以前にデータ分析の目的を整理することが大切で、分析アプローチの検討よりも難しいこともあります。 例えば、ハイパフォーマーの要因分析というテーマを考えたとき、どのように集計してモデル化するかと考えるよりも、なぜハイパフォーマーの分析をする必要があるのだろうかと考えることが大切になります。もし目的が曖昧なままで分析を進めてしまったら、分析プロセスが迷走するだけでなく、最終的なレポートは何にも活用されないかもしれません。私もそういった経験を何度もしています。 目的が大切というのは当たり前の話に感じられると思いますが、意識していてもストレートに解決できない場合もあります。データアナリストやデータサイエンティストの方でしたら、この問題に直面したことがあるのではないでしょうか。特に、ピープルアナリティクスのような新しい分野ではWhyよりもHowが先行してしまう場合もあるでしょう。コストセンターのKPI作りの難しさも背景にあります。 データ分析プロジェクトの立ち上げ時点で目的が曖昧なとき、デー...