こんにちは。ろっさんです。
組織の中で新しい仕組みやITツールを導入した際、「本当にこれで効果が出たのだろうか？」と疑問に感じたことはないでしょうか。
せっかく多額の投資や現場の労力を投じたにもかかわらず、その成果が数字で見えなかったり、現場が以前より疲弊しているように見えたりすると、不信感が募ってしまうものです。特に、中小規模の組織では「実験台」となる別の部署を用意することが難しいため、科学的な評価を諦めてしまうケースも少なくありません。
本記事では、理想的な実験（A/Bテスト）が実施できない環境において、どのように施策の真価を見極めるかについて、以下の3つのポイントを中心に解説します。
- ① 「もし施策をやらなかったら？」を推測する準実験（DIDや時系列解析）の考え方
- ② 生産性向上と引き換えに失われる「副作用（品質・納期・離職）」を捕捉する評価設計
- ③ データが足りない、あるいは欠落している場合に、どのような代替手段で補完すべきか
これらを紐解くことで、現場の納得感を高め、次の施策へと繋げるための「学びの土台」を整える方法を考えていきましょう。
1. 評価が難しいという「現場の悩み」の正体
新しい業務システムを導入した企業で、次のような現象が起きていると想像してください。
経営層は「効率化したはずだ」と言い、現場のリーダーは「手間が増えただけだ」と言い、数値上は売上が微増しているものの、それが景気の影響なのかシステムの成果なのか誰も確信が持てない――。このような状況では、現場に不満が溜まるのは必然と言えます。
この混乱の原因は、評価の設計が「施策の実施前後（Before/After）」の比較だけで終わっていることにあります。
例えば、ダイエットを始めた人が1ヶ月後に2キロ痩せたとします。しかし、それが「サプリメント」のおかげなのか、「たまたま夏バテで食欲が落ちたから」なのかは、前後比較だけでは分かりません。「サプリを飲まなかった自分」との比較ができないからです。
ビジネスの現場でも同様です。ある施策を行った後に数値が良くなったとしても、それは競合他社が撤退したからかもしれません。あるいは、季節要因で需要が伸びただけかもしれません。この「もし施策をやらなかったらどうなっていたか」という「反実仮想（Counterfactual）」をいかに再現するかが、評価設計の核心となります。
2. 擬似的に「比較対象」を作り出す「準実験」の手法
大規模なプラットフォーム企業であれば、ユーザーをランダムに2つのグループに分け、一方にだけ新機能を見せる「A/Bテスト（ランダム化比較試験）」が可能です。しかし、社員が数十名の製造業やサービス業で、一部の社員だけにシステムを使わせないという選択は現実的ではありません。
そこで活用されるのが「準実験」という考え方です。ここでは、特に実務で応用しやすい手法を2つ紹介します。
2-1. 差の差分析（DID：Difference-in-Differences）
一つ目は「差の差分析（DID）」と呼ばれる手法です。これは、施策の影響を受ける「対象群」と、影響を受けない「参照群」の推移を比較するものです。
【事例：製造業A社の場合】
A社には金属加工を行う「第一工場」と「第二工場」があります。今回、第一工場にのみ新しい生産管理システムを導入しました。導入前後で第一工場の生産性は5%向上しましたが、これだけではシステムの成果とは言えません。
ここで、システムを入れていない第二工場のデータを見てみます。もし第二工場でも同時期に生産性が3%向上していたなら、全体的な景気向上や熟練度の向上による影響が3%分あると推測できます。したがって、システムの純粋な効果は「5% – 3% = 2%」であると考えるのがDIDのロジックです。
ポイントは、両者の「トレンド（傾向）」が導入前まで似ていたかどうかです。これを「平行トレンド仮定」と呼びます。全く性質の異なる部署を比較対象にするのではなく、できるだけ動きが似ている対象を「参照」として見つけることが、納得感のある評価に繋がるでしょう。
2-2. 断続時系列解析（ITS：Interrupted Time Series）
もし比較できる「参照群」が一切存在しない場合は、過去の長い時系列データを用います。これが「断続時系列解析」です。
施策導入前の数ヶ月、あるいは数年のデータの推移（トレンド）をグラフ化し、その延長線を予測します。そして、実際に施策を導入した後の数値が、その「予測された延長線」からどれだけ乖離したかを測定します。
単なる「前月比」ではなく、「過去の傾向から予測される今月」と「実際の今月」を比べることで、突発的な変化が施策によるものなのか、あるいは単なる季節的な変動なのかを区別しやすくなります。
3. 多角的な視点：副作用を無視しない評価設計
施策の評価を特定のKPI（重要業績評価指標）だけに絞ってしまうと、組織に歪みが生じることがあります。例えば「作業時間の短縮」だけを評価対象にすると、現場は無理をしてでも早く終わらせようとし、結果として製品の品質低下や、納期遅延、さらには従業員の離職を招く恐れがあります。
これらは経済学でいう「外部不経済」や「負の側面」にあたります。健全な評価設計には、メインの指標（プライマリー指標）だけでなく、それとトレードオフの関係になりやすい「副作用指標（カウンター指標）」を組み込むことが不可欠です。
具体的には、以下のような「四角形」の評価項目を想定するのが妥当でしょう。
- ① 効果指標（狙った成果）： 残業時間の削減、リードタイムの短縮、受注率の向上など。
- ② 品質指標（維持すべき価値）： 不良率、クレーム件数、手戻りの発生回数。
- ③ 顧客満足指標（外部への影響）： 納期遵守率、顧客アンケートのスコア。
- ④ 組織健全性指標（内部への影響）： 従業員満足度、離職率、ストレスチェックの結果。
例えば、「効率化システムを導入して残業は減ったが、同時に離職率が跳ね上がった」というデータが出た場合、それは「成功」とは呼べません。むしろ、現場に過度な負荷を強いる「欠陥のある介入」であったと早期に判断し、軌道修正するための貴重な材料となります。
4. データ欠損という壁をどう乗り越えるか
多くの中小企業の現場では、評価に必要なデータが完璧に揃っていることは稀です。過去の数値が記録されていなかったり、特定の期間だけデータが抜け落ちていたりすることは日常茶飯事です。このような「データ欠損」への対処法として、以下の3つのアプローチが考えられます。
4-1. 代替指標（プロキシ変数）の活用
本来測りたい数値（例：従業員のモチベーション）が直接測れない場合、それに連動する別の数値で代用します。これを「プロキシ変数」と呼びます。
例えば、現場の意欲を測るために「社内掲示板への書き込み数」や「任意参加の勉強会への出席率」、「日報のコメント文字数」などを観察する手法です。これらは厳密な相関があるとは限りませんが、複数の代替指標を組み合わせることで、おおよその傾向を掴むことができます。
4-2. 定性的な「ストーリー」の収集
数値データが不完全な時こそ、アンケートやインタビューといった定性調査が重要になります。ただし、単に「どうですか？」と聞くのではなく、具体的な「変化の質」を問う形式が望ましいでしょう。
「このシステムが入ってから、一番変わった作業は何ですか？」「以前と比べて、後工程の人との会話はどう変わりましたか？」といった具体的な問いに対する回答を収集します。これらの声を数値（例えば「ポジティブな発言の割合」など）に変換して分析することで、欠けている定量的データの隙間を埋めることが可能になります。
4-3. 回復と補完の技術
一部のデータが欠損している場合、統計的な手法を用いて推定することも検討されます。例えば、欠損している前後の値から平均を算出する「線形補間」や、他の関連する変数から欠損値を予測する手法です。ただし、これらはあくまで「推測」であることを念頭に置き、過信せずに分析の限界として明記しておく誠実さが求められます。
5. ケーススタディ：物流企業B社における「納得感」のある評価
ここで、具体的なイメージを深めるために、ある架空のケースを考えてみましょう。
【背景：物流企業B社の課題】
B社では、配送ルートの最適化アルゴリズムを導入しました。経営陣は配送コストが10%下がると期待していましたが、現場のドライバーからは「かえって道に迷う」「休憩が取れない」と不満が噴出。導入後3ヶ月が経過しても、コスト削減効果は2%に留まっていました。
【評価設計の再構築】
B社では、単なるコスト比較だけでなく、以下の設計で再評価を行いました。
- 準実験の設定： システムを導入した「エリアX」と、従来通りの「エリアY」を比較。同時期のガソリン価格高騰の影響を排除するため、エリア間の「差の差（DID）」を算出しました。
- 副作用の可視化： コストだけでなく、「事故・誤配送の件数」と「ドライバーの平均心拍数（スマートウォッチ利用）」を副次指標として測定。
- 欠損データの補完： ドライバーが走行中に記録を忘れた地点のデータは、トラックのGPSログから事後的に補完し、正確な稼働時間を算出。
【評価から得られた洞察】
分析の結果、エリアXでは確かに「走行距離」は減っていましたが、不慣れなルートによる「停車時間（迷っている時間）」が増加し、それがコスト削減を相殺していることが判明しました。また、一部のドライバーに過度な負担が集中していることも副作用指標から明らかになりました。
この結果をもとに、B社は「システムを廃止する」のではなく、「ベテランドライバーの知識をアルゴリズムに手動で反映させる設定」を追加。現場の意見を反映させることで、ドライバーの納得感が高まり、最終的には目標に近いコスト削減を実現できました。
6. 評価を「学習」に変えるために
施策の評価を行う真の目的は、その施策が「成功したか失敗したか」という審判を下すことではありません。本当に大切なのは、評価を通じて組織が「自分たちの業務の本質」を理解すること、つまり「学習」することにあります。
「このシステムは、私たちの職場のこういう特性とは相性が良かったが、あの部分では摩擦を生んだ」という具体的な気づきこそが、次の改善を生みます。そのためには、単一の数字に一喜一憂するのではなく、多角的な指標と適切な比較手法を用いて、事実を冷静に記述する姿勢が必要です。
現場の人々が「自分たちの苦労や工夫が、正しく見守られ、評価されている」と感じることができれば、新しい施策への不信感は、次第に「より良い仕組みを作るための協力」へと変わっていくでしょう。客観的で誠実な評価設計こそが、組織の信頼関係を再構築する第一歩となるはずです。
本記事で紹介した視点が、変化の中にいる皆さんの組織において、納得感のある対話のきっかけになれば幸いです。
コメント