AIを業務に取り入れても、実際にどれだけの効果があったのかを説明できず、継続すべきかどうかの判断に迷ってしまう、という経験はないでしょうか。導入前の状態を記録しないまま進めてしまうと、感覚的には楽になった気がしても、実際の効果を数値で示せなくなってしまいます。
この記事では、効果測定を始める前に決めておきたい目的から、AI導入前の業務状態を基準値として記録する方法、作業時間の変化の測定、業務品質の変化の測定、コストの変化の測定、確認負担や新しい作業の測定、導入前後の結果を比較して効果を判断する方法、そして測定結果から活用を改善する方法までを順番に解説します。読み終える頃には、改善効果と新たな負担を同じ条件で比較し、継続や見直しを判断できる状態になります。
AI業務改善の効果測定を始める前に目的を決める
測定を始める前に、何のために効果を測定するのかを決めておきます。
何を改善したくてAIを導入したのかを確認する
そもそも何を改善する目的でAIを導入したのかを確認します。目的があいまいなままでは、何をもって効果があったと判断すればよいのか分からなくなります。
書き方は「効率化したい」ではなく「1件あたりの作業時間を半分にしたい」のように、測れる形にします。測れない目的を置くと、測定の設計ができません。
測定結果を誰がどう使うのかを決める
測定した結果を、誰がどのような判断のために使うのかを決めます。使い道が明確でないと、必要以上に詳細な測定に時間をかけてしまいます。
継続の可否を自分で決めるだけなら、時間と手戻り件数の2項目で足ります。予算の承認にかけるなら、金額への換算が必要になります。
測定にかけられる時間と労力を見積もる
効果測定そのものにどの程度の時間や労力をかけられるかを見積もります。測定作業が重すぎると、本来の業務改善よりも測定自体が負担になってしまいます。
記録は1件につき10秒で済む形にします。開始と終了の時刻を書くだけなら続きますが、感想を書く欄があると埋まらなくなります。
AI導入前の業務状態を基準値として記録する
目的が決まったら、AI導入前の状態を基準値として記録します。
測る項目を先に決めさせると、あとから比べられます。以下はAIに送るプロンプトです。コピペして使ってください。
あなたは業務改善の効果測定を担当する立場です。次の業務について、導入前に記録すべき基準値を決めてください。
・対象の業務：問い合わせメールの返信作成（月120件）
・AIに任せようとしている部分：返信文の下書き
・測定できる期間：導入前2週間、導入後2か月
・出力：「記録する項目／測り方／誰が記録するか」を1行ずつ書く
・条件：導入後に同じ方法で測れない項目は含めないでください。記録に手間がかかる項目は指摘してください。
記録する項目は、次の形に収まります。
| 測る項目 | 測り方 | 導入後も同じ方法で測れるか |
|---|---|---|
| 1件あたりの作業時間 | 着手と完了の時刻を書く | 測れる |
| 手戻りの件数 | 送信後に訂正した件数を数える | 測れる |
| 時間を金額に換算した額 | 作業時間×時間単価 | 測れる |
| 担当者の負担感 | 本人の申告 | 測れるが比較には使えない |
導入前の作業時間を記録する
AIを導入する前の時点で、対象業務にかかっていた作業時間を記録します。基準となる数値がなければ、導入後にどれだけ変化したのかを比較できません。
記録する例で言えば、1件12分で月120件なので24時間です。平均だけでなく件数も残します。件数が変われば、合計時間が減っても1件あたりは変わっていないことがあります。
導入前の品質やミスの発生状況を記録する
導入前の業務における品質の水準や、ミスの発生状況を記録します。品質面の基準がないと、AI導入によって品質が向上したのか低下したのかを判断できません。
数えるのは件数です。この例では、送信後に訂正した手戻りが月3件という形で残します。
導入前にかかっていたコストを記録する
導入前の時点で、その業務にかかっていた人件費や外注費などのコストを記録します。コストの基準を残しておくことで、導入後の変化を具体的な金額で比較できます。
時間単価2,500円で換算すると、24時間で月6万円です。換算に使った単価は記録に残します。後から単価を変えると、比較が成立しません。
作業時間の変化を測定する方法
基準値が記録できたら、作業時間の変化を測定します。
同じ作業範囲で時間を比較する
導入前と同じ作業範囲に限定して、時間を比較します。比較対象の範囲がずれていると、AIの効果によるものか作業内容の変化によるものかを区別できません。
一時的な時間短縮と定着した時間短縮を分ける
導入直後だけに見られる一時的な短縮効果と、その後も定着している変化を分けて捉えます。一時的な効果だけを見て判断すると、実態より高い評価をしてしまいます。
ここが最も間違いの起きる場所です。導入直後の2週間は、作業時間が実態より短く出て、確認時間は実態より長く出ます。前者は目新しさで集中しているため、後者は手順に慣れていないためです。どちらも1か月から2か月で落ち着くので、1か月目の数字で継続を判断しません。判断に使うのは2か月目の2週間です。
確認や修正にかかる時間も含めて測定する
AIの出力を確認したり修正したりする時間も含めて測定します。生成にかかる時間だけを見ると、業務全体の負担を正しく把握できません。
業務品質の変化を測定する方法
作業時間の測定ができたら、業務品質の変化を測定します。
成果物の誤りや手戻りの件数を比較する
導入前後で、成果物に含まれる誤りや手戻りの件数を比較します。件数として記録することで、感覚的な印象に頼らず品質の変化を確認できます。
品質を評価する基準を導入前後で統一する
品質を評価する基準を、導入前と導入後で統一します。評価基準が変わってしまうと、数値を比較しても正しい判断ができません。
ずれやすいのは、導入後だけ確認が厳しくなることです。同じ基準で見ていないと、手戻り件数が増えたように見えます。
利用者や関係者からの評価も確認する
数値だけでなく、実際に成果物を利用する関係者からの評価も確認します。数値上は改善していても、利用者の満足度が下がっている場合には注意が必要です。
コストの変化を測定する方法
品質の測定ができたら、コストの変化を測定します。
AI利用にかかる費用を確認する
AIの利用そのものにかかる費用を確認します。効果と費用を対応させて見なければ、投資に見合った改善かどうかを判断できません。
削減できた人件費や外注費を試算する
作業時間の短縮によって削減できた人件費や外注費を試算します。時間の短縮を金額に換算することで、他の投資判断とも比較しやすくなります。
新たに発生した費用がないか確認する
AI導入に伴って新たに発生した費用がないかを確認します。直接の利用料以外にも、周辺の対応にかかる費用が発生している場合があります。
見落としやすいのは、研修や社内説明にかけた時間です。一度きりの費用でも、初年度の判断には含めます。
AI利用に伴う確認負担や新しい作業を測定する
コストの測定ができたら、AI利用に伴う新たな負担も測定します。
増えた作業も測らせると、効果の見積もりが正確になります。以下はAIに送るプロンプトです。コピペして使ってください。
あなたは業務改善の効果測定を担当する立場です。次の業務でAIを使い始めた結果、新しく増えた作業を洗い出してください。
・AIに任せた作業：問い合わせメールの返信文の下書き
・AIの出力に対して行っている確認：記載内容が問い合わせ本文と合っているかの照合
・やり直しが発生した頻度：10件に1件程度
・出力：「増えた作業／かかっている時間／誰が担っているか」を1行ずつ書く
・条件：短縮された時間と相殺して考えるべき点も示してください。渡していない作業を推測で追加しないでください。
出力内容を確認する手間を測定する
AIの出力内容を確認するためにかかる手間を測定します。生成そのものは速くても、確認作業に多くの時間がかかっていては、全体としての効果が薄れます。
この例では、照合に1件3分かかります。月120件で6時間です。短縮した12時間から引くと、実際の削減は6時間です。
新たに必要になった作業を洗い出す
AIを導入したことで、新たに発生した作業がないかを洗い出します。プロンプトの作成や結果の調整など、以前は存在しなかった作業が負担になっている場合があります。
負担が特定の担当者に偏っていないか確認する
新たに生じた負担が、特定の担当者に偏って集中していないかを確認します。そうした偏りがあると、組織全体としての効果を正しく評価できません。
導入前後の結果を比較して効果を判断する方法
負担の測定ができたら、導入前後の結果を比較して効果を判断します。
基準値と実績を渡すと、判断できる形へ整理されます。以下はAIに送るプロンプトです。コピペして使ってください。
あなたは業務改善の効果測定を担当する立場です。次の導入前後の結果を比較してください。
・導入前の基準値：1件12分、月120件で24時間。手戻り月3件。時間単価2,500円で月6万円
・導入後の実績：1件6分、月120件で12時間。手戻り月1件
・新しく増えた確認作業：照合が1件3分、月120件で6時間
・測定した期間：導入後2か月目の2週間を月換算
・出力：項目ごとに「導入前／導入後／差」を並べ、そのあとに「効果として言えること／言えないこと／判断に足りない情報」を書く
・条件：期間が短く判断できない項目は明記してください。渡していない数値を補わないでください。
時間・品質・コストを同じ条件で並べる
測定した時間、品質、コストの結果を、同じ条件で並べて比較します。条件がそろっていない数値を並べても、正確な比較になりません。
効果と新たな負担を差し引きで確認する
得られた効果と、新たに発生した負担を差し引きで確認します。効果だけに注目すると、実際には負担が上回っているケースを見落とします。
この例では、24時間が18時間になります。金額では月6万円が4.5万円で、AIの利用料を引くと差は1.2万円です。時間が半分になったという報告は成立しません。
部分的な効果と全体への効果を区別する
一部の工程だけで見られた効果と、業務全体としての効果を区別して判断します。部分的な改善だけを見て、全体が改善したと判断すると実態とずれが生じます。測定した効果をもとに利用範囲を広げる進め方は、生成AIを会社へ導入する手順で解説しています。
測定結果からAI活用を改善する方法
効果が判断できたら、最後に測定結果を活用の改善へつなげます。
効果が小さい工程の使い方を見直す
期待したほど効果が出ていない工程については、AIの使い方そのものを見直します。効果が出ていない理由を確認しないまま利用を続けても、改善にはつながりません。
見直す順番は、確認時間が長い工程からです。確認が長いのは、渡している情報が足りないか、条件を指定していないかのどちらかです。
効果が高い使い方を他の業務へ広げる
効果が高かった使い方について、他の業務への展開を検討します。うまくいった事例を横展開することで、組織全体としての効果を高めやすくなります。
定期的に測定を繰り返す仕組みを作る
一度きりの測定で終わらせず、定期的に測定を繰り返す仕組みを作ります。継続的に測定することで、業務内容の変化に応じた効果の変化にも対応できます。研修を実施した場合に、受講前の数値をどう残して次の受講者を決めるかは中小企業が生成AI研修を導入する手順で解説しています。
測る時期を決めておきます。四半期ごとに2週間だけ測る形なら、記録の負担は年間で8週間に収まります。
まとめ
AI業務改善の効果を測定する際は、測定の目的を決めたうえで、導入前の業務状態を基準値として記録することが大切です。作業時間・品質・コストの変化を測定し、確認負担や新しい作業も含めて導入前後を比較したうえで、結果を活用の改善へつなげることで、継続や見直しを適切に判断できる測定に仕上げられます。
とくに気をつけたいのは2点です。ひとつは、1か月目の数字で判断しないこと。導入直後は作業時間が短く、確認時間が長く出ます。判断に使うのは2か月目です。もうひとつは、換算に使った単価を記録に残すこと。後から単価を変えると、導入前後の比較が成立しなくなります。
まずは何を改善する目的でAIを導入したのかを確認するところから始めてみてください。AIによる業務改善の全体像は、AIで業務改善する方法で解説しています。
