Episode Details

Podcastを今すぐここで聞く

ラウンドナップWebコンサルティングの中山陽平です。今回は、AI（Artificial Intelligence：人工知能）導入の成功事例や調査を、自分たちの会社でどう使えばよいかという話です。結論から言うと、成功事例は、自社で試していくための出発点だと考えていただきたいと思います。

AIの導入が進んだといっても、文字起こしなどの用途にとどまる会社もあれば、全社で使う会社もあり、温度差があります。その中で「生産性が何パーセント上がった」というニュースを見ると、同じことをすれば自分たちも成果を得られるのでは、と思いますよね。失敗を避けたいから、先に成功事例を知りたくなる。ニュースや事例ページも、そう感じる構成になっていると思います。

ただ、今回は「成功事例を疑え」という話ではありません。調査や事例を参考にしながら、うちではどうするかを考えて動く。その必要性を、研究の結果と、私が現場で見てきた違いからお話しします。

成功事例の「試行錯誤」を読み飛ばさない

私もすべての事例を見ているわけではありませんが、多くの場合、書かれていないところで思いどおりにいかないことを乗り越えています。失敗せずに成功したのではなく、うまくいかないことを直した結果、成果が出ているんですね。

ところが、事例では「試行錯誤を経て」「フィードバックをもとに」と、さらっと書かれます。読む側には、すんなり進んだように見えてしまう。自分たちで試して、最初に失敗すると、「うまくいかないじゃないか。これは違う。別の方法を探そう」となる。その段階でやめてしまうのは、とてももったいないと思っています。

AIを受け入れる素養や状況、業種、仕事の内容は、現場ごとに違います。巷にある情報を読んだだけで、そのまま当てはまると思わない方がいい。自社に合わない部分を、現場に合わせて直す仕事が残るわけです。

AIの改善率は、誰が何をした数字なのかを確かめる

きっかけになったのが、METR（Model Evaluation & Threat Research）という非営利研究機関の研究です。先端的なAIの能力やリスクを評価している機関で、2025年前半の実験が一部で話題になりました。経験豊富なオープンソース開発者に、普段の仕事を「AIを使ってよい」「使ってはいけない」という条件でランダムに割り当てると、AIを使える方が、平均で19%長くかかったという結果だったんです。

参照：METR：2025年前半の開発者の生産性研究

業務を効率化できるはずなのに、どうして時間がかかるのか、と感じますよね。もちろん、どの業務を対象にして、どこまでを測るかによって、結果の捉え方は変わります。私が仕事の現場でも気になるのは、目の前の作業が短くなっても、付随する仕事まで含めるとうまくいかないことがあるという点です。

次の研究で短縮しても、単純な比較はできない

METRが2025年後半に始めた研究では、今度は時間が短くなる方向の結果が出ました。収録では「18%ぐらい短縮」と紹介しています。単純に読めば、AIの使い方に慣れてきたのかな、と思いますよね。ところがMETR自身は、この数値を、その時点のAIによる生産性向上の実態として使うのは難しいと説明しています。

編集注：「18%短縮」は、前回から続けて参加した開発者の推定値です。新規参加者では4%短縮の推定で、いずれも信頼区間は時間が延びる場合を含みます。2026年2月24日の報告は、選択の偏りが大きく、改善幅を示す証拠としては弱いとしています。原文中の参加規模も記憶が曖昧でしたが、報告上は57人、143リポジトリです。

参照：METR：開発者の生産性を測る実験設計の見直し

調査へ参加する人と、提出する仕事が変わる

人が関わる調査では、参加するかどうかの段階で偏りが生じます。普段AIを使って仕事をしている人に、「半分はAIなしでやってください」と頼んだら、参加したくない人もいるでしょう。AIの効果を強く感じている人ほど、調査から抜けてしまう可能性があるわけです。

報酬も参加するかどうかに関わります。普段ならAIですぐ済む仕事を、使わずに長い時間かけてやる。その負担に見合うと思えなければ、わざわざ参加しません。報酬や条件が変われば、参加してくる人の属性も変わります。

編集注：原文では報酬を「500ドルぐらい」「100ドルとか50ドルかな」と曖昧に挙げ、後半では日当のように比較しています。公式報告では、初回は時給150ドル、後の研究は時給50ドルです。日当との比較は成立しないため採用せず、報酬条件が参加者の選択に影響し得るという論点を残しています。

参照：METR：報酬