きれいなAI整理を、正しい記録だと思っていた
NottaとGPT-Transcribeで同じ音声を文字起こしし、最終的なAI整理だけでは入口の精度差が見えにくいと分かった検証記録です。
社員指導ナレッジ化の試行錯誤|第4回
録音から文字起こし、AI整理、保存、通知までの流れはできました。
最後に残ったのは、最初の文字起こしをどこまで信用してよいのかという問題でした。
きれいなAI整理を、正しい記録だと思っていた
完成した社員指導データは、かなりきれいです。
会話の順番を整理し、専門用語らしい表現へ直し、作業指示や注意事項も読みやすくまとめてくれます。
一見すると、ほとんど問題がないように見えました。
ただ、ずっと小さな疑問が残っていました。
元の文字起こしに抜けや誤りがあった場合、GPTはどこまで正しく補えているのか。
文字起こしは良くなった。でも不満は残った
Nottaでは単語登録ができます。
河川名、構造物名、土木用語などを登録することで、導入当初より文字起こしは多少良くなりました。
通常の会話なら、十分読めることも多くあります。
しかし、社員への技術指導では専門用語が連続します。地名、測点、数値、設計条件、社内で使う略称も混ざります。
しかも、指導中に話題が飛ぶことがあります。
一つの案件を話していたはずが、別の図面の注意点へ移り、途中で過去案件の話が入り、最後に元の話へ戻る。実際の会話は、整理された会議資料のようには進みません。
このような音声では、誤変換だけでなく、発言の一部が抜けているのではないかという不安が残りました。
GPTがきれいに直してくれる
文字起こしをGPTへ渡すと、前後の文脈からかなり補正されます。
多少崩れた文章でも、会話全体の意味を読み取り、自然な技術指導記録へ整理してくれます。
これは大きな利点です。
一方で、きれいに直るからこそ、元の文字起こしにどの程度の問題があったのか分かりにくくなりました。
明らかに壊れた文章なら、人は確認します。
しかし、読みやすく筋の通った文章になると、そのまま正しい記録だと思ってしまいます。
自然な文章であることと、元の発言を忠実に残していることは同じではありません。
誤変換なら、文脈から正しく戻せる場合があります。
しかし、発言そのものが文字起こしから抜けていたら、後段のGPTには届きません。注意の強さや、「決定した」のか「検討する」のかといった細かなニュアンスも、整理の過程で均される可能性があります。
同じ音声を二つの方法で文字起こしした
そこで、つい先日公開されたGPT-Transcribeを試しました。
同じ音声生データを、NottaとGPT-Transcribeの両方で文字起こしし、その後は同じ条件でGPTに整理させました。
もっと大きな差が出ると思っていました。
ところが、最終的な整理結果は思ったほど変わりませんでした。
Notta経由でもGPT-Transcribe経由でも、完成した社員指導ナレッジはかなり自然です。
最初は「大差がないなら、今のままでよいのでは」とも思いました。
しかし、文字起こし段階を見比べると、GPTの整理能力が両者の差をかなり吸収していることが分かりました。
入口の精度が同じだったから、最終結果が似たのではありません。
後段のGPTが、どちらの文章も前後の文脈から整えたため、差が見えにくくなっていたのです。
一つの話題なら、差はほとんど見えない
一つのテーマだけを話している音声なら、多少の誤変換があっても文脈から補いやすいと考えています。
たとえば、一つの図面、一つの設計条件、一つの作業手順だけを話している場合です。
このような音声では、NottaとGPT-Transcribeのどちらを使っても、最終整理には大きな差が出ない可能性があります。
問題は、複数の話題が混ざる場合です。
話題が切り替わった位置を誤る。前の案件の条件を次の話へつなげる。短い補足を重要ではないと判断して落とす。
一件の記録では、差はわずかかもしれません。
しかし、その記録が100件、200件と増え、社員教育や過去判断の検索に使われるようになると、小さなズレも積み重なります。
当社が気にしているのは、一件の文章が読めるかどうかだけではありません。
長期間蓄積したときに、会社の知識として信用できるかどうかです。
ツールの優劣ではなく、入口を選び直す
今回の検証で、Nottaが使えないと分かったわけではありません。
Nottaには、録音開始の手軽さ、Notta Memoとの連携、話者識別、タイムスタンプ、単語登録、クラウド同期などの強みがあります。
一方、当社の利用頻度では、GPT-Transcribeを使った自前構成が、文字起こし精度と費用の両面で有力な選択肢になりそうだと感じています。
ただし、長時間音声、話者識別、タイムスタンプ、安定運用など、まだ確認すべき点は残っています。
そのため、現時点では単純な製品の優劣ではなく、用途ごとの役割分担を検討しています。
社内の社員指導は、自社用レコーダーとGPT-Transcribeを中心にする。社外や電話録音では、専用デバイスや既存サービスの便利さを使う。
入口は一つでなくても、その後の整理と蓄積は同じ流れへつなげる。
そのような構成へ少しずつ移そうとしています。
きれいな出力だけを見ない
今回、最も大きかった気づきは、GPT-Transcribeの方が良かったという単純な話ではありません。
最終出力がきれいだからといって、途中の工程まで正しいとは限らないことです。
GPTの整理能力が高くなるほど、入口の誤りは見えにくくなります。
だからこそ、完成した文章だけで評価せず、同じ音声を別の方法で処理し、文字起こし段階から比べる必要がありました。
録音方法を変え、マイクを買い、文字起こしサービスを契約し、自動化まで作りました。
そして最後に戻ってきたのは、最初の入力でした。
録音方法から始まった改善は、文字起こし、自動化、品質検証へ広がりました。仕組みは一度動くようになりましたが、完成形だとは考えていません。
今後も、使うサービスそのものを目的にせず、社員指導を会社の知識として正しく残せる方法を検証していきます。
前の記事:自動化したら、手作業より高くて内容も薄くなった