小さな土木設計会社に、ローカルLLMは必要なのか

最近、ローカルLLMについて考える機会がありました。

ローカルLLMとは、ChatGPTやGemini、Claudeのようにインターネット越しのサービスを使うのではなく、AIモデルを自分のパソコンや社内サーバーなどで動かす方法です。現在は、Windows上でオープンなLLMを動かす仕組みも公式に案内されています。

当社では、AIについてはクラウドサービスを中心に利用しています。

そのためローカルLLMには以前から興味があったものの、「高性能なGPUと大容量メモリを積んだ、少し特殊なパソコンが必要なもの」という印象を持っていました。

当社の使い方を考えれば、そこまで大きな設備投資は必要ないだろう。最初は、そんなふうに考えていました。

ところが調べてみると、話はそれほど単純ではありませんでした。

CADで使ってきたGPUと、AIで使うGPU

土木設計の仕事をしていると、GPUという言葉自体はそれほど馴染みのないものではありません。

大量の点群データを扱ったり、3次元モデルを表示したりするときには、グラフィックボードの性能が操作性に大きく影響します。以前は、こうした用途のためにワークステーションと呼ばれる高性能なパソコンを使うこともありました。

そのため、「重たいデータを扱うにはGPUが必要」という感覚は以前からありました。

ただ、AIの話になると一つ疑問がありました。なぜAIにも同じGPUが必要なのか。

GPUは画面を表示するためだけの部品ではなく、大量の計算を並列に処理することを得意としています。その性質が、AIの計算にも向いています。

ローカルLLMでは、GPUの処理性能だけでなく、VRAMと呼ばれるGPU専用メモリの容量も重要です。動かすモデルの大きさ、データの圧縮方法、一度に扱う文章量などによって必要量は変わりますが、一般に大きなモデルほど多くのメモリを必要とします。

CADや点群で使ってきたGPUと、AIで話題になるGPU。用途は違いますが、自分の中ではここでようやく二つがつながりました。

クラウドAIなら、高性能なGPUを自社で持たなくてもいい

普段利用しているChatGPTなどのクラウドAIは、自分のパソコンでAIモデルそのものを動かしているわけではありません。

パソコンやスマートフォンからデータを送り、重い計算はサービス提供者側の設備で行われます。そのため、クラウドAIを使うだけなら、社員一人ひとりのパソコンに大容量VRAMを備えたGPUを搭載する必要はありません。

これは小さな会社にとって大きなメリットです。自社で大きな計算設備を所有しなくても、クラウドを通じて高性能なAIを利用できます。

当社の場合、パソコンの性能は、現時点ではAIよりもCAD、BIM/CIM、点群処理など、実際の設計業務に必要な性能を基準にする方が合理的だと考えていました。

それなら、ローカルLLMを使う理由は何なのか

ローカルLLMにも利点があります。

• 処理する情報を外部サービスへ送らずに済む構成を作れる
• 通信できない環境でも使える
• 処理量によっては、クラウド利用料との比較で有利になる可能性がある

ただ、現在の当社では、一日に何千件もの文書を処理したり、多数のAIエージェントを常時動かしたりする状況は想定していません。

大量処理による費用削減だけを目的として、高価なAIサーバーを所有する合理性は、今のところそれほど感じていません。

設備を所有すれば、GPUやメモリの購入費だけでなく、更新、電気、故障対応、モデルや利用ソフトの管理も自社で行う必要があります。

ここまで考えた段階では、「当社は当面クラウドAI中心でいい」というのが自分の中での結論でした。

ただし、セキュリティを考えると話が変わる

そこで残ったのが、情報セキュリティの問題です。

土木設計会社が扱うのは、自社で作った情報だけではありません。元請会社から預かった資料、過去の成果品、図面、計算書、発注者から提供された情報なども扱います。

現在、当社では法人向けのAI環境を利用しています。例えばOpenAIは、対象となる法人向けサービスやAPIについて、組織のデータを既定ではモデル学習に利用しないと説明しています。

ただし、「法人向けAIだから、どんな情報でも入力してよい」ということにはなりません。

サービス側のデータ取扱条件とは別に、情報を預けた相手との契約、発注者や元請会社のルール、会社自身の利用基準を確認する必要があります。

今後、特定の情報について外部クラウドへのアップロードが認められない案件が出てくるかもしれません。その情報にもAIを使いたいとなれば、外部へデータを送らずに処理できるローカルLLMの意味は大きく変わります。

この時点で、当社が将来ローカルLLMを導入するとすれば、費用よりもセキュリティ上の必要性が理由になるのではないかと考えました。

ただし、ローカルで動かせば自動的に安全になるわけでもありません。端末へのアクセス権、モデルやソフトの入手元、更新、ログ、持ち出し、バックアップなどは、自社で管理することになります。

「外へ送らないこと」と「安全に運用できること」は、分けて考える必要があります。

ローカルAIそのものが変わり始めている

さらに調べていくと、もう一つ気になる動きがありました。

Googleは2026年8月、端末上でも動かせるオープンモデルのGemmaについて、累計ダウンロード数が10億回を超えたと発表しました。

10億回ダウンロードされたからといって、10億人が自分のパソコンでローカルLLMを使っているという意味ではありません。一人が複数の種類や版をダウンロードすることもあるため、利用者数とは分けて見る必要があります。それでも、クラウド上の巨大なAIをサービスとして利用する方法とは別に、自分たちの環境で利用できるモデルの世界が広がっていることは感じます。

Googleの案内でも、Gemmaはローカルのパソコン、クラウド、スマートフォンなど、利用する機器に応じて実行方法を選べるようになっています。

ハードウェア側にも変化があります。最近のパソコンでは、CPUやGPUに加えて、NPUを搭載した製品が登場しています。

NPUは、AIの計算を効率よく処理するための専用回路です。Microsoftも、NPUは大量のデータを並列処理し、AI処理を省電力で行うための部品だと説明しています。

これまでローカルLLMというと、「高価なGPUと大量のVRAMを用意して動かすもの」というイメージを持っていました。

しかし、小型のモデルやNPUを利用する仕組みが広がれば、その前提自体が変わっていくのかもしれません。

すべてをローカルにする必要も、すべてをクラウドにする必要もない

ここまで考えると、「クラウドAIか、ローカルLLMか」という二者択一で考えること自体が違うように思えてきました。

例えば、比較的軽い処理や外部へ出したくない情報は、端末や社内環境のAIで処理する。より高度な推論が必要で、利用条件上も問題がない情報は、クラウド上の最新モデルを利用する。

将来的には、利用者自身がそれほど意識しなくても、処理内容によってローカルとクラウドを使い分けるようになるのかもしれません。

そうなれば、当社にとってもローカルAIは決して遠い話ではありません。

だからといって、今すぐ高価なAIサーバーを購入しようとも思っていません。AIの進歩は速く、数年後には必要なハードウェアも、モデルの能力も、価格も変わっている可能性があります。

今の時点で設備を固定するより、実際に必要になったときに、その時点で適した方法を選ぶ方がよいと考えています。

調べる前とは、少し考えが変わった

今回、ローカルLLMについて考え始めたときには、「当社にはまだ必要ないだろう」という感覚の方が強くありました。

今も、ローカルLLMのためだけに大きな設備投資をする必要性は感じていません。

ただ、ローカルAIそのものは、最初に考えていたよりも身近になりそうです。

将来考えるべきなのは、「ローカルLLMを導入するか、しないか」ではなく、「どの仕事をローカルAIに任せ、どの仕事をクラウドAIに任せるのか」なのかもしれません。

その判断で避けて通れないのが情報セキュリティです。

AIを使う範囲が広がるほど、どの情報を、どこで、どのように処理するのか。会社としてその線引きを決める必要があります。

ローカルLLMについて調べていたはずが、最後は結局、会社として情報をどう守るのかという話につながりました。

AIを使うことと、情報を守ること。これからは、この二つを一緒に考えていく必要がありそうです。

---

関連記事：AI社員には「会社の記憶」が必要になる