社内文書をAIで扱いたいとき、「ローカルなら安全」「クラウドなら高性能」という一言では決められません。データがどこに送られるか、誰が保守するか、どの程度の精度が必要かを、対象の仕事に沿って確認する必要があります。
ローカルとクラウドの違いを分けて考える
ローカル実行では、手元のPCや管理するサーバー上でモデルを動かします。クラウド実行では、サービス提供者の設備に処理を依頼します。ただし、画面がデスクトップアプリでも推論はクラウドという構成があります。保存先、推論先、検索先をそれぞれ確認してください。
たとえばOllamaは、ローカルで動かす場合のプロンプトやデータについて公式FAQで説明しています。一方、クラウド機能もあるため、アプリ名だけで通信先を判断しないことが大切です。
最初に扱う文書を分類する
公開済みの製品説明、社内手順、顧客情報を含む資料では、必要な扱いが違います。誰でも読める公開文書から試せば、機密資料を投入する前に回答品質を比較できます。ファイル名だけ匿名化しても、本文や表に個人情報が残ることがあります。
同じ資料、同じ質問で比べる
比較用に、公開文書または脱敏した資料を用意します。「営業時間は何時か」のような直接答えられる質問だけでなく、複数箇所を読む質問、資料に答えのない質問も含めます。以下は評価項目の提案で、特定製品の実測結果ではありません。
- 正しい箇所を参照し、条件を落とさず答えるか。
- 根拠がないときに推測で埋めないか。
- 日本語の表、注記、版の違いを扱えるか。
- 待ち時間と、回答を確認する時間は許容できるか。
費用は利用料だけで決まらない
ローカルでは機器、電力、更新作業、故障時の対応が必要です。クラウドでも契約管理、利用量の確認、権限の整理は残ります。既存のPCで動いたとしても、他の仕事が遅くならないか確かめます。モデルを動かせることと、日常業務で快適に使えることは別です。
文書検索の問題をモデルだけで解決しない
回答が悪い原因は、モデルの能力だけとは限りません。PDFの文字が読めていない、古い版を参照している、文書を分割したときに注記が離れている、といった原因もあります。誤答した一問を追い、どの文章が渡されたのかを確認しましょう。
選び方の目安
外部送信に制約があり、保守できる担当者がいるならローカルを検討します。承認されたサービスを使え、運用負担を小さくしたいならクラウドが候補になります。公開情報と機密情報で処理を分ける方法もありますが、最初から複雑な構成にせず、対象業務一つで比較を始めるのがおすすめです。
参考：Ollama公式FAQ。サービスの設定や契約条件は利用前に最新の案内で確認してください。
オリジナル記事、著者：AIの番人，転載の際には、出典を明記してください：https://nipponai.jp/article/%e3%83%ad%e3%83%bc%e3%82%ab%e3%83%abai%e3%81%a8%e3%82%af%e3%83%a9%e3%82%a6%e3%83%89ai%e3%80%81%e7%a4%be%e5%86%85%e6%96%87%e6%9b%b8%e3%82%92%e6%89%b1%e3%81%86%e3%81%aa%e3%82%89%e3%81%a9%e3%81%a1/
