ローカルLLMはGPUなしで使える？CPUだけで日本語3課題を試した結果

CPU、GPU、メモリは何をするもの？

CPUはPC全体の処理を担う部品、GPUは多くの計算を並行して行うことが得意な部品です。LLMではGPUが計算を速めるために使われますが、対応する実行ソフトならCPUで動かす構成もあります。メモリは、モデルや作業中の情報を置く場所です。

ローカルLLMは、モデルを手元の環境で実行する使い方です。すべてのアプリが完全にオフラインとは限りません。モデルのダウンロード、更新、外部の道具、利用状況の送信等は別に確認します。

• 出典：llama.cpp b10941（新しいタブ）
• 出典：Qwen公式GGUFモデル（新しいタブ）

今回試した環境と、試していないこと

2026年9月14日、Windows上のllama.cpp b10941のCPU版で、Qwen公式配布のQwen3-0.6B Q8_0を実行しました。CPUはRyzen 7 5700X、搭載メモリは約32GiB、GPUへ割り当てる層数は0、処理スレッドは8です。モデルファイルは639,446,688バイトでした。

コンテキスト2,048、出力上限128トークン、temperature 0.2、seed 42、/no_thinkを含む短い依頼で、各課題を一回ずつ実行しています。モデルを使って記事執筆や外部操作を任せたのではなく、架空の短文を入力する限定した実験です。

長時間の安定性、同時利用、大きなモデル、長文PDF、別のPCでの再現性は測っていません。下の時間はプロセス起動から終了までで、モデル読み込みを含みます。最初の文字が出るまでの時間や、一般的な平均応答時間ではありません。

モデル名にある0.6BやQ8_0は、何を表す？

Bはbillion、10億を表す表記で、0.6Bはおおむね6億のパラメーター規模を示します。パラメーターはモデル内部の調整される数値です。数が大きいほど、常に自分の仕事へ適するという意味ではありません。

Q8_0は量子化方式の名前です。量子化は、数値を小さい表現へ変える方法で、ファイル容量や実行条件に影響します。GPU層0は、今回の実行でモデルの層をGPUへ割り当てない指定です。搭載しているGPUを使った高速化の結果を、CPUだけの性能として掲載していません。

抽出はできたが、要約はそのまま使えなかった

一つ目は「田中が10月8日までに会議資料を作成する」から担当者と期限を抽出する課題です。担当者は田中、期限は10月8日と返りました。二つ目は、会議日時しかない資料から会議室の名前を尋ねる課題で、資料にないため不明と返りました。

三つ目は、フォーム公開の担当とテスト、未決定の保存期間を3点に要約する課題です。公開担当の佐藤が抜け、保存期間が未決定という内容も「明確な決定がまだ行われています」と曖昧になりました。箇条書きの形はできても、重要な条件が残っていないため、そのまま業務へ使えるとは判定しませんでした。

手元で試すなら、小さいモデルと短い課題から

公式のCPU対応実行ソフトと、ライセンスを確認できる小さなモデルを選びます。今回の実験では、配布元のCPU版を展開し、モデルファイルと入力用テキストを指定して実行しました。GPU層を0にしていることを記録し、出力の上限も設けています。

いきなり機密資料を渡さず、答えの分かる架空の文章を使ってください。たとえば、担当者と期限の抽出、書かれていないことを不明と答える課題、短い要約の三つです。実行できない場合は、ファイル名、対応形式、実行ソフトの版、使えるメモリを順に確認します。

買い足す前に、何が足りないかを分ける

モデルが読み込めないならメモリや対応形式、答えが遅いなら計算量、内容が不正確ならモデルと課題の相性を疑います。SSDを買ってもモデルの理解力は上がりませんし、GPUを入れても同じモデルの内容が自動的に正確になるわけではありません。

モデルの保管で容量が足りない場合は、使わないファイルを整理してから外付け保存先を検討します。常用するモデルをどこから読むかで読み込み待ちも変わりますが、この実験では内蔵・外付けの速度比較はしていません。保存先を選ぶ条件は外付けSSDとHDDの選び方で確認できます。

持ち運んでモデルファイル等を保管するなら、Samsung T7 Shield 1TBが候補になります。選ぶ理由は携帯用の保存先であり、生成速度の実測比較による推薦ではありません。自宅の保管だけなら割高な場合があり、紛失や故障に備えた別のコピーも必要です。PCの接続規格と必要容量を確認して比較してください。

「無料で動く」と「継続して使う」を分ける

モデル自体を入手できても、電気、保存容量、設定、更新、誤りの確認には手間がかかります。短い情報抽出など、正解を確認できる用途で試し、クラウドのサービスと確認時間も含めて比べると判断しやすくなります。

モデルの利用条件はオープンウェイトの意味とライセンス確認へ。文章の単位と枠はトークン数の実測で確認できます。

• 出典：Samsung T7 Shield 1TB（MU-PE1T0S-IT） 公式仕様（新しいタブ）