前回の記事では、ローカルLLMを動かすためのPC構成について検討してみました。
その後、改めて手持ちのPCを活用できないか考えてみたところ、意外と面白い構成が見えてきました。
今回は、古いWindows PCを再利用して、低予算で大規模なローカルLLMを動かす方法を検討してみます。
RTX 5060 TiではなくRTX 3060という選択肢
今回、改めて注目したのが中古のGeForce RTX 3060 12GBです。
最新のGPUではありませんが、12GBのVRAMを搭載しているのがポイント。
当初検討していたRTX 5060 Ti 16GBと比較するとVRAM容量では劣りますが、中古なら5万円前後で入手できる可能性があります。
そして、最近気になっているのがStrataというローカルLLM向けの実行環境です。
Strataでは、GPUのVRAMだけでなく、PCのメインメモリーも活用して大規模モデルを動かすことができます。
実際にRTX 3060 12GBとメモリー64GBという構成で、大規模モデルを動かしている事例も見かけました。
80Bクラスのモデルはもちろん、量子化方式によっては125Bクラスのモデルまで動作する可能性があるようです。
もちろん、動作することと快適に使えることは別です。量子化による品質の低下や、メモリーとのデータ転送による速度面の制約もあります。
それでも、5万円程度の中古GPUで大規模モデルに挑戦できるというのは、なかなか魅力的です。
問題はメモリーの確保
今回の構成で悩ましいのがメインメモリーです。
現在のPCにはDDR4メモリーが16GB搭載されていますが、大規模モデルを動かすには明らかに不足しています。
そこで考えているのが64GBへの増設です。
ただ、DDR4メモリーは最近価格が上がっており、64GBを確保するだけでもかなりの出費になります。
32GB×2枚が理想的ですが、製品によっては入手しにくく、価格も高め。
16GB×4枚という構成も候補にしています。
さらに、現在の16GBを残して、32GB×2枚を追加すれば合計80GBにできないか、ということも考えました。
B450M Pro4はメモリースロットが4本あるので、物理的には可能な構成です。ただし、異なる容量や規格のメモリーを混在させる場合は、動作確認が必要になります。
メモリーの確保が今回の計画で一番の課題になりそうです。
13万円程度で大規模ローカルLLM環境が作れる?
現時点で考えている構成は次のとおりです。
| パーツ | 想定予算 |
|---|---|
| DDR4メモリー64GB | 約80,000円 |
| 中古RTX 3060 12GB | 約50,000円 |
| 合計 | 約130,000円 |
CPU、マザーボード、ケース、電源、OS用SSDは既存のものを流用します。
つまり、追加投資はおよそ13万円。
RTX 5060 Tiを使った新規構成を考えていたときと比べれば、かなり費用を抑えられます。
しかも、Strataの対応モデルや最適化が今後進んでいけば、同じハードウェアでも動かせるモデルの選択肢が増えるかもしれません。
8GB VRAMのGPUにも対応するようになったという話もあり、ソフトウェア側の進化にも期待しています。
MacBook ProとWindows PCの2台体制
現在、ブログ記事の作成や編集にはMacBook Pro M3 Maxを使っています。
Gemma 4などのモデルを使った文章作成であれば、今の環境でも十分実用的です。
そのため、今回のWindows PCは普段使いのメインマシンにするつもりはありません。
あくまで、大規模なローカルLLMを試したり、CUDAを使ったAI関連の実験をしたりするための専用マシンです。
Macでは普段の作業を続けながら、必要なときだけWindows PCを起動して、ネットワーク経由でモデルを利用する。
そんな使い方ができれば理想的です。
さらに、ファイルサーバーとしても再利用できれば、ほとんど使っていなかったPCにも新しい役割が生まれます。
あとは購入するタイミング次第
今回の計画なら、13万円程度でローカルLLMの実験環境を作れそうです。
趣味として考えれば、十分に検討できる金額だと思っています。
ただし、今すぐ購入する必要はありません。
現在は米国株の動向も気になるところです。中間選挙後の相場の動きなども見ながら、資金に余裕があるタイミングで購入を検討したいと思います。
それに、メモリーの価格も気になります。
DDR4が今後さらに入手しにくくなる可能性もありますが、焦って高値で買うのも避けたいところ。
古いPCを再利用して、13万円程度で125Bクラスのモデルに挑戦できるかもしれない。
そう考えると、なかなか夢のある計画です。
まだ実際に購入したわけではありませんが、しばらくはパーツの価格やStrataの進化を追いかけながら、構成を詰めていこうと思います。