最近、少し気になっていたのが「ローカルAI」。
ChatGPTやGeminiのようなクラウド型AIではなく、手元のMacでAIを動かすというものです。
以前からAIはブログの記事作成や文章の整理などで使っていましたが、「せっかくM3 MaxのMacBook Proを持っているんだから、ローカルAIも一度試してみようかな」と思ったのがきっかけでした。
結論から言うと、思っていたより普通に使えました。
ただし、いろいろ試してみると「ローカルAIなら何でも便利」というわけでもなく、モデル選びや使い方によってかなり差があることも分かりました。
今回は、実際に試してみたところまでをまとめてみます。
そもそも、なぜローカルAI？
普段のブログ作成では、ChatGPTやGeminiを使っています。
ブログのネタを整理したり、文章を読みやすくしたり、タイトルを考えたりする程度なら、無料版でも今のところ大きな不満はありません。
それなら、わざわざローカルAIを使う必要はないのでは？
最初は自分でもそう思っていました。
ローカルAIのメリットとしてよく言われるのが、
- インターネット接続なしでも使える
- AIに送信せず手元で処理できる
- API料金などを気にせず使える
- 自分の資料を使った処理ができる
といったところ。
ただ、ブログを書くという用途だけなら、クラウドAIのほうが便利な場面も多い。
それでも「自分のMacだけでAIが動く」というのは、単純に面白そうだったので試してみることにしました。
使用しているMacはM3 Max・36GB
現在使っているのはMacBook Pro。
搭載しているのは、
M3 Max
ユニファイドメモリ36GB
SSD 1TB
という構成です。
動画編集にも使っているので、普段から性能不足を感じることはありません。
ただ、ローカルAIとなると気になるのがメモリ。
AIモデルは「○○B」というパラメータ数で大きさが表されます。
ざっくり言えば、7Bより14B、14Bより26B、30Bのほうが大きいモデルです。
最初は、
「36GBでそんな大きなモデルが動くの？」
という感じでした。
まずはLM Studioを導入
最初に試したのがLM Studioです。
Macにインストールして、対応しているモデルを検索してダウンロード。
思ったより簡単でした。
ローカルAIというと、もっと難しい設定が必要なのかと思っていましたが、GUIでモデルを選んで使えるので、意外と普通のアプリ感覚です。
最初に試したGemma 4 E4Bは……
最初に見つけたのがGemma 4 E4B。
GoogleのGemmaシリーズです。
とりあえずブログ記事を書かせてみました。
ところが……
イマイチ。
さらに記事を書かせている途中で、生成が止まったような状態になってしまうこともありました。
「M3 MaxでもローカルAIはこんなものなのか？」
と思ったのですが、ここでモデルを変えてみることに。
Gemma 4 26B A4Bを試してみた
次に試したのが、
Gemma 4 26B A4B
です。
モデルのサイズは一気に大きくなります。
ところが、これが予想外でした。
かなり使える。
というより、ブログ記事を書かせてみたところ、
「これなら普通に使えるじゃん」
というレベルでした。
E4Bと26Bでは、同じGemmaでもかなり印象が違います。
ローカルAIは単純に「小さいモデル＝速くて便利」ではなく、実際に使ってみないと分からない部分があるなと感じました。
ThinkingをOFFにしたらさらに良かった
さらに試してみたのがThinking機能。
Gemma 4 26B A4BでThinkingをONにすると、当然ながら考える時間が増えます。
そこで、
Thinking OFF
にしてみました。
すると……
これがかなり良い。
文章作成のような用途なら、必ずしも長々と推論させる必要はありません。
Thinking OFFにすると生成も軽くなり、ブログ記事を書く用途では十分な品質。
今のところ、
Gemma 4 26B A4B ＋ Thinking OFF
が自分の中では一番使いやすい組み合わせになっています。
ただし、アプリをたくさん開くとMacが重くなる
ここでM3 Maxの弱点も分かりました。
ローカルAIを動かしながら、
などを大量に開いていると、Mac全体が重くなります。
M3 Maxだから何でも余裕、というわけではありません。
MacのユニファイドメモリをAIモデルがかなり使うので、36GBという容量を他のアプリと分け合うことになります。
逆に言えば、AIを使うときに不要なアプリを閉じれば、かなり普通に使えます。
「過去の記事も全部AIに読ませたい」と思った
ここまで来ると、次にやりたくなったのが、
過去に書いたブログ記事をAIに読ませること。
自分のブログにはこれまで書いた記事がかなりあります。
それをAIに覚えさせて、
「以前の記事を参考にしながら新しい記事を書いて」
という使い方ができたら便利そうです。
そこで試したのがAnythingLLM。
ところが、ここでは少し苦戦しました。
AnythingLLMは……ちょっと重かった
過去記事を大量に読み込ませてみると、処理が始まりました。
すると、
「74 sections of content left to summarize」
というような表示が出てきました。
どうやら大量の記事を細かく分割して、それぞれを要約・処理しているようです。
そして……
めちゃくちゃ遅い。
Gemma 4 26Bを使って大量の文書処理をさせると、当然ながら負荷もかなり大きくなります。
ここで、
「ローカルAI＝自分の資料を全部入れれば便利」
と単純にはいかないことが分かりました。
結局、今のところAnythingLLMは自分の用途にはちょっと合わないと判断。
必要な記事やメモだけをAIに渡して、その都度処理したほうがシンプルです。
ローカルAIは「何に使うか」が大事
ここまで試してみて感じたのは、
ローカルAIはクラウドAIの完全な代替ではない
ということです。
例えば最新情報を調べながら記事を書くなら、Web検索ができるChatGPTやGeminiのほうが便利。
一方、
- 自分の文章を整理する
- 自分のメモから記事を書く
- オフラインで文章を処理する
- AIに送信したくないデータを扱う
といった用途ではローカルAIのメリットがあります。
自分の場合は、ブログの「事実確認」はクラウドAI。
自分の体験メモを文章にする作業はローカルAI。
そんな使い分けが合っているように思います。
もっと新しいモデルも試してみたい
ここまで試してみると、今度は別のモデルも気になってきます。
現在使っているGemma 4 26B A4Bには満足していますが、ローカルAIの世界は新しいモデルが次々に登場しています。
そこで、次に試してみたいと思っているのが、
MetaのMuse Glimmer 30B
です。
まだ実際には使っていません。
30Bクラスなので、現在使っているGemma 4 26B A4Bと比較するには面白そうです。
GoogleのGemmaとは別系統のモデルなので、実際にブログ記事を書かせたときにどんな違いが出るのか気になります。
ただし、現時点ではあくまで**「これから試してみたいモデル」**。
実際に使ってみたら、Gemma 4 26B A4Bより良いのか、それとも今の環境で十分なのか。
これは実際に試してから、改めて記事にしてみたいと思います。
M3 Maxはあと何年使える？
ここまでローカルAIを使ってみると、逆に気になってきたのがMacの買い替え時期。
現在のM3 Max 36GBでも、26Bクラスのモデルが普通に実用になります。
もちろん新しい世代になれば処理性能は上がっていくでしょう。
ただ、ローカルAIではCPUの世代だけでなく、
などがかなり重要。
そのため、単純に「新しいMacだから今のM3 Maxより全部速い」とは限りません。
今回ローカルAIを実際に動かしてみて、M3 Max 36GBはまだまだ使えるなというのが率直な感想です。
今すぐ買い替える必要性は感じません。
むしろあと2～3年くらい使って、その頃のMacがどこまで進化しているのかを見るのも面白そうです。
まとめ
今回、初めて本格的にローカルAIを試してみました。
最初のGemma 4 E4Bでは、
「うーん、こんなものか……」
という感じでした。
ところがGemma 4 26B A4Bに変えると、
「あれ？普通に使えるぞ」
となりました。
さらにThinking OFFにすると、ブログ記事を書く用途ではかなり快適。
一方で、AnythingLLMで大量の過去記事を処理させると、今度はかなり重くなりました。
つまり、ローカルAIは、
「どのモデルを使うか」
「何をさせるか」
「どれくらいの資料を処理させるか」
で使い勝手が大きく変わるようです。
今のところ、自分の環境では、
M3 Max 36GB
＋
LM Studio
＋
Gemma 4 26B A4B
＋
Thinking OFF
がかなり実用的。
そして次は、まだ試していないMuse Glimmer 30Bにも挑戦してみたいと思います。
無料で使えるChatGPTやGeminiで今のところ困っていないのに、わざわざローカルAIまで試してしまう。
こういう「必要かどうか分からないけど、とりあえずやってみる」感じも、個人的には結構楽しいですね（笑）。
