概要

ローカルLLM

一般的なLLM(大規模言語モデル)サービスは、インターネット経由で接続することで各種サービスを提供しています。今回紹介する「LM Studio」はインターネットに接続しなくても(アプリのインストールとかAIモデルのダウンロードなどの動作環境構築には必要)ローカルのPC環境でサービスを提供する物です。従って、セキュリティを気にしているとか、自社のノウハウなどをサービスに提示すること無くLLMを利用したい用途などに便利です。

この記事では「LM Studio」の導入の初歩として次の様な内容を記載しています。

• インストール
• テスト
• API-テスト

ライセンス体系

「LM Studio」を使用する上での気になるライセンスはどうなっているのか?

最新のライセンスは「LM Studio」のサイト(https://lmstudio.ai/blog/free-for-work)をご確認ください。ここでは、簡単に説明します。

無料	個人・企業	当初は個人は無料でしたが企業も無料に変更されている。
有料(問い合わせ)	企業	TeamsとEnterpriseが有るようだが、詳しくは不明である。

運用コスト

「LM Studio」を運用する費用はアプリをローカル環境で使用する場合には、発生しません。特別に有料ライセンスを購入すれば、もっと多くの情報へアクセス出来る様ですが個人もしくは自社内で利用する事に関しての追加コストは発生しないようです。

運用コストとしては、非力なPCは無理が有ります。例えば、8GBメモリで128GB SSDでは、まともに利用できないでしょう。今回は当初MacBookPro 14インチ(M1-32GBRAM)でテストしましたが、それでも使用するAIモデルによっては無理が有りそうです。macOSでは無く、Windows/Linux系だとGPUにも左右されるので何処まで「LM Studio」を使用するかによってPC/GPUのスペックを考慮する必要が有ります。

他のローカルLLM

「LM Studio」をテストした後に他のローカルLLMを調べました。

名称	URL	概要
LM Studio	https://lmstudio.ai