モデルのメモリ使用量

「LM Studio」関係のモデル用のタスク「node」のメモリ使用量です。未だ短期間のテストなので詳しく分からないところが多々あります。

モデル「openai/gpt-oss-120b」をロードしているので60GB程度の実メモリを使用して。システム全体では92GBも使用しています。

モデルのロード状態

Developer画面のLocal Serverから現在のモデルのロード状態の詳細を確認出来ます。先のアクティビティモニタでは4つ有りますが、2つが自身が指定してロードしたモデルのプロセスです。他の2つは不明です(未調査)。

ここで「Server Settings」を確認します。

「未使用のJITロードモデルを自動的にアンロード」がONとなって、10分を指定してます。しかし、10分を経過してもアンロードされません。LM Link動作時にアンロードされるとプロセスが終了してメモリ使用が無くなると推測していたのですが。。。設定方法が間違っているのか?現在の所はモデルがアンロードされてメモリが実行されない原因は不明です。また、API使用時だけの機能なのかは未確認です。

「LM Studio」アプリを終了

モデル用のプロセス「node」はアプリが終了しても残ります。LM Link機能かの兼ね合いで残る必要が有るのかも。試しにLM LinkをOFFにしましたが特に変化は有りませんでした。

メモリを解放

自動的に解放されないので、マニュアルで解放します。「Eject」ボタンを押してモデルを解放します。今回は「openai/gpt-oss-120b」を解放してみました。他のユーザーが使用中でも他のるPC全てからモデルを解放出来るので「Eject」ボタンの使用は注意する必要が有ります。途中で「Eject」されると当然ですが、中途半端に止まります。

キャッシュ上には残っている様ですが、使用済みメモリは「92GBから32GB 」と大幅に少なくなりました。アプリの改良を待ちたいと思います。それまでは、手作業でモデルのメモリ使用量を管理しましょう。