モデルのメモリ使用量

モデルのメモリ使用量

「LM Studio」関係のモデル用のタスク「node」のメモリ使用量です。

モデル「openai/gpt-oss-120bをロードしているので360GB程度の実メモリを使用して。システム全体では92GGもの使用量です。120b」をロードしているので360GB程度の実メモリを使用して。システム全体では92GBも使用量しています。

モデルのロード状態

Developer画面のLocal Serverから現在のモデルのロード状態を確認出来ます。先のアクティビティモニタでは4つ有りますが、上位2が自分のPCのモデルです。Serverから現在のモデルのロード状態の詳細を確認出来ます。先のアクティビティモニタでは4つ有ります。上位2つが自身が指定してロードしたモデルのプロセスです。他の2つは不明です(未調査)。

ここで「Server Settings」を確認します。

「未使用のJITロードモデルを自動的にアンロード」がONとなって、10分をしています。10分を指定してます。しかし、この10分を経過してもアンロードされません。アンロードされるとプロセスが終了してメモリ使用が無くなるのですが。10分を経過してもアンロードされません。アンロードされるとプロセスが終了してメモリ使用が無くなると推測していたのですが。。。設定方法が間違っているのか?現在の所はねーモデルがアンロードされてメモリが買う方されない原因は不明です。現在の所はねーモデルがアンロードされてメモリが実行されない原因は不明です。

「LM Studio」アプリを終了

このモデル用のプロセス「モデル用のプロセス「node」はアプリが終了しても残ります。LM Link機能かの兼ね合いで残る必要が有るのかも。試しにLM LinkをOFFにしましたが特に変化は有りませんでした。

メモリを解放

自動的に解放されないので、マニュアルで解放します。「Eject」ボタンを押してモデルを解放します。今回は「openai/gpt-oss-120b」を解放してみました。

キヤッシュ上には残っている様ですが使用済みメモリは「キャッシュ上には残っている様ですが、使用済みメモリは「92GBから32GB 」と大幅に少なくなりました。アプリの改良を待ちたいと思います。それまでは、手作業でモデルのメモリ使用量を管理しましょう。