動作テスト

AIチャット画面に移動して何か質問してます。

今回は単純に「テスト」と入力して「チャット」ボタンを押します。

エラーが表示されました。

「OK」ボタンで確認すると、新しいレコードにAIサービスの結果が保存されます。

[LLM] error. Reason: HTTP response code said error: 502

スクリプトの問題では無くServer上のLLMに問題が有り応答出来ない様です。

色々と調べたりテストした結果、現在のモデル「google/codegemma-7b-it」では、現在の環境であるMac mini 24GBでは、メモリ不足で正しく動作しないようです。

24GBのRAMで動作するためにもっと軽量をダウンロードしてロードします。

mlx-community/codegemma-7b-it-8bit