動作テスト

AIチャット画面に移動して何か質問してます。

今回は単純に「テスト」と入力して「チャット」ボタンを押します。

エラーが表示されました。

「OK」ボタンで確認すると、新しいレコードにAIサービスの結果が保存されます。

[LLM] error. Reason: HTTP response code said error: 502

スクリプトの問題では無くServer上のLLMに問題が有り応答出来ない様です。

色々と調べたりテストした結果、現在のモデル「google/codegemma-7b-it」では、現在の環境であるMac mini 24GBでは、メモリ不足で正しく動作しないようです。

24GBのRAMで動作するためにもっと軽量をダウンロードしてロードします。

mlx-community/codegemma-7b-it-8bit

AIチャットのAIサービス接続情報のモデル名を修正します。

mlx-community/codegemma-7b-it-8bit

再度テストを実行します。

応答が正常に戻りました。

新しい問い合わせをしてみました。

返答までの時間が50秒以上もかかっています。FileMaker ServerのAIサービスの環境をアップグレードすると良くなるのでしょう。

もう一つ、返答が「マークダウン（Markdown）」形式で行われています。