さらに賢くなったAIエージェント：neo-pkg-llm-chat 2.0.0リリース

2 時間前

読了時間: 7分

自然言語でデータについて尋ねると、AIがチャートを描き、ダッシュボードまで作ってくれる時代になりました。

Machbase Neoのneo-pkg-llm-chatパッケージは、そのような体験を実現するLLMエージェントです。

ただ、以前のバージョンを使った方は、一度はこんなもどかしさを感じたかもしれません。

「OllamaのようなローカルLLMを接続したら、関係のないツールばかり呼び出す…」
「APIの費用が、思っていたより高いのでは？」
「複数人で使うと、誰かが重い分析を実行している間、ほかの人の応答まで遅くなります」

私たちMachbaseも同じ課題を感じていました。そこで、neo-pkg-llm-chat 2.0.0では全面的に設計を見直しました。本記事では、その成果をご紹介します。

従来の1.xと比べて何が良くなったのか、主なポイントを見ていきましょう。

ハーネス構造の導入
JSHを基盤とする単一パッケージ
トークン使用量を最大80%削減
その他の改善点
ひと目で分かる1.xと2.0の比較

1．ハーネス構造の導入：AIエージェントの「考え、行動する」仕組みが進化

従来の1.xでは、ユーザーからのあらゆる質問をほぼ同じ方法で処理していました。

「昨日のデータを見せて」という単純な質問でも、「過去1か月の振動データから異常パターンを分析してレポートを作って」という複雑な依頼でも、AIに同じ26個のツールをすべて提示し、適切なものを自分で選ばせていました。

そのため、LLMが混乱することがよくありました。単純な検索なのにダッシュボードを作ろうとしたり、レポートを頼んだのにチャートだけ描いて終わったり。高性能なClaudeでも、ときには見当違いの動きをしていました。

2.0.0では、ハーネス（harness）構造を導入しました。

簡単にいえば、ユーザーの意図に合わせて、AIの作業環境をあらかじめ整理しておく仕組みです。

8種類の意図に対応する機能（Skill）

まずユーザーが何を求めているかを分類し、その意図に必要なツールだけを選んで提示します。

ユーザーの意図	実行する処理
基本分析	データ検索、チャート作成、ダッシュボード生成
高度な分析	FFTや統計などの複雑な分析
レポート	4種類のテンプレートによるHTMLレポート生成
データ検索	単純な検索とSQL結果の返却
ドキュメント検索	Machbaseのマニュアル・ドキュメントを検索
タイマー	TQLタイマーの登録・管理
システム情報	システムの指標・状態を取得
一般的な会話	その他の自由な会話

たとえば、ユーザーが「BEARINGテーブルの昨日のデータを見せて」と依頼すると、

システムは単純なデータ検索だと判断し、必要な3個のツールだけをAIに提示します。

26個の中から選ばせていた1.xとは、大きな違いです。

自動補正と安全策も強化

LLMは、ときどき間違えます。

チャートを描くのを忘れたり、本来は大文字のタグ名を小文字で送ったり、データを確認する前にダッシュボードを作ろうとしたりします。

2.0.0では、こうしたよくある間違いを自動的に検出する安全策を設けました。

分析は終わったのにチャートがない？ → チャートを自動生成します。
temperatureと送られたものの、実際のタグはTEMPERATURE？ → 大文字・小文字を自動補正します。
同じツールが失敗を繰り返している？ → 無限ループを防ぐため停止します。
存在しないタグ名で呼び出そうとしている？ → 実行前に遮断し、不要なAPIの消費を防ぎます。

いわば、LLMが間違えても対処できる環境を整えたのです。

その結果、ユーザーに提示される結果の品質は、目に見えて安定しました。

2．Machbase Neoの内部へ：JSHを基盤とする単一パッケージ

1.xを導入した方なら、バックエンドのneo-pkg-llmとフロントエンドのneo-pkg-llm-chatを別々に取得し、Goでビルドする必要があったことをご存じでしょう。

Goコンパイラーの導入が必要で、プラットフォームごとにバイナリも異なるなど、手間がかかりました。

2.0.0では、Machbase Neo内部のJSH環境で動作するよう、全面的に再実装しました。

何が改善されたのでしょうか？

Goのビルドは不要です。Machbase Neoがあれば、その場で実行できます。
パッケージは1つだけです。バックエンドとフロントエンドを統合しました。
プラットフォームを気にする必要はありません。Windows、Linux、macOSで同じように動作します。
Machbase Neoと一体化します。Neoの内部APIに直接アクセスするため、データの流れがより高速で効率的になります。

V8.5で強化されたJSH環境の力を、よく示す事例といえるでしょう。

Machbase Neoをインストールし、パッケージを一度コピーすれば完了です。

ユーザー別の設定も可能になりました

複数のユーザーが、それぞれの設定で利用できるようになったことも改善点です。

ユーザーAはClaude、BはGPT-4、Cは社内のOllamaを利用できます。
各自が自分のAPIキーを使用できるため、部署ごとに費用を分けて請求できます。
セキュリティ要件に応じて、一部のユーザーにはローカルのOllamaだけを許可できます。

企業がチーム単位で導入する場合に、特に役立つはずです。

3．トークン使用量を大幅削減：最大80%

ユーザーが最も実感しやすい変更点かもしれません。

なぜ1.xでは多くのトークンを使っていたのでしょうか？

以前のバージョンでは、ユーザーの質問ごとに、約8,200トークンのシステムプロンプトとツール定義を丸ごとLLMへ送っていました。

「昨日のデータを見せて」という単純な質問にも、26個すべてのツールの説明を送っていたのです。

たとえるなら、お客様が「水を1杯ください」と言うたびに、レストランのメニューを最初から最後まで読み上げていたようなものです。

2.0.0では、意図に必要な情報だけを送信

先ほど紹介したハーネス構造により、AIが受け取るのは、その意図に必要なツールと説明だけです。その結果、トークン使用量は次のように減りました。

作業	トークン使用量の削減率
データ検索	83%
システム情報	83%
レポート生成	78%
ドキュメント検索	77%
基本分析	68%
タイマー操作	59%
高度な分析	49%

なぜこれが重要なのでしょうか？

1．API費用を削減できます

ClaudeやGPTはトークン単位で課金されるため、トークンの削減が直接コスト削減につながります。データ検索のような頻繁に行う作業では、80%の削減は大きな差になります。

2．応答が速くなります

LLMが処理するトークンが少ないほど、応答の開始が早くなり、全体の応答時間も短くなります。特に、最初の文字が表示されるまでの時間（TTFT）の短縮を実感できます。

3．ローカルLLMでも安定して動作します

Ollamaなどで利用するローカルLLMは、一般にコンテキストウィンドウが小さかったり、長い入力で性能が低下したりする傾向があります。トークンを減らすと、小型モデルでも安定して動作します。Ollama環境では、圧縮した英語のプロンプトを自動的に使用するため、同じ作業でもさらに35～40%少ないトークンで処理できます。

その他の改善点

セッションを分離しました

以前は、1人が重い分析を実行すると、ほかのユーザーの応答も遅くなっていました。

2.0.0では、ユーザーごとに独立した処理領域を持つため、1人の作業がほかの人に影響しません。あるユーザーで問題が起きても、ほかのユーザーは影響を受けずに利用を続けられます。

レポートの表現がより自然になりました

1.xでは、安全スコアが95点なのに、「危険！直ちに教育が必要！」といった過剰な警告が表示される場合がありました。

2.0.0では、スコアに応じて表現の調子を自動調整します。

90点以上 → 前向きで評価する表現
70～89点 → バランスの取れた表現
40点未満 → 重大な問題を中心に説明

振動の重大度区分（Good／Warning／Danger／Critical）も見直し、振動分析レポートの信頼性を高めました。

ひと目で分かる1.xと2.0.0の比較

項目	1.x	2.0.0
導入	Goのビルドが必要、2つのパッケージ	JSHベース、単一パッケージ
ツール	すべての質問で26個を提示	意図に合わせて必要なツールを選択
トークン使用量	毎回約8,200トークン	49～83%削減
設定	共通の設定	ユーザー別の設定
処理	単一のプロセスを共有	ユーザーごとに独立した処理
エラー対応	一部を補正	自動補正と安全策
レポートの表現	一律	結果に応じて自動調整