더 똑똑해진 AI 에이전트 : neo-pkg-llm-chat 2.0.0 출시
- 2일 전
- 4분 분량
자연어로 데이터를 묻고, AI가 알아서 차트를 그려주고, 대시보드까지 만들어주는 시대.
마크베이스 네오의 neo-pkg-llm-chat 패키지는 이런 경험을 가능하게 해주는 LLM 에이전트입니다.
그런데, 이전 버전을 직접 써보신 분들은 한 번쯤 이런 답답함을 느끼셨을지 모르겠습니다.
"Ollama 같은 로컬 LLM을 붙였더니 자꾸 엉뚱한 도구를 호출하네..."
"API 비용이 생각보다 많이 나오는데?"
"여러 사람이 같이 쓰면 한 사람이 무거운 분석을 돌릴 때 다른 사람이 느려져요"
저희 마크베이스도 똑같은 고민을 했습니다. 그래서 이번에 neo-pkg-llm-chat 2.0.0 버전으로 전면 재설계를 진행했고, 이 글에서 그 결과를 공유드리려고 합니다.
이전 1.x 버전에 비해 어떤 점이 좋아졌는지, 핵심만 짚어 보겠습니다.
1. 하네스 구조 도입 - AI 에이전트가 "생각하고 행동하는" 방식의 진화
이전 버전(1.x)은 사용자의 모든 질문을 거의 동일한 방식으로 처리했습니다.
"어제 데이터 보여줘"라는 단순한 질문이든, "지난 한 달치 진동 데이터에서 이상 패턴을 분석해서 리포트 만들어줘"라는 복잡한 요청이든, AI에게 똑같이 26개의 도구를 다 보여주고 "알아서 잘 골라봐"라고 맡기는 식이었죠.
그러다 보니 LLM이 헷갈리는 일이 자주 있었습니다. 단순 조회인데 갑자기 대시보드를 만들려고 한다거나, 리포트를 요청했는데 차트만 그리고 끝나거나... 똑똑한 클로드도 가끔 엉뚱한 짓을 하더라고요.
2.0.0 버전에서는 하네스(harness) 구조를 도입했습니다.
쉽게 말하면, AI가 일하는 작업장을 의도에 맞게 미리 정리해 두는 방식입니다.
8가지 의도별 기능(Skill)
사용자가 무엇을 원하는지 먼저 분류하고, 그 의도에 꼭 필요한 도구만 골라서 보여줍니다.
\예를 들어 사용자가 "어제 BEARING 테이블 데이터 좀 보여줘"라고 하면,
시스템이 "아, 이건 단순 데이터 조회구나" 하고 판단해서 조회에 필요한 3개 도구만 AI에게 노출합니다.
26개 중에서 고르라고 하던 1.x와는 차원이 다르죠.
자동 보정과 안전장치도 강화
LLM이 가끔 실수합니다.
차트를 그려야 하는데 깜빡한다든가, 태그 이름을 소문자로 잘못 보낸다든가, 데이터 확인도 안 하고 대시보드부터 만들려고 한다든가.
2.0.0 버전에서는 이런 LLM의 흔한 실수를 자동으로 잡아주는 안전장치를 만들었습니다.
분석 끝났는데 차트가 빠졌다면? → 자동으로 차트 생성
태그 이름을 temperature로 보냈는데 실제로는 TEMPERATURE? → 자동으로 대소문자 교정
같은 도구가 계속 실패하고 있다? → 무한 반복 방지로 중단
존재하지 않는 태그명으로 호출 시도? → 호출 전에 미리 차단해서 불필요한 API 낭비 방지
LLM이 "실수해도 괜찮은 환경"을 만들어 둔 셈입니다.
덕분에 사용자가 보는 결과의 품질이 눈에 띄게 안정적이 되었습니다.
2. 마크베이스 네오 안으로 들어왔습니다 - JSH 기반 단일 패키지
1.x 버전을 설치해보신 분들은 알겠지만, 백엔드(neo-pkg-llm)와 프론트엔드(neo-pkg-llm-chat) 두 개를 따로 받아서 Go 빌드까지 해야 했습니다.
Go 컴파일러도 설치해야 하고, 플랫폼별로 바이너리도 다르고... 솔직히 좀 번거로웠죠.
2.0.0 버전에서는 마크베이스 네오 내부의 JSH 환경에서 동작하도록 전면 재구현했습니다.
무엇이 좋아졌나요?
Go 빌드가 필요 없습니다 - 마크베이스 네오만 있으면 그 자리에서 바로 돌아갑니다
패키지 하나로 끝납니다 - 백엔드/프론트엔드가 하나의 패키지로 통합되었습니다
플랫폼 걱정이 없습니다 - Windows, Linux, macOS 가리지 않고 동일하게 동작합니다
마크베이스 네오와 한 몸이 됩니다 - Neo의 내부 API에 직접 접근하므로, 데이터 흐름이 더 빠르고 효율적입니다
V8.5에서 강화된 JSH 환경의 힘을 가장 잘 보여주는 사례라고 할 수 있습니다.
마크베이스 네오를 설치하고, 패키지 한 번 복사하면 끝. 그게 다입니다.
사용자별 설정도 가능해졌습니다
또 하나 좋아진 점은, 여러 사용자가 각자의 설정으로 사용할 수 있게 된 것입니다.
사용자 A는 Claude, B는 GPT-4, C는 사내 Ollama를 사용
각자 본인의 API 키 사용 -> 부서별로 비용 분리 청구 가능
보안 등급에 따라 일부 사용자에게는 로컬 Ollama만 허용
기업에서 팀 단위로 도입할 때 특히 유용할 것 같습니다.
3. 토큰 사용량이 크게 줄었습니다 - 최대 80%까지
이 부분이 아마 사용자 분들께서 가장 체감하실 변화일 것 같습니다.
왜 1.x는 토큰을 많이 썼나요?
이전 버전은 사용자의 모든 질문마다 약 8,200토큰 분량의 시스템 프롬프트와 도구 정의를 통째로 LLM에게 매번 전송했습니다.
"어제 데이터 보여줘"라는 단순한 질문에도 26개 도구의 모든 설명을 다 보내고 있었던 것이죠.
비유하자면, 매번 손님이 와서 "물 한 잔 주세요"라고 할 때마다 식당 메뉴판 전체를 펼쳐서 읽어주고 있었던 셈입니다.
2.0.0 버전에서는 의도에 필요한 만큼만
위에서 설명드린 하네스 구조 덕분에, AI는 그 의도에 필요한 도구와 설명만 받습니다. 결과적으로 토큰 사용량이 이렇게 줄었습니다.
이게 왜 중요한가요?
1. API 비용이 줄어듭니다
Claude나 GPT를 사용하시는 분들은 토큰 단위로 과금되기 때문에, 토큰이 줄면 직접 비용 절감으로 이어집니다. 자주 쓰는 데이터 조회 같은 작업에서 80% 절감은 매우 큰 차이입니다.
2. 응답이 더 빨라집니다
LLM이 처리해야 하는 토큰이 적을수록 응답 시작도 빨라지고, 전체 응답 시간도 짧아집니다. 특히 첫 글자가 나타나는 시간(TTFT)이 체감상 크게 단축됩니다.
3. 로컬 LLM에서도 잘 돌아갑니다
Ollama 같은 로컬 LLM은 일반적으로 컨텍스트 윈도우가 작거나, 긴 입력에서 성능이 떨어지는 경향이 있습니다. 토큰이 줄면 작은 모델에서도 안정적으로 동작합니다. 실제로 Ollama 환경에서는 영문 압축 프롬프트를 자동으로 사용해서, 같은 작업에서도 35~40% 더 적은 토큰을 사용합니다.
그 외에도 이런 점들이 좋아졌습니다.
세션이 격리되었습니다
이전에는 한 명이 무거운 분석을 돌리면 다른 사용자의 응답도 느려졌습니다.
2.0.0 버전에서는 사용자마다 별도의 처리 공간을 갖기 때문에, 한 사람의 작업이 다른 사람에게 영향을 주지 않습니다. 한 사용자에게서 문제가 생겨도 다른 사용자는 영향 없이 계속 사용할 수 있습니다.
리포트가 더 자연스러워졌습니다
1.x에서는 리포트의 안전 점수가 95점인데도 "위험! 즉시 교육 필요!" 같은 과장된 경고 문구가 나오는 경우가 있었습니다.
2.0.0 버전에서는 점수에 맞춰 톤이 자동으로 조절됩니다.
90점 이상 → 긍정적/칭찬 톤
70~89점 → 균형 잡힌 톤
40점 미만 → 심각한 문제 중심으로
또한 진동 심각도 등급(Good / Warning / Danger / Critical)도 새로 개편되어, 진동 분석 리포트가 훨씬 신뢰감 있게 나옵니다.
한눈에 보는 1.x vs 2.0.0
마치며 - 더 똑똑하고, 더 빠르고, 더 효율적으로
저희가 이번에 neo-pkg-llm-chat 2.0.0 버전을 만들면서 가장 중요하게 생각한 것은 단 하나였습니다.
"고객이 마크베이스 네오의 AI 에이전트를 실제로 업무에 쓸 수 있게 하자."
기능만 화려한 데모가 아니라, 실제 운영 환경에서 안정적으로, 합리적인 비용으로, 여러 사람이 동시에 쓸 수 있는 AI 에이전트가 필요했습니다.
이번 2.0.0 버전은 그 방향으로 가는 첫걸음입니다.
마크베이스 네오와 한 몸이 된 LLM 에이전트가 어떤 가능성을 열어줄지, 저희도 무척 기대됩니다.
향후 계획
기존 기능들의 고도화
다양한 새로운 기능 추가
요청시 커스텀 리포트 템플릿 제공
마크베이스 네오 V8.5와 함께 새로워진 AI 에이전트, 직접 한 번 체험해 보시기를 권합니다.
