마크베이스 블로그


차세대 산업 IoT를 위한 데이터 혁명 : Next Generation Historian 3

작성자
machbase
작성일
2018-04-24 23:36
조회
179

미래의 Historian 제품이 가져야 할 요소들


 


시간이 지남에 따라 점점 더 많은 고객의 요구 사항을 반영한 제품이 출시 될 것이며, 이러한 요구에 맞는 차세대 Historian이 가져야 할 요소를 정리해 본다.


고성능 데이터 입력


센서 데이터의 Scan Rate와 개수가 많아진다는 것 = 초당 입력되어야 하는 센서 데이터의 개수가 매우 많다는 것인데 특정 고객의 경우 초당 1천만 건 이상의 데이터가 발생하고 있으며, 저장 가능한 초고속의 저장소 필요하다.


실시간 데이터 검색


데이터를 고속 저장하는 것이면 일반 텍스트 파일이 적합하지만, 사용자는 저장되고 있는 데이터에 대한 시간, 센서명, 특수 조건을 기준으로 데이터를 가져오고, 검색하길 원한다.


유연한 확장성


컴퓨팅 파워 및 저장소가 부족한 경우 어떻게 할 것인가?
사용자는 당연히 추가적인 서버를 통해서 이 제약사항을 해결하고자 할 것이다.
즉, 빅데이터 솔루션에서 제공하고 있는 유연한 Scale-Out이 그 해결책이 될 것이다.


고가용성


유연한 확장성이 의미하는 것은 물리적으로 다수의 서버가 동작한다는 것이고 이는 필연적으로 서버의 장애를 의미한다.
Mission Critical 한 환경에서 서버의 장애가 고객의 서비스에 영향을 미치는 것은 허용되지 않는다.


표준화된 데이터 추출 및 변환


대부분의 고객은 벤더 종속(vendor lock-in) 에 대한 극도의 혐오감을 나타낸다.
채택되는 솔루션은 업계에 통용되는 표준 인터페이스와 기능을 통해 구현, 관리되어야 한다.


실시간 데이터 압축


스토리지도 비용이다. 초당 수백만 이상의 센서 데이터를 가능한 낮은 비용을 통해 저장해야 한다.
이를 해결하기 위해 입력된 데이터는 필연적으로 압축되어야 할 것이다.


다양한 분석 솔루션과의 연동


세상에는 많은 분석 솔루션들이 존재한다.
이러한 것들과의 연동은 고객이 보유한 기존의 자산을 재활용할 수 있게 해주며, 이는 고객의 비용을 낮추는 효과를 나타낸다.



Next Generation Historian으로서의Machbase Database


마크베이스는 현재의 IIoT 산업이 맞닥뜨리고 있는 대량의 데이터 처리에 대한 탁월한 해법을 제시하는 데이터베이스 솔루션이다.
제품의 설계 당시부터 고려된 실시간 센서 데이터에 대한 각 단계마다 제공되는 최적화된 기술적 차별성을 다음과 같이 제공하고 있다.


 


고성능 데이터 입력


마크베이스가 자랑하는 가장 큰 장점이자 특징이다.
특허 기술을 기반으로한 초고속 데이터 전송 프로토콜과 메모리 및 디스크에 최적화된 데이터 변환 기술을 기반으로 놀랄만한 입력 성능을 보여준다.
일반적인 x86 리눅스 서버에서 20바이트 이하의 센서데이터의 경우 초당 200만건 이상을 저장할 수 있으며, 8노드의 클러스터 환경을 구축할 경우에는 초당 1000만건 이상의 데이터 입력 성능을 자랑한다.


실시간 데이터 검색


마크베이스는 병렬로 사용자 인덱스를 생성하고, 이를 영구적으로 저장하는 기술을 제공한다.
고성능으로 입력되는 데이터를 실시간으로 검색할 수 있으며, 그 결과를 사용자에게 즉시 돌려줄 수 있는 경이적인 성능을 제공한다.
빅데이터 검색에 최적화된 LSM(Log Structured Merge) 인덱스 구조를 동시에 제공함으로써 한 노드에 수십억건 이상의 레코드가 저장된 환경에서도 수초내의 검색 결과를 보장한다.


유연한 확장성과 고가용성


마크베이스의 Enterprise Edition은 클러스터 환경을 제공하며, 쉬운 Scale-out 환경을 제공한다.
이 확장성을 통해 사용자의 부족한 성능과 데이터 저장 공간을 선형적으로 증가시킬 수 있으며, IIoT 시대의 가장 필수적인 데이터 증가에 따른 유연한 대처를 가능하게 하는 핵심 기술이다.
사용자의 환경에 따라 다중 복제 구조를 선택할 수 있으며, 임의의 노드가 비정상 종료되는 경우에도 서비스를 즉시 지속할 수 있는 고가용성이 제공된다.


효율성


마크베이스는 Native C 언어로 모든 핵심 엔진이 구현되었으며, CPU와 Memory를 최대한 활용할 수 있는 초고효율의 동작을 보장한다.
자바 혹은 유사한 인터프리터 언어로 작성된 타 엔진과 비교할 때 CPU 소모량을 최대 70% 이상 절약할 수 있다.
또한, 다양한 튜닝 파라메터를 제공함으로써 사용자의 환경에 맞도록 성능과 리소스 사용율을 선택적으로 조절할 수 있도록 설계되었다.


실시간 데이터 압축


마크베이스는 저장되는 모든 데이터 및 관련 인덱스를 실시간으로 압축한다.
이를 통해 데이터의 저장 공간을 최대 90%까지 절약할 수 있으며, 더불어 데이터 로딩에 필요한 I/O 비용으로 줄임으로써 고속의 데이터 검색이 가능해졌다.


표준화된 데이터 추출 및 변환


마크베이스는 ANSI SQL 언어를 기본으로 제공한다.
따라서, 사용자는 새로운 데이터 접근 언어를 배울 필요가 없으며, 기존에 가지고 있던 데이터베이스 지식을 모두 재활용한다.
또한, 표준 SDK를 제공함으로써 기존의 응용 프로그램의 재사용성을 극대화하였다.


다양한 분석 솔루션과의 연동


마크베이스는 표준 개발도구 뿐만 아니라 최근에 다양한 형태의 인터페이스인 Restful API 및 Python, R 등의 다양한 연동 환경을 제공한다.
이를 통해서 사용자는 쉽게 자신의 도구와 연동할 수 있으며, 대량의 데이터에 대한 편리한 분석이 가능한 인프라를 유지한다.


 


machbase database


 


참고 자료


https://en.wikipedia.org/wiki/Operational_historian


 


 


[성능비교]


 


무제한 입력이 가능한 Machbase Database를 지금 사용해보세요!


 


info@machbase.com
Community Edition Download : machbase.com/download

전체 13
번호 제목 작성자 작성일 추천 조회
13
스마트 팩토리(Smart Factory)
machbase | 2018.06.26 | 추천 0 | 조회 398
machbase 2018.06.26 0 398
12
Edge computing with High Performance Time-Series DBMS2
machbase | 2018.06.18 | 추천 0 | 조회 137
machbase 2018.06.18 0 137
11
Edge computing with High Performance Time-Series DBMS1
machbase | 2018.05.11 | 추천 0 | 조회 632
machbase 2018.05.11 0 632
10
스마트 시티(Smart City)와 마크베이스 DB(Machbase Database)
machbase | 2018.05.02 | 추천 0 | 조회 261
machbase 2018.05.02 0 261
9
스마트 빌딩(Smart Building)과 마크베이스(Machbase Database)
machbase | 2018.04.24 | 추천 0 | 조회 170
machbase 2018.04.24 0 170
8
스마트홈(Smart Home)과 마크베이스(Machbase Database)
machbase | 2018.04.24 | 추천 0 | 조회 134
machbase 2018.04.24 0 134
7
머신 데이터 최적 데이터베이스 Machbase Database
machbase | 2018.04.24 | 추천 0 | 조회 226
machbase 2018.04.24 0 226
6
Database of Things 2 (Machbase Database)
machbase | 2018.04.24 | 추천 0 | 조회 150
machbase 2018.04.24 0 150
5
Database of Things 1 (Machbase Database)
machbase | 2018.04.24 | 추천 0 | 조회 155
machbase 2018.04.24 0 155
4
차세대 산업 IoT를 위한 데이터 혁명 : Next Generation Historian 3
machbase | 2018.04.24 | 추천 0 | 조회 179
machbase 2018.04.24 0 179