마크베이스 작성한 Tech information 칼럼을 읽어 보실 수 있습니다

들어가기 시계열 데이터베이스에서 기대하는 가장 큰 역할 중의 하나는 장기간에 걸쳐 수집된 빅데이터에 대해 다양한 형태의 통계 연산과 데이터 추출, 시각화일 것이다. 왜냐하면, 다른 종류의 데이터베이스에서 기대할 수 있는 데이터 처리 기술로는 원하는 성능에 도달하기가 매우 힘들기 때문이다(그렇지 않다면, 시계열 데이터베이스가 왜 필요하겠는가?). 그렇지만, 시계열 형태로 모여진 빅데이터에 대해 무한한 리소스를 통한 병렬 데이터 연산을 수행하지 않는 한, 데이터 규모에 따라 데이터 처리 성능은 어느 한계를 가질 수 밖에 없다. 예를 들어보자. 특정 목적으로 센서 데이터를 12개월간 수집하였고, 데이터 총량은 1000억건, 저장공간은 압축해서 700GB 정도라고 가정하자. 그리고, 센서(혹은 태그) 갯수가 50개라고 한다면, 센서당 최소한 20억건의 데이터를 직렬로 유지하고 있는 것이다. 사용자가 임의 태그에 대해 6개월 범위에 대해 임의의 통계 연산

데이터의 시간적 가치를 이해하고, Hot Data와 Cold Data를 효율적으로 관리하는 전략을 통해 조직은 데이터 저장 비용을 절감하고, 필요한 데이터를 신속하게 접근하여 사용할 수 있습니다.

들어가기 흔히 스마트-X로 불리는 다양한 분야에서는 센서 데이터 혹은 시계열 데이터로 불리는 산업 빅데이터는 점점 더 많이 발생하고 있으며 , 고객은 이를 다양한 형태의 기술과 소프트웨어를 통해 저장 및 관리하고 있다. 더불어 최근 들어 AI 학습을 위해 데이터를 예전처럼 즉시 폐기 처분하거나, 일정 기간후에 삭제할 수 없는 제약 조건이 있기 때문에 어떻게 이러한 데이터를 잘 관리해야 하는 지가 중요한 이슈가 되었다. 데이터베이스 혹은 일반 Plain Text로 저장된 데이터를 관리하는 뽀족한 방법이 있을까 싶지만, 마크베이스에서 제안하는 신박한 방법이 있기에, 이 방법이 얼마나 효과적일지 한번 알아보도록 하자. 스마트-X 시대와 데이터 방대하게 쌓인 IIoT 빅데이터 관리의 어려움 전통 데이터베이스 백업 개념의 한계 (데이터가 저장된 곳은 MySQL, MaridDB, MongoDB, influxDB 등와 같은 "데이터베이스"로 한정하도록

마크베이스 실시간 데이터 연구소 처음 이 글에 오신 분이라면, 아래의 이전 자료를 먼저 읽으시길 권고드린다. 마크베이스 네오를 활용한 실시간 고속 푸리에 변환 (FFT : Fast Fourier Transformation) 들어가며 이전 글에서는 "시계열 데이터베이스"(Time Series DBMS)가 비교가 불가능할 정도의 성능으로 가장 강력하게 활용될 수 있는 고속 푸리에 변환을 활용하는 방법에 대해 기술해 보았다. 그러나, 실제 응용 단계에서는 단순히 FFT 연산 결과를 보는 것과 더불어서 다양한 조건에 대해 실시간 혹은 배치 형태로 이상을 탐지하고, 이를 여러 경로를 통해 담당자에게 이벤트를 알리는 것이 최종 목적이기도 하다. 아래는 상상할 수 있는 여러 알람 상황이다. 특정 센서에서 허용 가능한 Peak를 넘어서는 경우 (최대 값) 특정 센서에서 허용 가능한 Trough를 넘어서는 경우 (최소값) 특정 센서에서 허용 가능한 RMS 값을

개요 센서를 이용하여 IoT 데이터를 수집하는 방법은 다양합니다. 기존에는 Raspberry PI 등의 SBC를 이용하여, SBC에 센서를 부탁하고 센서에서 수집된 데이터를 바로 SBC에 설치한 데이터베이스나 저장공간에 저장하는 방법을...

마크베이스 대표 김성진 이 글이 처음이신 분은 아래 글을 읽으시고, 다시 방문하시는 것을 권장드린다. [에지 컴퓨팅 시리즈#1] 마이크로 데이터레이크의 출현 [에지 컴퓨팅 시리즈#2] 마이크로 데이터레이크의 특성 [에지 컴퓨팅 시리즈#3]...

마크베이스 실시간 데이터 연구소 참고자료 : [FFT 시리즈 두번째 #2] 실시간 고속 푸리에 변환과 알람 시스템 구축 들어가며 이 글에서는 "시계열 데이터베이스"(Time Series DBMS)가 비교가 불가능할 정도의 성능으로 가장 강력하게...

들어가며 최근 정보통신기술(ICT)의 발달과 함께 이를 적용하여 비즈니스 분야를 혁신하는 것이 필수적인 것으로 여겨지고 있다. 이러한 혁신을 소위 DX(Digital Transformation)라고 하는데 그 중 제조업 분야에서의 DX를 별도로...

마크베이스 대표 김성진 혹시 이 글이 첫번째인 구독자라면 앞서 기술했던 시리즈 1 과 2 를 미리 읽고 오기를 다시 한번 권고 드린다. 결론 먼저! 아래 그림이 마크베이스가 지향하는 궁극적인 그림이며, 각 그림의 구성에서 사용된 용어와 문장을...