Machbaseが発信する技術情報のコラムをご覧いただけます

データ量は急速に増えています。産業用IoTとAIの時代には、新しいデータが途切れることなく生まれます。これを高速かつ効率よく処理する方法の一つが、超高速時系列DBMSです。単に保存するだけでなく、データの流れを整理し、分析を速めます。大きな川の流れを受け止めるダムのように、連続するデータを扱う仕組みです。本記事では、導入のメリットと実務上のポイントを紹介します。 高速なデータベース構築：鍵は速度と効率 データベースを構築するうえで、速度は重要です。遅いシステムは機会損失につながります。産業用IoTのセンサーデータや、AIが必要とするリアルタイム分析を支えるには、高速な処理能力が求められます。 高速な書き込み：毎秒数百万件のデータを処理。 効率的な保存構造：重複を減らし、圧縮で保存容量を節約。 リアルタイムのクエリ：データをすぐに検索・分析。 こうした機能を組み合わせることで、高速なデータベースを構築できます。速度と効率を両立させることが重要です。 データセンターのサーバーラック 超高速時系列DBMSがもたらす変化 超高速時系列DBMSの導入は、単

Machbase代表 キム・ソンジン 本シリーズを初めてお読みになる方は、先に以下の記事をご覧ください。 【エッジコンピューティング第1回】マイクロデータレイクの登場 【エッジコンピューティング第2回】マイクロデータレイクの特徴 【エッジコンピューティング第3回】マイクロデータレイクのアーキテクチャ はじめに 本記事では、Machbaseが実装した実際に稼働するマイクロデータレイクと、そのアーキテクチャの構成要素を説明します。顧客の導入事例を紹介できれば理想的ですが、セキュリティや情報開示上の制約があります。そこで後の回では、同様の構造で稼働している環境を取り上げます。その前に、構築にどの技術を選び、どのような根拠で実装したのかを詳しく見ていきましょう。 エッジの中核を担う処理技術：時系列データベースMachbase Neo いよいよ中心的なテーマです。前回までに、エッジ機器は限られたハードウェア資源で大量のリアルタイムデータを処理する必要があると述べました。その実現が難しいため、クラウドやサーバーでデータを一元管理するモデルが主流になったのでは

概要 センサーを使ってIoTデータを収集する方法は、さまざまです。 従来は、Raspberry Piなどのシングルボードコンピューター（SBC）にセンサーを接続し、SBC上のデータベースやストレージへ直接保存する方法が使われてきました。ただし、I/Oピンの数には限りがあり、センサーとの有線接続も必要です。複数の場所にセンサーを設置する場合、配線や接続方法を慎重に検討しなければなりません。 物価上昇や高性能化に伴い、Raspberry Piの価格が上がっていることも、無視できない課題です。 そこで、マイクロコントローラーとセンサーを組み合わせ、Wi-Fi上でMQTTを使ってデータを送るスマートセンサーを作れば、さまざまな場所へ低コストで多数のセンサーを設置できます。本記事で使用するESP32ボードとセンサーの価格は、執筆時点の最新Raspberry Piの10分の1以下でした。 ESP32とセンサー ESP32は、Arduinoと同様にプログラミングできるマイクロコントローラーで、Wi-FiとBluetooth、デュアルコアのRISC...

Machbaseリアルタイムデータ研究所 初めてお読みになる方は、先に以下の記事をご覧ください。 Machbase Neoを使ったリアルタイム高速フーリエ変換（FFT） はじめに 前回は、時系列データベースの高速処理性能を生かして、高速フーリエ変換（FFT）を行う方法を紹介しました。実際の用途では、FFTの結果を確認するだけでなく、さまざまな条件でリアルタイムまたはバッチ処理によって異常を検知し、担当者へ通知することが最終的な目的になります。例えば、次のようなアラートが考えられます。 特定のセンサーのピーク値が許容値を超えた場合（最大値） 特定のセンサーのトラフ値が許容範囲を外れた場合（最小値） 特定のセンサーのRMS値が許容値を超えた場合（振動の強さ） FFTの結果で、特定の周波数帯の振幅が許容値を超えた場合（特定の故障パターンの検知） より高度な条件も考えられますが、本記事では最初のピーク値のケースを使い、次の2つの通知方式を実装してテストします。 アラートの時刻と実測値をログテーブルに記録する REST APIで構成したWebhookへ、ア

はじめに スマートファクトリーなど、いわゆる「スマートX」の分野では、センサーデータや時系列データと呼ばれる産業ビッグデータが増え続けています。企業はさまざまな技術やソフトウェアを使って保存・管理していますが、近年はAIの学習に利用するため、以前のようにすぐに廃棄したり、一定期間後に削除したりできない場合も増えています。こうしたデータをどう管理するかが、重要な課題となっています。 データベースやプレーンテキストに保存されたデータを、もっと効果的に管理する方法はないでしょうか。今回は、Machbaseが提案する新しい方法と、その効果を見ていきます。 スマートXの時代とデータ 膨大に蓄積するIIoTデータの管理が難しい理由 従来のデータベースバックアップの限界 ここでは、データの保存先をMySQL、MariaDB、MongoDB、InfluxDBなどのデータベースに限定して考えます。 通常、データベースを稼働させる機器の保存容量には限りがあります。今後あまりアクセスしないと考えられる古いデータ、つまりコールドデータは、バックアップ後に稼働中のデータベ

데이터의 시간적 가치를 이해하고, Hot Data와 Cold Data를 효율적으로 관리하는 전략을 통해 조직은 데이터 저장 비용을 절감하고, 필요한 데이터를 신속하게 접근하여 사용할 수 있습니다.

はじめに 時系列データベースに期待される大きな役割の一つが、長期間にわたって収集した大量のデータに対する、さまざまな統計計算、データ抽出、可視化です。他の種類のデータベースで利用できる処理技術だけでは、求める性能に到達しにくいためです。そうでなければ、時系列データベースを使う必要はないでしょう。ただし、時系列として蓄積された大量のデータも、無制限のリソースで並列処理しない限り、データ量に応じた処理性能の限界があります。 例を考えてみましょう。 ある目的でセンサーデータを12か月間収集し、総件数が1,000億件、圧縮後の保存容量が約700GBになったとします。センサー（タグ）が50個なら、センサーごとに少なくとも20億件のデータが時系列に並んでいることになります。 任意のタグについて、6か月間の平均値などの統計計算を求められたとします。この種の処理では、対象期間に含まれるデータをすべて読み、合計を件数で割る必要があります。最大値ならどうでしょうか。最小値はどうでしょう。特定の値を検索するのとは異なり、全体や広い範囲の統計計算は、非常にコストの高い処

時系列データベースの価値。画像出典：https://buly.kr/4majo9W 1. はじめに 時系列データベースは、従来のリレーショナルデータベース（RDBMS）とは異なり、大量の時系列データを効率よく保存・処理する機能に特化したデータベースシステムです。 データベース分野に時系列データベースが登場してから、すでに10年以上が経過しています。それでも、多くのIT関係者にとって「時系列データベース」は、いまだになじみの薄い概念です。この点については、以前の記事「時系列データベースの時代が到来：韓国の公共調達市場への提言」をご参照ください。 韓国では、時系列データベースの市場はまだ初期段階にあります。普及に向けては、性能や機能を理解すること以上に、その必要性や価値を理解することが先決です。特に、商用ソフトウェアであるMachbaseにとって、この点は重要です。 本記事では「なぜ時系列データベースが必要なのか」を、従来のリレーショナルデータベースの限界と、時系列データベースがもたらす経済的効果を中心に説明します。 2. 時系列データベースエンジン

時系列データベースとAIの融合 現代社会において、データはかつてないほど重要な資源になっています。特に、時間とともに変化するデータの重要性が増す中で、それを効率よく管理・分析するためのツールが求められています。こうした背景から時系列データベース（Time Series Database、TSDB）が注目され、AI技術との組み合わせによって、その価値もさらに高まっています。本記事では、TSDBとAIがもたらす相乗効果を詳しく見ていきます。 時系列データベースとAI 時系列データベースは、一定の時間間隔で測定したデータや、イベントの発生ごとに記録したデータの保存・管理に適したデータベースです。株価の変動、日々の気温、患者の心拍数などが代表例です。こうしたTSDBの特性は、近年のAIの発展とともに注目を集めています。AIはデータの学習や分析と切り離せず、爆発的に増えるデータを効率的に処理するための有力な基盤として、TSDBが認識されているためです。 TSDBを使ってAIを活用するメリット 第一に、AIの学習データを効率よく管理できます。AIの性能は、デ