Machbaseが発信する技術情報のコラムをご覧いただけます

マークベース代表 キム・ソンジン もう10年が経ちました 長年、インメモリデータベースのエンジンを開発していた私が、「ビッグデータ」の時代に強くひかれ、将来は通常のトランザクションデータよりも「マシンデータ」（2013年当時はこう呼んでいました）が多くなると確信して、マークベースを創業してから、という話です。 2013年は、ログデータをSplunkなどで処理し、テキストファイル、画像、動画のような非構造化データをHadoopで扱う流れが、大きな勢いを持っていました。その中で私は、いつか新しい形の高速なデータベースが必要になるはずだと、まだ漠然とした未来を思い描いていました。 ところが…… 以前のニュースレターでお送りした「韓国の公共調達市場への提言：近づく時系列データベースの時代」を覚えていらっしゃるでしょうか。公共市場への提言という形でしたが、文脈をたどると、こういう意味でもありました。 「時系列データベースの開発を始めて何年も経った2019年ごろ、ようやく世間に知られるようになった。創業から約10年後の2023年には、米国で一つの製品分野とし

마크베이스 네오를 통해 시스템의 메트릭을 수집하고, 이를 모니터링, 알람 처리 등의 작업이 가능한 서비스를 구축해 본다. 이를 통해 데이터 수집부터 저장, 처리, 시각화까지 가능한 통합 시계열 데이터베이스인 네오의 강점을 이해한다.

マークベース代表 キム・ソンジン エッジコンピューティングの概要 エッジコンピューティングとは、中央のデータセンターから離れた場所にあるローカルの計算機で、データを処理する技術的なアプローチです。特にIoT（Internet of Things）機器や産業機器など、大量のデータが発生する現場での分析・処理に重要な役割を果たします。Ciscoがクラウドの弱点を補う「フォグコンピューティング」を提唱するなど、関連する技術体系が発展し、エッジコンピューティングという名称が広く使われるようになりました。2010年代後半からは、さまざまな技術や企業が登場しています。概要を下図に示します。 エッジコンピューティングとクラウドコンピューティングの比較 出典：Samsung Semiconductor（リンク） 要するに、データ処理を担うのがクラウドサーバーなのか、エッジ側のコンピューターなのか、という観点で区別できます。 エッジコンピューティングとクラウドコンピューティング では、両者の違いと長所・短所を比較してみましょう。 区分 クラウドコンピューティング

マークベース代表 キム・ソンジン マイクロデータレイクに求められる特性 本稿を初めて読む方には、先に第1回「マイクロデータレイクの登場」を読むことをお勧めします。 用途 マイクロデータレイクの最大の特性は「特定の目的に特化していること」です。クラウドのデータレイクが汎用性を極限まで追求するのに対し、エッジでは業務目的に最適な機能を選んで提供します。これはエッジ環境の制約を考慮したものです。例えば、次のような用途が挙げられます。 大量のセンサーデータを処理するデータレイク 大量の非構造化画像データを処理するデータレイク 大量の動画などの映像を処理するデータレイク 大量の音声やノイズなど、非構造化音響データを処理するデータレイク 大量のネットワーク関連データ（パケット、セッション）を処理・分析するデータレイク ほかにも多様な専用データレイクが考えられます。今後、データレイクが提供する機能の範囲はさらに広がっていくでしょう。 マイクロデータレイクの特性と検討事項 動作するハードウェア これは境界が曖昧な領域です。エッジ機器とサーバーの間には大きなグレー

Machbase代表 Andrew Sungjin Kim 本シリーズを初めて読む方は、先に第1回と第2回をご覧いただくことをお勧めします。 まず全体像から 次の図は、Machbaseが目指すアーキテクチャです。各構成要素と、その背景にある考え方を順に見ていきましょう。 マイクロデータレイクの構築アーキテクチャ 利用者から見た透過的なデータアクセス シリーズ全体を一言で表すなら、「透過的なデータアクセス」です。これまでの説明は、すべてこの考え方につながっています。 エッジコンピューティングにおいて、それは何を意味するのでしょうか。 A. データの物理的な場所を抽象化する まず重要なのは、保存場所を利用者から切り離すことです。簡単に言えば、アクセスするデータがクラウドにあるのか、エッジにあるのかを、利用者が意識せずに済むようにします。管理者は、もちろん場所を把握できます。 前の記事では、エッジで生成されたデータをクラウドや中央のデータレイクへ集め、その保存先を中心にサービスを構築する、従来の考え方を紹介しました。 利用者にとって、すべてが一か所にあ

はじめに 情報通信技術（ICT）の発展により、業務を変革するデジタルトランスフォーメーション（DX）の重要性が高まっています。製造業では、その取り組みをスマートファクトリーという概念で捉えることができます。 スマートファクトリーを学ぶ際、PLCやSCADAなど、見慣れない用語が最初の壁になることがあります。個々の言葉を別々に学ぶより、全体の中でどのような役割を担うのかを見ると、理解しやすくなります。 企業システムと製造システムの構造や統合を考えるための国際的な枠組みが、ISA-95です。本記事では、その枠組みを通じて主な用語と概念を紹介します。 ISA-95の概要 市販のMESやERPは、それぞれ異なるデータ定義やインターフェースを採用してきたため、連携が容易ではありませんでした。そのため、企業システムと制御システムを統合する共通規格が求められました。ISA-95の開発は1995年に始まり、ISA（International Society of Automation）がSAPやABBなどの主要ベンダーと協力し、ANSIの標準化の枠組みの下で進め

Machbaseリアルタイムデータ研究所 関連記事：【FFTシリーズ第2回】リアルタイムFFTとアラートシステムの構築 はじめに 本記事では、時系列データベース（Time-Series DBMS）の性能を生かした、高速フーリエ変換の活用方法を紹介します。Machbase Neoのサンプルを使って、以下の実習を行えます。サンプルは用途に合わせて変更でき、手軽に高速な分析を試せます。 本記事を通して、次のことを実践できます。 各軸を毎秒1,000サンプルで取得する、3軸の振動データを同時にリアルタイム表示する。 追加のプログラミングなしで、各軸の高速フーリエ変換（FFT）の結果をリアルタイムに可視化する。 追加のプログラミングなしで、振動データのPeak、RMS、Troughを計算し、時間的な推移を可視化する。 Machbase Neoに蓄積した数十億件の振動データから、センサー、時間、分析条件を指定して、FFTの結果を高速に取得する。 動作を先に確認したい方は、デモ動画をご覧ください。実習手順は以下のセクションで説明します。 Machbase...

以前のAPIは、Machbase NeoとPythonの連携を中心としていました。API v2.0では、Python環境でのAI開発に必要な機能を拡充し、コードを簡潔に、開発をより迅速に進められるようにしました。データ分析からモデル構築まで、生産性を高め、AI開発の作業を効率化する機能を提供します。 主な機能を紹介します。 API v2.0の機能は、AI開発の流れに合わせて五つのカテゴリーに整理されています。それぞれ、開発をより容易で迅速にするために設計されています。 1) EDA（探索的データ分析） データの概要、可視化、統計分析を通じて、その特徴を調べます。データを深く理解することで、分析時間の短縮や予測精度の向上につなげられます。 2) Model さまざまなAIモデルを、扱いやすいインターフェースから呼び出せます。柔軟なオプションによって実装を簡素化し、効率よくモデルを利用できます。 3) Preprocessing モデリングに向けてデータを前処理します。EDAで把握した特性を基に、必要な処理を進められます。 4) Tql API...

データ量は急増しています。産業用IoTとAIは時系列データを継続的に生成しますが、保存容量には限りがあり、処理速度も重要です。そのため、効率的な圧縮が必要になります。圧縮は容量を減らすだけでなく、速度の向上、費用の削減、データの活用にも役立ちます。本記事では、その主要な戦略を紹介します。 効率的な圧縮が重要な理由 データは貴重な資源ですが、その価値を引き出すには適切な道具が必要です。時系列データは素早く蓄積され、冗長性やノイズを多く含む場合があります。そのまま保存すると、容量を無駄に使い、処理も遅くなります。 保存コストの削減：データを小さくすることで、必要な容量とクラウド費用を抑えられます。 処理速度の向上：読み書きするデータ量を圧縮によって減らせます。 ネットワークの効率化：転送量が小さくなり、ネットワーク負荷が下がります。 これらは産業用IoTとAIにとって重要です。データ量が増えるほど、圧縮と最適化の必要性も高まります。 圧縮に向けた三つの基本戦略 効果的な圧縮戦略は、主に三つの要素から成ります。 1. データを整える...