마크베이스 블로그


IoT Edge Cloud

작성자
machbase
작성일
2019-02-27 10:00
조회
85

개요


지난 블로그 포스팅(https://www.machbase.com/kr/blog/?uid=45&mod=document&pageid=1)에서 Edge 컴퓨팅이 IoT 센서 데이터 처리에 있어 어떤 장/단점이 있는지 설명하였다. Edge 컴퓨팅이 갖는 장점에도 불구하고, 대량의 센서 데이터에 대한 기계 학습(Machine Learning), 장기간에 대한 통계 분석 및 트랜드 비교 등, 대량 데이터에 대한 배치 처리시에는 에지 컴퓨팅을 사용할 수 없다. 따라서, 어떤 형태이던 에지 컴퓨팅과 클라우드 컴퓨팅은 상호 연동되어 데이터를 처리해야 한다.


이 포스팅은 대형 클라우드 서비스 제공자인 아마존 및 구글의 에지 클라우드 서비스가 어떻게 동작하는지를 살펴본다.


 


Edge Cloud system의 간단한 구조



 


 


IoT Edge cloud는 다음의 요소들로 구성된다.



  • 센서 & 엑츄에이터 : 센서는 실제 데이터를 에지 장치에 전송한다. 에지 장치에서 생성된 제어 신호는 액츄에이터에 전달되어 동작하는 구조이다.

  • Edge device : 에지 장치는 센서 데이터를 읽어서 다음의 모듈들을 이용하여 데이터를 처리하고, 그 데이터를 클라우드 서비스에 전송하거나, 제어 신호를 액츄에이터에 전달하는 역할을 수행한다. 처리 모듈은 다음과 같다.

    • 센서 데이터 처리 및 필터 : 입력 센서 데이터를 메모리에서 처리하여 필요 없는 값을 제거하거나, 추가 정보를 입력하거나 한 이후, 클라우드 연결 서비스 API를 통해서 클라우드에 데이터를 전송한다.

    • 클라우드 연결 서비스 API : 이 모듈은 에지 클라우드 서비스와 접속하여 클라우드 서비스와 에지 단말 간의 연결/인증/암호화를 수행하여 데이터를 클라우드에 전송하거나 클라우드에서 데이터를 수신하는 역할을 수행한다.

    • ML 모델 기반 예측 실행 엔진 : 클라우드에서 생성한 ML모델을 이용하여 입력 센서 데이터에 대해서 추론 혹은 예측을 실행하고, 센서 데이터의 입력 값이 조건에 맞는 경우, 제어 신호를 생성한다. 이때 대량의 연산 비용이 발생하여 특수한 하드웨어가 필요한 경우가 많다.



  • Edge Cloud service : 에지 클라우드 서비스는 에지관리 서비스, 머신러닝 모델 생성, 센서 데이터 저장 및 분석의 기능을 수행한다.

    • Edge 관리 서비스 : 에지 장치의 등록, 인증, 상태 점검, 프로비저닝 서비스 등을 수행한다.

    • 데이터 저장 : 에지 장비에서 전송한 데이터를 저장 및 관리한다.

    • ML 모델 생성 : 머신러닝 기능을 이용하여 에지장비에서 전달한 데이터를 분석하여, 적절한 머신러닝 모델을 생성한다. 이때 대량의 데이터에 대한 대량의 연산이 필요하므로, 클라우드에서 실행하는 것이 바람직하다.

    • 분석 : 클라우드에 저장한 데이터를 분석한다. 에지 장치에서 분석할 수 없는 대량 데이터에 대한 분석을 수행할 수 있다.




에지 클라우드 서비스들이 위 모델을 공통적으로 구현하였다. 단, 에지 장치에서 ML기반 추론 예측은 에지 장비의 연산 능력이 부족하여 널리 사용되고 있지는 않으나, 하드웨어 기술의 발달로 앞으로 많은 발전이  있을 것으로 보인다.


 


Amazon AWS IoT Core


"AWS IoT Core는 커넥티드 디바이스가 쉽고 안전하게 클라우드 애플리케이션 및 다른 디바이스와 상호 작용할 수 있게 해주는 관리형 클라우드 서비스입니다."



(From : https://aws.amazon.com/ko/iot-core/)


아마존 AWS IoT Core는 edge cloud 서비스를 지원한다. AWS IoT core를 이용하여 에지 장치의 데이터를 AWS 클라우드에 전송하고, AWS의 분석, 저장, 머신러닝 기능을 이용하여 예측과정을 수행한다. 아마존 AWS는 에지 장치에서 별도의 머신 러닝 관련 기능을 지원하고 있지는 못하므로 Amazon Sagemaker(머신러닝 관련 AWS 기능)은 클라우드에서만 실행된다.


아마존은 Greengrass(특정 명령을 클라우드와 에지 등 위치를 가리지 않고 실행 가능) 등 추가 기능들도 제공하고 있으나, 이 문서에는 자세히 설명하지 않는다.


Google Cloud IoT Edge


"Bring the intelligence of Google Cloud to the edge"



(From https://cloud.google.com/iot-edge/)


구글 클라우드는 Edge TPU라는 하드웨어 머신러닝 가속기를 Edge에서 지원하는 기능을 갖고 있기 때문에, Edge ML 혹은 TensorFlowLite라는 모듈에 머신러닝 모델을 전송하여 에지 장치에서 추론에 의한 문제 해결을 실행할 수 있다. 


에지 클라우드 환경에서 Machbase의 역할


에지 클라우드 환경에서 에지는 단순히 입력 센서 데이터를 메모리에 보관했다가 다른 모듈에 전달하는 역할만을 수행하였다. 그러나 Machbase를 이용하면 아래와 같은 부분을 추가할 수 있다.



  • 에지 장치에 Machbase edege edtition을 설치하면, 단순 필터 혹은 임시 메모리 데이터 저장소만으로 사용되던 에지 장치에서 데이터를 저장, 분류, 검색 등을 수행할 수 있다. 에지 장치에 machbase를 설치하더라도, 충분한 성능을 발휘할 수 있고,장기간의 입력 센서 데이터를 검색하거나 통계 연산을 수행할 수 있으며, 에지에서 수행할 머신러닝 연산에 더 많은 데이터를 이용할 수 있도록 한다.

  • 에지와 클라우드간의 통신 비용을 줄일 수 있다. 예를 들어 정상 상태의 데이터는 일정 기간동안 에지 장치에 보관하고, 비정상 상태의 데이터만 클라우드를 통해서 전달할 수 있으며, 이 때 machbase의 강력한 질의 및 통계 성능과 스트림 질의 기능을 이용한다면, 더 빠르고 쉬운 에지 응용프로그램 작성이 가능하다.

  • 클라우드에서 센서 정보를 취합하여 통계를 수행하고, 시각화하는데 machbase cluster edition을 사용할 수 있다. Machbase cluster edition은 AWS등의 클라우드 환경에서도 최고의 성능을 발휘하며, 센서 데이터 처리에 특화된 강력한 시계열 센서 DBMS이다.


에지 장비에 단순히 In-memory데이터를 스트리밍하는 경우, 사전 통계 데이터 생성이나 통계값에 기반한 이상 징후 감지를 에지에서 실행할 수가 없다. 클라우드에서 데이터 검색을 통해 이상 징후 감지 등을 실행하게 되면 데이터 전송에 따른 지연, Batch 처리에 의한 지연등이 발생하므로, 이상발생시 즉시 해결이 불가능하다.


반면 에지에서 자체적으로 데이터를 저장하고, 저장된 데이터를 기반으로 통계 분석을 수행하며, 통계 값에 기반한 데이터 추론을 실시하게 되면 이러한 지연시간이 발생하지 않아서 빠른 조치를 수행할 수 있게 된다. 에지 장비는 앞으로더 강력한 컴퓨팅 파워를 갖게 될 것으로 예측되므로, 에지 장비의 여유 자원을 이용하여 비용을 줄이고 이상 발생시 빠른 처리를 통해 생산의 효율성을 얻을 수 있다.


Machbase edge에디션을 이용하면, 에지 장비 자체적으로 데이터를 저장하고, 통계를 실행하고, 데이터를 추출하여 edge - cloud환경에서 에지의 활용도를 더 높일 수 있다.

전체 15
번호 제목 작성자 작성일 추천 조회
15
IoT Edge Cloud
machbase | 2019.02.27 | 추천 0 | 조회 85
machbase 2019.02.27 0 85
14
왜 In-Memory 솔루션은 Edge Computing을 위한 기술이 아닌가?
machbase | 2019.01.31 | 추천 1 | 조회 363
machbase 2019.01.31 1 363
13
스마트 팩토리(Smart Factory)
machbase | 2018.06.26 | 추천 1 | 조회 1373
machbase 2018.06.26 1 1373
12
Edge computing with High Performance Time-Series DBMS2
machbase | 2018.06.18 | 추천 1 | 조회 349
machbase 2018.06.18 1 349
11
Edge computing with High Performance Time-Series DBMS1
machbase | 2018.05.11 | 추천 0 | 조회 988
machbase 2018.05.11 0 988
10
스마트 시티(Smart City)와 마크베이스 DB(Machbase Database)
machbase | 2018.05.02 | 추천 0 | 조회 608
machbase 2018.05.02 0 608
9
스마트 빌딩(Smart Building)과 마크베이스(Machbase Database)
machbase | 2018.04.24 | 추천 0 | 조회 345
machbase 2018.04.24 0 345
8
스마트홈(Smart Home)과 마크베이스(Machbase Database)
machbase | 2018.04.24 | 추천 0 | 조회 302
machbase 2018.04.24 0 302
7
머신 데이터 최적 데이터베이스 Machbase Database
machbase | 2018.04.24 | 추천 0 | 조회 516
machbase 2018.04.24 0 516
6
Database of Things 2 (Machbase Database)
machbase | 2018.04.24 | 추천 0 | 조회 378
machbase 2018.04.24 0 378