KIEAE Journal
[ Article ]
Journal of the Korea Institute of Ecological Architecture and Environment - Vol. 17, No. 5, pp.95-100
ISSN: 2288-968X (Print) 2288-9698 (Online)
Print publication date 31 Oct 2017
Received 08 Oct 2017 Revised 23 Oct 2017 Accepted 28 Oct 2017
DOI: https://doi.org/10.12813/kieae.2017.17.5.095

재실자 활동량 산출을 위한 딥러닝 기반 선행연구 동향

박보랑* ; 최은지** ; 이효은*** ; 김태원**** ; 문진우*****
Research Trends for the Deep Learning-based Metabolic Rate Calculation
Park, Bo-Rang* ; Choi, Eun-Ji** ; Lee, Hyo Eun*** ; Kim, Tae-Won**** ; Moon, Jin Woo*****
*School of Architecture and Building Science, Chung-Ang University, South Korea pbr_1123@naver.com
**School of Architecture and Building Science, Chung-Ang University, South Korea ejjchl77@gmail.com
***School of Architecture and Building Science, Chung-Ang University, South Korea bell3475@daum.net
****School of Architecture and Building Engineering, Chung-Ang University, South Korea xnglish@naver.com
*****Corresponding author, School of Architecture and Building Science, Chung-Ang University, South Korea gilerbert73@cau.ac.kr


ⓒCopyright Korea Institute of Ecological Architecture and Environment

Abstract

Purpose:

The purpose of this study is to investigate the prior art based on deep learning to objectively calculate the metabolic rate which is the subjective factor for the PMV optimum control and to make a plan for future research based on this study.

Method:

For this purpose, the theoretical and technical review and applicability analysis were conducted through various documents and data both in domestic and foreign.

Result:

As a result of the prior art research, the machine learning model of artificial neural network and deep learning has been used in various fields such as speech recognition, scene recognition, and image restoration. As a representative case, OpenCV Background Subtraction is a technique to separate backgrounds from objects or people. PASCAL VOC and ILSVRC are surveyed as representative technologies that can recognize people, objects, and backgrounds. Based on the results of previous researches on deep learning based on metabolic rate for occupational metabolic rate, it was found out that basic technology applicable to occupational metabolic rate calculation technology to be developed in future researches. It is considered that the study on the development of the activity quantity calculation model with high accuracy will be done.

Keywords:

Thermal Environment, Metabolic rate, Artificial Neural Network, Deep Learning

키워드:

온열환경, 활동량, 인공신경망, 딥러닝

1. 서론

1.1. 연구의 배경 및 목적

현대인들은 하루의 90% 이상을 실내에서 보내기 때문에 쾌적하고 친환경적 실내환경의 제공은 재실자 삶의 질(Life Quality, LQ)을 결정하는 중요한 역할을 한다. 온열환경, 실내공기질, 소음, 심리학적 요인 등 복합적인 요인을 포함하는 실내환경질 (Indoor Environmental Quality, IEQ)은 삶의 질과 밀접한 관계를 가지며, 특히 열환경의 질(Thermal Quality, TQ)는 IEQ 및 LQ를 결정짓는 주요 요소 중 하나로써, 적절한 TQ의 제공은 재실자의 쾌적성, 건강, 생산성 등을 향상시킨다. 또한, 적절한 TQ 제공을 위한 각종 열환경 시스템 제어는 건물 에너지의 성능, 환경영향, 경제성 등과 밀접한 관계가 있다.1)

기존 열환경 제어의 경우 온·습도 기반 독립제어로 개별요소의 만족은 가능하나 통합적 열 환경에는 불만족이 발생할 가능성이 있으며 냉·난방시스템 등 제한적 시스템 요소 적용에 따른 쾌적성, 에너지효율성, 친환경성, 경제성개선에 한계가 있다.2) 특히, 활동량 및 착의량 등의 미고려로 인하여 개인화된 최적 제어가 불가능한 문제점이 있다. 이러한 문제점 보완을 위해 1967년 P. O. Fanger가 개발한 열환경에 노출된 인체 온열감 및 불쾌적 정도를 예측할 수 있는 평가지표인 예상 평균 온열감(Predicted Mean Vote, PMV)의 도입이 고려되고 있다. 온·습도 이외에 기류속도, 평균복사온도, 활동량(Metabolic Rate, MET), 착의량(Clothing, CLO) 상태를 복합적으로 고려하며 쾌적범위를 –0.5~0.5로 규정하여 통합적 열환경 제어 및 개인화된 최적제어 가능성을 보여줌으로써 현재까지 국제적으로 다양한 연구 분야에서 사용되어져 오고 있다.3)

그러나 온·습도, 기류속도, 평균복사온도 등 물리적 측정 및 객관적 적용이 가능한 요소 이외에 활동량과 착의량은 비객관적 수치 혹은 임의의 값으로 가정하여 적용하므로 대상공간에 대한 평가지표로는 제한적으로 활용되고 있다. 이로 인해 실제 상황에 대한 객관적 쾌적 조건 조성이 불가능하며 PMV에 근거한 실내온열환경의 개선에 한계점이 제기되고 있다.

이러한 한계점 개선을 위하여 개인 맞춤형 활동량과 착의량을 산출 할 수 있는 객관적 방법론과 이를 반영한 모델 개발이 필요하다. 하지만, Table 1, 2와 같이 현재까지의 활동량 및 착의량 산출을 위한 시도는 매우 제한적으로 진행되었다.4-24) 특히, 심박동, 거주자 위치 변경, 적외선 센서 및 피부온도 기반 활동량 산출 등이 그 예이며, 이들은 오류 발생률이 높고 복잡한 시스템을 필요로 함으로써 비전문가의 관여에 있어서 불편함과 번거로움을 일으킨다. 이로 인해 적용성이 확보되지 않아 실제 건물적용에 매우 제한적인 현실이다.

Advanced research of MET and CLO estimation

Advanced patent of MET and CLO estimation

따라서, 지나친 기구의 설치를 요구하지 않는 단순 적용, 비전문적 재실자의 관여를 요구하지 않는 지능형 적용법으로 인공지능에 기반 한 Intelligent Agent System이 필요하다. 이를 위하여 인공신경망(Artificial Neural Network, ANN)기반의 기계학습 기술인 딥러닝(Deep Learning, DL)을 활용하여 정확하고 적용성이 높은 활동량 산출이 가능할 것으로 예상된다.

본 연구의 목적은 개인 맞춤형 활동량 산출 모델 개발을 위한 선행연구로써 DL기반의 최근 연구동향을 조사·분석하고 이를 바탕으로 궁극적으로 본 연구가 나아가야할 방향 및 방안을 마련하고자 하였다. 또한, 본 연구는 ANN 활용 활동량 산출 모델 개발을 통한 PMV제어에 대한 연구의 중요한 기초자료로 활용되는데 의의가 있다.

1.2. 연구의 방법 및 절차

본 연구에서는 재실자의 활동량 산출을 위한 딥러닝을 활용에 대한 연구 및 적용 방안을 분석하기 위해 각종 문헌과 자료를 통해 이론 고찰이 실시되었다. 딥러닝에 대한 개념 및 구조를 분석하여 적용하고자 하는 기술의 기본 정보를 습득하고, 이의 활용성 및 적용성을 파악하기 위하여 대표적인 사례와 기법에 대해 심도 있게 분석을 실시하였으며 연구 동향에 대해 비교·분석을 통해 향후 관련연구의 기반을 마련하고자하는 결론이 도출되었다.


2. 인공신경망과 딥러닝

2.1. 인공신경망

초기 신경망은 Warren McCulloch와 Walter Pitts에 의해 제안된 생물학 신경망에서 영감을 얻은 학습 알고리즘이다. 인간의 감각기관에서 뉴런을 통해 정보를 뇌로 전달하여 복잡한 연산을 처리하는 과정을 인공적으로 구현한 것이다. 인공신경망은 학습과정을 거쳐 문제를 해결한다는 가장 큰 특징을 가지고 있다. 특히, 비선형적인 현상들을 분석하는데 유용하게 작용한다. 인공신경망을 사용하면 각종 분류(classification) 및 군집화(clustering)가 가능하다.25)

인공신경망은 학습방법과 구성에 따라 여러 모델이 존재한다. 일반적으로 사용되는 기본 인공신경망 알고리즘은 Fig. 1과 같은 구조를 지니는 다층인공신경망(multi-layer neural network)으로 입력층(input layer), 은닉층(hidden layer), 그리고 출력층(output-layer)으로 구성된다.26) 다층인공신경망은 마지막에 계산되는 출력값과 학습 목표값을 비교하여 차이에 따라 가중치를 조정해 학습에 적용한다. 입력층은 예측값 도출을 위한 입력변수의 값이 입력되고 입력변수의 개수는 노드의 수로 표현된다. 각 층의 노드는 다음 층의 모든 노드와 연결되며 각각의 연결에는 가중치라는 값이 부여된다. 은닉층은 입력층에서 입력받은 변수에 가중치를 계산하여 출력층으로 전달한다. 은닉층의 수, 노드의 수, 그리고 가중치는 초기에 랜덤으로 주어지고 학습을 통해 예측값과 가장 잘 맞는 출력값을 가지도록 조정된다. 이런 인공신경망의 학습은 입력데이터의 값을 연결해 모형의 예측값을 생성하는 과정(forward propagation)과 연결의 가중치를 조절하여 예측값과 실제값의 차이를 줄이는 학습과정(back propagation)으로 나누어진다. 즉 인공신경망은 훈련 데이터를 입력받아 학습과정을 통해 전체 모델을 훈련시킨 후 새로운 입력값에 대해 적절한 출력값을 추론하는 과정이다.

Fig. 1.

Multi-layer Neural Network Diagram

인공신경망은 현재 패턴인식, 데이터마이닝, 자율주행자동차, 교육 서비스, 금융, 법무 등에 사용되며 국내에서는 주로 로봇을 활용한 제조업, 의로 및 바이오 기술, 제조업 등에 사용된다. 건축에서는 국내외로 디자인적 새로운 설계방법론 제시, 일사 예측, 냉난방 부하 에너지 예측, 설비제어, 초고층 건물의 구조 반응 예측 등 다양한 분야에서 인공신경망이 활용된다. 국내의 인공신경망 활용 연구는 건물의 환경 설비 분야에서 약 53.8%의 연구가 수행되고 있다.27)

2.2. 딥러닝

딥러닝(Deep Learning)은 인공신경망(Artificial Neural Network, ANN)의 일종인 기계학습 모델로 입력층과 출력층 사이의 은닉층이 하나 이상의 여러 층으로 구성되는 심층 신경망(Deep Neural Network, DNN)이다.(Fig 1)(Fig 2) 문제의 복잡성이 커져 노드와 계층의 수를 증가시킨 효과적인 학습 모델이 필요해졌고 심층 구조를 가진 딥러닝이 개발되었다. 초기 딥러닝은 학습 시간의 비효율성과 과적합 문제가 있었지만 2000년대 병렬 연산이 가능한 GPU (Graphics Processing Unit)와 과적합 방지 기법의 발달로 인해 해결되었다.

Fig. 2.

Deep Neural Network Diagram

인공신경망과 달리 딥러닝은 데이터가 라벨링 되어있지 않아도 데이터의 유사성을 효과적으로 파악해 군집화에 좋은 성능을 발휘한다. 이 과정은 비지도학습(unsupervised learning)을 통해 사람의 개입 없이 이루어진다. 즉 사람이 생각한 특징을 훈련하는 것이 아니라 데이터 자체에서 중요한 특징을 기계 스스로 학습한다. 또한, 데이터를 군집화하고 스스로 필요 없는 데이터를 버리는 등 노이즈를 감소시키는 효과를 얻을 수 있다. 또한, 딥러닝은 회선 신경망 기술(Convolutional Neural Network)인 특징 추출(feature extraction) 단계를 거친다. 이미지 속의 특징적인 선이나 색 분포 등을 먼저 추출한 후 특징 지도(feature map)로 표현한다. 이러한 과정 역시 사람의 개입 없이도 스스로 특징 추출 및 학습이 가능하다. 즉, 물체의 형상을 직접 모델링 하지 않아도 CNN이 알아서 특징 추출과 분류 역할을 수행한다. 시간의 흐름에 따라 변하는 데이터인 시계열 데이터(Time-series data)를 처리하는 순환형 신경망(Recurrent Neural Network, RNN)도 지속적으로 발전하고 있다. RNN을 사용하면 은닉층의 결과가 다시 같은 은닉층의 입력으로 사용되어 과거의 데이터가 현재에 영향을 주게 된다.28) (Fig 3) 순환형 신경망의 가장 큰 특징은 시간에 따른 순서를 기억하는 것이며 현재 음성인식, 장면인식, 영상복원 등의 다양한 분야에서 사용되고 있다.29)

Fig. 3.

Recursive Connection of RNN Hidden Layer

건축 분야에서는 기존의 비효율적이고 예측하기 어려운 공정 및 체계화가 힘들다는 난제를 해결하기 위해 딥러닝을 도입하는 추세이다. 건설 정보 통합을 위해 필요한 방대한 양의 데이터 처리와 그러한 데이터의 정보를 판단하는 등의 작업에 딥러닝의 접목이 이루어지고 있다. 현장의 기계 운전의 자동화, 빌딩 에너지 관리, 방재, 구조 안전, 도시 계획 및 시설물 관리, 현장 모니터링 기술 및 지능화된 시공 로봇 등 이미 다양한 지능화된 건설의 사례가 존재한다.30)


3. Deep Learning 기반 활동량 산출을 위한 기존 배경기술

재실자의 활동량 산출을 위한 배경기술로 활동량 인지과정 및 가능 기술을 분석하였다. 대표 기술로 배경과 사물을 분리하는 Open CV의 Background Subtraction 알고리즘과 사물 및 사람을 인식하는 PASCAL (Pattern Analysis, Statistical Modelling and Computational Learning) VOC (Visual Object Classes)와 ILSVRC (Large Scale Visual Recognition Challenge)가 조사되었다. 이를 바탕으로 사람, 사물, 배경을 각각 인지 할 수 있는 방법 및 가능여부를 알 수 있었으며 조사된 기술 각각의 알고리즘 및 데이터를 활용하여 향후 본격적으로 개발될 재실자 활동량 산출 모델에 적합한 새로운 행동인식 기술에 적용 할 것이다.

3.1. Background 분석 기술

재실자 활동량 산출을 위한 행동인식을 위하여 필요한 선 작업에 해당하는 배경과 사물(사람)을 분리하는 대표적인 기술로 Background Subtraction 기술을 사용한다. 이 기술은 영상 또는 이미지에서 움직임이 적고 정적인 영역의 특징을 기반으로 배경에 대한 모델을 학습하여 배경과 사람(사물)을 분리한다.

실시간 컴퓨터 영상처리 프로그램 라이브러리인 OpenCV는 객체, 얼굴, 행동 인식, 독순, 모션 추적 등의 응용 프로그램에서 사용하고 있다. 1999년 Gray Bradsky에 의해 Intel에서 시작되었으며, 2000년 첫 번째 Release를 출시하였다. C++, Python, Java 등 다양한 프로그래밍 언어를 지원하며 Window, Linux, OS X, Android, ioS 등 다양한 플랫폼에서 사용 가능하다.

OpenCV에는 영상 및 이미지로부터 배경과 사람분리를 위한 3가지의 알고리즘을 포함하고 있다. 첫 번째, Background Subtractor MOG는 가우시안 믹스쳐 기반 배경, 전경 분할 알고리즘으로 가우시안 분포 믹스쳐를 배경 픽셀에 적용함으로써 배경제거를 수행한다. 두 번째, Background Subtractor MOG2는 Background Subtractor MOG과 유사하나 보다 상세분석이 가능한 알고리즘으로 조명 상태의 변화로 영상이 변하더라도 배경제거가 가능하다. 마지막으로 Background Subtractor GOG는 통계적 배경 이미지 제거와 픽셀 단위 베이지안 분할을 결합한 것으로 최초 프레임을 배경 모델링을 위해 사용하며, 배경이 아닌 전경이나 움직이는 객체를 추출하기 위해 베이지안 추론을 이용한다. 노이즈 제거를 위해 Opening 기법을 적용하는 것이 더 좋다고 알려져 있다. Opening 기법은 영상 내 객체 구조를 명확히 할 수 있도록 다른 영상과 비교하여 제거하는 방식의 알고리즘 이다.

3.2. Object recognition 기술

빅데이터를 활용한 영상 기반 물체 인식 시도 중 대표적인 접근 방법으로 PASCAL (Pattern Analysis, Statistical Modelling and Computational Learning) VOC (Visual Object Classes)와 ILSVRC (Large Scale Visual Recognition Challenge)가 있다.

PASCAL VOC는 사물 인식의 초기에 시도되었던 기술로 2005년도를 시작으로 2012년에 종료된 사물 인식 모델 성능평가 경연을 개최하였다. 본 경연에서는 표준 이미지 데이터 세트를 제공하여 쉽게 접근 가능하도록 공용 Tool을 제공하고 5개의 업무 1)Classification, 2)Detection, 3)Segmentation, 4)Action Classification, 5)Person Layout 로 나누어져 있다.31)

Classification은 20개의 객체 클래스에서 적어도 하나의 객체의 유무를 예측하는 것으로 학습 데이터의 선택에 따라 두 가지 파트로 정의된다. ①VOC에서 제공하는 데이터를 사용하여 수행하며 ②참가자 임의의 모든 데이터를 사용하여 수행 가능하다.

Detection은 20개의 객체 클래스 각각에 대해 테스트 이미지의 Bounding box를 예측하는 것이다. Classification과 비슷한 방식으로 두 가지 파트로 정의되며 Detection이 Classification보다 더 많은 응용 프로그램을 적용하기 때문에 까다롭고 예측하기가 훨씬 어려운 작업이다.(Fig 4)

Fig. 4.

Classification and Detection

Segmentation은 각 테스트 이미지에 대해 각 픽셀의 객체 클래스를 예측하거나 객체가 저장된 클래스 20개 중 하나에 속하지 않으면 배경 상태로 예측한다. Detection보다 더 많은 시간을 소요하는 어려운 작업이며 세밀한 이미지 분석이 필요한 경우에 적용된다. 여러 응용프로그램에 적용 시 객체의 윤곽이나 모양에 대한 상세한 지식이 필요한 작업이다.(Fig 5)

Fig. 5.

Segmentation

Action Classification은 사람을 대상으로 테스트 이미지에서 지정된 사람이 해당 작업을 수행하는지를 예측하는 것이다. Action 클래스는 Jumping, Phoning, Playing instrument, Reading, Riding bike, Running, Taking photo, using computer, walking 으로 총 10개로 구분된다.(Fig 6)

Fig. 6.

Action Classification

Person Layout은 각 사람에 대해 테스트 이미지의 Bounding box를 통해 머리, 손, 발 등의 부위 유무 혹은 이러한 부위의 Bounding box를 예측한다. 존재하는 부위의 정확한 예측률에 따라 성공여부가 결정된다.

PASCAL VOC 구조를 기반으로 개발된 ImageNet의 ILSVRC는 2010년도부터 현재까지 매년 개최되고 있는 이미지 및 영상의 객체 인식과 위치 파악·검출 알고리즘을 평가하는 경연이다. PASCAL VOC보다 월등히 많은 객체 클래스와 이미지를 확보하고 있으며 3개의 주요 업무 1)Image Classification, 2)Single-object localization, 3)Object detection으로 나누어져 있다. 32)

Image Classification은 8가지 차원에서 각각의 이미지에 대해 속성 범위에 따라 객체 범주를 제공하고 이에 대해 다양한 사람들로 부터의 이미지 분류 작업이 이루지는 작업으로 PASCAL VOC보다 세분화 된 객체 분류가 가능하다.(Fig 7)

Fig. 7.

Comparison of ILSVRS and PASCAL VOC

Single-object localization은 단일 개체의 분류와 위치를 파악하는 작업으로 분류해야할 개체 이름과 Bounding box가 표시된 예시 이미지가 제공되고 이를 예측 알고리즘을 통해 정확히 예측하면 성공하는 작업이다.(Fig 8) 마지막으로 Object Detection은 다중 객체 분류에 있어서 각각의 이미지에 객체의 존재여부를 파악하고 객체의 상관관계, 계층구조, 희소성을 활용하여 객체를 검출한다.

Fig. 8.

Single-object localization

마지막으로 Object Detection은 다중 객체 분류에 있어서 각각의 이미지에 객체의 존재여부를 파악하고 객체의 상관관계, 계층구조, 희소성을 활용하여 객체를 검출한다. 각 업무의 최종 결과는 평균 객체 검출 정확도와 정밀도를 기준으로 평가하여 우승 팀을 선정하게 된다. 세계 각국의 기관, 학교 등에서 최상의 결과 도출을 위해 계속해서 도전 중이며 2010년도부터 2014년도까지의 결과를 바탕으로 분석한 결과 오류 감소율과 정확도 증가율 분석한 결과 각각 약3배, 약 2배로 나타났다.(Fig 9)

Fig. 9.

Evaluation of ILSVRC task

3.3. 기존 기술의 활동량 산출을 위한 활용방안

재실자 행동산출을 위한 DL 기반의 선행기술 조사를 통해 기계학습 모델로는 CNN과 RNN이 이미지 속의 특징을 추출하고 분류하는 역할을 수행하며 현재 음성인식, 장면인식, 영상복원 등의 다양한 분야에 적용되며 건축분야에서도 빌딩 에너지 관리, 방재, 구조 안전, 도시 계획 및 시설물 관리, 현장 모니터링 기술에 활용되고 있다. 알고리즘 개발 기술로는 배경과 사물 및 사람을 분리하는 기술, 그리고 사물과 사람, 배경을 인식하는 PASCAL VOC와 ILSVRC 기술이 조사되었다. 이러한 객체 인식 기술들은 도입 초기 시점에 비하여 다양한 연구와 새로운 알고리즘 개발의 시도로 그 정확도와 정밀도가 점차 높아지고 있으며 그로 인해 적용 가능 분야도 특정 분야에 한정적이지 않고 날로 광범위 하게 늘어나는 추세이다.

본 선행기술 조사는 재실자 활동량 산출을 위한 기술 개발에 어떠한 DL 기술이 적합한지를 판단하는 실질적인 계기가 되었으며 특히, 사람 과 사물 그리고 배경을 각각 인지 할 수 있는 방법 및 가능여부를 파악할 수 있었다. 본 연구에서 개발하고자하는 기술과 유사한 배경 기술의 알고리즘 및 데이터를 활용하여 향후 본격적으로 개발될 재실자 활동량 산출 모델에 적합한 새로운 행동인식 기술에 적용 할 수 있는 중용한 기초자료로 활용될 것이라 사료된다.


4. 결론

본 연구에서는 PMV 최적 제어를 위하여 주관적 요소인 활동량을 객관적으로 산출하는 보다 정확하고 적용이 용이한 Intelligent 활동량 산출 모델 개발을 위해 딥러닝 기반의 선행 기술을 조사하고 이를 바탕으로 향후 연구가 나아가야할 방안을 마련하고자 하였다. 이를 위해 국내·외의 각종 문헌과 자료를 통해 이론 및 기술 고찰 및 적용가능성 분석이 실시되었다. 결과는 다음과 같다.

첫째, ANN과 DL 의 이론이 고찰되었다. 인공신경망은 학습과정을 거쳐 문제를 해결하는 특징을 가지며 각종 분류 및 군집화 작업이 필요한 분야에 적용 가능하다. 기본 인공신경망 알고리즘은 다층인공신경망으로 입력층, 은닉층, 출력층으로 구성되며 출력값과 목표값을 비교하여 차이에 따라 가중치를 조정해 학습에 적용하며 패턴인식, 데이터마이닝 등의 분야에서 사용되고 있다. 딥러닝은 인공신경망의 발전된 형태로서 다층의 은닉층으로 구성되는 심층 신경망이다. 딥러닝은 합성곱 신경망 기술, 순환형 신경망 기술 등의 모형이 있으며 주로 음성인식, 장면인식, 영상복원 등의 다양한 분야에서 사용되고 있다.

둘째, 활동량 산출을 위한 행동 인식의 선작업으로 배경과 사람을 분리하는 대표적 기술로 OpenCV의 Background Subtraction 알고리즘이 조사되었다. 영상 또는 이미지의 배경에 대한 모델을 학습하는 방법으로 3가지의 알고리즘으로 Background Subtractor MOG, Background Subtractor MOG2, Background Subtractor GOG를 포함하며 주로 객체, 얼굴, 행동인식, 독순, 모션 추적 등의 응용프로그램에서 사용하고 있다.

셋째, 사람, 사물, 배경 인식이 가능한 대표적 기술로 PASCAL VOC와 ILSVRC가 조사·분석 되었다. 두 가지 모두 경연의 형태로 PASCAL VOC는 2005년부터 2012년까지 진행되었고 ILSVRC는 2010년도부터 현재까지 매해 개최되고 있다. 이들 경연에서는 사물 및 사람의 분류, 위치 파악, 행동 인식 등의 업무를 수행하여 그의 예측 정확도와 정밀도에 따라 우승자가 나뉘게 된다. 경연에서 활용된 기술들은 공개되어 모든 관심자들이 정보를 얻을 수 있도록 공유되고 있다.

재실자 행동산출을 위한 딥러닝 기반 선행 기술 조사의 결과를 바탕으로 향후 연구에서 개발하고자 하는 재실자 맞춤형 활동량 산출 모델에 적용할 수 있는 기본 기술이 파악되었다. 이를 바탕으로 사람, 사물, 배경을 각각 인지 할 수 있는 방법을 알 수 있었으며 각 기술들의 알고리즘 및 데이터를 충분한 활용으로 향후 본 연구에서 개발될 재실자 활동량 산출 모델에 적합한 새로운 행동인식 기술에 적용하여 보다 손쉽고, 정확도가 높은 활동량 산출모델개발 연구가 이루어질 것이라 판단된다.

Acknowledgments

This research was supported by a grant (code 17CTAP-C129762-01) from Infrastructure and Transportation Technology Promotion Research Program funded by Ministry of Land, Infrastructure and Transport of Korean government.

References

  • 박보랑, 최은지, 문진우, “셋백기간 중 건물 냉방시스템 부하 예측을 위한 인공신경망모델 성능 평가”, 한국생태환경건축학회 논문집, 제17권(제4호), (2017).
    Park, Bo-Rang, Choi, Eun-Ji, Moon, Jin-Woo, Performance tests on the ANN model prediction accuracyfor cooling load of buildings during the setback period, Jourmal of KIEAE, (2017).
  • 이경희, “오피스 빌딩 실내환경의 질에 관한 연구”, 석사학위논문, 연세대학교, (2004).
    Lee, Kyeong-Hee, A study on Indoor Environment Quality in Office Buildings, Dissertation, Yonsei University, (2004).
  • 서민호, 오근숙, 정근주, “실내 온열환경 열쾌적성 평가에 관한 연구동향”, 대한설비공학회 동계학술발표대회 논문집, v.2011(n.11), (2011, 11 ).
    Seo, Min-Ho, Oh, Geun-Sung, Jung, Gun-Joo, Trend on Research of Evaluation for Thermal Comfort in Indoor Thermal Environment, Conference Journal of SAREK, (2011, Nov).
  • 강인성, 문진우, 박진철, “최근 건축분야의 인공지능 기계학습 연구동향”, 대한건축학회지, 제33권(제 4호), (2017).
    Kang, In-Sung, Moon, Jin-Woo, Park, Jin-Chul, Recent Research Trends of Artificial Intelligent Machine Learning in Architectural Field, Journal of AIKSC, (2017).
  • 이혜진, “PMV기반 냉난방 제어시스템을 위한 사용자 활동량 측정 및 IoT 센서 데이터 결합 프레임워크”, 아주대학교, (2016).
    Lee, Hae-Jin, Estimation of User Activity and IoT Sensor Framework for PMV based Heating system, Ajou University, (2016).
  • 박기원, 황건용, “인체의 동작의도 판별을 위한 퍼지 C-평균 클러스터링 기반의 근전도 신호처리 알고리즘”, 멀티미디어학회논문집, vol.19(no.1), (2016).
    Parkm, Ki-Won, Hwang, Gun-Young, Movement Intention Detection of Human Body Based on Electromyographic Signal Analysis Using Fuzzy C-Means Clustering Algorithm, Korea Multimedia Society, vol.19(no.1), (2016).
  • 이호기, “심박동을 이용한 PMV기반 냉난방 제어 시스템”, 부산대학교, (2009).
    Lee, Ho-Ki, PMV based on Air-conditioning Control System using Resident’s Heart Rate, Pusan University, (2009).
  • 고효진, “PMV를 이용한 거주자 위치기반 냉난방 제어 알고리즘”, 부산대학교, (2008).
    Ko, Hyo-Jin, Air-conditioning control for PMV using an indoor location aware system, Pusan University, (2008).
  • Michael, K, Garcia-Souto, M.D.P, Dabnichki, P, An investigation of the suitability of Artificial Neural Networks for the prediction of core and local skin temperatures when trained with a large and gender-balanced database, Applied Soft Computing, vol.50, p327-343, (2016).
  • Mohammad H. Hasan, Fadi Alsaleem, Mostafa Rafaie, Sensitivity study for the PMV thermal comfort model and the use of wearable devices biometric data for metabolic rate estimation, Building and Environment, vol.110, p173-183, (2016). [https://doi.org/10.1016/j.buildenv.2016.10.007]
  • Agnes Psikuta, Joanna Frackiewicz-Kaczmarek, Emel Mert, Marie-Ange Bueno, Renè M. Rossi, Validation of a novel 3D scanning method for determination of the air gap in clothing, Measurement, vol.67, p61-70, (2015). [https://doi.org/10.1016/j.measurement.2015.02.024]
  • Yehu Lu, Guowen Song, Jun Li, A novel approach for fit analysis of thermal protective clothing using three-dimensional body scanning, Applied Ergonomics, vol.45, p1439-1446, (2014). [https://doi.org/10.1016/j.apergo.2014.04.007]
  • Stefano Schiavon, Kwang Ho Lee, Dynamic predictive clothing insulation models based on outdoor air and indoor operative temperatures, Building and Envrionment, vol.59, p250-260, (2013). [https://doi.org/10.1016/j.buildenv.2012.08.024]
  • Yanfeng Liu, Lijuan Wang, Yuhui Di, Jiaping Liu, Hao Zhou, The effects of clothing thermal resistance and operative temperature on human skin temperature, Journal of Thermal Biology, vol.38, p233-239, (2013). [https://doi.org/10.1016/j.jtherbio.2013.03.001]
  • Xiaonan Luo, Wenbang Hou, Yi Li, Zhong Wang, A fuzzy neural network model for predicting clothing thermal comfort, Computers & Mathematics with Applications, vol.53, p1840-1846, (2007). [https://doi.org/10.1016/j.camwa.2006.10.035]
  • Yejin Lee, Kyunghi Hong, Sung-Ae Hong, 3D quantification of microclimate volume in layered clothing for the prediction of clothing insulation, Applied Ergonomics, vol.38, p349-355, (2007). [https://doi.org/10.1016/j.apergo.2006.04.017]
  • Guy R. Newsham, Clothing as a thermal comfort moderator and the effect on energy consumption, Energy and Buildings, vol.26, p283-291, (2007).
  • 부산대학교 산학협력단, 심박동을 이용한 PMV 기반 냉난방 제어 방법, PCT/KR2016/014463, Apr, 14), (2009.
    Pusan National University, PMV based air-conditioner control method using resident's heart rate, PCT/KR2016/014463, Apr, 14), (2009.
  • 공주대학교 산학협력단, 희망 온열 쾌적지수 기반의 사용자 맞춤형 온도/습도 제어장치 및 방법, 10-2016-0094483, Dec, 08), (2011.
    Kongju National University, User oriented apparatus and method for controlling temperature and humidity depends on predicted mean vote, 10-2016-0094483, Dec, 08), (2011.
  • 주식회사 오토닉스, 거주자 행동 기반 냉난방 제어 방법, 1020090037975, Apr, 30), (2009.
    Autonics Inc., Resident's activity based air-conditioner control method, 1020090037975, Apr, 30), (2009.
  • 주식회사 휴비딕, 적외선 체온 측정기에서의 중심 온도 검출 장치 및 방법, 1020100002185, Jan, 11), (2010.
    Hubdic Inc., Apparatus and method for detecting core temperature in infrared rays thermometer, 1020100002185, Jan, 11), (2010.
  • 엘지전자부품 주식회사, 활동량센서의 동작측정장치, 1019950038560, Oct, 31), (1995.
    LG Inc., Activity measuring device of activity sensor, 1019950038560, Oct, 31), (1995.
  • 삼성전자주식회사, 사용자의 활동량 측정 방법 및 장치, 1020140040606, Apr, 4), (2014.
    SAMSUNG Inc., Method and Apparatus for Measuring User Physical Activity, 1020140040606, Apr, 4), (2014.
  • 파나소닉 주식회사, 온도분포측정장치 및 인체검지시스템, 1019930015029, Aug, 3), (1993.
    Panasonic Inc., Temperature Distribution Measurement Apparatus, 1019930015029, Aug, 3), (1993.
  • 전자부품연구원, 이미지센서를 이용한 피부두께 측정 장치 및 그 측정 방법, 1020060135844, Dec, 28), (2006.
    Korea electronics Technology Institute, Apparatus and method for measuring thickness of skin using a image sensor, 1020060135844, Dec, 28), (2006.
  • 공동석, “도심지역 에너지 계획을 위한 인공신경망 기반의 에너지수요예측에 관한 연구”, 서울시립대학교, (2009).
    Kong, Dongsuk, Artificial Neural Network based Energy Demand Prediction for the Urban District Energy Planning, Seoul City University, (2009).
  • G. Zhang, B.E. Patuwo, M.Y. Hu, Forecasting with artificial neural networks:the state of the art, International Journal of Forecasting, vol.14, p35-62, (1998).
  • 강인성, 문진우, 박진철, 최근 건축분야의 기계학습 모델 연구동향, 대한건축학회, 제 36권(제2호), (2016).
    Kang, In Sung, Moon, Jin Woo, Park, Jin Chul, Recent Research Trends of Machine Learning Model in Architectural Field, Architectural Institute of Korea, vol.36(no.2), (2016).
  • 박성언, “딥러닝 Recurrent Neural Network를 이용한 깊이 카메라 기반 휴먼 행위 인식”, 석사학위논문, 경희대학교, (2017, Feb).
    Park, Sung-un, A Depth Camera-based Human Activity Recognition via Deep Learning Recurrent Neural Network, Dissertation, Kyunghee University, (2017).
  • 박제강, 박용규, 온한익, 강동중, “딥러닝을 이용한 영상 내 물체 인식 기법”, 제어로봇시스템학회지, 제21권(제4호), (2015), 12p21-26.
    Je-Kang Park, Young-Kyu Park, Han-Ik On, Dong-Joong Kang, Institute of Control, Robotics and Systems, vol.21(no.4), p21-26, (2015).
  • Mark Everingham, S.M. Ali Eslami, Luc Van Gool, Christopher K.I. Williams, John Winn, Andrew Zisserman, The Pascal Visual Object classes Challenge: A Retrospective, (2010), 111, p98-136.
  • Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause1, Sanjeev Satheesh1, Sean Ma1, Zhiheng Huang1, Andrej Karpathy1, Aditya Khosla, Michael Bernstein, Alexander C. Berg, Li Fei-Fei, ImageNet Large Scale Visual Recognition Challenge, (2015), 115, p211-252. [https://doi.org/10.1007/s11263-015-0816-y]

Fig. 1.

Fig. 1.
Multi-layer Neural Network Diagram

Fig. 2.

Fig. 2.
Deep Neural Network Diagram

Fig. 3.

Fig. 3.
Recursive Connection of RNN Hidden Layer

Fig. 4.

Fig. 4.
Classification and Detection

Fig. 5.

Fig. 5.
Segmentation

Fig. 6.

Fig. 6.
Action Classification

Fig. 7.

Fig. 7.
Comparison of ILSVRS and PASCAL VOC

Fig. 8.

Fig. 8.
Single-object localization

Fig. 9.

Fig. 9.
Evaluation of ILSVRC task

Table 1.

Advanced research of MET and CLO estimation

Researcher Title
Lee, Hae-Jin Estimation of User Activity and IoT Sensor Framework for PMV based Heating system5)
Parkm Ki-Won
Hwang, Gun-Young
Movement Intention Detection of Human Body Based on Electromyographic Signal Analysis Using Fuzzy C-Means Clustering Algorithm6)
Lee, Ho-Ki PMV based on Air-conditioning Control System using Resident’s Heart Rate7)
Ko, Hyo-Jin Air-conditioning control for PMV using an indoor location aware system8)
Michael K,
Garcia-Souto M.D.P, Dabnichki P
An investigation of the suitability of Artificial Neural Networks for the prediction of core and local skin temperatures when trained with a large and gender-balanced database9)
Mohammad H.
Hasan,
Fadi Alsaleem,
Mostafa Rafaie
Sensitivity study for the PMV thermal comfort model and the use of wearable devices biometric data for metabolic rate estimation10)
Agnes Psikuta et.al. Validation of a novel 3D scanning method for determination of the air gap in clothing11)
Yehu Lu et. al. A novel approach for fit analysis of thermal protective clothing using three-dimensional body scanning12)
Stefano Schiavon, Kwang Ho Lee Dynamic predictive clothing insulation models based on outdoor air and indoor operative temperatures13)
YanfengLiu et.al. The effects of clothing thermal resistance and operative temperature on human skin temperature14)
Xiaonan Luo et.al. A fuzzy neural network model for predicting clothing thermal comfort15)
Yejin Lee et.al. 3D quantification of microclimate volume in layered clothing for the prediction of clothing insulation16)
Guy R. Newsham Clothing as a thermal comfort moderator and the effect on energy consumption17)

Table 2.

Advanced patent of MET and CLO estimation

Inventor Title
Pusan National University PMV based air-conditioner control method using resident's heart rate18)
Kongju National University User oriented apparatus and method for controlling temperature and humidity depends on predicted mean vote19)
Autonics Inc. Resident's activity based air-conditioner control method20)
Hubdic Inc. Apparatus and method for detecting core temperature in infrared rays thermometer21)
LG Inc. Activity measuring device of activity sensor22)
SAMSUNG Inc. Method and apparatus for measuring user physical activity23)
Panasonic Inc. Temperature Distribution Measurement Apparatus24)
Korea electronics Technology Institute Apparatus and method for measuring thickness of skin using a image sensor25)