KIEAE Journal
[ Article ]
The International Journal of The Korea Institute of Ecological Architecture and Environment - Vol. 18, No. 5, pp.93-98
ISSN: 2288-968X (Print) 2288-9698 (Online)
Print publication date 31 Oct 2018
Received 04 Oct 2018 Revised 17 Oct 2018 Accepted 22 Oct 2018
DOI: https://doi.org/10.12813/kieae.2018.18.5.093

재실자 활동량 산출을 위한 Pose 분류 모델 개발

최은지* ; 박보랑** ; 최영재*** ; 문진우****
Development of a Human Pose Classifying Model to Estimate the Metabolic Rate of Occupant
Choi, Eun Ji* ; Park, Bo Rang** ; Choi, Young Jae*** ; Moon, Jin Woo****
*School of Architecture and Building Science, Chung-Ang University, South Korea ejjchl77@gmail.com
**Coauthor, School of Architecture and Building Science, Chung-Ang University, South Korea pbr_1123@naver.com
***Coauthor, School of Architecture and Building Science, Chung-Ang University, South Korea chlyoungwo@gmail.com
****Corresponding author, School of Architecture and Building Science, Chung-Ang University, South Korea gilerbert73@cau.ac.kr


@ 2018 KIEAE Journal

Abstract

Purpose:

The aim of this study is to develope a human pose classifying model from the image data for estimating occupant metabolic rate (MET) which will be used for the optimal control of indoor PMV (predictive mean vote) conditions. The deep learning artificial neural network was applied for developing the classifying model.

Method:

For developing the classifying model, the fundamental data set about occupant diverse indoor activities was collected for training the model and testing its performance. The model structure and parameter values were determined through the optimization process and the k-fold Cross Validation was conducted for the model training. The performance evaluation of the classifying model was accomplished using the accuracy of the MET from the pose classification.

Result:

The optimized model, which was set to have 1 hidden layer and 200 hidden neurons 200, presented 88.01% accuracy to properly estimate the MET from the classified occupant pose. Based on this accuracy, the model showed a potential to be applied to estimating the MET and indoor PMV conditions.

Keywords:

Thermal Environment, Metabolic rate, Deep Learning Neural Network

키워드:

온열환경, 활동량, 딥러닝 신경망

1. 서론

1.1. 연구의 배경 및 목적

현대인들의 실내에서 거주하는 시간이 하루의 90% 이상으로 증가함에 따라 쾌적한 실내환경 유지의 필요성이 대두되고 있다. 실내환경 질(Indoor Environment Quality, IEQ)은 재실자의 건강과 삶의 질을 결정하는 중요한 요소이며 건물 환경 조건과 밀접하게 연관되어 있다. 건물 환경 조건 중 열환경(Thermal Qaulity, TQ)은 실내환경 질의 결정적 요소 중의 하나이며, 평균온열감(PMV, predicted mean vote)은 이러한 열환경 상태를 정량적으로 표현하기 위한 중요한 지표이다. PMV는 공기온도, 습도, 평균복사온도, 기류속도 등의 물리적 요소와 더불어 재실자의 착의량 및 활동량 등 개인적 요소의 상태에 따라 결정된다. 즉, 열환경의 질 향상을 위해서는 물리적 환경 요소 뿐 만 아니라 개인적 요소를 고려하여야 하며 재실자 기반의 맞춤 실내환경 제어가 이루어져야 한다.

열환경의 쾌적 제어를 위한 기존의 시스템은 온도나 습도 같은 환경 변수를 제어하는 전통적 방법과 평균온열감을 고려한 제어 방법이 있다. 온습도 기반 독립 제어의 경우 개별 요소는 쾌적 범위에 만족하나 열 환경의 개인적인 요소를 고려하지 않아 통합적 열 환경 제어 및 개인화된 최적화는 불가능하다. 따라서, 독립 제어의 한계를 보안하기 위해 인체 온열감 및 불쾌적 정도를 예측할 수 있는 평가 지표인 PMV가 도입되고 있다. PMV는 쾌적범위를 -0.5~0.5로 규정하며 온,습도 외에도 기류속도, 평균복사온도, 활동량(Metabolic Rate, MET), 착의량(Clothing, CLO)을 고려한다.

PMV에 기반한 통합적 실내 열환경 제어에 관한 연구가 꾸준히 진행되어오고 있다. PMV 영향 요소를 고려한 제어 알고리즘을 개발하는 연구가 진행되어 제어 요소 중 개인적 요소인 MET가 다른 환경적 요소보다 PMV 변화량 영향을 더 크게 미치는 것을 밝혔다. MET를 파악하기 위한 연구도 다수 진행되었으며 재실자의 MET를 예측하기 위해 IoT 센서 및 스마트 폰의 가속도계 센서를 활용하거나, 심박동기를 사용하여 거주자의 심박동수로 MET를 측정하였다.

기존의 연구를 통해 재실자의 개인적 요소 중 MET 측정에 대한 연구가 지속적으로 수행되고 있음을 확인하였다. 하지만, 이러한 기존의 MET 측정법은 측정기기 및 센서를 직접적으로 부착하는 방법을 사용하고 있다. 이러한 방법은 사용성과 편리성의 부재로 인하여 적용이 제한적인 단점이 있다. 따라서 재실자의 관여를 필요로 하지 않는 건물시스템 내재적(embedded) 방법을 통하여 재실자의 행동을 인식할 수 있는 수단이 개발될 필요가 있다.

이러한 필요성을 바탕으로 재실자 MET 측정에 있어서 기존의 제한적인 방법이 아닌 지능형 모델을 사용해 적용성이 좋은 새로운 재실자 MET 측정 방법을 제시하고자 한다. 따라서, 본 연구에서는 재실자의 행동을 인식하여 포즈를 분류하는 지능형 모델을 개발하는 것을 목표로 한다. Fig. 1.은 본 연구에서 개발되는 모델과 최종 PMV 제어를 위한 적용의 과정을 보여준다. 포즈분류모델은 실내에 설치된 영상카메라의 이미지를 사용하여 재실자의 활동을 분류한다. 제어 알고리즘에는 학습된 포즈분류 모델을 적용하여 재실자의 포즈를 실시간으로 수집한다. 이때, 일정 제어 기간 동안 수집된 포즈 중 대표 포즈의 MET값을 선정하여 PMV 제어에 사용한다. 이때 실시간 PMV 제어에는 온·습도, 평균복사온도, 기류속도와 같은 측정된 실내환경 데이터와 예측된 MET가 동시에 고려된다.

Fig. 1.

Process of the PMV Control Algorithm

본 연구에서는 딥러닝(Deep Learning, DL) 알고리즘을 활용하여 재실자의 포즈를 분류하는 지능형 모델을 개발하는 것을 목표로 하며, 이는 추후 예측 제어 알고리즘의 기반을 형성한다.


2. 이론 고찰

2.1. 신경망 및 딥러닝 개요

인공신경망(Artificial Neural Network, ANN)은 머신러닝 기법의 일종으로 스스로 학습과정을 거쳐 문제를 해결한다는 특징을 지닌다. 사용 목적에 따라 데이터를 카테고리로 나누는 분류(Classification), 연속적인 값으로 추출하는 회귀(Regression) 및 유사한 데이터끼리 묶는 군집화(Clustering) 등으로 구분된다. 또한 데이터의 학습 시 정답의 유무에 따라 정답이 주어지는 지도학습(Supervised Learning), 정답 없이 스스로 데이터의 패턴을 학습하는 비지도학습(Unsupervised Learning) 및 강화학습(Reinforced Learning)으로 나뉜다. 인공신경망은 입력층, 은닉층, 출력층의 구조를 띈다.

딥러닝(Deep Learning, DL)은 이러한 인공신경망의 일종으로 기존의 비선형 문제 해결이 불가능했던 인공신경망의 한계를 개선한 알고리즘이다. 딥러닝은 패턴 인식 문제나 특징점 학습을 위해 은닉층이 깊어진 모델이며 심층 신경망(Deep Neural Network, DNN)이라고도 불린다. 딥러닝의 핵심은 데이터를 분류하는 것으로 다층 구조를 통해 데이터 분석의 정확도를 향상시킨다. 딥러닝 알고리즘에는 학습 전 모델의 구축과 함께 설정해줘야 하는 여러 파라미터가 존재한다. 딥러닝은 각 뉴런에 가해지는 가중치를 조절하며 학습이 진행되기 때문에 학습의 가중치와 관련된 파라미터로 초기화(Initialization), 학습률(Learning Rate), 활성화 함수(Activation Function)등을 정해줘야 한다. 그 외에도 딥러닝은 MSE(Mean Square Error), Cross-entropy, Gradient Descent 등의 오차함수(Cost Function) 및 최적화 함수(Optimizer Function)를 통해 학습이 이루어지며 회귀, 분류와 같이 예측 방법에 따라 적용하는 함수가 다양하다. 딥러닝 기술이 적용되는 신경망 구조는 다양하며 합성곱 신경망 (Convolutional Neural Network,CNN), 회귀 신경망 (Recurrent Neural Netwokr, RNN), Auto-Encoder 등이 존재한다.

2.2. 딥러닝의 적용

딥러닝과 인공신경망 기술을 포함한 인공지능 기술은 다양한 산업 분야에 적용되고 있다. 대표적으로 IT와 자동차 산업에서 연구개발이 활발히 이루어지고 있으며 의료, 농업, 자동차, 로봇, 서비스 분야에 적용되고 있다. 그 중에서도 딥러닝은 최근 빅데이터와 GPGPU(General Purpose GPU)의 발전으로 그 성능이 획기적으로 향상되었으며 음성인식, 이미지 분류, 텍스트 분석과 같은 패턴 인식 분야에서 큰 성과를 내고 있다. 뿐 만 아니라 딥러닝 기술 중 CNN 알고리즘은 대량의 데이터를 다루며 영상이나 음성 인식 분야에 적용되고 있고, RNN 알고리즘은 자연어처리, 번역 등의 분야에 적용되고 있다.

딥러닝은 건설 분야에서도 적용되고 있는 추세로 현장의 기계 운전 자동화, 빌딩 에너지 관리, 지능화된 시공 로봇 등 지능화된 건설의 사례가 존재하고 있다. 건설 분야 중 건물 환경 분야의 경우 건물의 공조, 열환경, 냉난방 에너지 저감 등에 딥러닝 기술이 접목되고 있다. 진행된 선행 연구로 냉난방 부하 예측 시 RNN 알고리즘을 접목시켜 난방 수요를 예측하거나(Aowabin et al, 2018) Deep Belief Network와 Ensemble 등의 딥러닝 기술로 건물 냉난방 부하 예측 접근법을 제시하여 에너지 시스템 성능향상의 가능성을 보이는 연구가 진행되었다. (Javier et al, 2017) 또한, 냉방 및 난방 에너지 소비 및 비용을 예측하기 위한 인공신경망 모델이 개발되었으며, (Chung et al, 2017, Park et al, 2018) 건물의 냉방 시스템과 이중외피의 개폐 조절을 위한 인공신경망 예측 모델을 개발하여 안정적인 실내온도환경 조성의 가능성을 파악하는 연구가 진행되었다. (Park et al, 2018) 이 외에도 건물의 난방, 환기 및 공조 시스템의 전력 소비 모델링에 있어서 딥러닝 기반의 모델링 기법이 다른 기술보다 우월하다는 것을 입증한 연구와 (Guoyin Fu, 2018) 에너지 측면에서 HVAC 시스템의 에너지 비용 절감을 위해 지능형 스케줄링에 Deep Reinforcement Learning (DRL) 기술을 적용한 연구도 진행되었다.(Tianshu et al, 2017)


3. 재실자 포즈분류 모델 개발

3.1. 모델 학습을 위한 데이터 구성

포즈분류 모델은 재실자의 활동을 분류하기 위한 모델로 실내 활동 포즈를 학습한다. 포즈분류 모델 개발은 Fig. 2.와 같은 절차로 진행하였으며, 재실자 포즈분류를 위하여 실내 활동 이미지 데이터와 인체 주요 관절 좌표를 구축한 뒤, 구축한 이미지에 해당하는 정답 포즈를 학습하고 분류된 포즈의 정확도를 평가하는 과정으로 진행하였다.

Fig. 2.

Process of Pose Classifying Model Development

학습 데이터 수집 전 재실자의 실내 활동 선정은 다양한 활동에 대한 MET 값을 명시해둔 ASHRAE 55의 표 5.2. Metabolic Rates for Typical Tasks를 기준으로 정하였다. 표 5.2에 제시된 activity 중 ‘office activities’와 ‘resting’에 속하는 일반적인 실내 활동 포즈를 총 10가지로 선정하였다. 정해진 10가지 포즈에 대한 이미지 데이터 수집을 진행하였고 Table 1.과 같이 각 포즈 당 50개씩 총 500개의 데이터를 수집하였다. 각 포즈에 0번부터 9번까지 Label 번호를 부여하여 포즈 분류 학습 시에 정답으로 주어졌다.

Indoor Activities for a Training Data set

학습 데이터의 구축은 여러 주제의 딥러닝 알고리즘이 개발되는 과정에서 다양하게 생성되어 제공되고 있다. 대표적으로 손 글씨 데이터인 MNIST 외에도 음악, 문자, 언어, 이미지 데이터 등 각 분야별로 데이터가 구축되어 있으며 딥러닝을 활용한 모델 개발에 사용 가능하다. 본 연구에서는 포즈산출 모델의 학습 데이터로 이미지 데이터 중 실내 활동과 관련이 있는 LSP(Leed Sport Pose), FLIC(Frames Falbeled In Cinema), Video Pose 등에서 일부 데이터를 수집하였다. LSP는 운동을 하고 있는 사람 이미지, FLIC는 미국 할리우드 영화 장면, Video Pose는 2~3초의 짧은 클립영상 44를 모아둔 데이터로 사람의 활동과 관련이 있다. 그 외에 부족한 데이터는 인터넷 상의 이미지를 수집하거나 직접 촬영을 통해 총 500장의 기본 데이터를 구축하였다(Fig. 3.). 구축된 데이터는 사람의 인체일부가 잘리지 않아 취하고 있는 행동을 파악할 수 있는 이미지로 설정하였다. 또한 같은 실내 활동이더라도 여러 각도와 다양한 포즈를 수집하여 학습 데이터에만 정확도가 높은 모델이 아니라 실제 데이터를 충분히 반영하고자 하였다.

Fig. 3.

Examples of Collected Image data

재실자 포즈분류 모델 개발은 이미지에서 사람의 주요 관절 좌표를 인식하는 선행 인공신경망 모델과 함께 진행되었다. 선행 모델은 이미지를 학습하여 인체의 주요 관절의 위치를 출력한 뒤 포즈분류 모델의 입력 값으로 전달한다. 즉, 재실자 포즈분류 모델은 인체 관절 좌표를 입력 받아 학습된 모델을 거쳐 포즈를 출력하게 된다.

포즈분류 모델의 학습을 위해 이미지 데이터의 전처리 과정을 진행하였다. Table 2.와 같이 수집한 이미지에서 인체의 오른쪽 발목, 무릎, 골반, 왼쪽 골반, 무릎, 발목, 오른쪽 손목, 팔꿈치, 어깨, 왼쪽 어깨, 팔꿈치, 손목, 목, 이마 순으로 총 14개 관절 좌표 값을 구축하였다. 이렇게 구축된 좌표 데이터를 개발 모델의 입력 데이터로 사용하여 학습을 진행하였다.

Major Joints Location in the Human Body

구축된 500개의 데이터를 총 10가지의 포즈로 분류시키도록 학습하기에는 데이터의 수가 다소 부족하며, 학습 데이터에만 최적화되는 Over-fitting이 발생할 수 있기 때문에 데이터의 Augmentation을 통해 데이터의 수를 증가시키는 전처리를 진행하였다. 데이터 Augmentation은 이미지 분류 등의 머신러닝 모델에서 학습 데이터를 증가시키는 방법으로 폭넓게 사용되고 있으며 모델에 적용하는 기법도 다양하다. 본 연구에서는 Table 3.의 총 2가지의 Augmentation 방법을 사용하였다. 첫 번째는 이미지를 -15°에서 15° 사이로 회전시키는 방법이며 두 번째는 이미지 속 사람의 스케일을 변경하여 좌표 데이터 값을 증가시키는 방법이다. Augmentation을 통해 학습에 적용된 데이터는 총 33,000장으로 기존 수집한 데이터의 66배이며 학습 시에 10%는 Test 데이터로 학습에는 사용하지 않고 결과 성능 확인을 위해 사용하였다.

Application of Data Augmentation

3.2. 포즈분류 모델 구조

포즈분류 모델은 심층 신경망인 딥러닝 알고리즘을 사용하였다. 딥러닝 알고리즘의 구조는 2장에서 설명하였듯이 입력층, 은닉층, 출력층이 존재하며 은닉층은 두 개 이상으로 깊어진 구조를 가진다. 개발된 모델의 입력층은 총 28개의 입력 뉴런으로 구성되며 구축된 인체 관절 좌표 (x,y) 14쌍이 순서대로 입력된다. 은닉층과 은닉뉴런은 최적 모델을 개발하기 위해 학습 시에 각각의 개수를 변경하면서 모델의 성능을 평가한다. 최종적으로 출력층에는 입력된 좌표 데이터에 대한 포즈 Label 1개가 출력된다(Fig. 4.).

Fig. 4.

Basic Structure of Developed Model

모델의 기본 파라미터 설정은 Table 4.와 같다. 해당 모델은 초기화 함수로 Xavier Initialization 함수를 적용하였으며 이 함수는 입력값과 출력값 사이의 난수를 선택해서 입력값의 제곱근으로 나눠 초기화 값으로 사용한다. 활성화 함수로는 비선형의 ReLU 함수를 각 층에 적용하였다. 모델의 Cost 함수는 (식1)과 같은 Cross-entropy H(P,Q) 함수의 평균을 사용하였다. Cross-entropy 함수는 예측 값이 정답 값과 가까울수록 0에 가까운 값을 내보내고 정답 값과 차이가 클수록 값을 ∞로 보내는 함수이다.

Parameters Condition of Pose Classifying Model

HP,Q=-xPxlogQx(식1) 
(P(x): 정답 데이터의 분포, Q(x): 모델이 예측한 결과 분포)

Cost 함수의 값을 최적화시키기 위한 방법으로 Adadelta Optimizer 알고리즘을 사용하였다. Adadelta 알고리즘은 초기 학습률을 정한 뒤 학습 과정에서 학습률을 자동으로 조절해주며 Cost를 줄이는 방향으로 가중치를 최적화한다. 학습률은 1.00e-2로 초기 설정하였다. 딥러닝과 같이 은닉층의 레이어가 많아지면서 학습 데이터에 대해 지나치게 Over-fitting 되는 것을 방지하기 위해 각 층의 노드의 일부 연결을 랜덤하게 끊어주는 Dropout을 30%로 적용하였다.

3.3. 포즈분류 모델의 구조 변수 설정

성능 평가는 앞서 설정한 포즈분류 모델의 기본 값을 고정한 뒤 모델의 은닉층 레이어(Hidden Layer, HL)와 각 층의 뉴런(Hidden Neuron, HN)의 수를 정하여 모델의 구조를 변경하며 모델의 정확도를 평가하였다. HL 수는 1부터 5까지 1개의 레이어 씩 늘렸으며, HN 수는 50개 씩 증가시켜 50, 100, 150, 200, 250으로 구성하였다. 즉, 총 25개의 모델에 대하여 학습을 진행하였다.

성능 평가를 위해서 학습 데이터의 resampling 방법이자 통계적 모델 평가 기법으로 널리 사용되는 Cross Validation(CV)을 적용하였다. CV 방법 중 Fig. 5.와 같이 학습 데이터를 K개의 Subset (Training data set, Validation data set)으로 구성하는 k-fold Cross Validation (KFCV) 기법을 사용하였다. 즉, 데이터는 크게 Training data set, Validation data set, Test data set로 나뉜다. 이때 Training data set의 학습 시에 Validation data set은 사용되지 않고 학습 모델의 검증에 만 사용하며, Test data set은 모든 학습이 마친 뒤 모델의 성능을 평가하는 용도로만 사용한다. 같은 모델에 대해 Validation data set을 변경하며 k번의 검증을 반복 하고 각 결과의 평균값을 사용함으로써 모델 성능에 대한 안정성 및 정확성을 확인할 수 있고 모델의 신뢰성을 높일 수 있다. 개발된 모델은 k=5로 설정하여 총 학습 데이터의 20% 씩 분리하였으며, 각 모델 당 5번의 검증을 진행하였다. 모델의 성능은 5-fold 학습에 사용되지 않는 Test data set에 대한 결과로 평가하였다.

Fig. 5.

K-fold Cross Validation


4. 성능 분석

4.1. 성능 평가

개발된 포즈분류 모델은 분류된 포즈를 결과로 내보내며 각 포즈는 해당하는 MET 값을 가진다. 포즈분류 모델의 성능은 각 모델의 결과로 도출된 MET 값의 정확도(Accuracy) 및 평균차이값(Difference Average)으로 평가하였다. 정확도는 정답 MET와 모델의 결과로 나온 MET가 일치한 비율을 나타내며, 평균차이값은 정답 MET와 모델의 결과로 나온 MET 값의 차이에 대한 평균값이다. 평균차이값이 적을수록 정답 MET에 가까운 결과를 도출한 것으로 모델의 오차가 어느 정도인지 파악할 수 있다.

HL와 HN의 수가 변경된 총 25개의 각 모델을 5만 번 학습한 후 성능 평가를 진행하였다. 제시된 Table 5.와 Table 6.은 Validation data set와 Test data set 각각의 MET 산출 정확도를 측정한 값이다. Table 7.은 Validation data set에 대해 5번 씩 CV를 수행한 모델에 Test data set을 적용하여 결과 MET에 대한 평균 정확도를 나타냈으며, 이를 통해 모델 학습이 잘 이루어졌는지 확인 할 수 있다. Validation data set에 대한 정확도가 높을수록 학습이 잘 되었다는 것을 뜻하며 25개의 모델 중 20개가 90% 이상의 정확도를 나타냈다.

MET Estimation Accuracy of Validation data set단위 (%)

MET Estimation Accuracy of Test data set 단위 (%)

Difference Average of Test data set

하지만, 학습이 잘 되더라도 Test data set에 대한 성능은 차이가 있었다. 실제로 Table 6.은 MET 값에 대한 정확도를 나타내며 55.74%부터 88.01%의 범위를 보인다. 정확도가 가장 높은 모델의 구조는 HL 1, HN 200인 경우로 Test data의 88.01%에 대하여 MET 값을 정확하게 예측 하였다. Table 7.은 정답 MET와 모델의 결과 MET값의 평균차이값을 나타낸다. 정확도 값과 같이 모델 구조가 HL 1, HN 200 일 때 평균차이값은 0.0267로 가장 차이가 적게 나며 정답 MET와의 오차가 가장 적었다.

즉, 제시된 모델 25개 중 MET 정확도 및 평균차이값이 가장 높은 모델의 구조는 HL 1개, HN 200개로써 MET 예측 정확도 88.01%, 평균차이값 0.0267을 가진다. 성능 평가를 통해 은닉층이 깊지 않은 보다 단순한 모델을 통해 더 높은 성능을 도출할 수 있음으로 결론지을 수 있다.


5. 결론

본 연구에서는 재실자의 쾌적한 환경 유지를 위해 PMV 최적 제어의 필요성을 느끼고 PMV 제어의 필수 요소인 재실자 개인의 MET를 산출할 수 있는 포즈분류 모델을 개발하고자 하였다. 기존의 예측 방법 보다 정확하고 적용성이 좋은 모델 개발을 위해서 딥러닝 기반의 지능형 모델을 개발하였으며 개발된 모델의 성능 평가를 진행하였다. 결과는 다음과 같다.

첫째, 재실자 포즈분류 모델 개발은 크게 이미지를 통해 인체 주요 관절 좌표를 인식하는 모델과 관절 좌표를 통해 재실자의 포즈를 분류하는 모델로 구성하였다. 본 연구에서는 인체 주요 관절 좌표 (x,y) 14쌍을 학습하여 실내 활동 포즈를 분류하는 모델 개발을 진행하였다. 개발 모델은 재실자의 실내 활동에 대한 MET만을 고려하는 모델로 ASHRAE의 기준을 토대로 실내에서 주로 발생하는 10가지의 활동을 선정하여 진행하였다.

둘째, 포즈분류 모델의 기본 파라미터 조건은 딥러닝의 분류학습에서 주로 사용되는 값과 함수를 적용하였다. 신경망의 HL과 HN의 수를 변경하여 총 25개의 모델의 학습을 진행하였다. 모델의 성능 평가를 위해 k-fold Cross Validation을 적용하였으며 각 학습 모델의 Test data set에 대한 포즈분류 후 도출된 MET 정확도 및 평균차이값으로 성능을 평가하였다.

셋째, 분류 모델은 총 5만 번의 학습을 진행한 뒤 평가 하였고 그 내용은 다음과 같다.

  • (1) Validation data set의 포즈분류 모델에 대한 MET 정확도 분석 결과 20개의 모델이 90% 이상의 정확도를 보이며 학습이 잘 된 것을 확인할 수 있었음
  • (2) 학습된 25개의 모델 중 HL 1개, HN 200개로 구성된 모델의 성능이 가장 높았으며 Test data set에 대한 MET 정확도 88.01%, MET 평균차이값은 0.0267을 나타냄

성능 평가의 결과, 은닉층이 깊지 않은 보다 단순한 모델을 통해 높은 성능을 도출할 수 있으며 추후 더 다양한 모델 구조에 대한 학습을 통해 성능 향상을 달성할 수 있을 것으로 사료된다. 개발된 모델이 앞서 설명한 제어 알고리즘에 적용될 경우, 포즈분류 모델은 설정된 기간마다 한 번씩 재실자의 MET를 88.01%의 정확도로 출력해낸다. 만약 MET 산출 간격이 10초이며 공조 제어 시간 간격을 15분으로 가정할 경우, 최소 90번(6회/분*15분)의 MET를 산출하며, 대표 MET 값을 평균값 또는 빈도수로 도출하여 보다 정확한 MET 산출이 가능할 것으로 사료된다.

본 연구를 통해 개발된 포즈분류 모델은 성능 향상을 위한 연구가 계속 진행될 것이며, 현재 10가지로 제한되었던 실내 활동의 범위를 늘려 다양한 실내 활동을 포함하는 모델로 발전시킬 예정이다. 추후에는 선행 모델로써 개발 중에 있는 이미지를 통한 좌표 인식 모델과의 접목을 통해 재실자의 MET 산출을 위한 보다 정확하고 실생활에 적용 가능한 모델을 개발할 예정이다.

또한, 실내 활동에는 House Cleaning, Cooking과 같은 도구가 포함된 활동 존재한다. 이와 같은 실내 활동은 재실자의 MET 예측 시 도구 인식이 필수적이다. 도구 인식이 필요한 활동에 대해서는 이미지에서 도구를 인식하는 모델 및 알고리즘을 추가로 개발하여 해결할 예정이다.

Acknowledgments

This research was supported by a grant (code 18CTAP-C129762-02) from Infrastructure and Transportation Technology Promotion Research Program funded by Ministry of Land, Infrastructure and Transport of Korean government.

Reference

  • 박보랑, 최은지, 문진우, “셋백기간 중 건물 냉방시스템 부하 예측을 위한 인공신경망모델 성능 평가”, 한국생태환경건축학회 논문집, 17(4), (2017).Park, Bo-Rang, Choi, Eun-Ji, Moon, Jin-Woo, Performance tests on the ANN model prediction accuracyfor cooling load of buildings during the setback period, Jourmal of KIEAE, (2017). [ https://doi.org/10.12813/kieae.2017.17.4.083 ]
  • 서민호, 오근숙, 정근주, “실내 온열환경 열쾌적성 평가에 관한 연구동향”, 대한설비공학회 동계학술발표대회 논문집, 2011(11), (2011, Nov).Min-Ho Seo, Geun-Sug Oh, Gun-Joo Jung, Trend on Research of Evaluation for Thermal Comfort in Indoor Thermal Environment, Conference Journal of SAREK, (2011, Nov).
  • 김상훈, “실내 온열 쾌적을 위한 PMV단순화 제어 프레임워크 개발”, 서울과학기술대학교 박사학위논문, (2015, Aug).Sang-Hoon Kim, Development of the PMV Simplification Control Framework for Indoor Thermal Comfort, Seoul National University of Science and Technology, (2015, Aug).
  • 이혜진, “PMV기반 냉난방 제어시스템을 위한 사용자 활동량 측정 및 IoT 센서 데이터 결합 프레임워크”, 아주대학교 석사학위논문, (2016).Lee, Hae-Jin, Estimation of User Activity and IoT Sensor Framework for PMV based Heating system, Ajou University, (2016).
  • 이호기, “심박동을 이용한 PMV기반 냉난방 제어 시스템”, 부산대학교 석사학위논문, (2009).Lee, Ho-Ki, PMV based on Air-conditioning Control System using Resident’s Heart Rate, Pusan University, (2009).
  • 박보랑, 최은지, 이효은, 김태원, 문진우, “재실자 활동량 산출을 위한 딥러닝 기반 선행연구 동향”, 한국생태환경건축학회 논문집, 17(5), (2017).Park, Bo-Rang, Choi, Eun-Ji, Lee, Hyo-Eun, Kim, Tae-won, Moon, Jin-Woo, Research Trends for the Deep Learning-based Metabolic Rate Calculation, Jourmal of KIEAE, (2017). [ https://doi.org/10.12813/kieae.2017.17.5.095 ]
  • 최예림, 김관호, “인공지능 개요 및 적용 사례:, ie 매거진, 23(2), (2016, Jun).Yea Lim Choi, Kwan Ho Kim, Artificial intelligence overview and application examples, ie magazine, 23, (2016).
  • 문성은, 장수범, 이정혁, 이종석, “기계학습 및 딥러닝 기술동향”, 한국통신학회지 (정보와통신), 33(10), (2016).Sung Eun Moon, Su Bum Jang, Jung Hyuck Lee, Jong Suk Lee, Machine Learning and Deep Learning Technology Trends, The Korean Institute of Communications and Information Sciences, 33, (2016).
  • Setabstian Raschka, ‘Python Machine Learning’, 1st Edition, Packt Publishing, (2015).
  • 사이토 고키, 밑바닥부터 시작하는 딥러닝 : 파이썬으로 익히는 딥러닝 이론과 구현, 이복연, 한빛미디어, (2017), p312.Saito Goki, Deep Learning from Scratch, (2017).
  • 박제강, 박용규, 온한익, 강동중, “딥러닝을 이용한 영상 내 물체 인식 기법”, 제어로봇시스템학회지, 21(4), (2015, Dec), p21-26.Je-Kang Park, Young-Kyu Park, Han-Ik On, Dong-Joong Kang, Institute of Control, Robotics and Systems, 21(4), p21-26, (2015).
  • 문일철, 박진규, 이한선, 박준건, 김도형, 딥러닝 기반 강화학습의 스마트 건설 적용, 한국건설관리학회, 18, (2017, Feb).Il Chul Moon, Jin Kyu Park, Han Sun Lee, Jun Geun Park, Do Hyung Kim, Application of smart construction for reinforcement learning based on deep learning, Korea Journal of Construction Engineering and Management, (2017).
  • Aowabin Rahman, Amanda D. Smith, Predicting heating demand and sizing a stratified thermal storage tank using deep learning algorithms, Applied Energy, 228, (2018), p108-121. [https://doi.org/10.1016/j.apenergy.2018.06.064]
  • Javier Rubio-Herrero, Vikas Chandan, Charles Siegel, Abhinav Vishnu, Draguna Vrabie, A learning framework for control-oriented modeling of buildings, 2017 16th IEEE International Conference on Machine Learning and Applications (ICMLA), (2017). [https://doi.org/10.1109/icmla.2017.00079]
  • 강인성, 양영권, 이효은, 박진철, 문진우, “건물 냉방시스템의 예측제어를 위한 인공신경망 모델 개발”, 한국생태환경건축학회 논문집, 17(5), (2017, Oct).Kang, In-Sung, Yang, Young-Kwon, Lee, Hyo-Eun, Park, Jin-Chul, Moon, Jin-Woo, Development of an Artificial Neural Network Model for a Predictive Control of Cooling Systems, Jourmal of KIEAE, (2017). [ https://doi.org/10.12813/kieae.2017.17.5.069 ]
  • Min Hee Chung, Young Kwon Yang, Kwang Ho Lee, Je Hyeon Lee, Jin Woo Moon, Application of artificial neural networks for determining energy-efficient operating set-points of the VRF cooling system, Building and Environment, 125, (2017). [https://doi.org/10.1016/j.buildenv.2017.08.044]
  • Bo Rang Park, Eun Ji Choi, Jongin Hong, Je Hyeon Lee, Jin Woo Moon, Development of an energy cost prediction model for a VRF heating system, Applied Thermal Engineering, 140, (2018). [https://doi.org/10.1016/j.applthermaleng.2018.05.068]
  • 박보랑, 최은지, 양영권, 문진우, “이중외피 개구부 및 냉방시스템 제어를 위한 규칙기반 및 예측제어 온도 및 작동 성능비교”, 한국생태환경건축학회 논문집, 18(2), (2018, Apr).Park, Bo-Rang, Choi, Eun-Ji, Yang, Young Kwon, Moon, Jin-Woo, Comparative Analysis on the Temperature and Operating Performance of Rule-based- and Predictive-Algorithms for the Openings and Cooling System in the Double Skin Buildings, Jourmal of KIEAE, (2018). [ https://doi.org/10.12813/kieae.2018.18.2.097 ]
  • Guoyin Fu, Deep belief network based ensemble approach for cooling load forecasting of air-conditioning system, Energy, 148, (2018), p269-282. [https://doi.org/10.1016/j.energy.2018.01.180]
  • Tianshu Wei, Yanzhi Wang, Qi Zhu, Deep Reinforcement Learning for Building HVAC Control, 2017 54th ACM/EDAC/IEEE Design Automation Conference (DAC), (2017, Jun). [https://doi.org/10.1145/3061639.3062224]
  • ASHREA, ANSI/ASHREA Standard 55, (2013).
  • 딥러닝, “Deep learning dataset”, http://deeplearning.net/datasets/.
  • Alexander Toshev, Christian Szegedy, DeepPose, Human Pose Estimation via Deep Neural Networks, 2014 IEEE Conference on Computer Vision and Pattern Recognition, (2014), p1653-1660. [https://doi.org/10.1109/cvpr.2014.214]
  • Hiroshi Inoue, Data Augmentation by Pairing Samples for Images Classification, arXiv:1801.02929, 2018, URLhttps://arxiv.org/abs/1801.02929.

Fig. 1.

Fig. 1.
Process of the PMV Control Algorithm

Fig. 2.

Fig. 2.
Process of Pose Classifying Model Development

Fig. 3.

Fig. 3.
Examples of Collected Image data

Fig. 4.

Fig. 4.
Basic Structure of Developed Model

Fig. 5.

Fig. 5.
K-fold Cross Validation

Table 1.

Indoor Activities for a Training Data set

Activity Met Unit Data Number Pose Label
resting sleeping 0.7 50 0
reclining 0.8 50 1
seated.quiet 1.0 50 2
standling.relaxed 1.2 50 3
office activities reading.seated 1.0 50 4
writing 1.0 50 5
typing 1.1 50 6
filling.seated 1.2 50 7
filling.stand 1.4 50 8
walking about 1.7 50 9
Total Data Number 500

Table 2.

Major Joints Location in the Human Body

Image example Coordination part
Right Ankle
Knee
Hip
Left Hip
Knee
Ankle
Right Wrist
Elbow
Shoulder
Left Shoulder
Elbow
Wrist
Neck
Head

Table 3.

Application of Data Augmentation

Rotate Scale

Table 4.

Parameters Condition of Pose Classifying Model

Parameter set
Parameter & Function Initialization Xavier Initialization
Activation Function ReLU
Cost Function Cross-entropy
Optimizer Adadelta Optimizer
Learning Rate 1.00e-2
Dropout 30%

Table 5.

MET Estimation Accuracy of Validation data set단위 (%)

HN 50 100 150 200 250
HL
1 92.00 100.00 100.00 100.00 100.00
2 100.00 100.00 100.00 100.00 100.00
3 88.00 100.00 100.00 100.00 100.00
4 84.00 92.00 100.00 96.00 99.59
5 48.00 88.00 76.00 92.00 92.25

Table 6.

MET Estimation Accuracy of Test data set 단위 (%)

HN 50 100 150 200 250
HL
1 78.73 85.73 83.24 88.01 85.08
2 78.85 80.20 83.51 82.91 83.56
3 78.74 84.36 84.55 82.36 85.90
4 74.13 81.36 81.87 82.78 86.29
5 55.74 60.36 69.61 75.19 84.75

Table 7.

Difference Average of Test data set

HN 50 100 150 200 250
HL
1 0.0471 0.0366 0.0431 0.0267 0.0358
2 0.0597 0.0523 0.0417 0.0467 0.0434
3 0.0521 0.0316 0.0313 0.0438 0.0354
4 0.0631 0.0451 0.0373 0.0377 0.0348
5 0.1028 0.0950 0.0642 0.0547 0.0388