KIEAE Journal

현대인들의 실내에서 거주하는 시간이 하루의 90% 이상으로 증가함에 따라 쾌적한 실내환경 유지의 필요성이 대두되고 있다. 실내환경 질(Indoor Environment Quality, IEQ)은 재실자의 건강과 삶의 질을 결정하는 중요한 요소이며 건물 환경 조건과 밀접하게 연관되어 있다. 건물 환경 조건 중 열환경(Thermal Qaulity, TQ)은 실내환경 질의 결정적 요소 중의 하나이며, 평균온열감(PMV, predicted mean vote)은 이러한 열환경 상태를 정량적으로 표현하기 위한 중요한 지표이다. PMV는 공기온도, 습도, 평균복사온도, 기류속도 등의 물리적 요소와 더불어 재실자의 착의량 및 활동량 등 개인적 요소의 상태에 따라 결정된다. 즉, 열환경의 질 향상을 위해서는 물리적 환경 요소 뿐 만 아니라 개인적 요소를 고려하여야 하며 재실자 기반의 맞춤 실내환경 제어가 이루어져야 한다.

열환경의 쾌적 제어를 위한 기존의 시스템은 온도나 습도 같은 환경 변수를 제어하는 전통적 방법과 평균온열감을 고려한 제어 방법이 있다. 온습도 기반 독립 제어의 경우 개별 요소는 쾌적 범위에 만족하나 열 환경의 개인적인 요소를 고려하지 않아 통합적 열 환경 제어 및 개인화된 최적화는 불가능하다. 따라서, 독립 제어의 한계를 보안하기 위해 인체 온열감 및 불쾌적 정도를 예측할 수 있는 평가 지표인 PMV가 도입되고 있다. PMV는 쾌적범위를 -0.5~0.5로 규정하며 온,습도 외에도 기류속도, 평균복사온도, 활동량(Metabolic Rate, MET), 착의량(Clothing, CLO)을 고려한다.

PMV에 기반한 통합적 실내 열환경 제어에 관한 연구가 꾸준히 진행되어오고 있다. PMV 영향 요소를 고려한 제어 알고리즘을 개발하는 연구가 진행되어 제어 요소 중 개인적 요소인 MET가 다른 환경적 요소보다 PMV 변화량 영향을 더 크게 미치는 것을 밝혔다. MET를 파악하기 위한 연구도 다수 진행되었으며 재실자의 MET를 예측하기 위해 IoT 센서 및 스마트 폰의 가속도계 센서를 활용하거나, 심박동기를 사용하여 거주자의 심박동수로 MET를 측정하였다.

기존의 연구를 통해 재실자의 개인적 요소 중 MET 측정에 대한 연구가 지속적으로 수행되고 있음을 확인하였다. 하지만, 이러한 기존의 MET 측정법은 측정기기 및 센서를 직접적으로 부착하는 방법을 사용하고 있다. 이러한 방법은 사용성과 편리성의 부재로 인하여 적용이 제한적인 단점이 있다. 따라서 재실자의 관여를 필요로 하지 않는 건물시스템 내재적(embedded) 방법을 통하여 재실자의 행동을 인식할 수 있는 수단이 개발될 필요가 있다.

이러한 필요성을 바탕으로 재실자 MET 측정에 있어서 기존의 제한적인 방법이 아닌 지능형 모델을 사용해 적용성이 좋은 새로운 재실자 MET 측정 방법을 제시하고자 한다. 따라서, 본 연구에서는 재실자의 행동을 인식하여 포즈를 분류하는 지능형 모델을 개발하는 것을 목표로 한다. Fig. 1.은 본 연구에서 개발되는 모델과 최종 PMV 제어를 위한 적용의 과정을 보여준다. 포즈분류모델은 실내에 설치된 영상카메라의 이미지를 사용하여 재실자의 활동을 분류한다. 제어 알고리즘에는 학습된 포즈분류 모델을 적용하여 재실자의 포즈를 실시간으로 수집한다. 이때, 일정 제어 기간 동안 수집된 포즈 중 대표 포즈의 MET값을 선정하여 PMV 제어에 사용한다. 이때 실시간 PMV 제어에는 온·습도, 평균복사온도, 기류속도와 같은 측정된 실내환경 데이터와 예측된 MET가 동시에 고려된다.

Fig. 1. 
Process of the PMV Control Algorithm

본 연구에서는 딥러닝(Deep Learning, DL) 알고리즘을 활용하여 재실자의 포즈를 분류하는 지능형 모델을 개발하는 것을 목표로 하며, 이는 추후 예측 제어 알고리즘의 기반을 형성한다.

인공신경망(Artificial Neural Network, ANN)은 머신러닝 기법의 일종으로 스스로 학습과정을 거쳐 문제를 해결한다는 특징을 지닌다. 사용 목적에 따라 데이터를 카테고리로 나누는 분류(Classification), 연속적인 값으로 추출하는 회귀(Regression) 및 유사한 데이터끼리 묶는 군집화(Clustering) 등으로 구분된다. 또한 데이터의 학습 시 정답의 유무에 따라 정답이 주어지는 지도학습(Supervised Learning), 정답 없이 스스로 데이터의 패턴을 학습하는 비지도학습(Unsupervised Learning) 및 강화학습(Reinforced Learning)으로 나뉜다. 인공신경망은 입력층, 은닉층, 출력층의 구조를 띈다.

딥러닝(Deep Learning, DL)은 이러한 인공신경망의 일종으로 기존의 비선형 문제 해결이 불가능했던 인공신경망의 한계를 개선한 알고리즘이다. 딥러닝은 패턴 인식 문제나 특징점 학습을 위해 은닉층이 깊어진 모델이며 심층 신경망(Deep Neural Network, DNN)이라고도 불린다. 딥러닝의 핵심은 데이터를 분류하는 것으로 다층 구조를 통해 데이터 분석의 정확도를 향상시킨다. 딥러닝 알고리즘에는 학습 전 모델의 구축과 함께 설정해줘야 하는 여러 파라미터가 존재한다. 딥러닝은 각 뉴런에 가해지는 가중치를 조절하며 학습이 진행되기 때문에 학습의 가중치와 관련된 파라미터로 초기화(Initialization), 학습률(Learning Rate), 활성화 함수(Activation Function)등을 정해줘야 한다. 그 외에도 딥러닝은 MSE(Mean Square Error), Cross-entropy, Gradient Descent 등의 오차함수(Cost Function) 및 최적화 함수(Optimizer Function)를 통해 학습이 이루어지며 회귀, 분류와 같이 예측 방법에 따라 적용하는 함수가 다양하다. 딥러닝 기술이 적용되는 신경망 구조는 다양하며 합성곱 신경망 (Convolutional Neural Network,CNN), 회귀 신경망 (Recurrent Neural Netwokr, RNN), Auto-Encoder 등이 존재한다.

딥러닝과 인공신경망 기술을 포함한 인공지능 기술은 다양한 산업 분야에 적용되고 있다. 대표적으로 IT와 자동차 산업에서 연구개발이 활발히 이루어지고 있으며 의료, 농업, 자동차, 로봇, 서비스 분야에 적용되고 있다. 그 중에서도 딥러닝은 최근 빅데이터와 GPGPU(General Purpose GPU)의 발전으로 그 성능이 획기적으로 향상되었으며 음성인식, 이미지 분류, 텍스트 분석과 같은 패턴 인식 분야에서 큰 성과를 내고 있다. 뿐 만 아니라 딥러닝 기술 중 CNN 알고리즘은 대량의 데이터를 다루며 영상이나 음성 인식 분야에 적용되고 있고, RNN 알고리즘은 자연어처리, 번역 등의 분야에 적용되고 있다.

딥러닝은 건설 분야에서도 적용되고 있는 추세로 현장의 기계 운전 자동화, 빌딩 에너지 관리, 지능화된 시공 로봇 등 지능화된 건설의 사례가 존재하고 있다. 건설 분야 중 건물 환경 분야의 경우 건물의 공조, 열환경, 냉난방 에너지 저감 등에 딥러닝 기술이 접목되고 있다. 진행된 선행 연구로 냉난방 부하 예측 시 RNN 알고리즘을 접목시켜 난방 수요를 예측하거나(Aowabin et al, 2018) Deep Belief Network와 Ensemble 등의 딥러닝 기술로 건물 냉난방 부하 예측 접근법을 제시하여 에너지 시스템 성능향상의 가능성을 보이는 연구가 진행되었다. (Javier et al, 2017) 또한, 냉방 및 난방 에너지 소비 및 비용을 예측하기 위한 인공신경망 모델이 개발되었으며, (Chung et al, 2017, Park et al, 2018) 건물의 냉방 시스템과 이중외피의 개폐 조절을 위한 인공신경망 예측 모델을 개발하여 안정적인 실내온도환경 조성의 가능성을 파악하는 연구가 진행되었다. (Park et al, 2018) 이 외에도 건물의 난방, 환기 및 공조 시스템의 전력 소비 모델링에 있어서 딥러닝 기반의 모델링 기법이 다른 기술보다 우월하다는 것을 입증한 연구와 (Guoyin Fu, 2018) 에너지 측면에서 HVAC 시스템의 에너지 비용 절감을 위해 지능형 스케줄링에 Deep Reinforcement Learning (DRL) 기술을 적용한 연구도 진행되었다.(Tianshu et al, 2017)

포즈분류 모델은 재실자의 활동을 분류하기 위한 모델로 실내 활동 포즈를 학습한다. 포즈분류 모델 개발은 Fig. 2.와 같은 절차로 진행하였으며, 재실자 포즈분류를 위하여 실내 활동 이미지 데이터와 인체 주요 관절 좌표를 구축한 뒤, 구축한 이미지에 해당하는 정답 포즈를 학습하고 분류된 포즈의 정확도를 평가하는 과정으로 진행하였다.

Fig. 2. 
Process of Pose Classifying Model Development

학습 데이터 수집 전 재실자의 실내 활동 선정은 다양한 활동에 대한 MET 값을 명시해둔 ASHRAE 55의 표 5.2. Metabolic Rates for Typical Tasks를 기준으로 정하였다. 표 5.2에 제시된 activity 중 ‘office activities’와 ‘resting’에 속하는 일반적인 실내 활동 포즈를 총 10가지로 선정하였다. 정해진 10가지 포즈에 대한 이미지 데이터 수집을 진행하였고 Table 1.과 같이 각 포즈 당 50개씩 총 500개의 데이터를 수집하였다. 각 포즈에 0번부터 9번까지 Label 번호를 부여하여 포즈 분류 학습 시에 정답으로 주어졌다.

학습 데이터의 구축은 여러 주제의 딥러닝 알고리즘이 개발되는 과정에서 다양하게 생성되어 제공되고 있다. 대표적으로 손 글씨 데이터인 MNIST 외에도 음악, 문자, 언어, 이미지 데이터 등 각 분야별로 데이터가 구축되어 있으며 딥러닝을 활용한 모델 개발에 사용 가능하다. 본 연구에서는 포즈산출 모델의 학습 데이터로 이미지 데이터 중 실내 활동과 관련이 있는 LSP(Leed Sport Pose), FLIC(Frames Falbeled In Cinema), Video Pose 등에서 일부 데이터를 수집하였다. LSP는 운동을 하고 있는 사람 이미지, FLIC는 미국 할리우드 영화 장면, Video Pose는 2~3초의 짧은 클립영상 44를 모아둔 데이터로 사람의 활동과 관련이 있다. 그 외에 부족한 데이터는 인터넷 상의 이미지를 수집하거나 직접 촬영을 통해 총 500장의 기본 데이터를 구축하였다(Fig. 3.). 구축된 데이터는 사람의 인체일부가 잘리지 않아 취하고 있는 행동을 파악할 수 있는 이미지로 설정하였다. 또한 같은 실내 활동이더라도 여러 각도와 다양한 포즈를 수집하여 학습 데이터에만 정확도가 높은 모델이 아니라 실제 데이터를 충분히 반영하고자 하였다.

Fig. 3. 
Examples of Collected Image data

재실자 포즈분류 모델 개발은 이미지에서 사람의 주요 관절 좌표를 인식하는 선행 인공신경망 모델과 함께 진행되었다. 선행 모델은 이미지를 학습하여 인체의 주요 관절의 위치를 출력한 뒤 포즈분류 모델의 입력 값으로 전달한다. 즉, 재실자 포즈분류 모델은 인체 관절 좌표를 입력 받아 학습된 모델을 거쳐 포즈를 출력하게 된다.

포즈분류 모델의 학습을 위해 이미지 데이터의 전처리 과정을 진행하였다. Table 2.와 같이 수집한 이미지에서 인체의 오른쪽 발목, 무릎, 골반, 왼쪽 골반, 무릎, 발목, 오른쪽 손목, 팔꿈치, 어깨, 왼쪽 어깨, 팔꿈치, 손목, 목, 이마 순으로 총 14개 관절 좌표 값을 구축하였다. 이렇게 구축된 좌표 데이터를 개발 모델의 입력 데이터로 사용하여 학습을 진행하였다.

Image example	Coordination part
	Right	Ankle
		Knee
		Hip
	Left	Hip
		Knee
		Ankle
	Right	Wrist
		Elbow
		Shoulder
	Left	Shoulder
		Elbow
		Wrist
	Neck
	Head

구축된 500개의 데이터를 총 10가지의 포즈로 분류시키도록 학습하기에는 데이터의 수가 다소 부족하며, 학습 데이터에만 최적화되는 Over-fitting이 발생할 수 있기 때문에 데이터의 Augmentation을 통해 데이터의 수를 증가시키는 전처리를 진행하였다. 데이터 Augmentation은 이미지 분류 등의 머신러닝 모델에서 학습 데이터를 증가시키는 방법으로 폭넓게 사용되고 있으며 모델에 적용하는 기법도 다양하다. 본 연구에서는 Table 3.의 총 2가지의 Augmentation 방법을 사용하였다. 첫 번째는 이미지를 -15°에서 15° 사이로 회전시키는 방법이며 두 번째는 이미지 속 사람의 스케일을 변경하여 좌표 데이터 값을 증가시키는 방법이다. Augmentation을 통해 학습에 적용된 데이터는 총 33,000장으로 기존 수집한 데이터의 66배이며 학습 시에 10%는 Test 데이터로 학습에는 사용하지 않고 결과 성능 확인을 위해 사용하였다.

Rotate	Scale

포즈분류 모델은 심층 신경망인 딥러닝 알고리즘을 사용하였다. 딥러닝 알고리즘의 구조는 2장에서 설명하였듯이 입력층, 은닉층, 출력층이 존재하며 은닉층은 두 개 이상으로 깊어진 구조를 가진다. 개발된 모델의 입력층은 총 28개의 입력 뉴런으로 구성되며 구축된 인체 관절 좌표 (x,y) 14쌍이 순서대로 입력된다. 은닉층과 은닉뉴런은 최적 모델을 개발하기 위해 학습 시에 각각의 개수를 변경하면서 모델의 성능을 평가한다. 최종적으로 출력층에는 입력된 좌표 데이터에 대한 포즈 Label 1개가 출력된다(Fig. 4.).

Fig. 4. 
Basic Structure of Developed Model

모델의 기본 파라미터 설정은 Table 4.와 같다. 해당 모델은 초기화 함수로 Xavier Initialization 함수를 적용하였으며 이 함수는 입력값과 출력값 사이의 난수를 선택해서 입력값의 제곱근으로 나눠 초기화 값으로 사용한다. 활성화 함수로는 비선형의 ReLU 함수를 각 층에 적용하였다. 모델의 Cost 함수는 (식1)과 같은 Cross-entropy H(P,Q) 함수의 평균을 사용하였다. Cross-entropy 함수는 예측 값이 정답 값과 가까울수록 0에 가까운 값을 내보내고 정답 값과 차이가 클수록 값을 ∞로 보내는 함수이다.

(P(x): 정답 데이터의 분포, Q(x): 모델이 예측한 결과 분포)

Cost 함수의 값을 최적화시키기 위한 방법으로 Adadelta Optimizer 알고리즘을 사용하였다. Adadelta 알고리즘은 초기 학습률을 정한 뒤 학습 과정에서 학습률을 자동으로 조절해주며 Cost를 줄이는 방향으로 가중치를 최적화한다. 학습률은 1.00e^-2로 초기 설정하였다. 딥러닝과 같이 은닉층의 레이어가 많아지면서 학습 데이터에 대해 지나치게 Over-fitting 되는 것을 방지하기 위해 각 층의 노드의 일부 연결을 랜덤하게 끊어주는 Dropout을 30%로 적용하였다.

성능 평가는 앞서 설정한 포즈분류 모델의 기본 값을 고정한 뒤 모델의 은닉층 레이어(Hidden Layer, HL)와 각 층의 뉴런(Hidden Neuron, HN)의 수를 정하여 모델의 구조를 변경하며 모델의 정확도를 평가하였다. HL 수는 1부터 5까지 1개의 레이어 씩 늘렸으며, HN 수는 50개 씩 증가시켜 50, 100, 150, 200, 250으로 구성하였다. 즉, 총 25개의 모델에 대하여 학습을 진행하였다.

성능 평가를 위해서 학습 데이터의 resampling 방법이자 통계적 모델 평가 기법으로 널리 사용되는 Cross Validation(CV)을 적용하였다. CV 방법 중 Fig. 5.와 같이 학습 데이터를 K개의 Subset (Training data set, Validation data set)으로 구성하는 k-fold Cross Validation (KFCV) 기법을 사용하였다. 즉, 데이터는 크게 Training data set, Validation data set, Test data set로 나뉜다. 이때 Training data set의 학습 시에 Validation data set은 사용되지 않고 학습 모델의 검증에 만 사용하며, Test data set은 모든 학습이 마친 뒤 모델의 성능을 평가하는 용도로만 사용한다. 같은 모델에 대해 Validation data set을 변경하며 k번의 검증을 반복 하고 각 결과의 평균값을 사용함으로써 모델 성능에 대한 안정성 및 정확성을 확인할 수 있고 모델의 신뢰성을 높일 수 있다. 개발된 모델은 k=5로 설정하여 총 학습 데이터의 20% 씩 분리하였으며, 각 모델 당 5번의 검증을 진행하였다. 모델의 성능은 5-fold 학습에 사용되지 않는 Test data set에 대한 결과로 평가하였다.

Fig. 5. 
K-fold Cross Validation

개발된 포즈분류 모델은 분류된 포즈를 결과로 내보내며 각 포즈는 해당하는 MET 값을 가진다. 포즈분류 모델의 성능은 각 모델의 결과로 도출된 MET 값의 정확도(Accuracy) 및 평균차이값(Difference Average)으로 평가하였다. 정확도는 정답 MET와 모델의 결과로 나온 MET가 일치한 비율을 나타내며, 평균차이값은 정답 MET와 모델의 결과로 나온 MET 값의 차이에 대한 평균값이다. 평균차이값이 적을수록 정답 MET에 가까운 결과를 도출한 것으로 모델의 오차가 어느 정도인지 파악할 수 있다.

HL와 HN의 수가 변경된 총 25개의 각 모델을 5만 번 학습한 후 성능 평가를 진행하였다. 제시된 Table 5.와 Table 6.은 Validation data set와 Test data set 각각의 MET 산출 정확도를 측정한 값이다. Table 7.은 Validation data set에 대해 5번 씩 CV를 수행한 모델에 Test data set을 적용하여 결과 MET에 대한 평균 정확도를 나타냈으며, 이를 통해 모델 학습이 잘 이루어졌는지 확인 할 수 있다. Validation data set에 대한 정확도가 높을수록 학습이 잘 되었다는 것을 뜻하며 25개의 모델 중 20개가 90% 이상의 정확도를 나타냈다.

하지만, 학습이 잘 되더라도 Test data set에 대한 성능은 차이가 있었다. 실제로 Table 6.은　MET 값에 대한 정확도를 나타내며 55.74%부터 88.01%의 범위를 보인다. 정확도가 가장 높은 모델의 구조는 HL 1, HN 200인 경우로 Test data의 88.01%에 대하여 MET 값을 정확하게 예측 하였다. Table 7.은 정답 MET와 모델의 결과 MET값의 평균차이값을 나타낸다. 정확도 값과 같이 모델 구조가 HL 1, HN 200 일 때 평균차이값은 0.0267로 가장 차이가 적게 나며 정답 MET와의 오차가 가장 적었다.

즉, 제시된 모델 25개 중 MET 정확도 및 평균차이값이 가장 높은 모델의 구조는 HL 1개, HN 200개로써 MET 예측 정확도 88.01%, 평균차이값 0.0267을 가진다. 성능 평가를 통해 은닉층이 깊지 않은 보다 단순한 모델을 통해 더 높은 성능을 도출할 수 있음으로 결론지을 수 있다.