KIEAE Journal

현대인들은 하루의 90% 이상을 실내에서 보내기 때문에 쾌적하고 친환경적 실내환경의 제공은 재실자 삶의 질(Life Quality, LQ)을 결정하는 중요한 역할을 한다. 온열환경, 실내공기질, 소음, 심리학적 요인 등 복합적인 요인을 포함하는 실내환경질 (Indoor Environmental Quality, IEQ)은 삶의 질과 밀접한 관계를 가지며, 특히 열환경의 질(Thermal Quality, TQ)는 IEQ 및 LQ를 결정짓는 주요 요소 중 하나로써, 적절한 TQ의 제공은 재실자의 쾌적성, 건강, 생산성 등을 향상시킨다. 또한, 적절한 TQ 제공을 위한 각종 열환경 시스템 제어는 건물 에너지의 성능, 환경영향, 경제성 등과 밀접한 관계가 있다.¹⁾

기존 열환경 제어의 경우 온·습도 기반 독립제어로 개별요소의 만족은 가능하나 통합적 열 환경에는 불만족이 발생할 가능성이 있으며 냉·난방시스템 등 제한적 시스템 요소 적용에 따른 쾌적성, 에너지효율성, 친환경성, 경제성개선에 한계가 있다.²⁾ 특히, 활동량 및 착의량 등의 미고려로 인하여 개인화된 최적 제어가 불가능한 문제점이 있다. 이러한 문제점 보완을 위해 1967년 P. O. Fanger가 개발한 열환경에 노출된 인체 온열감 및 불쾌적 정도를 예측할 수 있는 평가지표인 예상 평균 온열감(Predicted Mean Vote, PMV)의 도입이 고려되고 있다. 온·습도 이외에 기류속도, 평균복사온도, 활동량(Metabolic Rate, MET), 착의량(Clothing, CLO) 상태를 복합적으로 고려하며 쾌적범위를 –0.5~0.5로 규정하여 통합적 열환경 제어 및 개인화된 최적제어 가능성을 보여줌으로써 현재까지 국제적으로 다양한 연구 분야에서 사용되어져 오고 있다.³⁾

그러나 온·습도, 기류속도, 평균복사온도 등 물리적 측정 및 객관적 적용이 가능한 요소 이외에 활동량과 착의량은 비객관적 수치 혹은 임의의 값으로 가정하여 적용하므로 대상공간에 대한 평가지표로는 제한적으로 활용되고 있다. 이로 인해 실제 상황에 대한 객관적 쾌적 조건 조성이 불가능하며 PMV에 근거한 실내온열환경의 개선에 한계점이 제기되고 있다.

이러한 한계점 개선을 위하여 개인 맞춤형 활동량과 착의량을 산출 할 수 있는 객관적 방법론과 이를 반영한 모델 개발이 필요하다. 하지만, Table 1, 2와 같이 현재까지의 활동량 및 착의량 산출을 위한 시도는 매우 제한적으로 진행되었다.^4-24) 특히, 심박동, 거주자 위치 변경, 적외선 센서 및 피부온도 기반 활동량 산출 등이 그 예이며, 이들은 오류 발생률이 높고 복잡한 시스템을 필요로 함으로써 비전문가의 관여에 있어서 불편함과 번거로움을 일으킨다. 이로 인해 적용성이 확보되지 않아 실제 건물적용에 매우 제한적인 현실이다.

따라서, 지나친 기구의 설치를 요구하지 않는 단순 적용, 비전문적 재실자의 관여를 요구하지 않는 지능형 적용법으로 인공지능에 기반 한 Intelligent Agent System이 필요하다. 이를 위하여 인공신경망(Artificial Neural Network, ANN)기반의 기계학습 기술인 딥러닝(Deep Learning, DL)을 활용하여 정확하고 적용성이 높은 활동량 산출이 가능할 것으로 예상된다.

본 연구의 목적은 개인 맞춤형 활동량 산출 모델 개발을 위한 선행연구로써 DL기반의 최근 연구동향을 조사·분석하고 이를 바탕으로 궁극적으로 본 연구가 나아가야할 방향 및 방안을 마련하고자 하였다. 또한, 본 연구는 ANN 활용 활동량 산출 모델 개발을 통한 PMV제어에 대한 연구의 중요한 기초자료로 활용되는데 의의가 있다.

본 연구에서는 재실자의 활동량 산출을 위한 딥러닝을 활용에 대한 연구 및 적용 방안을 분석하기 위해 각종 문헌과 자료를 통해 이론 고찰이 실시되었다. 딥러닝에 대한 개념 및 구조를 분석하여 적용하고자 하는 기술의 기본 정보를 습득하고, 이의 활용성 및 적용성을 파악하기 위하여 대표적인 사례와 기법에 대해 심도 있게 분석을 실시하였으며 연구 동향에 대해 비교·분석을 통해 향후 관련연구의 기반을 마련하고자하는 결론이 도출되었다.

초기 신경망은 Warren McCulloch와 Walter Pitts에 의해 제안된 생물학 신경망에서 영감을 얻은 학습 알고리즘이다. 인간의 감각기관에서 뉴런을 통해 정보를 뇌로 전달하여 복잡한 연산을 처리하는 과정을 인공적으로 구현한 것이다. 인공신경망은 학습과정을 거쳐 문제를 해결한다는 가장 큰 특징을 가지고 있다. 특히, 비선형적인 현상들을 분석하는데 유용하게 작용한다. 인공신경망을 사용하면 각종 분류(classification) 및 군집화(clustering)가 가능하다.²⁵⁾

인공신경망은 학습방법과 구성에 따라 여러 모델이 존재한다. 일반적으로 사용되는 기본 인공신경망 알고리즘은 Fig. 1과 같은 구조를 지니는 다층인공신경망(multi-layer neural network)으로 입력층(input layer), 은닉층(hidden layer), 그리고 출력층(output-layer)으로 구성된다.²⁶⁾ 다층인공신경망은 마지막에 계산되는 출력값과 학습 목표값을 비교하여 차이에 따라 가중치를 조정해 학습에 적용한다. 입력층은 예측값 도출을 위한 입력변수의 값이 입력되고 입력변수의 개수는 노드의 수로 표현된다. 각 층의 노드는 다음 층의 모든 노드와 연결되며 각각의 연결에는 가중치라는 값이 부여된다. 은닉층은 입력층에서 입력받은 변수에 가중치를 계산하여 출력층으로 전달한다. 은닉층의 수, 노드의 수, 그리고 가중치는 초기에 랜덤으로 주어지고 학습을 통해 예측값과 가장 잘 맞는 출력값을 가지도록 조정된다. 이런 인공신경망의 학습은 입력데이터의 값을 연결해 모형의 예측값을 생성하는 과정(forward propagation)과 연결의 가중치를 조절하여 예측값과 실제값의 차이를 줄이는 학습과정(back propagation)으로 나누어진다. 즉 인공신경망은 훈련 데이터를 입력받아 학습과정을 통해 전체 모델을 훈련시킨 후 새로운 입력값에 대해 적절한 출력값을 추론하는 과정이다.

Fig. 1. 
Multi-layer Neural Network Diagram

인공신경망은 현재 패턴인식, 데이터마이닝, 자율주행자동차, 교육 서비스, 금융, 법무 등에 사용되며 국내에서는 주로 로봇을 활용한 제조업, 의로 및 바이오 기술, 제조업 등에 사용된다. 건축에서는 국내외로 디자인적 새로운 설계방법론 제시, 일사 예측, 냉난방 부하 에너지 예측, 설비제어, 초고층 건물의 구조 반응 예측 등 다양한 분야에서 인공신경망이 활용된다. 국내의 인공신경망 활용 연구는 건물의 환경 설비 분야에서 약 53.8%의 연구가 수행되고 있다.²⁷⁾

딥러닝(Deep Learning)은 인공신경망(Artificial Neural Network, ANN)의 일종인 기계학습 모델로 입력층과 출력층 사이의 은닉층이 하나 이상의 여러 층으로 구성되는 심층 신경망(Deep Neural Network, DNN)이다.(Fig 1)(Fig 2) 문제의 복잡성이 커져 노드와 계층의 수를 증가시킨 효과적인 학습 모델이 필요해졌고 심층 구조를 가진 딥러닝이 개발되었다. 초기 딥러닝은 학습 시간의 비효율성과 과적합 문제가 있었지만 2000년대 병렬 연산이 가능한 GPU (Graphics Processing Unit)와 과적합 방지 기법의 발달로 인해 해결되었다.

Fig. 2. 
Deep Neural Network Diagram

인공신경망과 달리 딥러닝은 데이터가 라벨링 되어있지 않아도 데이터의 유사성을 효과적으로 파악해 군집화에 좋은 성능을 발휘한다. 이 과정은 비지도학습(unsupervised learning)을 통해 사람의 개입 없이 이루어진다. 즉 사람이 생각한 특징을 훈련하는 것이 아니라 데이터 자체에서 중요한 특징을 기계 스스로 학습한다. 또한, 데이터를 군집화하고 스스로 필요 없는 데이터를 버리는 등 노이즈를 감소시키는 효과를 얻을 수 있다. 또한, 딥러닝은 회선 신경망 기술(Convolutional Neural Network)인 특징 추출(feature extraction) 단계를 거친다. 이미지 속의 특징적인 선이나 색 분포 등을 먼저 추출한 후 특징 지도(feature map)로 표현한다. 이러한 과정 역시 사람의 개입 없이도 스스로 특징 추출 및 학습이 가능하다. 즉, 물체의 형상을 직접 모델링 하지 않아도 CNN이 알아서 특징 추출과 분류 역할을 수행한다. 시간의 흐름에 따라 변하는 데이터인 시계열 데이터(Time-series data)를 처리하는 순환형 신경망(Recurrent Neural Network, RNN)도 지속적으로 발전하고 있다. RNN을 사용하면 은닉층의 결과가 다시 같은 은닉층의 입력으로 사용되어 과거의 데이터가 현재에 영향을 주게 된다.²⁸⁾ (Fig 3) 순환형 신경망의 가장 큰 특징은 시간에 따른 순서를 기억하는 것이며 현재 음성인식, 장면인식, 영상복원 등의 다양한 분야에서 사용되고 있다.²⁹⁾

Fig. 3. 
Recursive Connection of RNN Hidden Layer

건축 분야에서는 기존의 비효율적이고 예측하기 어려운 공정 및 체계화가 힘들다는 난제를 해결하기 위해 딥러닝을 도입하는 추세이다. 건설 정보 통합을 위해 필요한 방대한 양의 데이터 처리와 그러한 데이터의 정보를 판단하는 등의 작업에 딥러닝의 접목이 이루어지고 있다. 현장의 기계 운전의 자동화, 빌딩 에너지 관리, 방재, 구조 안전, 도시 계획 및 시설물 관리, 현장 모니터링 기술 및 지능화된 시공 로봇 등 이미 다양한 지능화된 건설의 사례가 존재한다.³⁰⁾

재실자 활동량 산출을 위한 행동인식을 위하여 필요한 선 작업에 해당하는 배경과 사물(사람)을 분리하는 대표적인 기술로 Background Subtraction 기술을 사용한다. 이 기술은 영상 또는 이미지에서 움직임이 적고 정적인 영역의 특징을 기반으로 배경에 대한 모델을 학습하여 배경과 사람(사물)을 분리한다.

실시간 컴퓨터 영상처리 프로그램 라이브러리인 OpenCV는 객체, 얼굴, 행동 인식, 독순, 모션 추적 등의 응용 프로그램에서 사용하고 있다. 1999년 Gray Bradsky에 의해 Intel에서 시작되었으며, 2000년 첫 번째 Release를 출시하였다. C++, Python, Java 등 다양한 프로그래밍 언어를 지원하며 Window, Linux, OS X, Android, ioS 등 다양한 플랫폼에서 사용 가능하다.

OpenCV에는 영상 및 이미지로부터 배경과 사람분리를 위한 3가지의 알고리즘을 포함하고 있다. 첫 번째, Background Subtractor MOG는 가우시안 믹스쳐 기반 배경, 전경 분할 알고리즘으로 가우시안 분포 믹스쳐를 배경 픽셀에 적용함으로써 배경제거를 수행한다. 두 번째, Background Subtractor MOG2는 Background Subtractor MOG과 유사하나 보다 상세분석이 가능한 알고리즘으로 조명 상태의 변화로 영상이 변하더라도 배경제거가 가능하다. 마지막으로 Background Subtractor GOG는 통계적 배경 이미지 제거와 픽셀 단위 베이지안 분할을 결합한 것으로 최초 프레임을 배경 모델링을 위해 사용하며, 배경이 아닌 전경이나 움직이는 객체를 추출하기 위해 베이지안 추론을 이용한다. 노이즈 제거를 위해 Opening 기법을 적용하는 것이 더 좋다고 알려져 있다. Opening 기법은 영상 내 객체 구조를 명확히 할 수 있도록 다른 영상과 비교하여 제거하는 방식의 알고리즘 이다.

빅데이터를 활용한 영상 기반 물체 인식 시도 중 대표적인 접근 방법으로 PASCAL (Pattern Analysis, Statistical Modelling and Computational Learning) VOC (Visual Object Classes)와 ILSVRC (Large Scale Visual Recognition Challenge)가 있다.

PASCAL VOC는 사물 인식의 초기에 시도되었던 기술로 2005년도를 시작으로 2012년에 종료된 사물 인식 모델 성능평가 경연을 개최하였다. 본 경연에서는 표준 이미지 데이터 세트를 제공하여 쉽게 접근 가능하도록 공용 Tool을 제공하고 5개의 업무 1)Classification, 2)Detection, 3)Segmentation, 4)Action Classification, 5)Person Layout 로 나누어져 있다.³¹⁾

Classification은 20개의 객체 클래스에서 적어도 하나의 객체의 유무를 예측하는 것으로 학습 데이터의 선택에 따라 두 가지 파트로 정의된다. ①VOC에서 제공하는 데이터를 사용하여 수행하며 ②참가자 임의의 모든 데이터를 사용하여 수행 가능하다.

Detection은 20개의 객체 클래스 각각에 대해 테스트 이미지의 Bounding box를 예측하는 것이다. Classification과 비슷한 방식으로 두 가지 파트로 정의되며 Detection이 Classification보다 더 많은 응용 프로그램을 적용하기 때문에 까다롭고 예측하기가 훨씬 어려운 작업이다.(Fig 4)

Fig. 4. 
Classification and Detection

Segmentation은 각 테스트 이미지에 대해 각 픽셀의 객체 클래스를 예측하거나 객체가 저장된 클래스 20개 중 하나에 속하지 않으면 배경 상태로 예측한다. Detection보다 더 많은 시간을 소요하는 어려운 작업이며 세밀한 이미지 분석이 필요한 경우에 적용된다. 여러 응용프로그램에 적용 시 객체의 윤곽이나 모양에 대한 상세한 지식이 필요한 작업이다.(Fig 5)

Fig. 5. 
Segmentation

Action Classification은 사람을 대상으로 테스트 이미지에서 지정된 사람이 해당 작업을 수행하는지를 예측하는 것이다. Action 클래스는 Jumping, Phoning, Playing instrument, Reading, Riding bike, Running, Taking photo, using computer, walking 으로 총 10개로 구분된다.(Fig 6)

Fig. 6. 
Action Classification

Person Layout은 각 사람에 대해 테스트 이미지의 Bounding box를 통해 머리, 손, 발 등의 부위 유무 혹은 이러한 부위의 Bounding box를 예측한다. 존재하는 부위의 정확한 예측률에 따라 성공여부가 결정된다.

PASCAL VOC 구조를 기반으로 개발된 ImageNet의 ILSVRC는 2010년도부터 현재까지 매년 개최되고 있는 이미지 및 영상의 객체 인식과 위치 파악·검출 알고리즘을 평가하는 경연이다. PASCAL VOC보다 월등히 많은 객체 클래스와 이미지를 확보하고 있으며 3개의 주요 업무 1)Image Classification, 2)Single-object localization, 3)Object detection으로 나누어져 있다. ³²⁾

Image Classification은 8가지 차원에서 각각의 이미지에 대해 속성 범위에 따라 객체 범주를 제공하고 이에 대해 다양한 사람들로 부터의 이미지 분류 작업이 이루지는 작업으로 PASCAL VOC보다 세분화 된 객체 분류가 가능하다.(Fig 7)

Fig. 7. 
Comparison of ILSVRS and PASCAL VOC

Single-object localization은 단일 개체의 분류와 위치를 파악하는 작업으로 분류해야할 개체 이름과 Bounding box가 표시된 예시 이미지가 제공되고 이를 예측 알고리즘을 통해 정확히 예측하면 성공하는 작업이다.(Fig 8) 마지막으로 Object Detection은 다중 객체 분류에 있어서 각각의 이미지에 객체의 존재여부를 파악하고 객체의 상관관계, 계층구조, 희소성을 활용하여 객체를 검출한다.

Fig. 8. 
Single-object localization

마지막으로 Object Detection은 다중 객체 분류에 있어서 각각의 이미지에 객체의 존재여부를 파악하고 객체의 상관관계, 계층구조, 희소성을 활용하여 객체를 검출한다. 각 업무의 최종 결과는 평균 객체 검출 정확도와 정밀도를 기준으로 평가하여 우승 팀을 선정하게 된다. 세계 각국의 기관, 학교 등에서 최상의 결과 도출을 위해 계속해서 도전 중이며 2010년도부터 2014년도까지의 결과를 바탕으로 분석한 결과 오류 감소율과 정확도 증가율 분석한 결과 각각 약3배, 약 2배로 나타났다.(Fig 9)

Fig. 9. 
Evaluation of ILSVRC task

재실자 행동산출을 위한 DL 기반의 선행기술 조사를 통해 기계학습 모델로는 CNN과 RNN이 이미지 속의 특징을 추출하고 분류하는 역할을 수행하며 현재 음성인식, 장면인식, 영상복원 등의 다양한 분야에 적용되며 건축분야에서도 빌딩 에너지 관리, 방재, 구조 안전, 도시 계획 및 시설물 관리, 현장 모니터링 기술에 활용되고 있다. 알고리즘 개발 기술로는 배경과 사물 및 사람을 분리하는 기술, 그리고 사물과 사람, 배경을 인식하는 PASCAL VOC와 ILSVRC 기술이 조사되었다. 이러한 객체 인식 기술들은 도입 초기 시점에 비하여 다양한 연구와 새로운 알고리즘 개발의 시도로 그 정확도와 정밀도가 점차 높아지고 있으며 그로 인해 적용 가능 분야도 특정 분야에 한정적이지 않고 날로 광범위 하게 늘어나는 추세이다.

본 선행기술 조사는 재실자 활동량 산출을 위한 기술 개발에 어떠한 DL 기술이 적합한지를 판단하는 실질적인 계기가 되었으며 특히, 사람 과 사물 그리고 배경을 각각 인지 할 수 있는 방법 및 가능여부를 파악할 수 있었다. 본 연구에서 개발하고자하는 기술과 유사한 배경 기술의 알고리즘 및 데이터를 활용하여 향후 본격적으로 개발될 재실자 활동량 산출 모델에 적합한 새로운 행동인식 기술에 적용 할 수 있는 중용한 기초자료로 활용될 것이라 사료된다.