건물 열쾌적 제어를 위한 다중 재실자 대상 활동량 산출모델 성능평가

1.1. 연구 배경

쾌적한 실내 환경에 대한 중요성이 대두되며 실내 쾌적 제어에 대한 관심이 증가하고 있다[1-3]. 실내 환경의 질에 영향을 미치는 요소 중 열환경은 재실자의 건강, 업무 생산성 등의 삶의 질에 직접적인 영향을 미치기 때문에 쾌적한 실내 열환경을 제공하는 것은 건물 제어에 있어서 주요 목표로 인식되고 있다[4-7].

재실자가 느끼는 온열감은 4가지 환경변수(실내온도, 상대습도, 평균복사온도, 기류속도)와 2가지 개인변수(착의량, 활동량)를 통해 산출되는 PMV (predicted mean vote) 지표를 통해 정량적으로 표현된다[8]. PMV를 제어 변수로 활용한 쾌적 기반 제어는 물리적 변수 뿐만 아니라 재실자의 개인변수까지 고려하기 때문에 재실자에게 맞춤형 실내환경을 제공할 수 있다는 점에서 기존 온·습도 기반 제어와 차이를 보인다.

PMV를 실내 열환경 제어 변수로 활용하였을 때. 재실자의 열쾌적성이 향상되는 것을 확인한 연구는 다수 수행되었다. Jang and Suh (2013)은 시뮬레이션을 통해 사무소 용도의 건물에서 온도기반 제어에 비해 PMV 기반 제어가 쾌적범위 내에 분포되는 비율이 높게 나타남을 확인하였다[9]. 또한, Park et al.(2021)은 쿠웨이트 기후에서 MRT 추정 모델을 활용한 PMV 기반 제어 시뮬레이션을 통해 PMV 기반 제어가 기존 온습도 제어방법에 비해 쾌적 범위에 더 가깝게 제어되고 에너지 소비량을 10% 이상 절감할 수 있음을 확인하였다[10]. Choi et al.(2022b)는 실내 이미지로부터 재실자의 착의량을 추정하는 모델을 활용하여 Test-bed 내에서 PMV 기반 제어 실험을 수행하였으며, 실시간 착의량을 적용한 PMV 제어가 기존 온습도 제어 및 고정 착의량을 적용한 PMV 제어 방법에 비해 재실자의 열쾌적성 향상에 우수한 성능을 보임을 확인하였다[11].

하지만 이러한 연구는 PMV 산출 시 실시간으로 변화하는 개인변수인 MET를 고정 값으로 사용하였다. 실제 건물 제어 시 MET를 고정 값으로 사용하게 되면 재실자가 실제로 취하고 있는 행동에 따른 MET 값과 차이를 보일 수 있다. 결과적으로 고정 MET값을 사용한 건물 제어는 재실자가 실제로 느끼는 쾌적감과 차이를 보일 수 있으므로 정확한 PMV 산출 기반의 쾌적 제어를 위해서 실시간으로 변화하는 MET의 측정이 정확하게 이루어질 필요가 있다.

PMV를 산출할 때 고려되는 개인변수 중 활동량(metabolic rate, MET)은 사람이 수행하고 있는 활동에 따라 변화하는 인체의 열발생량의 단위를 말하며, 인체가 안정 상태일 때의 대사량인 1.0 met는 50kcal/m2h이다[12]. 기존의 MET 산출은 재실자가 산소마스크를 착용하여 사람이 소비하는 산소량 혹은 배출되는 이산화탄소량 측정을 통해 산출하거나[13-15], 신체에 스마트 워치와 같은 웨어러블 센서를 부착해 심박수 또는 혈압 수치를 측정하여 산출하였다[16-20]. 그러나 이러한 방법은 산소마스크와 같은 고가의 장비가 요구되거나, 재실자에게 직접적인 간섭을 유발하므로 실제 건물 환경에서 다수의 재실자에게 적용하기에는 한계점이 존재한다.

이러한 기존 MET 측정의 한계를 극복하기 위해 재실자의 간섭을 최소화하면서 간접적이지만 객관적으로 MET를 산출하기 위한 노력이 진행되었다. 먼저, 인공지능 모델을 활용하여 이미지, 영상과 같은 vision sensor를 통해 실시간으로 재실자의 활동을 분류하고 MET를 산출하기 위한 연구로 Liu et al.(2022a, 2022b)는 thermal camera를 사용하여 취득된 이미지 데이터를 입력하여 2가지 의복의 종류와 2가지 활동을 인식할 수 있는 CNN기반 모델을 개발하였다[2][21]. 이를 통해 추정된 인체의 피부 온도는 평가된 열 감각과 동적으로 변화하는 것을 확인하였다. Na et al.(2020)는 심박수 측정 센서와 Kinect 카메라를 활용하여 재실자의 MET를 추정하였으며, 이미지 및 MET 데이터 딥러닝을 통해 MET 산출모델을 개발하였다[22].

또한, RGB 카메라 센서를 통해 수집된 이미지를 사용해 재실자의 관절 key point를 인식하고 포즈 및 해당 MET를 산출하는 딥러닝 기반 이미지처리 모델도 개발되었다. Park et al.(2020)은 신체 관절 인식 모델로부터 재실자의 대표 활동을 결정하기 위한 포즈 분류 모델을 개발하였으며, 재실자의 활동 빈도에 따른 활동 결정 알고리즘의 정확도를 분석하였다[23]. Choi et al.(2021)는 RGB 이미지로부터 14개의 신체 관절 위치를 추정할 수 있는 DNN 모델을 개발하여 10개의 일반적인 실내활동에 대해 관절 추정 정확도를 평가하였다[24]. Choi et al.(2022)는 딥러닝과 컴퓨터 비전을 결합한 딥비전을 통해 MET 및 CLO를 동시에 추정할 수 있는 모델을 개발하였으며, 이를 활용한 쾌적 기반 제어 실험을 수행하였다[25]. 재실자의 활동을 앉아있기, 서있기로 구분하여 제어 실험을 수행한 결과 재실자의 열 쾌적성을 효과적으로 개선할 수 있음을 보여주었다. 이러한 방법은 적외선 카메라에서 주로 발생하는 피사체와 센서의 거리에 따른 오차 발생 확률이 낮으며, 건물에 설치된 기존의 카메라 센서를 활용할 수 있기 때문에 적용성 측면에서도 장점을 가진다.

이와 같이 이미지를 활용한 방법을 통해 재실자의 직접적인 개입 없이도 객관적으로 MET 값을 산출할 수 있음을 확인하였다. 기존에 개발된 모델은 주로 1인 재실자를 대상으로 모델의 개발 및 성능평가를 수행하였으며, 다중 재실자의 MET 산출 연구는 부족한 실정이다. 대부분의 실제 건물 환경에서는 불특정 다수의 재실자가 거주하기 때문에 PMV 제어를 실제 건물 환경에 적용하기 위해서는 1인 재실환경 뿐만 아니라 다중 재실환경에서 개개인의 활동 인식에 따른 정확한 MET값 산출이 필수적이다.

따라서 본 연구의 목적은 실시간 MET 산출모델을 통해 단일 재실 환경뿐만 아니라 다중 재실환경에 대한 재실자의 활동량 산출 성능을 평가하여 개발된 산출모델의 실제 적용 가능성을 통합적으로 분석하는 것이다. 이를 위해 실시간 MET 산출모델의 학습 후, Test-bed 내에서 1인 및 3인 재실 환경에 대한 활동량 산출 실험을 수행하였다. 실험을 통해 모델의 실시간 활동 분류 정확도와 최빈값을 적용한 대표 MET 산출 정확도를 확인하여 재실 환경에 따른 모델의 적용성 평가를 진행하였다.

2.1. MET 산출모델 개발

본 연구에서는 실내 이미지로부터 실시간으로 재실자의 활동을 감지하여 MET를 산출하는 이미지 처리 모델을 개발하였다. MET 산출모델은 Fig. 1.과 같이 관절 인식 단계와 MET 산출 단계를 통해 사람의 활동량을 산출한다. 관절 인식 단계는 Human Pose Estimation 모델 중 하나인 Open Pose를 기반으로 이미지 내에서 감지된 사람의 관절좌표를 추출한다[26]. 그 뒤 MET 산출 단계에서 추출된 관절좌표로부터 사람의 활동을 분류하고 이에 해당하는 MET 값을 최종적으로 산출한다.

Fig. 1.

MET estimation model process

모델의 학습을 위해 구축한 데이터 세트는 Fig. 2.와 같이 ASHRAE Standard 55(2020)에서 제공하는 MET 값을 기준으로 Sleeping (0.7 met), Sitting (1.0 met), Standing (1.2 met), Walking (1.7 met), Exercise (3.5 met) 5가지 활동을 선정하였다. 활동 이미지는 인터넷 웹사이트[27]에서 제공하는 이미지 데이터 세트와 자체적으로 취득한 이미지 데이터 세트로 구축하였다. 전체 데이터 세트는 활동을 명확하게 구분할 수 있는 1인 이미지 데이터로 구성하였으며, 전체 학습 데이터는 10,100개 중 70%는 학습(train), 30%는 평가(test)에 사용되었다.

Fig. 2.

Training dataset of indoor activity

5가지 활동 데이터세트에 대해 모델의 학습 결과는 각 클래스별 예측 값과 실제 값을 비교하고 모델의 성능을 시각화하여 나타낼 수 있는 Confusion Matrix를 통해 분석하였다. Confusion Matrix는 각 활동의 전체 분류결과(Estimated)에 대한 정답(Actual) 비율로 나타냈으며, 우상향 대각선에 표시된 수치들이 1.0에 근사할수록 모델의 정밀도(Precision)가 높다는 것을 의미한다. 또한 학습 및 평가에 사용된 데이터는 활동별 데이터 수가 달라 조화평균값(F1 score)을 계산하여 다중 클래스를 분류하는 모델의 전체적인 성능을 확인하였다.

5가지 활동별 성능평가 결과는 Fig. 3.과 같다. 해당 모델은 전체 test 데이터 세트에 대해 평균 0.95의 F1 score를 나타냈다. 5가지 활동 중, Exercise에서 가장 높은 0.99의 성능을 보였으며, Sleeping, Sitting에서도 각각 0.98, 0,97로 높은 값을 나타냈다. Walking의 정밀도는 비교적 낮은 0.88 정도로 나타났으며, 이는 Walking 데이터를 Standing으로 예측한 것이 주된 오류로 확인되었다. 이를 통해 Walking과 Standing이 단일 이미지 상에서 서로 유사한 활동으로 인식되어 분류 시 서로 간 오차 발생 가능성이 있음을 확인하였다.

Fig. 3.

Model training result

2.2. 모델 성능평가 실험

개발된 MET 산출모델의 실제 건물 제어 활용 가능성을 확인하기 위해 개인 및 다중 인원 재실 상황에서의 활동 분류 성능과 대표 MET 산출 성능을 평가하였다. 1인과 3인으로 재실 인원을 나누어 실내환경을 모사한 Test-bed 내에서 실험을 진행하였으며, 재실자 수를 고려하여 면적이 다른 두 Test-bed에서 데이터를 취득하였다. 본 실험은 사전에 적합성 검증을 위하여 기관생명윤리위원회(Institutional Review Board, IRB)의 승인을 받은 연구로서, 실험 전 피험자의 동의를 구한 뒤 수행하였다(승인번호: 1041078-202203-HR-071). 실험환경에서는 Office 내에서 주로 발생하는 Sitting, Standing, Walking의 3가지 활동에 대해서 성능평가를 진행하였다. 또한, 재실자의 관절 노출 비율에 따른 모델 성능을 고려하기 위해 피험자는 실험 중 반팔셔츠와 반바지 조합 및 재킷, 긴팔셔츠, 긴 바지 조합을 각각 착용하였다.

1인 실험의 경우, 20대 남성 1명과 여성 1명을 대상으로 수행하였으며, 각 피험자는 Test-bed 내에서 3가지 활동을 5분마다 변경하여 총 15분 동안 실험을 진행하였다. 활동을 수행하는 동안 Test-bed 내에 설치된 카메라 센서를 통해 1초 단위로 이미지를 수집하였다. 남녀 피험자로부터 한 활동 당 600개의 이미지가 수집되었으며, 두 피험자를 통해 총 3,600개의 1인 이미지데이터를 수집하였다.

3인 실험의 경우, 20대 남성 2명, 여성 1명을 대상으로 총 3가지의 실험 Case를 구성하였다. 각 Case 별로 Table 1.과 같이 5분마다 활동을 바꿔 총 15분씩 실험을 진행하였다. 활동을 수행하는 동안 Test-bed 내에 설치된 카메라 센서를 통해 1초 단위로 이미지를 수집하였다. Case 당 의복을 변경하며 두 번씩 반복 실험을 진행하였으며, 총 5,400개의 3인 이미지데이터를 수집하였다.

Table 1.

Experiment cases for multiple occupants (Three people)

1인 및 3인 실험을 통해 취득된 이미지데이터에 대해 학습된 MET 산출모델의 성능은 다음 두 가지 결과를 토대로 평가되었다. 1) 실시간 활동 분류 정확도, 2) 대표 MET 산출 정확도. 실시간 활동 분류 성능은 1초 간격으로 취득된 모든 관절좌표 데이터에 대한 활동 분류 정확도로 평가하였다. 활동 분류 성능으로 모델의 초 단위 성능은 확인할 수 있으나, 모델을 실제 건물 제어에 활용하기 위해서는 제어 기간의 대표 MET에 대한 정확도 분석이 필요하다. 따라서, 모델의 MET 산출성능을 확인하기 위해 일정 기간의 대표 MET 정확도를 분석하였으며, 대표 MET는 1분 및 5분 동안의 최빈값으로 평가하였다. 이를 통해 실제 건물 제어 환경에서 개발된 모델의 MET 산출 정확성 및 적용성을 확인하고자 하였다.

3.1. 단일 재실자 대상 정확도 분석

먼저 단일 재실자를 대상으로 수행된 실험의 실시간 활동 분류 성능 및 MET 산출 성능을 분석하였다. 단일 재실자 대상 실시간 활동 분류 성능은 평균 분류 정확도를 통해 평가하였으며, 결과는 Table 2.와 같다. Sitting의 경우 전체 실험시간 5분에 대하여 96.0%의 평균 정확도를 나타냈으며 실험을 진행하는 동안 모든 시간대에서 90% 이상의 높은 산출 정확도를 보였다. Standing의 경우 5분 동안의 평균 분류 정확도는 57.8%를 보였으며, 일부 시간대에서 Walking으로 분류하는 오류가 발생하였다. Walking의 경우 평균 분류 정확도는 64.4%를 보였으며, 일부 시간대에서 Sitting으로 분류하는 오류가 발생하는 것을 확인하였다.

Table 2.

Classification accuracy of single occupant experiment

단일 재실자 대상 모델의 실시간 분류 성능평가 결과, Sitting에서는 남녀 피험자 모두 높은 정확도를 보였으나, Standing, Walking에서는 비교적 낮은 정확도를 보였다. 주로 발생한 오차는 Fig. 4.와 같다. Fig. 4.의 Error 1을 보면 Standing에서는 Walking으로 활동을 분류하는 오류가 주로 발생하였는데, 이는 단일 이미지 상에서 피험자가 방향을 틀거나 순간적으로 움직일 때 두 활동이 서로 유사한 순간이 있어 분류 시에 오류가 발생한 것으로 확인되었다. 또한, Error 2의 경우 피험자의 걷는 자세 중 다리가 겹칠 때 Standing으로 분류되거나, 걷는 자세 중 다리 관절이 접힐 때 순간적으로 Sitting으로 분류된 것이 주된 오류의 원인으로 확인되었다. 특히, 신체 관절이 잘 드러나는 짧은 옷을 착용한 피험자의 경우, 그렇지 않은 피험자에 비해 분류 정확도가 10% 높게 나타났다.

Fig. 4.

Examples of major errors for activity classification

MET 산출 시 단일 이미지만으로 성능을 확인할 경우 순간적으로 발생하는 오차를 모두 반영하게 되므로 연속된 활동 정보를 반영할 필요가 있다. 실제 건물 제어에는 실시간으로 취득된 모든 활동량 값을 그대로 반영할 수 없으며, 일정 기간을 대표할 수 있는 값을 사용해야 한다. 이에 따라, 순간 발생 오차를 감소시키고 제어에 사용할 MET 대푯값을 결정하기 위해 1분 및 5분 동안의 최빈값을 적용한 MET 산출 정확도를 평가하였다.

1분 및 5분 동안의 MET 최빈값을 적용한 결과, 3가지 활동 모두 모든 시간대에서 100%의 정확도를 보였으며, 5분 최빈값 역시 모든 활동을 정답으로 분류하여 100%의 분류 정확도를 나타냈다. 이를 통해 일정 기간의 최빈값으로 MET를 산출하였을 때 실시간 분류 시 발생하는 오차를 최소화할 수 있으며, MET 산출 정확도가 향상됨을 알 수 있다. 단일 재실자의 활동 분류 성능 평가 결과를 반영하여 다중 재실자의 활동 분류 성능 평가 시 1분 및 5분 최빈값을 활용하여 실제 건물 적용성 평가를 진행하였다.

3.2. 다중 재실자 대상 정확도 분석

다중 재실자의 경우 Table 1.의 Case 별 1분 및 5분 단위의 최빈값을 토대로 대표 MET 산출 정확도를 확인하였다(Fig. 5). Fig. 3.은 순서대로 Case 1 (Fig. 5(a)), Case 2 (Fig. 5(b)), Case 3 (Fig. 5(c))의 1분 단위의 대표 MET 산출 결과를 나타냈으며, Fig. 6.에서 MET를 정확하게 산출한 이미지를 확인할 수 있다. 모든 Case 실험 결과 1분 대표 MET 산출 정확도는 1.0 met 93.3%, 1.2 met 93.3%, 1.7 met 80%로 나타났다. 또한, 5분 대표 MET 산출 정확도는 모든 활동량에서 100%로 정확하게 산출 가능함을 확인하였다.

Fig. 5.

Representative MET result for multiple occupants

Fig. 6.

Correct example

세부적으로 살펴보면, Case 1의 경우 모든 피험자의 1분 및 5분 대표 MET 산출이 100%의 정확도를 보였다. Case 2는 Fig. 3.(b).와 같이 1분 최빈값으로 대표 MET를 산출할 경우 subject 1, 2는 100%의 최빈값 정확도를 보였으나, subject 3은 2분대 1.7 met일 때 1.2 met로, 14분대 1.2 met를 1.0 met로 산출되는 오차가 발생하였다. 하지만 5분 기준 모든 피험자의 MET를 정확하게 산출하는 결과를 보였다. Case 3의 subject 1의 경우, 모든 시간대에서 100%의 MET 산출 정확도를 보였으나, subject 2의 경우 11분 대에서 1.0 met를 1.2 met로 산출한 오류가 발생하였다. Subject 3의 경우 2분대와 3분대에서 1.7 met를 1.2 met로 산출하였다. 하지만 Case 1, 2와 마찬가지로 5분 기준의 대표 MET를 산출할 경우 모든 피험자의 MET를 정확하게 산출하였다.

주된 오류는 Fig. 7.과 같으며 1.0 met의 경우, 이미지 상에서 피험자가 정면을 바라보고 앉아 있을 때 무릎 관절 point 인식에 오류가 발생한 것이 주요 원인으로 확인되었다. 1.2 met의 경우, 이미지 상에서 재실자가 한쪽 다리를 굽히고 서 있거나 옆을 바라보고 서 있을 시, 순간적으로 1.0 met로 분류되는 오차를 보이기도 하였다. 1.7 met의 경우 Walking과 Standing은 이미지 상에서 서로 유사한 포즈로 인식되는 순간이 발생할 수 있음을 3.1장에서 앞서 확인하였으며, 이로 인해 Fig. 4.(b), 4.(c)와 같이 일부 구간에서 1.2 met로 MET 산출 오류가 발생하였다. 특히 Subject 3은 느린 속도로 걸어 1.2 met와 유사한 이미지가 많이 취득된 것이 부가적인 원인으로 확인되었다. 이미지 상에서 재실자가 겹쳐있을 때 관절 point가 제대로 인식되지 않는 오류가 발생하여 모델의 정확도를 감소시키는 부가적인 원인이 되었다(Fig. 8.).

Fig. 7.

Multiple occupant error image

Fig. 8.

Occupant detection error

대표 MET 산출 시 1분 동안의 MET 최빈값을 적용하였음에도 일부 구간에서 오류가 발생하였으나, 5분 이상의 최빈값으로 대표 MET를 도출한다면 재실자 개개인의 정확한 활동량 산출이 가능할 수 있다. 건물 HVAC 시스템 제어 시 제어 기간은 평균적으로 5분 이상이며, 제안된 MET 산출모델이 실제 건물 환경에 적용될 경우 정확도 확보가 가능할 것으로 판단된다.