KIEAE Journal
[ Article ]
The International Journal of The Korea Institute of Ecological Architecture and Environment - Vol. 19, No. 6, pp.101-106
ISSN: 2288-968X (Print) 2288-9698 (Online)
Print publication date 31 Dec 2019
Received 06 Dec 2019 Revised 13 Dec 2019 Accepted 18 Dec 2019
DOI: https://doi.org/10.12813/kieae.2019.19.6.101

재실자 착의량 산출을 위한 선행 연구 및 기술 분석

최은지* ; 박보랑** ; 최영재*** ; 문진우****
Analysis of preceding researches and technologies for estimating occupants clothing insulation
Eun Ji Choi* ; Bo Rang Park** ; Young Jae Choi*** ; Jin Woo Moon****
*School of Architecture and Building Science, Chung-Ang Univ, South Korea ejjchl77@gmail.com
**Coauthor, School of Architecture and Building Science, Chung-Ang Univ, South Korea pbr_1123@naver.com
***Coauthor, School of Architecture and Building Science, Chung-Ang Univ, South Korea chlyoungwo@gmail.com
****Corresponding author, School of Architecture and Building Science, Chung-Ang Univ, South Korea gilerbert73@gmail.com


ⓒ 2019 KIEAE Journal

Abstract

Purpose:

The aim of this study is to verify the feasibility and applicability of a neural network-based model for estimating clothing insulation of building occupants. This is a preliminary study before developing an estimation model for the clothing insulation.

Method:

The existing researches on the method of estimating the clothing insulation were investigated and the neural network techniques that can be applied to the model were analyzed. Clothing image datasets were collected and convolutional neural networks (CNNs) that is effective for training images were investigated. Various advanced CNN structures were analyzed to confirm their applicability in developing models. Lastly, an application process for the neural network-based model for estimating clothing insulation and the real-time PMV control was proposed as a flowchart.

Result:

As a result, the possibility of the neural network-based model for estimating occupants clothing insulation was confirmed, and the basis for providing a comfort indoor thermal environment was established.

Keywords:

Indoor Environment, Thermal Quality, Predictive Mean Vote, Clothing Insulation

키워드:

실내환경, 온열환경, 예상평균온열감, 착의량

1. 서론

1.1. 연구의 배경 및 목적

현대인들은 하루의 대부분을 실내에서 생활하고 있기 때문에 쾌적한 실내 환경에 대한 인식 및 중요성이 대두되고 있다[1]. 실내 환경은 재실자의 건강, 생산성, 쾌적성 등 삶의 질과 밀접한 관련이 있으며[2], 특히 온열환경은 재실자의 쾌적을 결정하는 주요 요인이다. 전통적으로 실내 온열환경은 주로 온ㆍ습도를 기반으로 제어되었다. 이러한 제어법은 개별적 온ㆍ습도의 쾌적범위는 만족시킬 수 있었으나 재실자의 개인적 요소 등 다양한 조건이 통합적으로 고려된 종합적 열쾌적지표를 만족시키지 못하는 결과를 도출할 가능성이 있다. 결과적으로 재실자의 불쾌적을 야기할 수 있기 때문에 통합적 열 환경을 제어할 수 있는 새로운 방법이 필요하다.

통합적인 열환경 제어를 위해, 기존의 온습도 이외에 기류속도, 평균복사온도, 재실자의 활동량(Meatbolic rate) 및 착의량 (clothing insulation)과 같은 환경 및 개인적 요소를 통합적으로 고려하는 방법인 예상평균온열감(Predictive Mean Vote, PMV)[3] 제어법이 도입되었다.

하지만, PMV 기반의 제어를 통해 개인 맞춤형 제어를 통한 쾌적한 환경 제공을 기대할 수 있으나, 개인적 요소의 경우 측정이 어려워 실제 건물 적용에 한계가 있다. 또한, 기존의 PMV 모델은 정적 상태에서 계산된 것으로 동적인 실제 상황에서의 정확한 예측이 어렵다[4]. 이로 인해 동적 상태의 PMV를 계산하는 적응형 모델을 개발하는 연구가 수행되었으며[5-7], 적응형 접근을 통해 사용자와 주위 환경의 상호작용을 고려할 수 있다[4].

PMV의 고려 요소 중 개인적 요소인 착의량(Clothing Insulation, Icl)은 주어진 환경에 의해 실시간으로 변하며 의류의 재질, 두께 등 다양한 요인에 영향을 받는 동적인 요소이다. 환경적 요소에 비해 정확한 측정이 어렵기 때문에 동적 상태의 PMV를 산출하기 위해서, 착의량을 정확히 산출할 수 있는 방법이 필요하다. 이를 위해 실시간 착의량을 자동적으로 측정할 수 있고 객관적 산출이 가능한 지능적인 모델의 개발이 필요하다.

본 연구의 목적은 착의량 산출 모델의 개발을 위한 기초연구로서 기존 연구의 동향을 조사하여 모델의 개발 가능성 및 실내 환경의 적용성을 확인하는 것이다. 기존 연구의 동향을 조사하고 접목 가능한 기계학습 기술을 수집하여 이를 통해 기존 방법의 한계를 파악하고 착의량 산출 모델의 개발 가능성과 적용성을 확인하고자 한다.

1.2. 연구의 방법 및 범위

본 연구는 다음과 같이 진행된다. 1) 재실자 착의량 산출을 연구한 기존 문헌 조사: 기존 연구 방법을 분석하고 한계를 파악하고자 한다. 2) 착의량 산출에 적용 가능한 기계학습 기법 분석: 기존 연구 한계를 개선하고 지능형 모델의 개발에 적용 가능한 방법을 수집하기 위해 이미지 처리에 효과적인 기계학습 및 신경망 기법을 분석한다. 또한, 학습을 위한 의복 데이터세트와 다양한 의복 인식 모델의 구조 및 학습방법을 확인한다. 3) 신경망 기반의 착의량 산출 모델의 적용 방법 제시: 착의량을 자동적으로 산출할 수 있는 모델이 개발될 경우 실제 환경에서의 적용 방법을 흐름도로 제시하고 기초 이론을 확립하고자 한다. 이를 토대로 의복의 자동적인 감지 및 분류가 가능하고 재실자의 개입이 요구되지 않는 편리한 모델의 개발 필요성을 확인하고자 한다.


2. 착의량 산출 선행 연구

2.1. 착의량(Clothing Insulation)

PMV 제어 시 고려되는 착의량은 재실자가 착의한 모든 의복 조합으로부터 발생하는 현열 전달에 대한 저항값으로서 의복의 단열성을 의미한다[8]. 다시 말해 기본적인 착의량은 사람의 피부로부터 밀페된 내부의 공기층을 포함하여 외부 의복 표면까지의 단열 성능을 의미한다. 착의량은 단위로 clo를 사용하고 1clo=0.155m2·℃/W이다[9]. 또한, 의복이 차지하는 표면적 비율을 의미하는 의복 면적 계수(fcl)가 PMV 산출 시 고려된다.

의복 종류 및 성별, 계절, 상황 등에 따라 다양한 의복 조합(ensemble)이 발생되고 의복 조합에 따라 재실자의 착의량이 달라진다. 국제표준화기구(International Organization of Standardization, ISO)의 ISO 9920[9] 및 미국의 공조냉동공학회(American Society of Heating, Refrigerating and Air-Conditioning Engineers, ASHRAE)의 ASHRAE 55[8]는 다양한 의복 조합에 따른 착의량 값을 제공하고 있다. ASHRAE 55[8]는 표 5.2.2.2B에 8개의 카테고리에 해당하는 55개의 개별 의복 요소별 착의량과 표 5.2.2.2A에 17개의 의복 조합에 해당하는 착의량을 제시한다. ISO 9920[9]은 실내 환경을 daily와 work로 분류하여 해당하는 의복 조합에 대한 착의량을 제공하고 있다. 일반적인 의복 조합에 대한 예시는 Table 1.과 같다. 추가적으로 바지(pants, trousers), 셔츠(shirts), 스웨터(sweater), 재킷(jackets), 코트(coats, overjackets) 등 개별 의복의 종류별, 재질별 착의량과 의복의 표면적 비율인 BSAC (Body surface area covered by the particular item of clothing)을 함께 제공한다.

Examples of clothing insulation for ISO[9]

2.2. 착의량 산출 연구

착의량을 산출하는 다양한 선행 연구는 Table 2.와 같이 분석되었다. 착의량 산출을 위해 주로 적외선 카메라, 3D 스캐너, 회귀 및 지수 방정식 개발, 기계학습 기법 등의 방법이 적용되었다.

Preceding studies for estimating clothing insulation

적외선 카메라를 사용한 연구는 사람의 얼굴 및 의복 표면 온도를 측정하여 착의량을 산출하였다[10-12]. 적외선 카메라의 수집 데이터와 적용 과정을 나타낸 그림은 Fig. 1.a와 같다. 하지만 적외선을 통한 의복 온도를 측정하는 방법은 의복의 재질 및 색상 등에 따른 방사율을 고려할 수 없어 정확도 향상에 한계가 있다. 또한, 3D 스캐너를 사용하여 피부톤 색 감지 및 의복 유무를 인지하고 clo factor를 측정하고자 하였으나 74.29% 정확도의 다소 낮은 성능을 보였다[13].

Fig. 1.

Existing researches to estimate occupant clothing insulation

센서 및 장치를 사용하지 않고 기존의 외기 및 실내 환경 데이터를 사용하여 실내 재실자의 착의량 예측 및 변화량을 확인하는 연구도 수행되었다[14-15]. 주로 지수 방정식 및 선형 회귀 방정식을 개발한 연구로 Carli et al.[15]는 선형 회귀 방정식을 개발하여 오전 6시의 실외 온도가 실내 착의량 변화와 가장 연관성이 크다는 사실을 확인하였다. 오전 6시의 온도를 고려하기 때문에 외기온도가 여름철에 높아지고 겨울철에 낮아짐에 따른 재실자의 의류 변경에 대한 자유도를 표현할 수 없다는 점에서 실내의 착의량을 측정하는데 한계를 가진다[16]. Liu et al.[16]은 과거의 외기온도 및 설문조사를 통한 실내 착의량 데이터를 기반으로 착의량 변화를 예측하는 logistic function을 개발하였다. 이는 착의량 데이터를 설문조사에 기반하여 수집한 field study이며 다양한 환경의 실험자를 고려하지 못한 결과라는 한계가 있다.

앞서 언급한 연구는 적외선 카메라 등의 장치를 통해 부가적인 의복 온도라는 정보를 활용하여 간접적으로 측정하거나, 설문조사를 통해 실험자에게 한정적인 데이터 기반의 결과라는 한계가 있다. 실내 착의량을 예측하는 다른 방법으로 기계학습 기법을 접목하는 연구가 수행되었다[4, 17-18]. Lou et al.[17]은 Fuzzy Neural Network (FNN) 모델을 사용하여 인체 온열감을 예측하는 모델을 개발하였으나, 착의량은 여름 및 겨울철에 해당하는 임의의 값을 일괄적으로 사용하였다. 최근에는 건축분야에도 활발히 적용되고 있는 기계학습 기법 중 하나인 딥러닝(Deep Learning)을 사용하여 실내 착의량을 예측하는 연구도 진행되었다[4]. 개발된 딥러닝 모델은 외기 및 실내 환경 요소, 성별, 교통 수단 등의 데이터를 입력받아 실내 재실자의 착의량 레벨을 예측하며, training 결과는 90%, validation 결과는 79%라는 결과를 나타냈다. 다만, 앞서 언급된 방법과 동일하게 재실자의 착의량은 설문조사를 통해 수집되었고 실험자의 주관적 판단이 포함된 결과이기 때문에 보다 객관적으로 착의량을 산출하는 방법 개발이 필요하다.

재실자의 개입 없이 실시간 착의량을 자동적이며 정확하게 산출하기 위한 방법으로 실내 영상 이미지를 활용하여 의복을 분류하는 기술이 있다. 이미지를 사용하여 착의량을 산출하는 연구는 Hiroki et al.[18]에 의해 선행되었다. Multi-class Supported Vector Machine (SVM) 기계학습 기법을 사용하여 이미지를 학습시키고 Fig. 1.b와 같이 상의, 하의를 구별하여 해당하는 착의량을 출력하는 모델을 개발하였다. 모델의 학습 결과, 하의의 정확도는 낮게 나타났지만 상의를 인식하는 비율은 80%을 보이며 이미지를 사용하여 의복을 분류할 수 있다는 가능성을 나타냈다.

선행 연구를 토대로 기계학습 기법의 영상 이미지를 통한 실내 착의량 산출 가능성을 확인하였으나 이미지에서 의복을 인식하는 정확도 향상을 위한 기술이 필요하다. 이를 위해 기계학습 중 딥러닝과 같은 발전된 신경망 기술을 도입함으로써 다양한 실내 의복을 분류하고 착의량 산출 정확도를 높일 수 있을 것으로 판단된다.

이에 따라 영상 이미지 학습을 통해 의복을 인식할 수 있는 신경망 기술을 분석하고자 한다. 분석된 기존 기술을 토대로 추후 영상 이미지를 활용한 착의량 산출 모델 개발의 기초를 확립하고 가능성을 확인하고자 한다.


3. 착의량 산출을 위한 신경망 기술 분석

3.1 이미지 처리를 위한 신경망 구조

딥러닝을 포함한 다양한 심층 신경망은 음성인식, 이미지 분류, 패턴 인식, 자연어 처리 등의 복잡한 데이터를 효과적으로 학습하는 기계학습의 일종이다[19]. 이러한 신경망 기술은 최근 건물 냉방 부하[20] 및 재실자의 열쾌적[21]을 예측하는 등 건축을 포함한 다양한 분야에 적용되고 있다.

합성곱 신경망(Convolutional Neural Network, CNN) 구조는 이미지 검색 서비스, 자율주행 자동차, 영상 자동 분류 시스템 등 복잡한 이미지를 처리하는 문제에서 주된 성능을 보인다[22]. 기존의 신경망은 이미지 픽셀을 1D 배열로 변환한 뒤 학습하여 큰 이미지의 경우 파라미터의 수가 매우 증가하는 문제가 발생한다. 하지만 기존과 달리 CNN은 이미지 픽셀을 2D 배열 그대로 유지한 채 학습할 수 있어 이미지 인식에 효과적이다.

CNN은 크게 합성곱층(Convolutional Layer), 특성맵(Feature map)으로 구성되는 계층적 구조를 가지며, 이미지를 저수준부터 고수준까지 특성 별로 집중하여 학습할 수 있게 한다. 합성곱층은 각각의 특징을 가지는 특성맵으로 구성되어 이미지의 여러 특성을 감지한다(Fig. 2.). 이러한 합성곱층이 여러번 수행되어 심층적인 학습을 수행한다. 전형적인 CNN의 구조는 Fig. 3.과 같으며 계산량, 메모리 사용량을 줄이는 목적으로 사용되는 풀링층(Pooling)과 합성곱층이 반복되는 구조이다. 네트워크를 통과할수록 이미지는 작아지며 더 많은 특성맵을 가져 깊어지고 마지막 층에서 예측된 결과를 출력한다[22].

Fig. 2.

Conceptual diagram of CNN model

Fig. 3.

Typical CNN structure

이미지 속 의복을 인식하는 다양한 신경망 기법을 조사하기 위해 컴퓨터 비전 분야의 데이터세트 및 신경망 모델 기법을 분석하였다. 컴퓨터 비전 분야에서는 이미지 및 영상 등의 데이터를 학습하여 패턴 인식, 활동 인식과 같은 문제를 해결하고자 지속적으로 모델을 개발하고 있다. 특히, 국제 컴퓨터 비전 학회(International Conference of Computer Vision, ICCV[23])의 경우 패션, 아트, 디자인과 같은 시각적 아이템을 인식하기 위한 다양한 기계학습 모델을 다룬다.

3.2. 의복 데이터세트

의복 감지 기법을 조사하기 위해 관련 데이터세트의 분석 결과 신경망 모델의 학습을 위한 의복 이미지 데이터세트는 Table 3.과 같이 최근 다양하게 구축되었다[24-30]. Fig. 4.Table 3.의 의류 데이터세트 중 일부의 예시를 보여주고 있다. WTBI[29]는 주로 인터넷과 스트릿 패션 등 다양한 의복을 포함하는 실제 사진으로 구축되었다. Fashion MNIST[27]의 경우 의복을 제외한 배경을 마스킹 한 이미지로 구축되었으며, Fashion-Gen[25]은 하나의 의복을 6가지 각도로 촬영한 이미지로 구축하여 다양한 각도를 학습할 수 있게 하였다. DeepFashion[28]은 의복의 다양한 카테고리 및 재질, 패턴 등으로 구분하여 데이터를 수집하였으며, 이미지는 데이터세트 별로 최소 55,000개, 최대 800,000개로 학습을 위한 충분한 양으로 구축되었다. 의복의 종류는 데이터세트마다 긴팔, 반팔, 셔츠, 스웨터, 원피스, 치마 등 여러 가지 카테고리로 구성되었다.

Datasets for clothing images

Fig. 4.

Dataset examples

3.3. 신경망의 이미지 처리 기법

이미지 학습을 통해 의복을 포함한 물체를 인식하고자 하는 신경망 모델의 과제는 주로 분류(classification), 감지(detection), 분할(segmentation)로 나눌 수 있다(Fig. 5.). 분류는 하나의 이미지가 어떤 카테고리에 속하는지 예측하는 방법이며, 감지는 이미지 속 물체를 찾아내어 위치 정보를 제공하는 기법이다. 분할은 이미지의 모든 픽셀에 부여된 레이블을 예측하여 동일 특성을 가진 물체끼리 분할하는 기법이다. 각 기법은 모델이 출력 결과에 차이가 있기 때문에 학습 모델의 구조나 방법에 차이가 있다. 하지만 이미지 속 물체의 분류와 감지를 함께 하는 등 목적이 통합되는 방향으로 발전되고 있다.

Fig. 5.

Task types of image training

목적에 맞는 이미지 인식 방법을 개발하기 위해 CNN 구조를 발전시킨 다양한 모델이 개발되었다[31-38]. CNN의 구조를 더 깊게 쌓아 성능을 향상시킨 모델에는 AlexNet[31], GoogLeNet[32], ResNet[33] 등이 있다. 그 중 발전된 성능을 나타낸 ResNet은 신경망 네트워크가 깊어질수록 학습이 어려워지는 문제를 해결하기 위해 숏컷(Short-cut)이란 개념을 도입하여 정확도를 향상시켰다. ResNet의 개발을 통해 이미지의 고차원적 특징의 학습이 가능해져 분류 성능이 발전하였다.

이미지 감지를 위해 개발된 모델은 RCNN[34], Fast RCNN[35], Yolo[36] 등이 있다. RCNN은 학습에 앞서 이미지에서 물체가 존재할 것 같은 범위에서 약 2,000개의 subimage를 추출하는 region proposal 과정이 추가된다. 추출된 subimage는 CNN 구조를 통해 학습 및 분류하는 과정을 수행한다. RCNN은 성능이 다소 낮고 느리기 때문에 이를 개선하여 Fast RCNN, Faster RCNN 등의 모델이 추가적으로 개발되었다. Yolo 모델은 기존의 RCNN의 성능 문제를 해결하기 위해 region proposal 방법이 아니라 이미지를 일정한 규격으로 나누는 grid 방식을 적용하였다(Fig. 6.). 이 방법을 통해 각 grid에 물체가 존재할 확률과 grid가 어떤 class를 담고 있는지 2가지 정보를 출력한다.

Fig. 6.

Image training method of Yolo model[36]

이미지 분할을 수행하는 모델에는 FCN[37], U-Net[38] 등이 있다. FCN(Fully-Convolution Net)은 기존 모델과 달리 이미지의 분할에 있어 많이 활용되고 있는 모델이며, 픽셀의 정답 정보 및 위치 정보를 담고 있는 heatmap을 통해 이미지의 경계 값 검출 시 좋은 성능을 나타냈다. 또한, U-net은 이미지의 모든 픽셀을 라벨링하여 특정 영역을 감지할 수 있는 분할에 특화된 모델 구조를 제시하였다.

컴퓨터 비전 분야에서 이미지 분류 시 주로 사용되는 정확도 분석 방법인 top-K accuracy는 분류기가 예측한 상위 K개의 클래스 중 정답이 있을 경우 정확하다고 판단하는 방법이다. 예를 들어, 강아지 이미지의 분류 결과 정답인 확률로 나타낸 상위 5개의 클래스가 1)사자, 2)차, 3)고양이, 4)강아지, 5)집일 경우 top-3의 경우 오답, top-5의 경우 정답으로 평가된다. Top-3 accuracy로 평가한 의복 분류 모델의 정확도는 WTBI는 43.73, DARN은 59.48 및 DeepFashion의 모델인 FashionNet의 경우 82.58을 나타낸다.

3.4. 착의량 산출을 위한 신경망 모델 적용 방법

실시간 착의량 산출 및 PMV 제어를 위한 신경망 기반의 착의량 산출의 적용 방법을 흐름도로 제시하였다. 제시된 흐름도는 Fig. 7.과 같다. 먼저 PMV 계산을 위한 온도, 습도, 기류속도, 평균복사온도와 같은 실내 환경 요소를 센서를 통해 측정하고, 착의량 산출을 위해 실내 재실자의 영상 이미지를 수집한다.

Fig. 7.

Flowchart for estimating clothing insulation and real-time PMV

착의량 산출 모델은 다음과 같이 적용 가능하다. 먼저 수집된 이미지에서 재실자의 유무를 파악하고 재실자가 확인되면 이미지의 특징을 학습하여 재실자가 입고 있는 의복을 감지한다. 감지된 의복의 종류를 분류하고 분류된 의복에 해당하는 착의량을 산출하는 과정을 수행하는 방식으로 적용 가능하다. 추후에는 산출된 착의량을 제어에 활용하기 위한 알고리즘이 함께 개발되어 실제 건물에서 실시간 착의량 기반의 PMV 산출이 가능할 것으로 사료된다.


4. 결론

본 연구는 실내 재실자의 착의량 산출을 위한 지능형 모델 개발의 기초 연구로 기존 착의량 측정 연구의 동향 및 적용 가능한 기계학습 기법을 조사하였다. 이를 바탕으로 신경망 구조 기반의 착의량 산출 모델 개발 가능성을 확인하고자 하였으며, 추후 모델의 개발을 위한 신경망 모델의 적용 방법 및 알고리즘의 흐름도를 제시하였다. 결과는 다음과 같다.

첫째, 기존의 건축분야에서 실시된 착의량 산출 연구를 고찰하였다. 실제 착의량을 측정하기 위한 방법으로 주로 적외선 센서, 3D 스캐너와 같은 장비를 사용하여 피부나 의복의 온도를 간접적으로 측정하였으나 의복의 재질에 따른 방사율을 고려하지 못한다는 한계를 지닌다. 외기 및 실내 환경 데이터를 사용한 지수, 회귀 방정식을 개발한 연구도 다수 존재하였으나 착의량 측정 시 설문조사와 같이 재실자의 개입이 요구되었다. 하지만 기계학습 기법을 도입하여 이미지를 학습하고 의복을 자동으로 분류할 수 있다는 가능성을 확인하였다.

둘째, 기계학습 기법 중 영상 이미지를 학습하여 물체를 감지하고 분류할 수 있는 CNN 모델에 대한 기술 분석을 실시하였다. CNN 구조는 이미지 처리 분야에서 효과적인 성능을 나타내고 있으며, 최근 의복 학습과 관련된 빅데이터가 다수 구축되었다. 또한, 이미지 속 의복을 포함한 물체를 분류, 감지, 분할하는 CNN 모델을 발전시킨 다양한 모델 기법을 확인하였다.

셋째, 신경망 모델을 사용한 이미지 처리 기술의 접목 가능성을 토대로 착의량 산출 모델의 적용 방법을 제안하였다. 제안된 방법은 추후 모델 및 알고리즘의 개발을 통해 실시간으로 착의량을 산출하고 PMV 제어에 적용되는 개념을 보여준다.

본 연구를 통해, 의복 데이터세트와 이미지 처리 신경망 모델 등 재실자의 착의량 산출 모델 개발에 적용 가능한 기술을 확인하였다. 본 연구를 토대로 추후에는 이미지 학습을 통해 의복을 감지하고 착의량을 산출할 수 있는 신경망 모델 개발이 가능할 것으로 판단된다. 후속 연구로 각 모델의 구조, 학습 알고리즘, 모델의 성능 등의 모델 개선을 위한 추가적인 정보와 의복 감지 및 착의량 산출을 위한 데이터세트 구축 등의 연구가 진행될 예정이다. 이를 위해, 분류하고자 하는 의복의 종류 선정과 계절에 따라 의복 레이어 수가 달라지는 만큼 이를 유추하기 위한 연구가 필요하다.

Acknowledgments

이 논문은 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. 2019R1A2C1084145).

References

  • 국토환경정보센터, 실내환경, http://www.neins.go.kr/ltr/lifeenvironment/air01.asp, , 2019.11.26.
    National Environment Information Network System (NEINS), Indoor Environment, http://www.neins.go.kr/ltr/lifeenvironment/air01.asp, , 2019.11.26.
  • 박보랑 외 4인, 재실자 활동량 산출을 위한 딥러닝 기반 선행연구 동향, 한국생태환경건축학회 논문집 17(5), 2017, pp.95-100.
    B.R. Park et al., Research Trends for the Deep Learning-based Metabolic Rate Calculation, KIEAE Journal, 17(5), 2017, pp.95-100. [ https://doi.org/10.12813/kieae.2017.17.5.095 ]
  • P.O. Fanger, Thermal comfort. Analysis and applications in environmental engineering. Thermal comfort, Analysis and applications in environmental engineering, 1970.
  • N. Jack, G.Y. Yun, G. Kim. Prediction of indoor clothing insulation levels: A deep learning approach, Energy and Buildings, 202, 2019, 109402. [https://doi.org/10.1016/j.enbuild.2019.109402]
  • M.A. Humphreys, J.F. Nicol, The validity of ISO-PMV for predicting comfort votes in every-day thermal environments, Energy Build, 34(6), 2002, pp.667–684. [https://doi.org/10.1016/S0378-7788(02)00018-X]
  • J.T. Kim et al., Development of the adaptive PMV model for improving prediction performances, Energy Build, 98, 2015, pp.100-105. [https://doi.org/10.1016/j.enbuild.2014.08.051]
  • R. Yao, B. Li, J. Liu, A theoretical adaptive model of thermal comfort-adaptive predicted mean vote (aPMV), Build. Environ, 44(10), 2009, pp.2089-2096. [https://doi.org/10.1016/j.buildenv.2009.02.014]
  • ASHRAE Standard, ANSI/ASHRAE Standard 55-Thermal Environmental Conditions for Human Occupancy, American Society of Heating, Refrigerating and Air-Conditioning Engineers (ASHRAE); 2017, pp.3-5.
  • International Organization for Standardization, ISO 9920; Ergonomics of the thermal environment - Estimation of thermal insulation and water vapour resistance of a clothing ensemble, 2nd edition, ISO; 2007.
  • J. Lee et al., Estimating clothing thermal insulation using an infrared camera. Sensors, 16(3), 2016. [https://doi.org/10.3390/s16030341]
  • A. Shaabana, R. Zheng, Z. Xu., SiCILIA: A smart sensor system for clothing insulation inference, In 2015 IEEE Global Communications Conference (GLOBECOM), IEEE, 2015, pp.1-6. [https://doi.org/10.1109/GLOCOM.2015.7417054]
  • Y. Lee, K. Hong, S. Hong, 3D quantification of microclimate volume in layered clothing for the prediction of clothing insulation, Applied ergonomics, 38(3), 2007, pp.349-355. [https://doi.org/10.1016/j.apergo.2006.04.017]
  • J. Dziedzic, D. Yan, V. Novakovic, Measurement of dynamic clothing factor (D-CLO), NTNU, Trondheim, 2018.
  • C. Morgan, R. de Dear, Weather, clothing and thermal adaptation to indoor climate, Climate Research, 24(3), 2003, pp.267–284. [https://doi.org/10.3354/cr024267]
  • M.D. Carli et al., People's clothing behaviour according to external weather and indoor environment, Build. Environ., 42(12), 2007, pp. 3965-3973. [https://doi.org/10.1016/j.buildenv.2006.06.038]
  • W. Liu et al., Indoor clothing insulation and thermal history: a clothing model based on logistic function and running mean outdoor temperature, Building and Environment, 135, 2018, pp.142-152. [https://doi.org/10.1016/j.buildenv.2018.03.015]
  • X. Luo et al., A fuzzy neural network model for predicting clothing thermal comfort, Computers & Mathematics with Applications, 53(12), 2007, pp.1840-1846. [https://doi.org/10.1016/j.camwa.2006.10.035]
  • H. Matsumoto, Y. Iwai, H. Ishiguro, Estimation of Thermal Comfort by Measuring Clo Value without Contact, In MVA, 2011, pp.491-494.
  • 최은지 외 4인, 재실자 활동량 산출을 위한 Pose 분류 모델 개발, 한국생태환경건축학회 논문집, 18(5), 2018, pp.93-98.
    E.J. Choi et al., Development of a Human Pose Classifying Model to Estimate the Metabolic Rate of Occupant, KIEAE Journal, 18(5), 2018, pp.93-98. [ https://doi.org/10.12813/kieae.2018.18.5.093 ]
  • C. Fan, F. Xiao, Y. Zhao, A short-term building cooling load prediction method using deep learning algorithms, Appl. Energy, 195, 2017, pp.222–233. [https://doi.org/10.1016/j.apenergy.2017.03.064]
  • J. von Grabe, Potential of artificial neural networks to predict thermal sensation votes, Appl. Energy, 161, 2016, pp.412–424. [https://doi.org/10.1016/j.apenergy.2015.10.061]
  • Aurelien Geron, 핸즈온 머신러닝, 박해선, 초판, 한빛미디어(주);2018, p.451.
    Aurelien Geron, Hands-On Machine Learning with Scikit-Learn & TensorFlow, 3rd, O’Reilly:2018, p.451.
  • ICCV 2019, http://iccv2019.thecvf.com/, , 2019.12.02.
  • Y. Ge et al., DeepFashion2: A Versatile Benchmark for Detection, Pose Estimation, Segmentation and Re-Identification of Clothing Images, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp.5337-5345.
  • N. Rostamzadeh et al., Fashion-gen: The generative fashion dataset and challenge, 2018, arXiv preprint arXiv:1806.08317, .
  • S. Zheng et al., Modanet: A large-scale street fashion dataset with polygon annotations, In 2018 ACM Multimedia Conference on Multimedia Conference, 2018, pp.1670-1678. [https://doi.org/10.1145/3240508.3240652]
  • H. Xiao, K. Rasul, R. Vollgraf, Fashion-mnist: a novel image dataset for benchmarking machine learning algorithms, 2017, arXiv preprint arXiv:1708.07747, .
  • Z. Liu et al., Deepfashion: Powering robust clothes recognition and retrieval with rich annotations, In Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp.1096-1104. [https://doi.org/10.1109/CVPR.2016.124]
  • M. Hadi Kiapour et al., Where to buy it: Matching street clothing photos in online shops, In Proceedings of the IEEE international conference on computer vision, 2015, pp.3343-3351. [https://doi.org/10.1109/ICCV.2015.382]
  • J. Huang et al., Cross-domain image retrieval with a dual attribute-aware ranking network, In Proceedings of the IEEE international conference on computer vision, 2015, pp.1062-1070. [https://doi.org/10.1109/ICCV.2015.127]
  • A. Krizhevsky, I. Sutskever, G.E. Hinton, Imagenet classification with deep convolutional neural networks, In Advances in neural information processing systems, 2012, pp.1097-1105.
  • C. Szegedy et al., Going deeper with convolutions, In Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, pp.1-9. [https://doi.org/10.1109/CVPR.2015.7298594]
  • K. He et al., Deep residual learning for image recognition, In Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp.770-778.
  • R. Girshick et al., Rich feature hierarchies for accurate object detection and semantic segmentation, In Proceedings of the IEEE conference on computer vision and pattern recognition, 2014, pp.580-587. [https://doi.org/10.1109/CVPR.2014.81]
  • R. Girshick, Fast r-cnn, In Proceedings of the IEEE international conference on computer vision, 2015, pp.1440-1448. [https://doi.org/10.1109/ICCV.2015.169]
  • J. Redmon, You only look once: Unified, real-time object detection, In Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp.779-788. [https://doi.org/10.1109/CVPR.2016.91]
  • J. Long, E. Shelhamer, T. Darrell, Fully convolutional networks for semantic segmentation, In Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, pp.3431-3440. [https://doi.org/10.1109/CVPR.2015.7298965]
  • O. Ronneberger, P. Fischer, T. Brox, U-net: Convolutional networks for biomedical image segmentation, In International Conference on Medical image computing and computer-assisted intervention, 2015, pp.234-241. [https://doi.org/10.1007/978-3-319-24574-4_28]

Fig. 1.

Fig. 1.
Existing researches to estimate occupant clothing insulation

Fig. 2.

Fig. 2.
Conceptual diagram of CNN model

Fig. 3.

Fig. 3.
Typical CNN structure

Fig. 4.

Fig. 4.
Dataset examples

Fig. 5.

Fig. 5.
Task types of image training

Fig. 6.

Fig. 6.
Image training method of Yolo model[36]

Fig. 7.

Fig. 7.
Flowchart for estimating clothing insulation and real-time PMV

Table 1.

Examples of clothing insulation for ISO[9]

ISO Standard Clothing ensemble clo m2·K/W
Working clothing Underpants, boiler suit, socks, shoes 0.7 0.110
Underwear with short sleeves and legs, shirt, trousers, jacket, socks, shoes 1.0 0.155
Underwear with long legs and sleeves, thermojacket, trousers, socks, shoes 1.2 0.185
Underwear with short sleeves and legs, boiler suit, thermojacket and trousers, socks, shoes 1.4 0.220
Underwear with short sleeves and legs, shirt, trousers, jacket, heavy quilted outer, jacket and overalls, socks, shoes, cap, gloves 2.0 0.310
Daily wear clothing Panties, T-shirt, shorts, light socks, sandals 0.3 0.050
Panties, petticoat, stockings, dress, shoes 0.7 0.105
Panties, petticoat, shirt, skirt, thick knee, socks, shoes 0.8 0.120
Panties, shirt, trousers, jacket, socks, shoes 1.0 0.155
Underwear with short sleeves and legs, shirt, trousers, vest, jacket, coat, socks, shoes 1.5 0.230

Table 2.

Preceding studies for estimating clothing insulation

Authors Contents
J. Lee, et al.[10] ㆍUsing an infrared camera to measure the temperature of the face and various garments for measuring a real-time clothing insulation.
S. Ala, et al.[11] ㆍMeasuring ambient and target temperatures including clothing surface and skin temperature by using the MLX 90614 infrared sensor.
Y. Lee, et al.[12] ㆍThermal insulation and surface temperature measurement of thermal manikin with thermal imaging cameras and 3D scanning equipment.
J. Dziedzic, et al.[13] ㆍNew technology development using Microsoft Xbox Kinect device (3-d scanner) to measure clo-factor amount.
C. Morgan, et al.[14] ㆍThe development of expotential function shows the decrease of average clothing insulation with increasing daily average outdoor temperature.
M.D. Carli, et al.[15] ㆍA developed linear regression equation results in an outdoor temperature of 6 am giving the highest explanation (31%) of changes in the clothing insulation in natural ventilation buildings.
W. Liu, et al.[16] ㆍA logistic function was proposed that predicts the change in the clothing insulation based on the past air temperature data.
X. Lou, et al.[17] ㆍDeveloped a thermal sensation model based on the Fuzzy Neural Network (FNN) which measures the thermal response of human by core and skin temperature to predict clothing insulation.
M. Hiroki, et al.[18] ㆍProvides a method of calculating the clothing insulation with multi-class Supported Vector Machine by using camera and clothing data.
N. Jack, et al.[4] ㆍDevelopment of deep learning model to predict clothing insulation level according to outdoor and room temperature.

Table 3.

Datasets for clothing images

Dataset Year Images Categories
DeepFashion2[24] 2019 491,000 13
Fashion-Gen[25] 2018 325,536 48
ModaNet[26] 2018 55,000 13
Fashion MNIST[27] 2017 70,000 10
DeepFashion[28] 2016 800,000 50
WTBI[29] 2015 425,000 11
DARN[30] 2015 182,000 20