KIEAE Journal

최근 활발한 기술개발이 이루어지고 있는 인공지능, 자율주행, 5G 산업 등은 빅데이터(Big Data) 구축과 원활한 데이터 처리 및 송수신이 필수적이다. 데이터 규모와 사용처가 확대됨에 따라 이를 전문적으로 저장 및 처리할 수 있는 데이터센터에 대한 수요 또한 증가하고 있으며, 세계 데이터센터 시장 규모는 2019년 3억 1,400만 달러에서 2025년 5억 8,300만 달러로 증가할 전망이다[1].

데이터센터에서 소비하는 전력량은 2010년 전 세계 전기에너지 소비량의 약 1%를 차지하였으며, 2030년에는 3~13%까지 확대될 것으로 예측되었다[2]. 에너지소비량 절감을 위해 각국은 그린데이터센터에 대한 표준 및 등급을 배포하였으며 국내 또한 2012년부터 인증제도를 도입하여 시행 중이다. 데이터센터 에너지 효율 측정 기준은 PUE (Power Usage Effectiveness)로 표현된다. PUE는 총 전력사용량 대비 IT 장비 전력사용량으로, 1에 가까울수록 에너지 효율이 높은 것을 의미한다. 국내 데이터센터 평균 PUE는 2.66으로 해외 선진국 평균 PUE 1.2에 비해 낮은 실정이며[3], 에너지 효율 향상을 위해서는 데이터센터 전력사용량의 약 50.5%를 차지하는 냉방 시스템의 에너지 절감이 필수적이다.

데이터센터는 안정적인 IT 장비 운용을 위해 365일 24시간 냉방 시스템을 가동한다. 따라서 냉방 시스템의 종류, 효율 및 운영방식은 에너지소비량에 큰 영향을 미친다. 선행 연구 조사결과 국내의 경우 외기냉방시스템 도입 및 시스템 운영방식에 따른 에너지소비량 분석에 관한 연구가 주를 이루고 있었다. Cho (2009)는 공조파티션시스템 적용을 통해 급기온도를 상향함으로써 연간 약 4%의 에너지소비량을 절감할 수 있음을 확인하였으며, 중간기 및 동절기에 외기냉수냉방과 외기냉방 시스템 도입을 통해 일반 냉동 시스템 대비 각각 16.6%, 42.2%의 에너지 성능향상을 이루었다[4]. Kim, et al. (2013)은 시뮬레이션을 통해 CRAC(Computer Room Air Conditioner), 외기냉방 VAV, 증발냉각, 고온수 냉각 및 제습 증발냉각 시스템을 적용하여 PUE를 비교하였다. 그 결과 CRAC, 외기냉방 VAV, 증발냉각, 고온수 냉각 및 제습증발냉각 시스템 순으로 각각 1.8, 1.5, 1.4, 1.3의 PUE가 산출되었다. 하지만 고온수 냉각수는 랙(Rack)의 표면에 약 60℃의 고온수가 공급되는 시스템으로써 물의 누출로 인한 안전성의 위험이 있다[5]. Kim, et al. (2019)은 중앙냉수시스템에서 외기냉방모드 적용 시 CRAH (Computer Room Air Handling Unit)유닛의 설정온도, 풍량 변화에 따른 MLC (Mechanical Load Component)를 비교 분석하였다. 그 결과 설정온도를 상승시킬 경우 외기냉방모드 가동 시간이 늘어나고 CRAH의 풍량을 감소시킬 경우 팬 소비 전력이 감소하여 에너지가 절감되었다[6].

인공지능을 통한 소프트웨어적 접근 시도 또한 이루어지고 있으나 아직은 기초적인 연구에 머무르고 있는 실정이다. Song(2019)은 자체 e-IoT 플랫폼을 통해 취득한 데이터를 활용하여 머신러닝(Machine Learning) 기반 냉방 시스템 자동제어 솔루션 개발에 대한 기초계획을 수립하였다. 예측모델은 설정온도에 따른 항온항습기의 전력량을 예측하여 권장 설정온도를 도출하며, 이를 시스템에 적용해 약 30% 이상의 냉방 에너지 절감을 달성할 수 있을 것으로 전망하고 있다[7]. 구체적 적용에 의한 결과도출은 이루어지지 않았으나 최신 기술 도입을 시도했다는 사실에 의의가 있다.

반면 국외의 경우 시스템 구성 및 효율에 대한 연구보다는 DCIM(Data Center Infrastrucure Management) 레벨에서 소프트웨어적인 접근으로 에너지를 절감하는 연구가 활발히 진행되고 있었다. 전산실 서버는 주 발열원이자 시스템 측면에서는 외란으로 간주된다. CRAC/H는 해당 발열을 제거하기 위해 부분부하에 대응할 수 있어야 하며 주 제어 대상은 풍량, 냉수 온도, 냉수 유량이다. 일반적으로 냉수 온도, 실내 설정온도를 상승시키면 시스템 가동률이 감소하여 에너지가 절감되는 것으로 알려져 있으나, 이는 팬 가동률을 증가시킬 수 있어 전체적인 에너지소비량은 상승할 수 있다[8]. 따라서 에너지 절감을 위한 시스템 요소들의 최적화 과정이 반드시 필요하며, 이를 위해 MPC (Model Predictive Control) 기반의 제어 방법 및 최적화에 관한 연구가 다수 진행되고 있다. 연구 초기에는 수학적 모델링을 통한 MPC가 주를 이루었으나, 이는 변수의 다양화, 비선형적 모델링의 어려움으로 인해 전문적인 지식을 요구한다. 최근에는 모델링의 용이성 및 정확도 향상을 위해 Data-driven 방식의 모델링을 채택하고 있다. 예측 대상은 연구별로 상이하나 대부분 기계학습(Machine Learning)기법을 활용하고 있었다. 연구 내용은 다음과 같다.

Beitelmal, et al.(2006)은 중앙냉수시스템의 정상상태 모델링을 통해 허용 오차 내에서 에너지소비량 예측모델을 구축하였으며 정유량, 변유량 모드의 에너지 소비량을 예측하여 관리자가 선택할 수 있도록 하였다[9]. Chen, et al.(2010), Fang, et al.(2019)는 서버의 프로비저닝(Provisioning) 최적화를 통해 각 랙의 발열량을 예측하고 이를 기반으로 최적 온도를 예측해 최적 제어를 실시하는 연구를 실시하였으며, Chen의 경우 IT 부문은 35%, 냉방은 15%의 에너지 절감을 달성하였다[8,10]. Wang, et al.(2011)은 인공신경망(Artificial Neural Network, ANN)을 활용하여 전산실 온도를 예측함으로써 균일한 온도 분포를 위해 프로비저닝을 실시하였고 이 또한 13.34%의 에너지를 절감하여 온도 예측적인 접근을 우선시 하더라도 에너지를 절감할 수 있음을 증명하였다[11]. Song, et al.(2013)은 유전알고리즘(Genetic Algorithm)에 ANN 온도 예측모델을 탑재하여 최적 온도를 산출하였다. Gao(2014)는 실제 데이터센터 데이터를 활용한 ANN 기반의 PUE 예측모델을 적용함으로써 오차 0.4% 이내의 높은 정확도를 가진 모델을 구축하였고 실제 상황에서 기계학습을 활용한 예측 및 제어가 에너지 절감에 기여할 수 있음을 증명하였다[12]. 이의 연장선으로 Lazic, et al. (2018)은 ANN의 단점을 보완하기 위해 강화학습(Reinforcement Leaning)을 도입하였으며 해당 모델은 실제 데이터센터에 적용되어 몇 시간 내에 안정적인 온도 제어를 실시하였다. 팬 가동률과 냉수 밸브 개폐도를 조절하였으며 기존의 PID 제어기와 비교하여 약 9%의 냉방 시스템 비용 절감을 달성하였다[13].

기존 제어 시스템을 개선하는 방향의 연구 또한 진행되고 있었다. Bash, et al.(2006)은 센서 설치를 늘리고 이를 정량화하여 전산실 내 서버 위치에 따라 개별 제어를 하는 것만으로도 에너지소비량을 절감시킬 수 있음을 증명하였으며 이는 최근 확대 설치 중인 IoT 기반의 DCIM 만으로도 에너지 효율 향상에 기여할 수 있음을 시사한다[14]. Dend, et al.(2014)는 기존 PID 제어의 개선 방안으로 PID-type Fuzzy Adaptive control 모델을 개발하였다. 해당 모델은 수동으로 조절해야하는 PID 계수를 자가보정하는 모델로 기존 모델 대비 적은 오버슈팅과 짧은 과도응답을 거쳐 안정적으로 운영이 가능하였다[15]. 이 외에도 외기냉수시스템 스케줄, 냉각수 회수온도 예측, 데이터센터 모델링 기법 등에 대한 연구가 다방면으로 진행되고 있다[16-19].

이상 선행 연구 분석에 따르면 국내 데이터센터 관련 연구는 대부분 시스템 효율 향상 및 외기냉방시스템에 치중되어 있는 편이며, 통합 관리 시스템 측면에서의 에너지 절감 노력은 부족한 실정이다. 반면 국외의 경우 최신 기술 도입을 통한 소프트웨어적 접근으로 에너지 절감을 시도하고 있다. 기계학습, MPC, 최적화 알고리즘 등을 적극 활용하고 있는 추세이며 에너지와 관련된 여러 인자들을 동시에 고려하여 최적 열환경 제공을 목표로 하고 있다. 이에 국내 또한 데이터센터 에너지 절감을 위하여 소프트웨어적 접근이 필수적인 것으로 사료된다. 따라서 본 연구에서는 데이터센터 최적 열환경 제어알고리즘 개발을 위해 머신러닝 기반의 실내 온도 예측모델을 개발하고 성능평가를 통해 실시간 제어 모델로써의 적용 가능성을 확인하고자 한다.

데이터센터는 보안이 중요한 시설로써 실제 데이터 획득에 어려움이 있기 때문에 예측모델 구축 및 성능평가의 용이성을 위하여 적용 대상은 컨테인먼트형 데이터센터 1개 모듈과 일련의 냉방시스템으로 한정한다. 열역학에 기반하여 MATLAB & Simulink로 모델링을 실시하였으며 해당 모델은 데이터 취득 및 개발되는 예측모델의 적용 대상으로 사용된다. 예측모델은 MATLAB Library를 통해 4가지 종류의 기계학습 알고리즘으로 개발되며 최적화 및 성능평가를 통해 최고 성능을 나타내는 예측모델을 채택한다.

기계학습(Machine Learning)은 주어진 데이터를 컴퓨터 스스로 학습할 수 있게 하는 알고리즘을 의미하며 학습 방법에 따라 지도학습, 비지도학습, 강화학습으로 분류된다. 지도학습의 경우 학습 데이터세트에 정답이 포함되기 때문에 주로 분류(Classification) 및 회귀(Regression) 모델 구축에 사용된다. 학습 방법 및 목적에 따라 다양한 학습 알고리즘이 존재하며 본 연구에서는 회귀에 사용되는 대표적인 4가지 학습 알고리즘에 대한 개발을 실시한다. 각 학습 알고리즘에 대한 개념은 다음과 같다.

첫째는 가우시안 프로세스 회귀(Gaussian Process Regression, GPR) 모델이다. 가우시안 프로세스 회귀는 공분산 함수(Covariance Function), 평균 함수(Mean Function), 가우시안 분포(Gaussian Distribution) 및 베이지안 확률론(Bayesian Probability)에 기반한 지도학습 알고리즘으로 비모수적(Non-parameter) 추론을 구현한다[20]. 가우시안 프로세스(Gaussian Process)는 비모수적 추론으로써 다변량 정규분포를 무한차원으로 확장한다. 공분산 함수에 의해 입출력 값의 공분산을 정의하고 그 값에 따라 임의의 차원을 가지는 가중치 사후분포를 결정한다. 이때 공분산 함수에 의한 가중치 사후분포는 초모수 값에 따라 달라진다. 본 연구에서는 BasisFunction, KernelFunction, Sigma의 베이지안 최적화(Bayesian Optimization)를 실시한다.

둘째, 서포트 백터 머신(Support Vector Machine, SVM)은 서포트 벡터와 마진(Margin)을 이용하여 결정 경계를 형성하는 기계학습 알고리즘이다. 각 데이터들의 마진을 최대화 하는 방향으로 학습을 진행하여 분류에 많이 사용되나, 목표를 반대로 하면 회귀 모델로도 사용이 가능하다. 즉, 마진에 최대한 많은 데이터가 포함되도록 학습하는 식이다. 이때 마진의 정도를 결정하는 Epsilon은 초모수로써 최적화의 대상이며 데이터 분포에 따라 선형 커널, 다항 커널, 가우시안 커널 등을 사용해 데이터 분포 특성을 반영한다. 본 연구에서는 KernelScale, BoxConstraint, Epsilon에 대한 베이지안 최적화를 실시한다.

셋째, 랜덤 포레스트(Random Forest, RF)는 의사 결정트리(Decision Tree)를 기반으로 하는 앙상블(Ensemble) 기계학습 알고리즘이다. 데이터 특성을 임의로 추출하는 배깅(Bagging) 혹은 기타 메소드를 통해 다수의 의사 결정트리를 생성하고 트리로 구성된 포레스트를 형성한다. 입력값에 대해 여러 예측값이 도출되며, 회귀의 경우 최종 예측값은 각 트리의 앙상블 시뮬레이션을 통해 예측값들의 평균으로 결정된다. 본 연구에서는 Method, Learning Rate, NumCycling, MinLeafSize, MaxNumSplits에 대한 베이지안 최적화를 실시한다.

마지막으로 인공신경망(Artificial Neural Network, ANN)은 인간의 뇌에서 일어나는 신경의 상호작용을 모방한 기계학습 알고리즘이다. 입력층, 은닉층, 출력층으로 구성되며 각 층은 노드(Node)로 구성된다. 노드는 가중치(Weight)와 편의 값(Bias)으로 구성되며 여러 노드들은 다중퍼셉트론 구조를 형성한다. 입력층에 입력되는 입력값에 따라 가중치와 편의 값은 업데이트되며 이 과정은 출력층에서 도출되는 예측값과 주어진 정답의 에러가 기준 이하를 만족할 때까지 반복된다. 본 연구에서는 베이지안 최적화를 통해 은닉층(Hidden Layer), 노드(Hidden Neuron) 수, Mu Value에 대한 최적화를 실시한다.

컨테인먼트형 데이터센터는 핫스팟 방지, 냉방 시스템 효율 향상 등을 목적으로 냉복도(Cold Aisle) 혹은 열복도(Hot Aisle)를 차폐한 구조를 의미한다. 냉복도 차폐 시 CRAC (Computer Room Air Conditioner)나 CRAH (Computer Room Air Handling Unit)에서 토출되는 찬 공기가 전산실의 공기와 혼합되지 않아 랙(Rack)에 인입되는 과정에서 온도 변화가 적다. 또한 열복도 차폐 시 CRAC/H에 회수되는 공기 온도가 높아 냉방 시스템 효율을 향상시킨다[21]. 본 연구에서는 MATLAB & Simulink 소프트웨어를 활용하여 냉복도와 열복도가 모두 차폐된 컨테인먼트 1개와 냉방시스템에 대한 모델링을 실시하며 구성도는 Fig. 1.과 같다.

Fig. 1. 
Composition of Containment Data Center and Cooling System

컨테인먼트 내부는 14개의 랙과 6개의 CRAH로 구성되어 있다. 각 랙의 최대 IT부하는 6.6kW이며 CRAH는 In-row 형으로 각 랙 사이에 배치된다. 컨테인먼트는 주변환경과 침기가 이루어지지 않고 완전단열되는 것으로 가정하며, 모든 열교환은 100% 비율로 이루어진다. IT 부하는 kW로 정의되며 1kW = 860kcal로 환산하여 계산한다.

일반적인 랙 전후면의 온도차는 10℃~12℃이며 서버 풍량은 랙 전후면의 온도차가 11℃가 되도록 제어된다. CRAH는 랙에서 회수되는 총 풍량과 같은 풍량을 급기한다. CRAH 내부의 냉각 코일에는 R134a 냉매가 순환한다. 해당 냉매는 판형 열교환기로 인입되어 냉수와 열교환 하며 2N 구조로써 열교환기 1개가 컨테인먼트의 모든 냉방부하를 처리할 수 있도록 설계되었다. 각 열교환기는 냉동기에 연결되고 최종적인 냉방부하는 냉각탑에서 처리된다. 각 열매체들 간의 열교환은 열역학에 기반하여 (Eq. 1)에 의해 정의된다.

여기서, Q [kcal/hr]는 냉방부하, m [kg/hr]는 열매체의 질량 유량, c [kcal/kg℃]는 열매체의 비열, T_RA 및 T_SA [℃]는 열매체의 회수, 공급온도, h_RA 및 h_SA [kcal/kg]는 열매체의 회수, 공급 엔탈피를 의미한다.

일반적으로 데이터센터 권장 온도는 랙의 인입 온도로 측정되나, 본 연구에서는 냉복도가 차폐되어 있으며 스탠드형 CRAH의 특성을 반영하여 CRAH 공급 공기 온도와 랙 인입 공기의 온도 차 ΔT를 0으로 가정한다. 공급 공기 온도는 냉매와 열교환을 일으키지만, 냉매는 공기와 냉수의 단순 열전달 매체로써 온도 제어에 영향이 없다. 냉수는 7℃로 공급되어 12℃로 회수되는 것으로 설정되며, 냉수 유량은 CRAH 공급 공기 온도 제어의 주체가 된다. 냉각수는 32℃로 공급되고 5℃의 레인지를 갖도록 설정하였다.

최근 급증하는 데이터 기반 산업에 대응하기 위하여 데이터센터의 수요가 급증하고 있다. 데이터센터 전력 소비량의 약 50.5%는 냉방 에너지에서 사용되고 있어 해당 부문의 에너지 절감은 필수적이다. 선행연구 분석 결과 에너지 절감을 위해 소프트웨어적인 접근이 이루어지고 있으나 국내의 경우 관련 연구 및 개발이 미비한 실정이다. 따라서 본 연구에서는 MPC 기반의 최적 열환경 제어알고리즘 구축을 위한 기초 작업으로써 열환경 예측모델을 개발하였다.

열환경 예측모델은 4가지 기계학습 알고리즘에 의해 개발되었으며 각 모델에 대한 최적화 및 성능평가를 실시하였다. 초기 모델의 정확도는 R²와 Cv(RMSE)로 평가하였으며 ANN의 R²가 0.89, RF의 Cv(RMSE)가 17.85%로 ASHRAE 기준을 상회하는 결과를 나타내었다. 각 모델에 베이지안 최적화를 실시한 후 결과는 ANN의 R²가 0.99, Cv(RMSE)가 0.94%로 가장 높은 성능을 나타내었다. 해당 최적화 모델은 컨테인먼트형 데이터센터 모델에 적용하여 시뮬레이션을 실시하였으며 IT 부하가 지속적으로 변동됨에도 불구하고 RMSE 0.09로 매우 높은 예측 정확도를 나타내는 것으로 분석되었다. 따라서 예측모델은 적은 수의 입력변수로도 안정적인 예측 운영이 가능하며 실시간 제어에 활용될 수 있을 것으로 판단된다.

본 연구에서는 단일 시나리오에 국한되어 성능평가가 이루어졌으나 실제 데이터센터는 외기, 냉방 시스템의 종류, IT 장비 배치 여부 등의 다양한 변수가 존재한다. 따라서 실시간 학습을 통해 최적화 및 적응이 가능한 최적 열환경 제어알고리즘의 개발은 필수적이며 추후 연구로 진행될 예정이다.