Home > Current Issue > Vol. 21, No. 1


[ Research Article ]
The International Journal of The Korea Institute of Ecological Architecture and EnvironmentVol. 21, No. 1, pp.89-97
Abbreviation: J. Korea Inst. Ecol. Archit. And Environ.
ISSN: 2288-968X (Print) 2288-9698 (Online)
Print publication date 28 Feb 2021
Received 11 Dec 2020 Revised 13 Jan 2021 Accepted 18 Jan 2021
DOI: https://doi.org/10.12813/kieae.2021.21.1.089

지역사회 문제 해결을 위한 시민참여형 공공주도 리빙랩 운영사례 및 성과 분석 : ICT 기반 스마트 환기 시스템을 통한 경로당 실내 공기질 개선효과 및 사용자 만족도를 중심으로
박소임* ; 장수정**

A Case Study and Performance Analysis of Citizen Participatory Public-led Living Labs for Solution of Local Community Problems : Focusing on Improvement and User Satisfaction with Indoor Air Quality of Senior Center using ICT-based Smart Ventilation System
So-Im Park* ; Soo-Jung Chang**
*Research Professor, Kangnam Univ., South Korea (soimhousing@naver.com)
**Corresponding author, Senior Researcher, ePPS, South Korea (reliving@naver.com)

ⓒ 2021. KIEAE all rights reserved.
Funding Information ▼

Abstract
Purpose:

Due to the recent deterioration of outdoor air quality and risk awareness of Corona19 worldwide, the importance of indoor air quality and ventilation management in multi-use facilities has been emphasized. This study, conducted in this background, concerns the application and demonstration of ventilation systems to improve indoor air quality of small senior citizen living center.

Method:

The Living Lab, an end user participative development method of innovative technology was adopted to investigate the problem and user demand in senior citizen living facility and to apply indoor air ventilation system reflecting them. This study also measured the change in indoor air quality before and after system installation, and conducted user satisfaction analysis.

Result:

The ventilation system was improved based on demand analysis through Living Lab and the results of measuring indoor air quality to determine the performance and implementation feasibility showed that the ultrafine particulate matter and the carbon dioxide improved by 87% and 30%, respectively. Users reported high overall satisfaction with the process and outcomes of Living Lab and they particularly noticed the effectiveness of learning. In conclusion, the Living-Lab led by pubic institutions is valuable in that it is a mean to identify and solving problems in local communities and an effective methodology that ensures the sustainability of projects and applied technologies.


Keywords: Indoor Air Quality, Senior Citizen Center, Ventilation System, ICT Living Lab, LTC Local Community
키워드: 실내 공기질, 경로당, 환기 시스템, ICT 리빙랩, LTC 지역 공동체

1. 서론
1.1. 연구의 배경 및 목적

최근 미세먼지 등 실외환경의 악화와 전 세계적인 코로나19에 대한 위험인식으로 인해 다중이용시설의 실내 공기질 관리의 중요성이 강조되고 있다. 특히 건강취약계층이 이용하는 생활시설은 노약자가 하루 중 대부분의 시간을 상주하기 때문에 실내 공기질 관리에 관한 철저한 관리와 대비가 필요하다. 건강취약계층이 이용하는 시설의 공기질은 「실내공기질 관리법」에 의하여 관리되고 있다. 하지만 현행법상 일정규모 이상의 대규모 다중이용시설만이 법적 테두리 내에 있어 소규모 시설을 이용하는 노약자들은 오염된 실내공기에 노출될 가능성이 있다. 이 중에서도 소규모 경로당은 관리의 사각지대에 놓여있다. 대안적인 해결책으로 별도예산을 들여 공기청정기의 지원하는 등의 노력이 이어지고 있으나 아직 많은 시설이 공기질에 취약한 환경에 처해있는 실정이다.

리빙랩이란 사회혁신모델의 일종으로 특정 공간 또는 지역에서 최종 사용자가 기술개발과정에 참여하고 일상생활에서 기술을 시험하는 테스트베드를 뜻한다[1]. 리빙랩은 혁신기술의 도입에 최종 사용자의 생활 속 참여를 유도하여 혁신의 지속가능성을 강화할 수 있는 방법론으로 주목받고 있으며, 지자체를 중심으로 지역사회 문제해결과 혁신을 위한 공공기관 주도의 리빙랩 사업이 확산되고 있다.

이러한 배경에서 본 연구는 소규모 경로당의 실내 공기질 개선이 필요하다는 인식을 바탕으로 진행되었다. 본 연구는 경로당의 실내 공기질 문제 해결을 위하여 리빙랩을 도입한 공공기관 주도형 리빙랩 사례의 성과를 소개한다. 특히, (1) 다양한 형태의 의사결정 참여를 통한 문제해결과정의 민주성 확보, (2) 실제 생활환경 속에서의 공기질 개선정도, 그리고 (3) 사용자의 체감되는 만족도를 측정하는 것을 목표로 하였으며, 이를 바탕으로 정부와 시민이 협력하여 지역사회 문제해결을 목표로 하는 공공기관 주도형 리빙랩의 의의를 도출하고 리빙랩을 보다 효율적으로 운영하는 데 기여하고자 한다.

1.2. 연구의 방법

본 연구는 2019년 고양시 스마트시티 리빙랩 프로젝트 실증 사업의 사례를 바탕으로 한다. 본 실증사례는 경로당, 어린이집 등 노약자 생활시설의 실내 공기질 문제 해결을 목적으로 진행되었으며 주요 연구방법으로 최종 사용자 참여형 혁신기술개발 실험방법론인 리빙랩을 활용하였다.

본 연구의 내용적 범위는 리빙랩 운영 사례연구를 통한 지역사회 문제해결 과정과 성과 분석에 관한 것이다. 그중에서도 이해관계자 의사결정 참여 기반 요구 분석, 실제 경로당에 도입된 환기 시스템을 통한 실내 공기질 개선효과, 그리고 경로당 이용자 만족도와 같이 리빙랩의 과정과 결과에 따른 성과분석을 연구의 범위로 한정하였다.

연구는 다음과 같은 순서로 진행된다.

첫째, 실내 공기질 관리, 지능형 실내 환기 시스템, 리빙랩, 공공기관 주도형 리빙랩 성과지표 등 연구의 주요 개념을 고찰하였다.

둘째, 참여기반 의사결정 과정을 통해 진행된 사용자 요구 분석 결과를 기술하였다. 리빙랩 운영의 민주성과 합리적 지속성을 확보하기 위하여 다양한 이해관계자의 참여를 유도하고 의견을 반영하는 것은 중요하다. 본 연구는 리빙랩의 참여적·민주적 특성에 기초하여 경로당 이용자를 대상으로 실내 공기질에 관한 현안과 요구사항을 파악하였으며, 이를 반영하여 환기 시스템을 개선하였다.

셋째. 공공기관 주도형 리빙랩 사업의 결과에 대한 정량적 평가와 정성적 평가를 실시하였다. 정량적 평가의 일환으로 환기 시스템 설치 전후의 경로당 내 공기질 변화를 실측하여 실내 공기질 개선효과를 확인하였다. 이어서 정성적 분석으로 환기 시스템 설치 후 경로당 이용자의 주관적 만족도를 측정하였다.


2. 관련 개념 고찰
2.1. 노인복지시설의 실내 공기질 관리

「실내공기질 관리법」은 다중이용시설, 신축되는 공동주택 및 대중교통차량의 실내 공기질을 적절하게 유지하고 관리함으로써 그 시설을 이용하는 국민의 건강을 보호하고 환경상의 위해를 예방하는 것을 목적으로 2004년부터 시행되고 있다. 해당 법은 미세먼지, 이산화탄소, 폼알데하이드, 총부유세균, 일산화탄소, 이산화질소, 라돈, 휘발성유기화합물, 석면, 오존, 초미세먼지, 곰팡이, 벤젠, 톨루엔, 에틸벤젠, 자일렌, 스티렌 등 실내 공기오염의 원인이 되는 가스와 떠다니는 입자상물질을 오염물질로 정의한다. 지하역사, 도서관, 전시시설 등 일반 시설 14개, 민감계층 이용시설 5개, 실내주차장, 체육시설, 공연장 및 업무시설 4개를 대상으로 오염물질에 대한 유지기준을 제시하고 있으며(Table 1.), 그중에서도 어린이, 노인, 임산부 등 건강피해 우려가 큰 취약계층이 주로 이용하는 다중이용시설은 미세먼지, 초미세먼지, 폼알데하이드 등 특정 오염물질에 대하여는 더욱 엄격한 공기질 유지기준을 따르는 것을 권고하고 있다[2].

Table 1. 
Requirements for Contaminant under Indoor Air Quality Control Act[2]
Particulate Matter
(PM-10)
(㎍/㎥)
Particulate Matter (PM-2.5)
(㎍/㎥)
Carbon
dioxide
(ppm)
Fromaldehyde
(㎍/㎥)
Total Suspended Bacteria
(CFU/㎥)
Carbon Monoxide
(ppm)
General facility < 100 < 50 < 1,000 < 100 - < 10
Facility for vulnerable < 75 < 35 < 80 < 800
Indoor parking lot < 200 - < 100 - < 25
Sports facility & others < 200 - - - - -

「실내공기질 관리법」은 대상시설의 협소성이 문제로 제기됨에 따라 개정을 거듭하여 적용대상시설을 지속적으로 확대해오고 있다. 예를 들어 2006년 개정법은 국·공립보육시설 외에도 법인보육시설·직장보육시설 및 민간보육시설까지 다중이용시설에 포함되었다. 하지만 해당 법이 거의 모든 적용대상시설에 대하여 연면적 기준을 제시함에 따라, 음식점, 헬스장, 고시원 등과 같은 소규모 시설은 이용자의 다수성을 부정할 수 없음에도 불구하고 관리의 대상에서 제외되어 있다는 점이 문제로 지적되었다[3]. 이에 보건복지부는 영유아, 노인, 기저질환자 등 취약계층에 대한 보호방안으로 2018년 어린이집, 경로당을 대상으로 공기정화시설 설치를 지원하였다. 이와 같이 노약자 생활시설의 공기질 개선을 위한 제도적 지원이 지속되고 있지만 아직 많은 시설이 실내 공기질에 취약한 환경에 처해있다. 특히 「실내공기질 관리법」의 사각지대에 놓여있는 소규모 경로당의 경우 실내 공기 관리 방안이 상대적으로 부족한 실정이다.

2.2. 지능형 실내 환기 시스템

실내 공기질 관리에 대한 관심이 높아짐에 따라 인공지능과 자동화된 환기 시스템을 통해 실내 공기질을 개선하기 위한 연구개발이 진행되고 있다. 이효은 외(2017)는 인공지능 창호환기에 관한 국내외 연구동향을 분석하였으며, 국내·외 모두 센서를 활용한 스마트 창호와 하이브리드 환기 시스템 관련연구가 주를 이룬다는 경향성을 발견하였다[4]. 양영권 외 (2017) 또한 인공지능 기반 자동환기 시스템 연구동향을 분석하였으며, 대부분의 연구들이 자동제어와 자동환기 기능을 중심으로 함에 따라 인공지능, 기계학습 모델의 적용 등 건축과 창호 분야에서 인공지능관련 연구가 더욱 활발하게 이루어져야 할 것이라 제언하였다[5].

실내 공기질 관리에 있어 인공지능 기술의 도입에 대한 관심이 높아지는 가운데, 기술의 명백한 이익이 존재함에도 불구하고 사용자의 채택과 수용을 저해하는 다양한 내적·외적 요인이 존재하기 때문에[6-7] 혁신기술의 개발과 도입에 있어 최종 사용자의 의견을 반영하는 것은 중요하다고 할 수 있다. 반면, 실내 공기질 개선을 위한 지능형 환기 시스템에 관한 연구 중 최종 사용자의 인식을 측정하는 사용자 참여기반 연구는 상대적으로 이루어지지 않았다.

2.3. 리빙랩

리빙랩은 우리말로 ‘살아있는 실험실’, ‘생활 실험실’이란 뜻으로, 연구혁신에 있어 최종 사용자가 문제해결에 적극적으로 참여할 수 있는 방법론으로 ‘연구자가 사용자를 관찰하고 실험을 수행하는 실제 공간’을 뜻한다[8]. 리빙랩은 사용자의 참여를 통해 기술혁신 등 다양한 혁신 과정에 중요한 현장의 수용성을 높이는 효과를 동반함에 따라 특히 사용자 주도 혁신에 중요한 역할을 수행하고 있다[9].

리빙랩은 기획 단계부터 실사용자의 요구사항을 도출하고 기술개발과정에서 지속적으로 사용자의 피드백을 반영하여 보다 실용적이고 사용자 친화적인 혁신을 창출하는 사용자 중심의 사회혁신 방법론이다[10]. 특히 리빙랩은 실제 생활에서의 실증을 토대로 사용자와 생산자가 함께 혁신을 만들어 감에 따라 혁신과정에서 사용자의 적극적 참여가 이루어지는 특징을 가진다. 리빙랩의 주요 절차와 단계별 목표는 Table 2.와 같다[11].

Table 2. 
Phased Goals Depending on the Procedure of Living Lab[11]
Phase Goals
Demand analysis Purpose Definition / Trend analysis / Description of Key Areas / Problem Definition / Trend analysis, project purpose, understanding of key areas, problem posing and conceptualization
Materialization of the present state System building for mutual cooperation / Share and provision of information / problem materialization and solution recommendation
Implementation and demonstration Definition of function and purpose / technique system analysis / field survey / Manufacturing and Testing Prototype
Feedback Pilot installation / feedback analysis / Final solution provision after technical supplementation

2.4. 공공기관 주도형 리빙랩의 성과지표

리빙랩은 혁신기술의 개발과 도입에 최종 사용자 참여를 유도하고 혁신의 지속성을 강화할 수 있는 방법론으로 주목받고 있으며, 이에 따라 사회문제 해결과 지역혁신을 위한 공공기관 주도의 리빙랩 사업이 확산되고 있다. 리빙랩은 리빙랩 활동을 이끄는 혁신의 주체에 따라 기업 주도형, 공공기관 주도형, 연구기관 주도형, 사용자 주도형의 네 가지 유형으로 구분할 수 있다[12] 이중 공공기관 주도형 리빙랩은 지방자치단체 등 공공기관이 조력자로서 혁신활동에 참여하는 리빙랩 유형을 의미한다. 공공기관 주도형 리빙랩은 공적 목적을 바탕으로 수립된 민·산·학·연의 다양한 이해관계자들이 참여하는 추진 체계를 기반으로 운영되며, 지역사회문제 해결에 초점을 둔 논제의 발의부터 사후평가까지 사업의 전 과정에 있어 지역주민의 적극적인 참여가 이루어진다는 특징을 가진다.

Table 3. 
Example of Living Lab Performance Indicators[14]
Category Contents
Input Input resources Appropriateness of input resources, Organized project system, Technology and program
Formation of main participants Persons interested from many different fields, Recruitment of citizens
Process Operation and management Transparency of execution, Monitoring level, Incentive level
Participation-based decision making Continuous communication, Use of divers methodologies, User demonstration
Output Service implementation Service implementation
Outputs Business model, Report
Application of data Collected data
Result Level of project goal achievement Level of technical development achievement, Service satisfaction, Level of project goal achievement
Social achievement Ripple effect, Number of international cooperations, External promotion
Economic achievement Intellectual property rights and patents, Job creation and business start-up

공공기관 주도의 리빙랩 사업이 효과적으로 수행되고 지속성을 바탕으로 새로운 사업 및 정책수립과 연결되기 위하여 적합한 성과분석 체계를 마련하는 것이 필요하다. 기술적 성과와 기술 달성도 위주의 국가연구개발사업의 평가 지표가 일반시민과 민간기업의 참여를 기반으로 하는 리빙랩의 특성과 상충함에 따라 기존 R&D 중심의 사업평가체계의 개선이 촉구되고 있다[13]. 특히, 리빙랩은 사업의 주체가 곧 사업의 수혜자임에 따라 기술적, 심리적, 사회적, 경제적 측면 등 다양한 분야의 성과를 측정할 수 있도록 리빙랩의 특성을 고려하는 성과지표의 개발이 필요하다[14].

이에 따라 리빙랩의 특성을 고려하는 성과지표에 관한 연구들이 수행되고 있다. 특히, 리빙랩은 수요자의 의사결정 참여와 실증이 성공의 중요한 축을 담당하기 때문에, 의사소통의 적절성, 지속적인 커뮤니케이션, 의견 수집을 위한 다양한 방법론의 활용, 과정과 결과의 민주성, 시민 참여도, 수요 충족도 등 사용자 참여유도와 의견반영 절차에 대한 정량적·정성적 평가가 요구되고 있다[14-17].


3. 리빙랩 개요 및 진행 과정
3.1. 이해관계자 참여기반 의사결정 과정

본 연구는 2019년 고양시 스마트시티 리빙랩 프로젝트 실증 사업의 일환으로 진행된 풍산동 리빙랩 사례를 바탕으로 한다. 본 사례는 어린이집과 경로당을 비롯한 노약자 생활시설의 실내 환기 문제 해결을 위하여 ICT 기반 환기 시스템을 도입하기 위한 목적으로 진행된 공공기관 주도형 리빙랩 유형이다[18-19]. 리빙랩에 참여한 이해관계자는 공공기관 행정담당자, 민간기업, 연구진, 관련 전문가를 비롯하여 시설의 실제 사용자를 포함하는 지역주민으로 구성되었다. 참여기반 의사결정을 위한 리빙랩의 절차로서, 시설환경에 대한 개선사항과 공기질 현안문제를 파악하고 환기 시스템의 시범적용을 통해 만족도와 개선사항 등을 수집하도록 리빙랩 참여자들을 대상으로 수차례에 걸친 요구 분석을 실시하였다(Table 4.).

Table 4. 
Living Lab Overview
Category Contents
Project
Purpose
① To build health-city based on citizen demand and their participation and plan and find smart-city service
② To develop experiential service and to solve problem of city through demonstration
Problem Poor quality of inside air of senior citizen living facility
Period From Apr. to Dec., 2019
Local Poongsan-dong, Ilsandong-gu,Goyang city
Steps
for Demand
Analysis
① Online and offline questionnaire survey to analyze citizen demands in various ways
② Citizen participative workshop
③ 1st experience and assessment (user satisfaction and demand, Observation of change in user behaviors)
④ Discussion and Suggestion (Including all participants into Living Lab)
⑤ Revision and supplementation by steps, Consultation with Goyang ICT Converging Technology Group
⑥ 2nd experience and assessment (user satisfaction and demand, Observation of change in user behaviors and psychology)
⑦ Field discussion & Suggestion (Including all participants into Living Lab, Mid- and Long-term plan for development and application and field verification

42회의 소규모 시민 커뮤니티 회의와 1회의 대규모 시민 참여 워크숍, 그리고 프로토타입 시범설치 평가과정을 거쳐 노약자 생활시설의 실내 공기질 문제점을 파악하고 요구분석을 실시하였다(Fig. 1.). 먼저, 리빙랩을 진행하는 과정에 수차례 시민 커뮤니티 회의를 개최하여 실생활 속 대기오염에 의한 불편사항과 문제점을 수집하고 리빙랩의 현황을 공유하였다. 시민 참여 워크숍은 행정기관 관계자, 관련부처 및 참여 기업, 시민해결단을 비롯하여 산업계, 학계, 연구계, 언론계, 유관기관, 실증지역 대표시민 등 약 150여명의 참여를 바탕으로 이루어졌다. 워크샵에서는 시민 커뮤니티 회의를 통해 수렴된 의견을 반영한 환기 시스템의 예비선정결과를 공유하고, 환기 시스템의 지속적인 유지관리방안을 비롯하여 시민과 함께하는 사업의 확대를 위한 지속가능한 추진방안을 논의하였다. 또한 실증지역 내 사례 대상지를 중심으로 환기 시스템의 시범설치를 진행하여 사용성을 평가하고 구성기술의 개선사항을 수집하였다.


Fig. 1. 
Relevant Photos of Demand analysis

이와 같이 다양한 이해관계자 참여기반 의사결정과정을 통해 참여자들은 시설이용자와 관리자로서의 경험, 전문가로서의 지식과 역량을 바탕으로 환기 시스템에 대한 통찰을 제공하였다. 이러한 과정을 통해 수집된 요구분석 결과는 다음과 같다[19].

Table 5. 
Basic Specifications for Ventilation System
Photo Ventilation System Specifications
Air volume Outflow 400CHM / Inflow 200CMH
Noise 45db
Power consumption 43W
Size 80cm * 39cm (Minimum)
Installation method Flexible design that can be easily installed on windows of educational and welfare institutions and general households

3.2. 요구 분석 결과
1) 실내외 악취 해결

노약자 생활시설의 시설이용자들의 공기질 인식과 관련하여 가장 최우선적으로 나타난 요구사항은 시설 내·외부의 악취에 대한 개선이었다. 경로당은 고령자들이 많은 시간을 상주하는 공동생활공간으로 실내에서 취식활동이 이루어짐에 따라 가스 및 냄새제거에 대한 요구가 높게 나타났다. 대부분의 경로당은 환기시스템이 미설치되어 창문으로 환기를 하며, 공기청정기는 냄새제거에 효과가 거의 없으므로 별도의 환기설비가 시급한 것으로 나타났다. 특히 외부의 악취가 심한 지역일수록 환기에 대한 요구가 두드러지게 나타났다.

2) 중앙제어 시스템

생활시설의 각 방마다 시스템을 설치하고 개별 운전 상태를 관리할 수 있도록 IoT기반의 중앙제어 기능이 필요하다는 의견 또한 제시되었다. 또한 효과적인 공기질 개선을 위해서 각 시설의 실내구조에 따라 자동으로 환기 패턴이 최적화 되는 기술의 적용이 필요하다는 의견이 수집되었다.

3) 관리시스템의 시각적 정보전달 기능

환기 시스템 시범 설치 및 프로토타입 평가를 통해 시설 이용자들의 인식과 만족도를 조사한 결과 실내공기 개선 효율에 대한 정량적, 시각적 데이터 취득이 불가한 점이 아쉬운 점으로 기록됨에 따라, 실내공기 개선 데이터를 지속적으로 감지하고 이를 시각화한 정보를 제공 및 관리할 수 있는 시스템 구축이 요구되었다.

4) 공공데이터 연계 및 원격종합관리 기능

외부 공기질에 관한 공공 데이터와 시설의 실내 공기질에 관한 실측 데이터를 중앙서버에서 수집·분석하여 시설의 실내 환기 시스템의 가동을 최적화하고, 실측 데이터를 축적하여 관리를 용이하게 할 수 있다는 의견이 제시되었다. 특히 사업의 성과관리 측면에서 노약자 생활시설 내 환기 시스템 설치 전후를 비교할 수 있는 실내공기 개선 데이터의 확보가 요구되었다. 따라서 서버를 통해 원거리에서 서비스 실증 시설의 공기질 개선 현황을 파악 할 수 있도록 관리자용 S/W의 개발이 요구되었다.

5) 시설의 공간적 특성 고려

시설 내 환기 시스템 설치에 동반되는 공간변화 및 비용부담을 저감해야한다는 의견이 제시되었다. 특히, 완공된 지 20년 전후가 된 시설의 경우 환기 시스템을 설치하기 위한 공사비용이 큰 부담으로 작용하였다. 또한 대부분의 시설이 알루미늄 소재의 창문을 사용하므로 창문형 환기 시스템 설치 시 알루미늄 창에도 적용 가능하도록 설치 방식을 고려할 필요가 있었다. 즉, 비용과 공간변화에 대한 부담을 감소시키기 위하여 다양한 공간구성과 공간형태에 쉽게 적용될 수 있는 가변성이 요구되었다.

3.3. 요구 분석 기반 스마트 환기 시스템 구성기술 도출

이해관계자 참여기반 의사결정과정을 통해 이루어진 요구분석을 바탕으로 스마트 환기 시스템 구성기술의 목표성능 및 개선사항을 다음과 같이 도출하였다(Table 6.).

Table 6. 
Extracting the Composition Technology of the Ventilation System Based On Demand Analysis
Issues Resolution Function description
Indoor & outdoor malodor Sensor installation - Contaminant detection sensor installation around facility
- Sending information on outdoor air quality around facility to server
Public data linkage Smart ventilation system solution - Control volume of inflow and dischargeed air based on the information sent to server
- Discharge indoor malodor and harmful substances in air such as CO2 and radon to outside
- Filtration of outdoor air before inflow to ensure safety
- Block or decrease air inflow to ensure safe ventilation when the concentration of malodor source is high
- Ventilation optimized for spatial structure
Central control function S/W and dashboard for administrator - To encourage facilities to ventilate according to the real-time information on indoor and outdoor air quality
Visonary expression of
Environmental data
Facility characteristics & cost bearing Frame-based ventilation system - Simple installation and standalone module structure

1) 미세먼지·악취 실내유입 차단

외부 오염물질의 실내유입을 최소화하고 실내공기를 개선하기 위하여 센서 기반 공기질 데이터를 서버로 실시간으로 수집하여 실내외 공기질 상태를 파악하고, 이를 기반으로 상황에 최적화된 환기운전 서비스를 제공한다. 또한 공기질 감지 센서를 통해 지역의 세부적인 구간의 공기질 데이터를 수집하여 주요 악취발생 시간 및 근원지를 파악하여 개선하는 것에 활용한다.


Fig. 2. 
Key Functions of the Ventilation System

2) 공공데이터 연계를 통한 최적화·자동화

시설 외부의 공기질 관련 공공 정보를 실시간 반영하여 환기 및 차단 여부를 자동화·최적화 한다. 예를 들어, 실외 공기질이 매우 좋지 않을 경우, 유입의 풍량을 최소화 하거나 차단시키고 실내 공기질이 쾌적하게 유지되면 환기를 종료하도록 유도한다. 실외공기 질이 보통 이상일 경우, 환기 시 유입 풍량을 높이고 배출도 높여 보다 신속한 환기를 유도한다.

3) 대쉬보드

중앙에서 제어가 가능하며 가동 현황을 서버로 송신하고 데이터를 축적·관리할 수 있는 관리자용 S/W를 구축하며, 사용기관 및 시설관리자가 실내외 공기질 현황과 운전현황을 쉽게 인지 할 수 있도록 대쉬보드 프로그램을 개발한다.

4) 설치비용 저감

설치비용을 저감하고 공간변경에 대한 부담을 완화하기 위하여, 환기 시스템은 독립형 모듈구조로 구성하여 가변성을 확보하고 시설의 특성에 따라 간편하게 설치 가능해야 한다.


4. 리빙랩 실증 결과 평가
4.1. 결과 분석의 개요

본 연구는 공공기관 주도형 리빙랩 성과분석의 예시로서 리빙랩 실증 결과에 관한 정량적 평가와 정성적 평가를 병행하였다. 공공기관 주도형 리빙랩 사업의 정량적 평가의 일환으로 환기 시스템 설치 전후의 공기질 변화를 실측하여 실내 공기질 개선효과를 확인하였다. 이어서 정성적 분석으로서 환기 시스템 설치 후 경로당 이용자의 주관적 만족도를 측정하였다.

4.2. 예비조사 및 분석 대상시설 선정

3장에서 논의한 바와 같이 요구 분석 결과를 반영하여 개선된 환기 시스템은 2019년 7월부터 9월에 걸쳐 실증지역(고양시 풍산동 일대) 내 리빙랩 참여자들이 실제 상주하는 경로당에 설치되었다. 환기 시스템의 도입에 앞서, 예비조사의 일환으로 2019년 7월 18일부터 5일 간 실증 대상 경로당의 공기질 현황을 측정하였다. 공기질 현황을 파악하기 위해 측정한 오염물질은 초미세먼지와 이산화탄소량이며, 두 오염물질은 모두 환경부 인증을 취득한 기기를 통해 측정되었다(Fig. 3.). 오염물질의 측정은 환기 시스템이 설치된 창호와 인접한 위치에서 수행되었다.

Table 7. 
Preliminary Investigation Results
Case Superfine particulate matter level CO2 level Photos of ventilation system installation
A 68.4 hour
(4,104 minutes)
9.6 hour
(576 minutes)
57% 8%
B 48 hour
(2,880 minutes)
6 hour
(360 minutes)
40% 5%
C 34.8 hour
(2,088 minutes)
0.06 hour
(4 minutes)
29% 0%
D 112.8 hour
(6,768 minutes)
48 hour
(2,880 minutes)
94% 40%
E 48 hour
(2,880 minutes)
6 hour
(360 minutes)
40% 5%
F 13.2 hour
(792 minutes)
6 hour
(360 minutes)
11% 5%


Fig. 3. 
Relevant Photos of Air Quality Measurement

리빙랩 실험이 일상 생활환경에서 이루어지는 점을 고려하여 오염물질의 실측은 외부 조건이 통제되지 않은 일상 생활환경속에서 이루어졌다. 각 사례 대상지는 사례별, 날짜별로 그 시간대는 다소 상이하나 정오를 전후로 재실자의 수가 점점 증가하였으며 오후 18시를 전후로 그 수가 감소하였다. 재실자의 실내 활동은 대체로 오후시간을 중심으로 취식활동이 이루어졌으며 그 외의 시간은 바둑, 화투 등의 단체여가활동이 이루어졌다.

본 연구는 이중 오염물질이 가장 높게 측정된 대표 사례 한 곳을 선정하여 환기 시스템 설치 전후에 대한 공기질 실측 결과를 분석하였다. 공기질 실측은 시설 이용자들의 불편을 최소화하며, 동시에 통제되지 않은 일상 생활환경조건에서의 측정오류를 줄이기 위하여 총 5일 간 진행되었다. 실측 사례 대상지의 공기질 변화를 분석하기 위하여 환기 시스템 설치 전인 2019년 7월 18일부터 5일 간 측정된 실내 공기질 측정값과, 시스템 설치 후인 2019년 9월 18일부터 5일 간 측정된 실내 공기질 측정값이 분석에 활용되었다.

4.3. 사례 대상지의 실내 공기질 변화 분석
1) 초미세먼지

초미세먼지는 0~15㎍은 ‘좋음’, 16~25㎍은 ‘보통’, 26~50㎍은 ‘나쁨’, 51㎍ 이상은 ‘매우 나쁨’으로 분류하였다. 5일 간의 측정을 통해 설치 전후의 초미세먼지 개선효과를 분석한 결과는 다음과 같다. 초미세먼지가 ‘나쁨’, 혹은 ‘매우 나쁨’으로 측정된 시간의 비율이 설치 전 94%에서 설치 후 7%로 낮아졌으며, ‘보통’, 혹은 ‘좋음’인 시간의 비율은 설치 전 대비 약 87% 증가하여 공기질이 개선되었다(Table 8.).

Table 8. 
Improvement of Fine Particulate Matter (PM-2.5) Level*
Category Results
Sum of time length of 'poor' and 'very poor' Before installation (A) Sum of length 112.8 hour
(6,768 minutes)
94 %
After installation (B) Sum of length 8.4 hour
(504 minutes)
7 %
Time length of 'after' compared to 'before' installation Increase in 'good' and 'normal** 15.5 times
Improvement in 'poor' and 'very poor' compared to total period*** 87%
* For five days (120 hours, 7,200 minutes) in total
** Multiple of 'good' and 'normal': [(1 - B)/(1 - A)]
*** Improvement in 'poor' and 'very poor' compared to total period: (A – B)

Fig. 4. 는 5일 간의 측정 중 오염물질이 최댓값을 기록하여 가장 유의한 공기질 변화를 보인 일자의 측정결과이다. 초미세먼지의 일일 측정 결과는 설치 전 최대수치 230㎍에서 설치 후 최대 수치 53㎍으로 약 4.3배의 차이를 기록하였다. 「실내공기질 관리법」의 오염물질 유지기준을 중심으로 검토하였을 때, 일부 오전 시간대의 초미세먼지 수치가 취약계층 이용시설 기준을 초과하였으나 내부 인구유동과 활동량이 많아지는 오후 시간대의 경우 전반적으로 이하 수준을 유지하였다.


Fig. 4. 
Fine Particulate Matter (PM-2.5) Measurement Result

2) 이산화탄소

이산화탄소는 0~500ppm은 ‘좋음’, 501~1000ppm은 ‘보통’, 1001~1500ppm은 ‘나쁨’, 1500ppm 초과 시 ‘매우 나쁨’으로 분류하였다. 5일간의 측정을 통해 설치 전후의 이산화탄소 개선효과를 분석한 결과, 이산화탄소가 ‘나쁨’, 혹은 ‘매우 나쁨’으로 측정된 시간의 비율이 설치 전 40%에서 설치 후 10%으로 낮아졌으며, 이산화탄소가 ‘보통’, 혹은 ‘좋음’인 시간의 비율은 설치 전 대비 약 30% 증가하여 공기질이 개선되었다(Table 9.).

Table 9. 
Improvement of CO2 level*
Category Results
Sum of time length of 'poor' and 'very poor' Before installation (A) Sum of length 48 hour
(2,880 minutes)
40 %
After installation (B) Sum of length 12 hour
(720 minutes)
10 %
Time length of 'after' compared to 'before' installation Increase in 'good' and 'normal** 1.5 times
Improvement in 'poor' and 'very poor' compared to total period*** 30%
* For five days (120 hours, 7,200 minutes) in total
** Multiple of 'good' and 'normal': [(1 - B)/(1 - A)]
*** Improvement in 'poor' and 'very poor' compared to total period: (A – B)

Fig. 5.는 5일간의 측정 중 오염물질이 최댓값을 기록하여 가장 유의한 공기질 변화를 보인 일자의 측정결과이다. 이산화탄소의 일일 측정 결과는 설치 전 최대 수치 1378ppm에서 설치 후 최대 수치 496ppm으로 약 2.8배의 차이를 나타냈다. 이는 「실내공기질 관리법」의 오염물질 유지기준을 준수하는 결과였다.


Fig. 5. 
Carbon Dioxide Measurement Result

4.4. 만족도 조사
1) 만족도 조사 개요

환기 시스템 설치 후 시설 이용자 및 리빙랩 참여 이해관계자들의 만족도 조사를 실시하였다. 경로당 이용자들이 대부분 노인으로 구성됨에 따라, 만족도 조사는 조사의 참여도와 응답률을 높이고 현장의 목소리를 생상하고 깊이 있게 파악하기 위하여 반구조화된 개방형 인터뷰 방식으로 진행되었다[20].

만족도를 평가하기 위한 문항은 서비스 활용도 및 수요 충족도로 구성되었다[21, 22]. 각 문항별로 주요 파악내용을 설정한 후 인터뷰 대상자가 각각의 문항에 관하여 자유롭게 의견을 제시하도록 유도하였다(Table 10.). 만족도 조사는 2019년 10월, 조사 참여의사를 밝힌 경로당 이용자 8명과 리빙랩 이해관계자 5명을 대상으로 대면으로 진행되었다.

Table 10. 
User Satisfaction Analysis Results
Indicators Results
Service usage Number of beneficiary - Automated and optimized functions of ventilation systems were used widely in mos of Centers
- Most users experienced improvement of air quality (odor)
Continuous use - Positive evaluation of education for continuous use and maintenance through prototype demonstration and workshop
Fulfillment of demand Beneficiary satisfaction - Most reports were positive ones such as 'much difference between before and after installation' and 'the indoor air has become more fresh'.
Attainment of goal for
technology development
- Being satisfied with the reflection of the demand collected through Living Lab (Odor sensor, Central server, Central control, Dashboard, Center Characteristic)
- Particularly, easy identification of indoor and outdoor air quality and system operation status through visualized dashboard was noted.


Fig. 6. 
Relevant Photos of Satisfaction Analysis

2) 만족도 조사 결과

먼저 서비스 활용도의 측면에서 대부분의 시설에서 자동화 된 환기 시스템을 적극적으로 사용하고 있었으며, 시설 이용자들의 대부분이 실내 공기질, 특히 악취와 관련되어 개선된 점을 인식하고 있었다. 또한 지속적인 활용방안 수립의 관점에서, 리빙랩 이해관계자들은 리빙랩 운영을 통해 프로토타입 시범 및 워크샵을 통한 지속적인 사용과 유지관리 교육을 실시한 것에 긍정적으로 반응하였다. 첨단 기술은 단순히 기능적 혁신만이 아닌 대상 사용자와 환경특성에 적합한 방식으로 도입되는 것이 중요하다. 특히 노인의 경우, 기술의 사용법에 대한 이해의 부족으로 인해 기술의 혜택을 받지 못하거나 오히려 문제가 악화되는 경우가 발생할 수 있다. 본 리빙랩 운영 중에도 이러한 사례를 찾아볼 수 있었다. 예를 들어, 프로토타입 체험 과정에서 창문을 개방한 후 환기 시스템을 작동하여 실외 오염물질의 유입으로 인해 오히려 실내 공기질이 악화된 사례가 발생하기도 하였다. 따라서 올바른 사용과 지속적인 유지관리를 가능하게 하는 교육의 중요성이 강조됨에 따라 이러한 운영과정에 대해서 시설 이용자와 관리자 모두 긍정적으로 반응하였다.

수요 충족도의 측면에서, 대부분의 시설 이용자들은 ‘설치 전후가 너무 다르다’, ‘실내공기가 쾌적해졌다’ 와 같은 긍정적 인식을 보였으며, 앞서 언급한 바와 같이 악취 개선에 관해 크게 체감한 것으로 보였다. 또한 요구 분석 절차를 통해 추가된 기능에 대하여 대체로 만족하는 경향을 보였으며, 특히 시각화된 대쉬보드를 통해 실내외 공기질 현황과 시스템 운전 현황을 쉽게 인지할 수 있다는 점에 긍정적인 반응을 보였다. 또한 시설 이용자들의 실내 공기질에 관한 인식이 대부분 ‘악취’를 중심으로 이루어진 반면, 리빙랩 운영을 통한 주기적인 정보제공과 교육, 그리고 요구분석의 결과로 제안된 대쉬보드를 통해 시각화된 공기질 데이터를 제공함으로써 미세먼지 등 오염물질 및 환기 시스템에 대해 이해도가 일부 상승하기도 하였다.


5. 결론

리빙랩은 이해관계자의 다양한 의사결정 참여에 그 성패가 달려있다 해도 과언이 아니다. 따라서 리빙랩은 참여 기반 아이디어 도출을 위해 다양한 방법론을 활용하고, 기술의 실증과 참여자들 간의 상호 반복적 활동을 통해 피드백을 유도하는 공동 설계과정이 수반되어야 한다. 다양한 의사결정 참여가 보장된 리빙랩은 사용자 참여를 통해 보다 실질적인 관점에서 문제 상황을 파악하고, 기술혁신의 초기 단계부터 사용자 중심적 해결방안을 수립하는 것에 효과적이다.

공공기관 주도형 리빙랩은 공공기관, 민간기업 등 다분야의 이해관계자 참여를 통해 사업의 지속성을 확보할 수 있다는 장점이 있다. 특히, 최종 사용자의 입장에서 기술을 사용함에 따라 얻는 이익을 명확히 인지시키고 사용법을 교육하는 것은 기술의 지속적 사용과 원활한 유지관리를 실현할 수 있다. 종합하였을 때, 공공기관 주도형 리빙랩은 지역사회의 현안 파악 및 문제해결을 위한 수단이며, 나아가 사업과 적용기술의 지속성을 확보하는 효과적인 방법론이라는 것에 그 의의가 있다. 따라서 리빙랩의 과정과 결과물에 대한 정량적, 정성적 성과분석을 통해 사업의 품질을 관리하고 잠재가치를 확보해야한다.

이러한 배경에서 본 연구는 2019년 진행된 고양시 스마트시티 리빙랩 프로젝트 실증 사업을 중심으로「실내공기질 관리법」의 제도적 관리의 사각지대에 있는 경로당의 실내 공기질 문제 해결 사례를 소개하고 그 성과를 검토하였다. 연구의 주요 결과물로서 리빙랩 절차를 통해 경로당의 실내 공기질 문제와 사용자 요구사항을 파악하고, 이를 개선하기 위해 경로당 내 시스템를 설치하였으며, 환기 시스템의 공기질 개선효과와 사용자 만족도를 측정하였다. 연구의 의의는 다음과 같다.

첫째, 경로당의 공기질 개선을 위하여 최종사용자의 의사결정 참여를 이끌어내는 리빙랩 실험 방법론을 활용하였다. 행정기관 유관부서와의 협력을 통해 공공데이터를 활용하며 시설이용자의 요구사항을 수렴하여 공기질 개선 효과만이 아닌 최종사용자의 요구를 적절하게 반영하고 환기 시스템의 사용성을 개선하였다.

둘째, 리빙랩 사업의 주요 산출물인 환기 시스템의 공기질 개선 효과와 시설사용자들에 의하여 체감되는 만족도를 분석하여 공공사업으로서 성과에 대한 양적·질적 평가를 수행하였다. 이러한 성과측정은 공공기관 주도의 지역사회 문제해결을 위한 리빙랩 사업의 지속과 확장에 기여할 수 있다.

본 연구의 한계는 리빙랩의 성과평가에 있어 일부의 평가영역만을 제한적으로 다루었다는 것에 있다. 사회적, 경제적, 기술적 영역을 포괄하는 다양한 성과지표의 개발이 요구되는 가운데, 이후의 연구에서는 이를 보완하여 리빙랩의 성과와 효용성을 다각도에서 살펴볼 필요가 있다.

또한 일상생활 속 실험방법인 리빙랩 방법론을 도입하여 실제 사용되는 경로당 환경에서 공기질 실측이 이루어짐에 따라, 통제되지 않은 조건에서 측정과 비교가 이루어졌다는 한계가 존재한다. 더불어 실증 대상지 중 단 하나의 사례를 선정하여 공기질 개선 효과를 분석하였으며, 만족도 조사 또한 일부의 시설 이용자를 대상으로 진행됨에 따라 정량화된 자료로서의 객관성을 확보하는 데 한계가 있다. 이후의 연구에서는 더욱 다양한 사례대상지의 데이터를 취합하여 연구의 결과를 보완할 필요가 있다.

「실내공기질 관리법」의 제도적 사각지대에 놓인 소규모 경로당에 관한 실내 공기질 개선이 이루어져야 한다. 이때 리빙랩이 행정기관과 민간기업, 그리고 시설사용자 사이의 상호작용을 바탕으로 하는 효과적인 방법론으로 활용되길 바라는 바이다.


Acknowledgments

본 연구는 한국생태환경건축학회 2020년도 추계학술대회 발표논문을 확장한 것으로 2019년 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (과제번호: NRF-2019R1C1C1008639).


References
1. 성지은, 송위진, 박인용, 사용자 주도형 혁신모델로서 리빙랩 사례 분석과 적용 가능성 탐색, 기술혁신학회지, 제17권 제2호, 2014.06, pp.309-333.

J.E. Seong, W.C. Song, I.Y. Park, Living Lab as User-Driven Innovation Model: Case Analysis and Applicability, Journal of Korea Technology Innovation Society, 17(2), 2014.06, pp.309-333.
2. 환경부, 실내공기질관리법, https://www.law.go.kr/법령/실내공기질관리법, 2020.12.23.
Ministry of Environment, Indoor Air Quality Control Act, https://www.law.go.kr/법령/실내공기질관리법, 2020.12.23.
3. 한국법제연구원, 실내공기질 관리 선진화를 위한 법령·제도 연구, 한국: 한국법제연구원, 2012, pp.59-60.

Korea Legislation Research Institute, A Study on the Law and System for the Advancement of Indoor Air Quality Management, Korea: Korea Legislation Research Institute, 2012, pp.59-60.
4. 이효은 외 5인, 인공지능기반 창호환기시스템 연구 동향 분석, 한국생태환경건축학회 논문집, 제17권 제6호, 2017.12, pp.159-164.

H.E. Lee et al., Research Trends Analysis of Window Ventilation System Based on Artificial Intelligence, KIEAE Journal, 17(6), 2017.12, pp.159-164.
5. 양영권 외 5인, 인공지능기반 자동 환기 창호시스템 개발을 위한 최근 연구동향 분석, 대한건축학회 학술발표대회 논문집, 제37권 제2호, 2017.10, p.597.

Y.K. Yang et al., Analysis of Research Trends for Development of Artificial Intelligence-based Automatic Ventilation Window System, Proceeding of Annual Conference of the Architectural Institute of Korea, 37(2), 2017.10, p.597.
6. F.D. Davis, Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology, MIS quarterly, 13(3), 1989.09, pp.319-340.
7. A.B. Brush et al., Home Automation in the Wild: Challenges and Opportunities, In proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 2011.05, pp.2115-2124.
8. 송위진, Living Lab: 사용자 주도의 개방형 혁신모델, Issues & Policy, 제59호, 2012.07, pp.1-14.
W.C. Song, Living Lab: User-led Open Innovation Model, Issues & Policy, 59, 2012.07, pp.1-14.
9. 이정연, 송하진, 동네 기반 품앗이 지원 모바일 사회서비스 프로토타입 개발: 이해관계자 참여 리빙랩을 중심으로, 한국디지털콘텐츠학회 논문지, 제20권 제4호, 2019.04, pp.683-695.
J.Y. Lee, H.J. Song, The Neighborhood-based Pumasi Support Application `Our Neighborhood Heart Store` Prototype Development, Journal of Digital Contents Society, 20(4), 2019.04, pp.683-695.
10. 류지웅, 박재현, 고은영, ICT 중소기업 R&D 성과의 사업화 활성화를 위한 리빙랩 도입 방안, 한국기술혁신학회 학술대회, 2017.11, p.1443.
J.U. Ryu, J.H. Park, E.Y. Go, A Study on the Introduction of Living Lab to Revitalize the Commercialization of R&D Performance of ICT Small and Medium-sized Enterprises, Proceedings of the Korea Technology Innovation Society Conference, 2017.11, p.1443.
11. 장수정, 박소임, 보행환경 안전 개선을 위한 스마트환경 LTC 리빙랩 모델 제안, 한국생태환경건축학회 학술발표대회 논문집, 제20권 제2호, 2020.12, pp.54-55.

S.J. Chang, S.I. Parck, A Proposal of Smart Environment LTC Living Lab Model for Improving Pedestrian Safety, Proceeding of Conference of the Korea Institute of Ecological Architecture and Environment, 20(2), 2020.12, pp.54-55.
12. 성지은, 송위진, 박인용, 리빙랩의 운영 체계와 사례, STEPI Insight, 제127호, 2013.10, pp.1-46.
J.E. Seong, W.C. Song, I.Y. Park, The Operatig System and Case of Living Lab, STEPI Insight, 127, 2013.10, pp.1-46.
13. 성지은 외 6인, 국내 리빙랩 현황 분석과 발전 방안 연구, 한국: 과학기술정책연구원, 2017, pp.136-137.
J.E. Seong et al., Current Status of Korean Living Labs and Its Development Plan, Korea: Science & Technology Policy Institute, 2017, pp.136-137.
14. 박소임, 장수정, 정부-주민주도형 ICT를 활용한 스마트시티 리빙랩의 성과지표에 관한 연구: 경기도 고양시 화정2동 ICT 스마트리빙랩 실증사례를 중심으로, 한국비교정부학보, 제24권 제4호, 2020.12, pp.89-110.
S.I. Park, S.J. Chang, A Study on Performance Indicators of Resident Participatory Smart City Living Lab: Focusing on An Empirical Case of Living Lap in Hwajeong 2-dong, Goyang City, Korean Comparative Government Review, 24(4), 2020.12, pp.89-110.
15. 한국과학기술기획평가원, 사회문제해결형 R&D사업 운영관리 가이드라인, 한국: 한국과학기술기획평가원, 2017, pp.52-77.

Korea Institute of Science & Technology Evaluation and Planning (KISTEP), Guidelines for Operation and Management of Social Problem Solving R&D Projects, Korea: Korea Institute of Science & Technology Evaluation and Planning, 2017, pp.52-77.
16. 이재혁, 이정훈, 조경환, 디지털 사회 혁신에서 리빙랩 프로젝트의 성과지표에 대한 연구, 한국 IT 서비스학회지, 제18권 제5호, 2019.12, pp.193-207.

J.H. Lee, J.H. Lee, K.H. Cho, A Performance Indicators of Living Lab Project in the Digital Social Innovation, Journal of Information Technology Service, 18(5), 2019.12, pp.193-207.
17. 김은지, 박영일, 도시재생 리빙랩 평가지표 개발에 관한 연구, 한국지역개발학회지, 제31권 제5호, 2019.12, pp.17-43.

E.J. Kim, Y.I. Park, A Study on Development of Urban Living Lab Evaluation Indicators, Journal of the Korean Regional Development Association, 31(5), 2019.12, pp.17-43.
18. 박소임, 장수정, 노약자 생활시설 개선을 위한 LTC 리빙랩 시나리오 제안, 한국생태환경건축학회 학술발표대회 논문집, 제20권 제2호, 2020.12, pp.44-45.

S.I. Parck, S.J. Chang, A LTC Living Lab Scenario of Living Facilities for the Elderly and Children, Proceeding of Conference of the Korea Institute of Ecological Architecture and Environment, 20(2), 2020.12, pp.44-45.
19. 박소임, 장수정, 노약자 생활시설의 사용자 요구 분석 - 실내 공기질 개선방안을 중심으로 -, 한국생태환경건축학회 학술발표대회 논문집, 제20권 제2호, 2020.12, pp.42-43.

S.I. Parck, S.J. Chang, User Needs Analysis of Living Facilities for the Elderly and Children - Focusing on Improving Indoor Air Quality -, Proceeding of Conference of the Korea Institute of Ecological Architecture and Environment, 20(2), 2020.12, pp.42-43.
20. 김세원, 박용순, 골프장 경영자관점에서의 선택속성과 골퍼들의 만족도 예상에 관한 질적 연구: 골프장 전문가 인터뷰를 중심으로, 관광연구, 제31권 제3호, 2016.04, pp.19-42.

S.W. Kim, Y.S. Park, Satisfaction regarding the Selection of the Attributes Expected of a Golfer and Golf Course Management Perspective Qualitative Research - Focus on Golfer Standing Interview with an Experts -, International Journal of Tourism Management and Sciences, 31(3), 2016.04, pp.19-42.
21. 이면성, 임춘성, 스마트시티 실증 서비스 성과평가에 관한 연구, 한국통신학회논문지, 제44권 제10호, 2019.10, pp.1992-2002.

M.S. Lee, C.S. Leem, A Study on Performance Evaluation of the Korea Smart City Demonstration Service, The Journal of the KICS, 44(10), 2019.10, pp.1992-2002.
22. 한국과학기술기획평가원, 국가연구개발사업 표준성과지표(5차), 한국: 한국과학기술기획평가원, 2020, pp.52-77.

Korea Institute of Science & Technology Evaluation and Planning (KISTEP), Standard Performance Indicators for National R&D Projects (5th), Korea: Korea Institute of Science & Technology Evaluation and Planning, 2020, pp.52-77.