Warning: mkdir(): Permission denied in /home/virtual/lib/view_data.php on line 81 Warning: fopen(/home/virtual/qihjournal/journal/upload/ip_log/ip_log_2022-05.txt): failed to open stream: No such file or directory in /home/virtual/lib/view_data.php on line 83 Warning: fwrite() expects parameter 1 to be resource, boolean given in /home/virtual/lib/view_data.php on line 84 Perceptions of Hospital Health Information Managers Regarding Present on Admission Indicators in Korea: A Qualitative Study
TIP Search

CLOSE


Qual Improv Health Care > Volume 26(1); 2020 > Article
입원 시 상병의 수집 및 활용에 관한 보건의료정보관리사의 관점: 질적 연구

Abstract

Purpose

This qualitative study was conducted to examine the current status and problems concerning the collection of present on admission (POA) indicators and determine how to use these indicators for evaluating the quality of care and degree of patient safety.

Methods

A total of 11 health information managers were divided into two groups according to the size of their hospitals. Two focus group discussions (FGDs) were conducted, one for each group, which followed a pre-developed semi-structured guideline. The verbatim transcriptions of the FGDs were analyzed.

Results

The majority of participants were concerned about entering POA flags honestly because they did not know how future POA indicators would be used. In particular, for some participants, POA N was a burden that could imply a signal of mismanagement within the medical institution. In addition, the lack of awareness and indifference of physicians regarding POA indicators were some of the difficulties for POA flag entry. Although medical institutions are making efforts to improve the accuracy of POA flagging, many participants mentioned the need to develop real case-oriented POA entry guidelines to improve the accuracy of POA flagging.

Conclusion

To increase the validity of POA indicators, it is necessary to increase the level of awareness of POA indicators in physicians and other medical professionals. Furthermore, efforts related to POA indicators by individual medical institutions need to be reflected in the process evaluation.

Ⅰ. 서론

의료의 질 및 환자안전 수준을 모니터링 하는데 있어 행정자료 분석, 보고 및 감시 시스템, 의무기록 검토, 임상진료 관찰 등 다양한 방법들이 활용될 수 있다[1]. 그 중에서도 상병코드를 중심으로 한 행정자료 분석은 이미 수집된 가용 자료를 활용할 수 있어 자료 수집 비용이 적게 들어 의료 질 및 환자안전 관련 연구들에서 이 방법을 활용하고 있다[2-4]. 하지만 상병코드를 활용하여 의료의 질 및 환자안전의 수준을 모니터링할 때 해당 상병이 입원 시점 전부터 존재하였던 것인지 아니면 입원 후 발생한 것인지를 구분해야 한다[5]. 특정 상병이 입원 시점 전부터 존재한 것이라면 환자의 동반질환으로 해석할 수 있지만, 그 상병이 입원해서 발생된 것이라면 치료 과정에서 발생된 합병증으로 해석될 수 있기 때문이다.
이렇게 상병코드가 입원 시점 전부터 존재한 것인지 아닌지를 구분하기 위하여 활용되는 자료가 바로 입원 시 상병(present on admission, POA) 지표이다[6]. 즉, POA 지표는 의료기관이 진료비를 청구할 때 입원 기간 동안 새롭게 확인된 진단명과 입원 시점 이전부터 가지고 있었던 진단명을 구분하여 표시하는 지표이다. 위해사건을 나타내는 진단코드에 입원 시 진단이 붙어 있는 경우에는 이것이 입원 기간 동안 발생한 위해사건은 아님을 유추할 수 있다[7]. 또 POA 지표는 의료의 질 평가 때 중요한 위험도 보정을 위해서도 필수적인 자료이다[8].
세계 각국에서는 POA 지표와 관련된 자료를 수집하기 시작하였는데, 미국의 CMS (Centers for Medicare & Medicaid Services)에서는 2007년부터 청구자료 수집양식 내 주상병 및 부상병에 POA 지표를 포함시키고 있다[9]. 호주에서도 미국의 POA 지표에 해당하는 Condition Onset Flag (COF)를 수집하고 있다[10]. 우리나라의 경우에도 2012년 도입된 포괄수가제(Diagnosis-Related Group, DRG) 및 2013년 도입된 신포괄수가제(2013년 도입) 하에서 POA 자료를 진료비 청구 시 의료기관에게 입력하도록 하고 있고, 건강보험심사평가원(이하 심평원)이 이에 대한 관리 책임을 맡고 있다. 또 선택진료비를 폐지하면서 도입된 의료질평가지원금 제도의 평가영역별 평가지표에도 POA 보고체계 운영 여부를 포함시키고 있다. 현재 우리나라의 POA 지표 수집은 미국의 기준을 상당 부분 따르고 있고, POA 지표는 다섯 가지 코드(Y: 해당 상병이 입원 당시 존재; N: 해당 상병이 입원 당시 존재하지 않음; U: 기록 불충분; W: 임상적 결정 불가; E: 예외 상병)로 구분된다.
우리나라는 아직 외국에 비하여 POA 지표의 활용이 거의 이루어지고 있지 않지만, 의료의 질 및 환자안전의 가치가 점점 강조되고 있기 때문에, POA의 정확한 자료 수집 및 활용에 관한 논의도 점차 확대될 것으로 예상된다. 그렇지만 우리나라에서는 아직 POA 지표 수집 및 활용에 관한 연구가 거의 수행된 바가 없다. 따라서 이번 연구에서는 의료기관 내 POA 지표 수집의 실무 담당자들을 대상으로 POA 지표 수집 과정에서의 경험과 향후 POA 지표 활용에 관한 의견을 수렴하고자 하였다.

Ⅱ. 연구방법

이번 연구에서는 의료기관 내 POA 지표 수집의 주된 실무 담당자인 보건의료정보관리사들을 대상으로 POA 코드의 수집 현황과 문제점을 파악하고 POA의 활용방안을 모색하기 위하여 초점집단토의를 활용한 질적 연구를 수행하였다. 서울아산병원 임상연구심의워원회의 승인을 받아 이번 연구를 진행하였다(연구번호: S2019-0488-0001). 이하에서는 질적 연구의 보고 지침에 따라 방법론을 서술하였다[11].

1. 연구 팀 구성

연구팀은 2명의 분석팀과 6명의 감사팀으로 구성하였다. 분석팀은 예방의학 연구원 1인과 간호사 1인이었으며, 감사팀은 예방의학 전문의 3인과 간호사 3인으로 구성되었다. 분석팀 연구진 중 1인은 질적 연구 방법론을 활용한 질적 연구를 수차례 수행한 바 있으며, 여러 질적 연구 관련 학술세미나에 참석하는 등 질적 연구에 대한 경험이 풍부하였다.

2. 연구참여자

초점집단토의는 2개의 집단으로 나뉘어 진행되었고, 총 11명이 참석하였다. 연구참여자의 소속 병원규모에 따라 규모가 상대적으로 큰 기관에 근무하는 보건의료정보관리사와 상대적으로 작은 기관에 근무하는 보건의료정보관리사를 구분하였다. 즉, 첫 번째 초점집단토의에는 병상 수가 500개 이상인 의료기관의 POA 실무 담당자 6인이 참석하였다. 두 번째 초점집단토의에는 병상 수가 500개 미만인 의료기관 소속 POA 실무 담당자 5인이 참석하였다. 초점집단토의에 참여하기 전 연구참여자들에게 연구의 목적과 내용에 대하여 상세히 설명하고 연구 참여에 동의한 보건의료정보관리사만을 연구참여자로 선정하였다.

3. 자료 수집 방법과 절차

초점집단토의 진행 가이드라인을 마련하기 위하여 주요 선행 연구를 검토하였고 POA 지표 수집의 실무 담당자 4인, POA 관련 협회 관계자와의 미팅 후 연구진 논의를 거쳤다. 이들의 의견을 기반으로 하여 완성된 최종 진행 가이드라인은 POA 수집 현황 및 수집 관리 시 어려움, POA 수집 및 관리 어려움의 대처방안, POA 관련 원내 지침 마련 기준, POA 타당성 및 신뢰성 평가, POA 활용방안 등의 문항으로 구성되었다. 구체적인 토의가 가능하도록 POA 수집 사례와 교육 자료를 초점집단토의 진행 과정에서 연구참여자들에게 제공하였다. 조용한 회의실에서 각각 약 2시간 정도 초점집단토의를 진행하였고, 초점집단토의 내용을 모두 전사하여 분석에 사용하였다.

4. 분석 방법 및 절차

이번 연구에서는 지시적 내용분석(directed content analysis)을 활용하여 분석을 진행하였다. 지시적 내용분석의 경우 원자료가 지닌 함축적 의미를 기존의 이론 및 관점을 이용하여 해석하게 되는데, 이번 연구에서는 주요 선행 연구의 검토, 사전 조사 및 연구진의 논의를 거쳐 개발한 초점집단토의 진행 가이드라인을 분석의 토대로서 활용하였다[12]. 구체적인 분석 방법 및 절차는 다음과 같다. 1차 분석과정으로 초점집단토의를 시행한 두 집단의 녹취록 전사자료에 드러난 참여자들의 의견을 이해하고자 의미단위 분석을 시행하였다. 해당 분석은 연구자 1인이 주도적으로 진행하였고, 이를 다른 연구진 1인이 검토하였다. 이후 추가 및 수정된 부분에 대해 합의하는 과정을 거쳐 최종 의미단위를 도출하였다. 연구진 2인은 도출한 의미단위를 범주화하는 과정에서 상위범주를 나눠 개별적으로 진행한 후 범주별로 2차례 교차 검토를 진행하여 충분히 합의하는 과정을 거쳤다. 연구진 2인은 범주에 대한 최종 합의 후 예방의학 전문의 2인 및 간호사 3인에게 범주표에 대한 검토를 받았으며, 더 이상 새로운 의미단위가 나타나지 않는 것으로 자료 포화(data saturation)를 판단하였다.

5. 연구의 타당성 확보를 위한 절차

타당성 확보를 목적으로 Guba와 Lincoln이 제시한 4가지 준거[13]를 확보하였다. 연구의 사실적 가치 확보를 위해 연구진은 연구참여자들이 편안하게 자신의 경험을 꺼낼 수 있도록 충분한 면담시간을 가졌다. 또 질적 연구에 참여한 연구진들이 초점집단토의의 전사자료와 결과가 일치하는지를 반복적으로 확인하였고, 초점집단토의에 함께 하였던 동료들에게 추가 검토를 받았다. 적용 가능성 확립을 위해서는 연구에 참여하지 않은 보건의료정보관리사 1인에게 자신의 경험과 연구결과가 일치하는지 확인받았다. 또 이번 연구의 참여대상은 아니지만, 같은 업무를 한다고 알려져 있고 자신이 해당 업무를 한다고 말한 보험심사간호사 1인에게도 자신의 경험과 연구결과가 일치하는지 확인받았다. 연구의 일관성을 유지하기 위해 연구자는 자료 수집부터 자료 분석까지 모든 과정을 세세하게 기술하였다. 연구의 중립성을 확보하기 위한 목적으로 가이드라인 마련, 자료 분석 시 연구진은 주관성을 배제하고자 연구팀 내에서 오랜 토의를 진행하여 참여자들의 경험에 대한 선이해와 편향적 해석을 하지 않도록 노력하였다.

Ⅲ. 연구결과

1. 연구참여자의 특성

참여자 11명은 모두 여성이었고, 인구사회학적 특성은 표 1과 같았다.

2. 분석 결과

분석을 통해 총 414개의 개념이 도출되었고, 이를 POA 수집 현황 및 평가 경험, POA 코드 입력의 어려움, POA 정확성 향상을 위한 자체 노력, POA 정확성 향상을 위한 방안, POA 활용방안에 대한 의견이라는 5가지 주제로 범주화하였다. 전체 범주화 결과는 표 2와 같다. 이하에서는 각 주제별 하위범주에 따라 핵심적인 내용을 서술하였다.

1) POA 수집 현황 및 평가 경험

초점집단토의에 참여한 참여자들이 근무하는 의료기관의 대부분은 신포괄수가제에서 POA를 수집하고 있었다. 일부 참여자들의 의료기관은 행위별수가제에서 POA를 수집하고 있었지만, 한 참여자의 경우 행위별수가제이지만 아직 POA를 수집하고 있지 않았다. 참여자들이 근무하는 의료기관의 POA를 수집하는 주된 이유는 의료 질 평가에 POA 분류 및 정확도에 향상에 대한 항목이 도입되었기 때문이었다.

<수가제도 별 POA 수집 현황>

“저희가 2017년 11월부터 의료 질 평가 지원금 때문에 POA를 전체 질환에 부여하고 있는 상태입니다.” (2그룹 4번째 참여자)
“저희는 내년에 신포괄 오픈을 준비로 구현하고 있고, 현재 POA를 의료 질 평가 때문에 하는 시늉 정도, 지금 하고 있고... 내년에 신포괄을 하게 되면 박차를 가해서 해야 하는데, 지금 공부하고 있는 단계입니다.” (2그룹 2번째 참여자)
의료기관별 POA 코드 입력 및 관리는 대부분 보건의료정보관리사가 직접하고 있었다. 일부 참여자들의 의료기관에서는 의사가 1차로 POA 코드를 입력하고, 보건의료정보관리사가 검토하는 과정을 거쳤다. 의료기관마다 POA를 수집하는 과정에 있어 약간의 차이가 존재하였지만, POA 코드 입력 및 관리는 보건의료정보관리사의 주요 업무 중 하나임은 분명하였다.

<POA 코딩 주체>

“그때부터 지금까지 쭉 변하지 않은 건 일단 의사선생님이 1차 태깅을 하시고, 보건의료정보관리사가 퇴원 시점 전에, 중간에는 관리하기가 어려워서 퇴원 시점에서 이게 맞는지 틀리는지 의사선생님이랑 확인을 하고, 그 부분에 대해서 미비를 적고 마무리하는 걸로 되어있어요.” (2그룹 3번째 참여자)
“어떤 병원은 의사가 1차 체크하고 의무기록사가 2차 체크를 하는데, 저희도 어떻게 할까 고민하다가 의사한테 맡기는 것보다 우리가 업무 파악해서 코딩하는 게 낫다 싶어서 저희만 하고 있고요.” (1그룹 3번째 참여자)
POA를 수집을 시행한 지 일정 기간 지난 참여자들의 경우 심평원으로부터 정보관리평가를 받은 경험이 있었다. 정보관리평가에서 높은 점수를 받아 보상을 받은 의료기관도 있었지만, 낮은 점수를 받은 경우도 있었다. 기대에 못 미치는 평가 점수로 인해 한 참여자는 병원장님께 잘못 입력된 사례에 대해 해명하기도 하였다. 참여자들은 아쉬운 평가 점수로 인해 당혹스럽긴 하였지만, 잘못 입력된 사례를 검토하며 코드에 대해 정확히 이해하게 되어 추후 오류 발생률을 줄일 수 있었다고 하였다.

<정보관리평가 경험>

“첫 해에 정보화평가를 받았을 때 저희가 POA가 완전히 조사한 거의 3분의 1이 다 틀려서 원장님하고 기조실장님 앞에서 왜 이렇게 됐는지 해명하는 어려움을 겪었고, 그 다음 해부터 급속도로 한번 경험을 하니까 다 노하우도 생기고, 심평원에서 어떤 걸 보는지 알게 되면서 그 다음에는 성적이 좋아져서 지금은 안정화 단계고요.” (1그룹 1번째 참여자)
“심평원과 맞지 않아서 어그러지는 케이스는 저희가 반드시 다시 한 번 리뷰를 해서 왜 이게 틀려졌는지 분석하는 게 단계가 하나 더 들어가서 결국 저희가 모니터링하고 리뷰해서 분석하는 단계를 중간에 넣었더니 오류건이 확실히 줄어들었더라고요..” (1그룹 4번째 참여자)

2) POA 코드 입력의 어려움

참여자들은 POA 코드에 대한 교육을 받은 경험이 있다고 하였다. 하지만 교육에도 불구하고 일부 참여자들은 특정 코드를 입력하는 과정에서 느껴지는 부담감이 있다고 말하였다. 한 참여자의 의료기관에서는 W 코드에 부담감을 느껴 의사에게 W 코드가 아닌 Y 또는 N 코드를 내리도록 강요한다고 언급하였다. 또 일부 참여자들에게 N 코드는 의료기관 내 관리 소홀로 인한 발병코드라고 인식하여 부담감을 주는 존재였다.

<코드에 대한 잘못된 인식으로 인한 부담감>

기록에 찾기 어려울 정도로 (N코드) 잘 안 쓰니까요.” (1그룹 3번째 참여자)
“저희는 W를 정말 아껴요. 저희 직원들도 의사한테 강요해요. Y가 될 수 있게, 혹은 N이 될 수 있게 강요해요. 원래 있었던 거예요? 지금 발견된 거예요? 이러면서 질문을... 부담감으로 느껴지는 거죠.” (1그룹 5번째 참여자)
대다수의 참여자는 향후 POA가 어떻게 활용될지 모르기 때문에 코드를 정직하게 입력하는 것이 우려되고, 의사 또한 같은 생각을 지니고 있다고 언급하였다. 일부 참여자들은 U 또는 W 코드를 입력할 경우 정보관리평가의 대상이 되어 돌아오는 경험을 하여 불안한 마음을 가지고 있었다. 또 행위별수가제에 POA를 부여하는 의료기관의 경우에는 업코딩으로 인한 POA 입력의 어려움을 표하기도 하였다.

<정직한 코드 입력을 방해하는 장애물>

“어느정도 평가가 끝나고 정착화가 되면 지표로 쓸 것 같다고 했더니 그때부터 의사들은 POA N으로 들어가는 것에 대해 엄청 부담스러워했고...” (1그룹 4번째 참여자)
“지금까지 사례에서는 U나 W를 주면 평가의 대상이 됐고 반드시 돌아와요. 지난번에 저희가 저번에 U를 한번 줬어요. 전산입력 오류였던 거예요. 그게 딱 대상이 잡혀서 평가가 아웃됐는데...” (1그룹 4번째 참여자)
“행위별에서 제일 어려운 건 그거인 것 같아요. 청구상에서는 기존처럼 해서 다 코딩이 되어있어야 삭감을 안 당하는데, 실제 POA를 부여하려면 어느 정도 기록이라든가 상병명이 일치해야 하는 부분이 있으니까...” (2그룹 4번째 참여자)
각 참여자의 의료기관 규모, 수가제도, POA 시행 시기 및 관리 정도, POA 입력 과정에 따라 과중되는 업무량에 차이가 있었다. 그러나 대부분의 참여자는 추가 인력이 필요할 만큼 업무량이 증가하였다고 말하였다. 의료기관에 따라 추가 인력이 고용되기도 하였지만, 대다수는 그렇지 못한 현실이었다. 또 한 참여자는 POA로 인한 업무 부담은 인력 부족도 문제이지만, 직원의 역량에 따라서도 차이가 있다고 생각하고 있었다.

<POA로 인한 업무 과중과 인력문제>

“저희 보건의료정보관리사가 할 일이 많아지고... 환자 한 명 봤어. 이걸로 끝낼 수 있는 게 아니고, 환자 한 명에 대해 들여다봐야 하는 시간이며...” (2그룹 1번째 참여자)
“업무를 시작하면서 늘어났구요.··· 질의를 정말 많이 하는 직원은 POA조차 질의를 해서 확인을 하니 그 직원하고 다른 직원을 비교했을 때 업무량이 작은데도 시간이 훨씬 많이 걸리는 거죠.” (1그룹 2번째 참여자)
POA에 대한 의사의 인식 부족 및 무관심은 POA 코드 입력의 난관 중 하나였다. 정확한 POA 수집을 위해서는 의사의 정확한 의무기록 작성과 POA에 대한 인식 등 의사의 역할이 중요하였다. 그러나 참여자들은 의사가 너무 바쁘고, POA에 대한 관심이 없다고 언급하였다. 또 POA 코드 입력에서 이견이 발생할 경우 의사와 논의를 해야 하는 점 역시 일부 참여자들에게는 부담이었다. 대형병원에 근무하는 한 참여자는 전공의들이 계속 바뀌기 때문에 추가적인 교육에 대한 부담감을 토로하였다.

<의사의 인식 부족 및 무관심>

“관리상의 어려움은 의사선생님이 바뀔 때마다 POA에 대한 교육이 필요하다는 거죠. POA라는 것이 선생님들 교육 수료 과정에 있지 않잖아요. 결국 병원에 들어와서 이거에 대한 교육을 받으셔야 하기 때문에 수련의 선생님이 바뀔 때마다 그런 걸 계속 피드백을 해줘야 하는 게 어렵고, 의사선생님이 워낙 바쁘시다 보니까 이견이 있는 부분을 계속 의논을 해서 좁혀가는 시간이나 커뮤니케이션 과정이 어렵죠” (2그룹 3번째 참여자)
참여자들은 천편일률적이지 않은 사례들 속에 심평원이 중심을 잡아줘야 한다고 생각하고 있었다. 하지만 심평원은 참여자들의 기대에 못 미치는 대응으로 혼란을 야기하기도 하였다. 한 참여자는 심평원이 이전과 같은 사례에 다른 코드라고 답하는 경험을 하며 신뢰할 수 없다고 생각하였다. 또 의료현장에 대한 이해 없이 탁상행정을 하는듯한 심평원의 관점은 참여자들에게 못 미더운 부분이었다.

<심평원의 모호한 코딩기준과 판단 기준>

“사실 심평원이 초창기에 정확한 개념을 가지고 평가한 것 같다는 느낌이 안 왔어요. 심평원에서도 임상에서의 아주 모호한 사례들에 정확한 기준을 가지고 했다기보다는... 살짝 다른 기준, 최근의 기준, 이런 기준으로 평가를 하다 보니 그런 거에서 충돌이 있었던 것 같고요.” (1그룹 4번째 참여자)
“의사선생님이 보는 POA 소견과 심평원에 막상 들어가서 평가를 받을 때 소견이 다른 경우가 많아요. 그런 부분의 이견을 좁혀가는 과정이 그렇게 녹록하지만은 않더라고요. 의사 선생님도 본인의 의견을 굽히지 않으시고, 심평원은 오시는 평가자들이 같은 분들이 오시는 게 아니잖아요. ··· 몇 가지 가이드를 받고 오시더라고요. 상식적으로 생각해도 의사선생님 말씀이 맞는 것 같은데, 다 거기 나와 있는 문구에서 벗어나면 안 되는.” (2그룹 3번째 참여자)

3) POA 코딩 정확성 향상을 위한 자체 노력

일부 참여자들이 근무하는 의료기관들은 정확하게 POA를 입력하기 위해 나름의 방안들을 시행하고 있었다. 구체적으로는 정확성을 위해 과별 코더가 1차 코딩 후 날짜별 코더가 검토 진행, 1차 코딩 후 제3자 검토, 의무기록 전면(과거, 현재) 검토, 명확한 코드에 대한 알림 설정 등이 있었다.

<다양한 방법으로 재검토 진행>

“2019년에는 스텝을 2개로 나누자. 1차로 먼저 코딩하고 분석한 후 2차로 POA 코딩에 대해 검수를 하는 단계. ··· 1차로 보는 건 해당 과 담당이 있어요. 자기과는 자기가 맡은 과만 보면 되는데, 2차에 보는 사람들은 과 담당 개념이 아니라 날짜 개념으로 끊어서 차트를 섞어서 보는 거죠.” (1그룹 5번째 참여자)
“1차 코더들이 코딩을 하면서 POA 태깅을 하고 나면 그 다음에 코더가 아닌 제3자가 최종적으로 코딩을 리체크하는 코더가 있거든요.” (1그룹 4번째 참여자)
일부 참여자들의 의료기관에서는 어려운 사례를 해결하기 위해 수석 코더를 둠으로써, 여전히 참여자들만으로는 해결될 수 없는 사례들을 해결하고자 하였다. 수석 코더가 없는 경우에는 의무기록위원회를 통해 사례를 관리하기도 하였다. 또 참여자들은 보건의료정보관리사 협회의 사례를 참고하거나 통계청 질의, 심평원과의 논의를 거쳐 다양한 방안으로 어려운 사례를 해결하고자 노력하고 있었다.

<내부자 검토 및 관련 기관 자료 활용>

“코딩은 저희는 수석 코더라고 해야 하나? 난이도 있는, 모르겠다고 하는 것에 대해서는 다 그 선생님한테 여쭤보고 같이 토의해서 결정하는 식으로 했고요.” (1그룹 1번째 참여자)
“저희는 통계청에 질의도 하고 그렇게 해서 답변받고, 아니면 협회 질의된 거라든가 가이드 참조하고, 의사하고 얘기를 하죠.” (2그룹 4번째 참여자)
추가적인 자체 컨퍼런스 개최와 꾸준한 팀 교육은 참여자들의 POA 입력 정확성을 높이는 또 하나의 방안이었다. 내부 직원들끼리 사례 중심 논의를 하고, 외국 사례를 찾는 노력은 참여자들에게 큰 도움이 되었다. 일부 참여자들은 자체 교육 외에 통계청에 교육을 의뢰하기도 하였다. 이러한 노력을 통해 참여자들의 의료기관은 사례에 대한 나름의 기준을 마련하기도 하였다.

<자체 교육 및 컨퍼런스 개최>

“저희가 한 일은 컨퍼런스를 했고, 저희가 호주랑 국내에는 사실 데이터가 없었어요. 심평원에서 나온 데이터도 예시로 나온 것도 왜 그런지 잘 모르겠고... 저희가 미국, 캐나다, 호주 세 가지를 공부하고 1년 동안 컨퍼런스를 하고...” (1그룹 6번째 참여자)
“통계청을 기준으로 해서 저희 직원들이 한 달에 2번 계속 스터디를 했거든요. 계속 컨퍼런스를 계속 하고... 이런 컨퍼런스를 1년 6개월을 했던 것 같아요. ··· 저희 나름대로 계속 데이터를 만들어 놨어요.” (2그룹 4번째 참여자)

4) POA 수집 및 코딩 정확성 향상을 위한 방안

참여자들은 POA를 위해 자체적으로 많은 노력을 하고 있었다. 그러나 참여자들은 이러한 노력은 내부적 정확성 향상을 위한 방안이기에 별도의 외부적 노력이 필요하다고 언급하였다. 그 중 하나는 실질적 사례 중심의 지침 마련이었다. 물론 참여자들은 가이드라인에서는 명확한 사례만을 제시할 수밖에 없다는 걸 이해하고 있었다. 다만, 헷갈리는 사례를 어떻게 고민할 것인지에 대한 세부적인 코딩 기준이 필요하다고 생각하였다. 한 참여자는 심평원의 가이드라인이 우리나라 상황에 맞지 않다고 느꼈으며, 이를 고려한 가이드라인의 필요성을 언급하였다.

<실질적인 사례 중심 지침 마련의 필요성>

“예를 들어서 chronic sinusitis가 있다고 하면 그게 애기들 같은 경우는 계속 chronic한 disease가 있는 애인데, 감기에 걸려서 들어왔다가 원래 치료를 안 하던 게 감기가 치료가 끝날 때쯤 그게 activate가 된 거예요. 얘는 Y냐 N이냐? 이거에 대해서 실제로 의료진이 결정을 못하고 이건 코딩 기준이거나 그런 데서 define을 해줘야 된다.” (1그룹 6번째 참여자)
“코딩지침에서 제가 항상 볼 때는 내가 찾는 그 케이스를 빨리 찾는 게 제일 중요하거든요. 인덱스가 잘 되어있으면 좋겠다는 생각을 해서...” (1그룹 6번째 참여자)
의료기관 내 꾸준한 자체 교육은 참여자들의 POA 코딩 정확성을 높이는 방안이었다. 참여자들은 자체 교육뿐만 아니라 외부교육도 필요하다고 강조하였다. 또 이러한 교육은 보건의료정보관리사뿐만 아니라 환자 상태를 잘 파악하고 있는 의사에게 더욱 필요하다고 하였다. 참여자들은 의사에게 POA의 중요성을 인식시킬 수 있고, 정확한 정보를 전달해줄 수 있는 공신력 있는 기관의 교육을 기대하고 있었다.

<POA 코딩 관련 직원 교육의 필요성>

“심평원이 됐든 복지부가 됐든 저희 학회 이런 거 할 때 좀 더 많이 교육할 수 있게. 상시적으로 교육이 될 수 있도록 지원을, 협회로 지원을 해 주시면 협회에서 밑단으로 상시교육으로 많이 할 수 있지 않을까, 그런 교육에 많이 관심 가져주시고, 아까 얘기했던 것처럼 의사들도 같이, 의사들한테 POA가 중요하고” (2그룹 4번째 참여자)
“의사선생님한테 잘 쓰라고 하고 저희는 확인만 하면 된다고 생각했는데, 의사선생님 자체가 잘 써주시려면 이거에 대한 개념이 있어야 하는 거잖아요. ··· 그런 부분에 대한 인식이 없으니까, ‘POA가 뭐야?’ 이렇게 얘기를 하신까 이게 어떤 건지 아시는 게 중요하다는 생각이 들더라고요.” (1그룹 2번째 참여자)
대다수의 참여자는 POA 코드 입력 자체만으로도 업무의 과중함을 느끼고 있었기에, 입력의 정확성까지 요구하는 것은 버거운 것이었다. 또 의사의 POA에 대한 인지 부족 및 소통의 어려움은 참여자들의 원활한 업무를 방해하는 요인이었다. 참여자들은 POA 정확성 향상을 위한 또 다른 방안으로 POA 입력에 따른 수가 도입을 제안하였다. POA 수가 제도가 도입된다면, 참여자들은 큰 노력을 하지 않아도 의료진이 알아서 POA에 관심을 갖고 정확하게 기록할 것이라고 언급하였다.

<POA 수집에 따른 수가 제공의 필요성>

“저희가 행위별에서 이걸 하면서 POA 관리도 해야 되고, 의사가 그렇게 하려면 기록을 쓰는 게 전보다는 많이 써야 하니까 이런 부분을 POA를 국가에서 잘 이용하시려면 POA 관리라든가 기록과 관련해 의사가 써야 되는 것에 대해서 수가를 반영해 주시면 안 될까요?” (2그룹 4번째 참여자)
“의사들이 환자 보기 데도 바쁜데 이런 페이퍼 잡이 생긴다면 당연히 하기 힘든 상황이니까 그에 대한 보상, 당근책이 있어야 되지 않나 생각을 해보고요.” (2그룹 5번째 참여자)
참여자들에게 예외코드에 대해 묻자 대부분의 참여자는 예외코드에 대한 지침이 마련된다면 아예 없애도 될 것 같다고 언급하였다. 하지만 또 다른 참여자들은 예외코드를 없앤다면 판단이 애매해질 코드들이 있을 것 같아 우려를 표하기도 하였다.

<예외코드에 대한 의견>

“거기까지(예외코드에 대한) 지침이 나온다고 하면 큰 무리는 없어요. 굉장히 일부 코드이기 때문에... 그걸 뺀 이유가 있었다고 하면 그거에 대한 지침이 추가로 같이 돼야죠.” (1그룹 6번째 참여자)
“우리 흔히 하는 말로 palliative care 하는 환자들에 대해 코드를 줬는데, 이 코드를 N으로 줘야 해, Y로 줘야 해? 이렇게 고민하기 시작하면 여태까지 이 환자 아파 왔으니까, 완화치료니까 그냥 Y로 주지, 그러면 갑자기 완화치료를, 이번에 처음 완화치료를 시작했는데 스타트에서는. 굉장히 애매해지는 거죠.” (1그룹 5번째 참여자)

5) POA 활용방안에 대한 의견

참여자들은 POA 데이터를 어떻게 활용할지에 앞서 POA를 보다 더 정확히 입력할 수 있도록 지원해주는 컨트롤 타워를 필요로 하고 있었다. 이에 대해 참여자들은 심평원이 단독 기관으로서 역할을 수행해주길 바라면서도, 현재 통계청이나 협회 측의 도움을 많이 받고 있기 때문에 이들 기관과의 역할 분담이 된다면 POA가 더 잘 관리될 수 있을 거라고 생각하였다.

<POA 관리주체에 대한 의견>

“사실상 어떻게 보면 주체는 심평원이 될 수가 있고, 그거에 대한 케이스에 대한 관리를 하는 게, 어쩔 수 없이 심평원이 해야 되는 부분이 있죠. 인정기준이잖아요.” (1그룹 6번째 참여자)
“POA가 심평원, 통계청, 그런 실무 병원들에서 다른 기준을 갖고 가고 있었는데, 그걸 어떻게 컨트롤 타워처럼 역할을 할 수 있는 그런 역할을...” (2그룹 5번째 참여자)
“거기서(심평원) 관리는 하지만 현재 이런 질병, 지침 가이드는 통계청에서 만들고 있잖아요. 이건 분리를 해줘도 좋지 않을까 생각이 듭니다.” (2그룹 4번째 참여자)
참여자들은 향후 POA 데이터가 환자안전지표로 활용될 계획이라는 것을 예상하고 그 필요성에 대해 공감하였다. 또 POA의 질이 보장된다면 환자안전지표로서 잘 활용될 수 있다고 생각하였다. 그러나 참여자들은 활용 필요성을 인정하면서도 지표로 사용된다는 걸 알게 된 순간부터는 의료기관 측에서 코드 입력에 대해 신중해질 것이라고 우려를 표하였다.

<환자안전지표 활용에 대한 의견>

“(환자안전지표로 활용해 가야 한다는 입장에 대해) 당연히 공감하는데, 질에 대한 보장이 되어야... 자료의 질... 그리고 POA의 질.” (1그룹 6번째 참여자)
“(정착이 잘되고 기준이 명확해진다면 환자안전지표로서 잘 활용될 거라고)생각은 되는데, 병원에서 코딩을 하는 입장이다 보니까 병원에서는 N, 노우에 대한 건수가 줄어들기를 바라고 숨기고 싶은 부분인데, 그걸 찾아서 줘야 하나, 그런 게 있더라고요.” (1그룹 5번째 참여자)

Ⅳ. 고찰

이번 연구에서는 POA 지표 수집의 실무 담당자라고 할 수 있는 보건의료정보관리사 11명을 대상으로 2회의 초점집단토의를 실시하여 POA 지표 수집 현황 및 문제점, 활용 방안 등을 탐색해 보았다. 분석 결과, ‘POA 수집 현황 및 평가 경험’, ‘POA 코드 입력의 어려움’, ‘POA 정확성 향상을 위한 자체 노력’, ‘POA 정확성 향상을 위한 방안’, ‘POA 활용방안에 대한 의견’이라는 다섯 가지 상위범주를 도출하였다. 우리나라에서는 아직 POA를 활용한 연구가 활발히 이루어지고 있지 못한데, 이번 연구를 통해 연구자 및 의료인들의 POA 지표에 관한 인식 및 관심도를 높일 수 있으리라 생각한다. 또 POA 정확도 평가를 위한 지표를 설정하고, POA 활용 방안을 모색할 때에 이번 연구 결과를 활용할 수 있을 것이다.
이번 연구에서 확인된 의료 현장에서의 POA 지표에 대한 인식 수준이 여전히 낮은 점을 먼저 주목할 필요가 있다. 즉, POA 지표의 잠재적인 중요성, 향후 POA 활용의 확대 가능성에도 불구하고 POA 지표에 관한 의료 현장의 관심은 낮은 것으로 보인다. 이번 연구에 참여한 보건의료정보관리사들의 경우 POA 지표 수집의 실무 담당자로서 POA에 대해서 잘 아는 편인 것으로 보이지만, POA 지표에 관한 의사의 인식 부족 및 무관심을 POA 지표 관리의 어려움 중 하나로 손꼽았다. POA 지표 관리의 실무 담당자는 보건의료정보관리사라고 하더라도 상병 입력의 최종적인 책임은 의사가 지는 것이기에 의료진, 특히 의사의 POA 지표에 대한 인식을 높일 수 있는 전략 마련이 필요할 것이다. 보건의료정보관리사와 의사 간 POA 지표 입력에 관한 소통의 창구를 마련하는 것도 POA 지표 정확도 향상에 필요할 것이다[14].
POA 지표에 관한 인식 개선과 더불어 POA 지표 정확도 향상을 위해 다양한 방안들을 모색해 볼 필요가 있다. 이번 연구에 참여한 보건의료정보관리사들도 나름 POA 코딩의 정확도를 향상시키기 위하여 POA 코딩 재검토, 의무기록위원회를 통한 사례 관리, 자체 교육 등 다양한 노력들을 진행하고 있었다. 신포괄수가제 정보관리평가 및 의료질평가지원금의 POA 관련 지표에 이러한 POA 정확도 향상을 위한 활동들을 과정 지표로서 포함시키는 방안을 고려해 볼 필요가 있다. 진료계획표 운영 및 개선 활동 보고서를 확인하고 진료계획표 정례회의 여부를 점검해야 진료계획표 운영을 제대로 관리하는 것처럼 POA 지표 관리 및 개선 보고서 및 회의록 작성 여부를 점검함으로써 POA 정확도 향상 활동을 유도할 수 있을 것이다.
이번 연구에 참여한 보건의료정보관리사 대다수가 강조하였던 것처럼 POA 지표에 관한 사례 중심의 명확한 지침을 마련하는 것도 필요해 보인다. 현재 심평원은 POA 코딩 지침 마련하여 교육에 활용하고 있지만[15], 현장에서는 좀 더 다양한 POA 사례가 제시, 공유되기를 기대하고 있었다. 국외 POA 코딩 사례들뿐만[16] 아니라 심평원 정보관리 평가를 통해 수집된 사례나 보건의료정보관리사협회 교육 자료[17]를 이용하여 다양한 임상 상황에 따른 POA 사례를 개발하여 활용할 필요가 있다. 더불어 POA 코딩 예시를 의료기관 간 공유할 수 있는 장을 마련하는 것도 고려해 볼 수 있다. 즉, 특정 의료기관에서 헷갈려 한 POA 코딩 예시는 다른 의료기관에서도 헷갈려 할 가능성이 높기 때문에 홈페이지를 통해서 POA 코딩 예시를 검색하고 질의할 수 있는 장을 마련할 필요가 있다.
POA 지표의 단순명료화도 POA 지표의 정확도 향상을 위하여 필요할 것으로 보인다. 우리나라의 POA 제도는 미국의 것을 기반으로 하고 있는데, 4가지(Y, N, U, W)의 지표와 예외 상병(E)까지 규정해 총 5가지의 가짓수로 지표 입력을 관리하고 있다. 하지만 이번 연구의 참여자들은 대부분 예외 상병을 없애는 것에 대해서 크게 부정적이지 않았고, U나 W의 지표는 실무 담당자 입장에서도 입력을 꺼려하고 있어 그 실효성이 떨어져 보였다. 이번 연구의 결과는 POA 지표에서 예외 상병을 없애고, 호주[10]나 캐나다[18]처럼 U나 W의 지표를 없애거나 하나의 지표로 합쳐서 관리하는 방안에 크게 문제가 없음을 제시하고 있다. 특히, 현재 예외상병으로 규정된 코드들 중 환자안전지표(patient safety indicator) 산출을 위해 활용될 수 있는 코드들이 상당수 존재한다는 점과 향후 환자안전지표 산출을 위해 POA가 핵심적인 역할을 할 것이라는 점을 고려한다면, 예외상병을 폐지하는 것이 POA 코딩 체계를 단순화한다는 측면뿐만 아니라 환자안전 수준 파악을 위한 기반 마련이라는 측면에서도 중요하다.
정확한 POA 코딩은 POA 지표 활용을 위한 선행 요건이다. 이번 연구에 참여한 보건의료정보관리사들도 향후 POA 지표가 더 활용되어야 한다는 측면에 대해서는 공감하고 있었고, 앞으로 그러한 방향으로 정책적 기조가 변화할 것을 예상하고 있었지만, 정확한 POA 지표 입력이 선행되어야 한다고 생각하고 있었다. 특히, POA 지표를 활용하여 바로 직접적으로 사망률 및 환자안전 결과 지표를 평가할 경우 실무 담당자나 의료기관 입장에서는 N 코드를 입력하기를 꺼려할 것으로 예상하였다. 따라서 POA 지표가 중증도 보정[19], 환자안전지표 산출[20]에 필수적인 요소이기는 하지만 당분간은 POA 지표를 활용한 직접적인 결과 지표 평가보다는 POA 지표의 정확성 자체를 중간 결과 지표로서 모니터링하는 것이 타당해 보인다. 기존 연구에서 활용된 POA 타당도 확인을 위한 알고리즘[21]을 활용하거나 위해사건 확인을 위한 의무기록검토[22]에 POA 지표 정보를 함께 수집하여 POA 코딩의 타당도 평가를 시도해 볼 수 있을 것이다. 나아가 이러한 타당도 평가를 결과를 바탕으로 POA 코딩의 지불보상제도 방안을 연계해볼 수 있을 것이다.
이번 연구가 POA 지표 입력의 주된 실무 담당자인 보건의료정보관리사의 관점을 파악하기는 하였지만, POA 지표 입력의 최종 책임자인 의사의 관점을 파악해보지 못한 점을 이번 연구의 제한점으로 지적할 수 있다. 추후 의사를 대상으로 POA 지표의 수집 및 활용에 대한 연구를 진행하여 그 결과를 서로 비교해보는 것이 이해의 폭을 넓히는 데에 있어 도움이 되리라 생각한다. 또 이번 연구의 참여자들이 대부분 신포괄수가제 참여 기관에 근무하고 있다는 점도 연구 제한점으로 언급할 수 있다. 행위별수가제 하에 근무하는 보건의료정보관리사들의 관점을 좀 더 파악해 보는 것도 향후 POA 지표 평가 기준 마련에 있어 현장의 목소리를 반영하는 데에 도움이 되리라 생각한다.
이러한 제한점들에도 불구하고 우리나라에서 POA 관련 연구가 거의 발표된 바가 없기 때문에 이번 연구의 결과가 POA 인식 증진 및 후속 연구 유도에 도움이 되리라 판단된다. 향후 의료의 질 및 환자안전의 중요성이 강조되고 신포괄수가제나 가치기반보상제도 등 진료비 지불제도의 변화 필요성이 증대될 것으로 예상되기 때문에, POA 지표의 정확도를 향상시키고 이를 활용하는 것에 있어 관심이 점차 확대될 것이다. POA 지표와 관련된 평가 기준을 수립하고, POA 지표를 활용하는 정책을 도입할 때에 이번 연구 결과를 참고할 수 있으리라 생각한다.

NOTES

Funding

This study is supported by the Health Insurance Review & Assessment service.

Conflict of Interest

None

Table 1.
Socio-demographic characteristics of participants
Group N Bed* Position
1 1 500 Deputy head of department
2 700 Team member
3 800 Team leader
4 600 Team leader
5 1,100 Team leader
6 800 Team member
2 1 400 Assistant manager
2 300 Team leader
3 300 Team leader
4 200 Team leader
5 400 Team leader

* The numbers of beds of the institutions to which the research participants belong are approximate to prevent them from being specified

Table 2.
Structure of the analysis results
Category Subcategory
1. Status and experience of collection and evaluation for POA indicator 1-1. Status of POA indicator collection by reimbursement system
1-2. Person in charge for POA flags entry
1-3. Experience of information management evaluation in new DRG payment system
2. Difficulties in POA flag entry 2-1. Feeling burdened by misperception of POA indicator
2-2. Obstacles that interfere with honest POA flag entry
2-3. Overwork and manpower problems caused by POA indicator
2-4. Lack of awareness and indifference of physicians for POA indicator
2-5. Ambiguous flagging standards of the Health Insurance Review and Assessment Service and confusion period
3. Self-efforts to improve accuracy of POA indicator 3-1. Review of POA indicator in various ways
3-2. Internal reviews and use of relevant agency data
3-3. Conduction of self-education and conferences
4. Ways to improve accuracy of POA indicator 4-1. Necessity of practical case-oriented guidelines
4-2. Need for training of healthcare professionals related to POA indicator
4-3. Opinions on exception flag of POA indicator
5. Opinions on how to use POA indicator 5-1. Opinions on responsibilities for management of POA indicator
5-2. Opinions on the utilization of patient safety indicators

REFERENCES

1. Lee SI, Ock M. Current status of patient safety management and its improvement direction. HIRA Policy Brief. 2014;8(5):5-15.
2. Ock M, Kim HJ, Jeon B, Kim YJ, Ryu HM, Lee MS. Identifying Adverse Events Using International Classification of Diseases, Tenth Revision Y Codes in Korea: A Cross-sectional Study. Journal of Preventive Medicine and Public Health. 2018;51(1):15-22. PMID: 29397642
crossref pmid pmc pdf
3. Mourik MS, Duijn PJ, Moons KG, Bonten MJ, Lee GM. Accuracy of administrative data for surveillance of healthcare-associated infections: a systematic review. BMJ Open. 2015;5(8):e008424. PMID: 26316651
crossref pmid pmc
4. MacCallum C, Da Silva N, Gibbs P, Thomson BNJ, Skandarajah A, Hayes I. Accuracy of administrative coding data in colorectal cancer resections and short-term outcomes. ANZ Journal of Surgery. 2018;88(9):876-81. PMID: 30074298
crossref pmid
5. Glance LG, Dick AW, Osler TM, Mukamel DB. Accuracy of hospital report cards based on administrative data. Health Services Research. 2006;41(4 Pt 1):1413-37. PMID: 16899015
crossref pmid pmc
6. Glance LG, Osler TM, Mukamel DB, Dick AW. Impact of the present-on-admission indicator on hospital quality measurement: Experience with the agency for health care research and quality (AHRQ) inpatient quality indicators. Medical Care. 2008;46(2):112-9. PMID: 18219238
crossref pmid
7. Kaafarani HM, Borzecki AM, Itani KM, Loveland S, Mull HJ, Hickson K, et al. Validity of selected Patient Safety Indicators: opportunities and concerns. Journal of the American College of Surgeons. 2011;212(6):924-34. PMID: 20869268
crossref pmid
8. Stukenborg GJ, Wagner DP, Harrell FE Jr, et al. Present-at-admission diagnoses improved mortality risk adjustment among acute myocardial infarction patients. Journal of Clinical Epidemiology. 2007;60(2):142-54. PMID: 17208120
crossref pmid
9. Centers for Medicare & Medicaid Services. Hospital-Acquired Conditions (Present on Admission Indicator). [cited 2020 April 28] Available from: https://www.cms.gov/Medicare/Medicare-Fee-for-Service-Payment/HospitalAcqCond/index.html.
10. Australian Institute of Health and Welfare. Episode of admitted patient care-condition onset flag, code N. [cited 2020 April 28]. Available from: https://meteor.aihw.gov.au/content/index.phtml/itemId/686100.
11. Tong A, Sainsbury P, Craig J. Consolidated criteria for reporting qualitative research (COREQ): a 32-item checklist for interviews and focus groups. International Journal for Quality in Health Care. 2007;19(6):349-57. PMID: 17872937
crossref pmid pdf
12. Hsieh HF, Shannon SE. Three approaches to qualitative content analysis. Qualitative Health Research. 2005;15(9):1277-88. PMID: 16204405
crossref pmid
13. Guba EG, Lincoln YS. Fourth generation evaluation. Newbury Park, California: Sage; 1989. p. 294.
14. Agency for Healthcare Research and Quality. Toolkit for Using the AHRQ Quality Indicators, How To Improve Hospital Quality and Safety. 2017; [cited 2020 April 28]. Available from: https://www.ahrq.gov/patient-safety/settings/hospital/resource/qitool/index.html.
15. DRG Department of Health Insurance Review & Assessment service. New comprehensive POA coding principles and guidelines. 2016.
16. Present on Admission (POA) Indicator Toolkit. [cited 2020 June 14]. Available from: https://www.hcup-us.ahrq.gov/datainnovations/clinicaldata/poatoolkit.jsp.
17. Korean Health Information Management Association. Practical guide for disease classification. Seoul: Korean Health information Management Association; 2019.
18. Canadian Institute for Health Information. Discharge Abstract Database Metadata (DAD). [cited 2020 April 28] Available from: https://www.cihi.ca/en/discharge-abstract-database-metadata.
19. Barrett ML, Owens PL, Bolhack J, Sheng M. Examination of the Coding of Present-on-Admission Indicators in Healthcare Cost and Utilization Project (HCUP) State Inpatient Databases (SID). 2015. HCUP Methods Series Report #2015-06 ONLINE. September 1, 2015. U.S. Agency for Healthcare Research and Quality. [cited 2020 April 28]. Available from: http://www.hcup-us.ahrq.gov/reports/methods/methods.jsp.
20. Australian Commission on Safety and Quality in Health Care. Hospital-acquired complications (HACs). [cited 2020 April 28] Available from: https://www.safetyandquality.gov.au/our-work/indicators/hospital-acquired-complications.
21. Jackson TJ, Michel JL, Roberts R, Shepheard J, Cheng D, Rust J, et al. Development of a validation algorithm for 'present on admission' flagging. BMC Medical Informatics and Decision Making. 2009;9:48. PMID: 19951430
crossref pmid pmc pdf
22. Ock M, Lee SI, Jo MW, Lee JY, Kim SH. Assessing Reliability of Medical Record Reviews for the Detection of Hospital Adverse Events. Journal of Preventive Medicine and Public Health. 2015;48(5):239-48. PMID: 26429290
crossref pmid pmc pdf


ABOUT
ARTICLE CATEGORY

Browse all articles >

BROWSE ARTICLES
FOR AUTHORS AND REVIEWERS
Editorial Office
#1012, 217, Saechang-ro, Yongsan-gu, Seoul, Republic of Korea
Tel: +82-2-6390-7555    E-mail: kosqua1994@daum.net

Copyright © Korean Society for Quality in Health Care.

Developed in M2PI

Close layer
prev next