Warning: mkdir(): Permission denied in /home/virtual/lib/view_data.php on line 87 Warning: chmod() expects exactly 2 parameters, 3 given in /home/virtual/lib/view_data.php on line 88 Warning: fopen(/home/virtual/qihjournal/journal/upload/ip_log/ip_log_2025-11.txt): failed to open stream: No such file or directory in /home/virtual/lib/view_data.php on line 95 Warning: fwrite() expects parameter 1 to be resource, boolean given in /home/virtual/lib/view_data.php on line 96 The selection of Priority Assessment Domains for Evaluating Patient-Reported Outcomes as National Quality Indicator in Korean Healthcare
TIP Search

CLOSE


Qual Improv Health Care > Volume 31(1); 2025 > Article
한국의 환자 자기평가 건강상태 평가 우선순위 영역

Abstract

Purpose

The objective of this study is to develop criteria for selecting suitable areas for measuring PRO in the Korean healthcare system and to prioritize the domains based on these criteria for the PRO introduction.

Methods

The study established criteria for prioritizing PRO areas using the RAND/UCLA modified Delphi method, which was conducted with nine experts. The expert group consisted of five academic and clinical experts, two members of the quality evaluation committee and two patient representatives. By conducting two rounds of Delphi surveys, the criteria for selecting areas using PRO were confirmed. After this process, in the clinical areas where ICHOM provides PRO measurement sets, an expert panel survey was conducted to determine five candidate PRO measurement areas. Subsequently, the final prioritized PRO measurement area was selected based on the selection criteria.

Results

The selection criteria were composed of 3 categories and 8 items. First category, importance and feasibility, included (1) burden of disease, (2) Importance of PRO measurement and (3) degree of impact on patients' lives. Second category, feasibility, included (4) usability of existing PROMs, (5) possibility of self-report, (6) degree of clinical use, and (7) potential for use of existing projects. Third category, usability, included (8) the possibility of improving the quality of care. Among the areas with the set of PRO measures presented by the ICHOM, hip and knee replacement received high scores in selection criteria excluding the burden of disease.

Conclusion

This study provides information on areas of clinical practice where the introduction of PRO is feasible. The implementation of PRO will assist in the efforts to improve the quality of care in healthcare institutions by providing patient-centered outcome data. Also, PRO enables comparisons of outcome data by healthcare providers and provides information to policy makers for improving performance for patients.

Ⅰ. 서론

한국은 의료의 질을 높이기 위해 의료기관평가인증원에서 시행하는 의료기관 인증제도부터 건강보험심사평가원에서 수행하는 요양급여 적정성평가나 질평가지원금 산정을 위한 의료기관 평가에 이르기까지 다양한 평가 제도를 운영하고 있다. 일반적으로 의료의 질은 구조, 과정, 결과 영역에 대해 평가하며, 결과영역의 평가는 사망률, 재입원율 등과 같은 임상 결과지표를 주로 사용하고 있다. 그러나 이 지표들은 급성기 질환에 적합한 평가지표로 인구의 노령화로 인해 증가하고 있는 만성질환이나 복합질환 등을 관리하기 위해 시행되는 의료의 질을 평가하기에는 적절하지 않다. 따라서 국제기구인 경제협력개발기구(Organization for Economic Co-operation and Development, OECD)나 일부 국가에서는 기존의 평가지표를 이용해 의료의 질을 평가하기 어려운 질환에 대해서는 환자 자기평가 건강상태(patient-reported outcome, PRO)와 같은 새로운 평가지표를 도입하고 있다.
PRO는 ‘타인의 설명이나 해석 없이 환자가 직접 제공하는 환자자신의 건강상태에 관한 모든 보고’로 정의된다[1]. 2013년 미국의 국가 의료 질 포럼(National Quality Forum, NQF)는 PRO의 유형으로 환자의 건강과 관련된 삶의 질(Health-Related Quality of Life, HRQoL), 기능상태(Functional Status), 증상 및 증상부담(Symptoms and Symptom Burden), 건강행태(Health Behaviors), 환자의 진료 경험(Patient Experience)을 제시했다[2]. 최근에는 결과 척도와 과정 척도의 구별이 강조되면서 삶의 질, 증상, 증상에 따른 부담에 초점을 맞출 것이 권장되고 있다[3].
국제기구인 OECD는 2017년도부터 환자경험지표와 환자자기평가건강상태 지표를 내용으로 하는 ‘환자가 보고하는 건강결과 조사(Patient-Reported Indicator Surveys)’ 시범사업을 시행하고 있다. 그리고 캐나다 등 일부 국가에서 수행한 슬관절치환술, 고관절치환술, 유방암에 대한 PRO 측정결과를 OECD 홈페이지에 발표하고 있다[4,5]. 의료의 질 평가에 적극적으로 PRO를 활용하거나 활용하고자 노력하는 국가에는 미국, 영국, 캐나다, 네델란드 등이 있다[6].
한국의 경우, 2018년도에 상급종합병원 42개소를 대상으로 PRO 이용현황을 조사한 결과, 응답 의료기관 11개소 중 10개소에서 PRO를 측정하고 있다고 하였으며, 시행목적으로 논문 작성 등 연구 활용, 진료효과 평가, 진료결과 추적관리, 의료의 질 관리를 들었다[6]. 국가 단위에서는 의료기관 인증평가나 전문병원 지정ㆍ운영을 위한 평가에서 PRO 측정을 권장하거나 측정여부를 평가에 활용하고 있으며, ‘요양병원 입원급여 적정성 평가’에서는 PRO 측정결과인 ‘증등도 이상의 통증 개선 환자분율’, ‘일상생활수행능력 개선 환자분율’을 사용하고 있다. 따라서 우리나라의 경우 의료의 질 평가에 국가단위 PRO 측정결과 활용은 미미한 상황이라 할 수 있겠다. 한편, 보건복지부는 2024년 2월 2일에 발표한 제2차 국민건강보험 종합계획에서 의료의 질 평가체계 개편을 위해 평가지표를 ‘투입ㆍ구조지표’ 위주에서 ‘성과지표’ 중심으로 확대할 것이라고 밝혔다.
국제기구와 외국의 PRO 도입 및 확대 추세, 국내 의료기관의 다양한 상병에 대한 개별적인 PRO 측정 경험, 보건복지부의 의료의 질 향상을 위한 평가 정책방향 등을 고려할 때 국가 단위의 PRO 도입에 대한 논의가 필요한 시점이다. 아울러, 우리나라가 2024년 초고령 사회로 접어들었다는 점은 만성질환이나 복합질환 등의 유병률 증가를 의미하며, 이 상병들에 대한 의료의 질 평가에 적절한 PRO 도입 필요성이 커지고 있음을 의미한다.
이 연구는 이러한 배경 하에 우리나라에서 의료의 질 평가 지표로 PRO 도입을 고려할 수 있는 진료분야에 대한 우선 선정기준 및 이 선정기준을 기반으로 현재 우선 도입 가능한 진료영역을 모색하고자 수행되었다.

Ⅱ. 연구방법

1. 조사도구 및 대상자

이 연구는 문헌고찰과 전문가 자문회의를 통해 PRO 도입 영역을 선정하는 데 필요한 기준의 초안을 만들고 2차례의 델파이 조사를 통해 최종 선정기준을 선택하였다.
이 후 “건강결과 측정을 위한 국제 컨소시엄”(International Consortium for Health Outcomes Measurement, ICHOM) 이 공개하고 있는 환자 중심 성과 측정지표 목록을 대상으로 자문단 위원의 과반 수 이상이 국내도입이 적합하다고 응답한 임상영역을 선정하였다. 이 영역을 대상으로 PRO 도입 영역 선정기준에 따라 도입 적절성 정도를 평가하였다. ICHOM이 공개하고 있는 임상영역 목록을 활용한 이유는 ICHOM이 작업반을 구성하고 구조화된 과정을 통해 의료 제공자와 환자 관점에서 중요한 결과(outcome)지표 표준세트를 제시하기 때문이다[7]. 또한 ICHOM이 제시한 평가목록에는 OECD나 주요 외국에서 시행하고 있는 PRO 측정 영역이 모두 포함되어 있다.
이 연구는 건강보험심사평가원의 생명윤리심의위원회의 승인을 받아 수행되었다(승인번호 2003-063-001).

1. PRO 측정 대상 우선순위 선정기준 개발

PRO 측정 영역의 우선순위 선정 기준 정립을 하기 위하여 수정 델파이 방법인 RAND/UCLA Appropriate Method (RAM)를 활용하였다. RAM 방법은 의료의 과다 또는 과소 진료를 밝히기 위해 개발된 방법으로 1980년대에 RAND와 UCLA에서 개발된 의사결정 방법이다[8]. RAM에서 권장하는 패널 수는 7~15명으로 의사결정을 위한 집단토론이 가능하면서 다양한 분야의 의견을 수렴하는 데 적절한 규모이다[8].
이 연구를 수행하기 위하여 PRO에 대한 자문 및 서면평가가 가능한 관련 전문가 9인에게 메일을 통해 연구참여 동의를 받고 자문단을 구성하였다.
- PRO 관련 연구ㆍ업무 경험이 있는 학계ㆍ임상 전문가 5명(임상역학, 종양학, 의료정보학, 간호학)
- PRO 관련 연구ㆍ업무 경험이 있는 건강보험심사평가원 의료평가조정위원회 소속 위원 2명
- 환자 및 소비자 단체 대표 2인(한국소비자단체협의회와 암시민연대)

1) 선정기준 및 선정기준에 대한 정의(안) 마련

자문단 구성 후 국내 문헌 및 국외의 의료의 질 평가지표로 PRO를 사용하고 있는 국가와 각 국가의 평가 수행 기관에서 PRO를 도입할 때 평가 대상 영역을 선정하기 위해 사용한 기준을 고찰하였다. 이후 고찰한 내용을 토대로 자문단과 대면회의를 실시하고, 선정기준 및 기준의 정의에 대한 초안을 작성하였다.

2) 자문단 대상 델파이 조사 및 분석

선정기준 및 선정기준 별 정의를 마련하기 위하여 2차례에 걸쳐 델파이 조사를 실시하였다. 1, 2차 조사에서는 선정기준별로 ‘평가의 중요성’과 ‘평가의 용이성’을 5점 척도를 사용하여 평가했다. 선정기준별 ‘중요성’과 ‘용이성’은 문헌 고찰과 자문단 회의를 통해 도출된 기준이다. 평가영역의 구분과 영역별 선정 기준, 선정기준 별 정의(안)에 대한 적절성을 평가하기 위해 Lawshe가 제안한 내용타당도 비율(Content Validity Ratio, CVR)을 활용하였다[9]. CVR은 내용 타당도 평가에 사용되는 방법 중 하나로 각 항목 구성의 개념과 내용과 관련한 전문가 의견이 긍정적으로 수렴되었는지를 나타낸다. CVR값은 다음 공식을 활용하여 계산된다.
CVR=Ne-(N2)N2
여기에서 N은 전체 자문단 패널 수이며, Ne는 긍정적 응답을 한 패널의 수를 의미한다. 따라서 CVR값은 자문단 패널 수의 절반 이상이 긍정적 응답을 하는 경우 0보다 크고 그렇지 않은 경우 0보다 작다. 이 연구에서 선정기준별 ‘평가 중요성’과 ‘평가 용이성’에 대해 패널이 4점 또는 5점으로 응답한 경우 평가가 ‘긍정적’ 이었다고 판단하였다. 따라서 CVR값을 구하는 공식에서 Ne에 해당하는 값은 4점 또는 5점 응답자 수이다. 1차 조사에서 ‘평가 중요성’과 ‘평가 용이성’ 모두에서 패널 간 긍정적 평가결과 일치도가 낮고(CVR<임계값), 하나 이상에서 긍정적 응답이 응답자의 절반 이하인 경우(CVR≤0)는 선정기준에서 제외하였고, ‘평가 중요성’과 ‘평가 용이성’에서 모두 긍정적 평가 결과 일치도가 높게 나온 항목은(CVR≥임계값) 최종 선정 기준 목록에 포함하였다. ‘평가 중요성’과 ‘평가 용이성’ 중 하나에서 자문단 평가 결과의 일치도가 낮은 경우는(CVR<임계값) 2차 델파이 조사에서 재평가되었다. 2차 델파이 조사에서는 동일한 방법으로 조사를 수행 후 ‘평가 중요성’과 ‘평가 용이성’ 중 전문가의 평가결과 일치도가 높게 나온 항목을 선정기준에 포함하였다. 두 차례에 걸친 델파이 조사에서 선정된 기준 및 기준별 정의는 자문단에 서면으로 공유하고 이견이나 추가 의견이 없는지 확인 후 조사를 중단하였다.

2. 선정기준에 따른 PRO 평가영역 선정

1) 후보 영역 선정

ICHOM은 임상영역별로 환자 중심 결과 측정지표 목록을 구성해 공개하고 있다[7]. ICHOM에서 측정지표를 제시한 45개 영역 중 모집단 범주가 크거나 PRO 측정이 어려워 우선도입이 어려울 것으로 판단되는 경우는 목록에서 제외하거나 평가대상의 범위를 좁혔다. 이에 따라 생애주기 및 모자건강 해당 영역을 제외하였고, 고관절염 및 슬관절염 환자는 고슬관치환술 및 슬관절치환술(이하, 고ㆍ슬관절치환술) 환자로 범위를 축소해 총 40개 영역에 대해 PRO 도입 평가영역으로서의 적격여부에 대해 서면평가를 실시하였다. 서면평가에서 자문단 패널에게는 ‘적격’으로 평가한 영역에 대해 그 이유와 근거를 기술하도록 요청하였다. 자문단 과반수가 PRO 도입영역으로 적절하다고 동의한 영역을 PRO 도입을 우선 고려할 수 있는 후보영역으로 선정하였다.

2) 델파이 조사 및 자문단 대면회의

자문단 과반수 이상이 PRO 측정이 적합하다고 응답한 임상영역에 대해서 우선도입 선정기준 항목별로 델파이 조사를 실시하였다. 델파이 조사는 9점 척도를 사용해 평가하였다. 1점은 우선순위가 매우 낮음을 의미하고 9점은 도입 우선순위가 매우 높음을 의미하다. 조사점수는 ‘구간 점수’, ‘의견 일치 여부’, ‘평균 점수’ 등을 산출하여 우선순위를 평가하였다. 구간 점수는 우선순위 평가 점수가 7~9점인 경우를 ‘높음’, 4~6점을 ‘보통’, 1~3점을 ‘낮음’으로 분석하였다. 의견 일치 여부는 중위 수를 포함하는 구간 점수 범위를 벗어난 자문단 패널 수가 2명 이하인 경우 의견이 ‘일치’하는 것으로 판단하였다[8]. 예를 들어 중위 수가 8인 경우 8점을 포함하는 구간 점수 범위인 높음(7~9점)에서 벗어난 응답자 수가 2명 이하이면 자문단 의견이 일치한다고 보았다. 평균점수는 자문단 패널이 평가한 우선순위 점수의 평균이다. 이 결과를 바탕으로 자문단은 대면 토론을 실시하였고 이 내용을 기반으로 연구진은 최종 PRO를 평가지표로 우선 도입할 수 있는 영역을 선정하였다.

Ⅲ. 연구결과

1. 우선순위 평가영역 선정기준 개발

1) 국내외 의료의 질 평가 영역 선정기준

의료의 질 평가에서 PRO 도입 영역을 선정할 때 사용한 기준은 PRO를 평가지표로 활용하고 있는 국가나 PRO 평가기관이 PRO를 의료의 질 평가지표로 도입할 때 평가영역을 선정하는 데 고려했던 기준들을 고찰하였다.

(1) 미국

미국의 NQF는 보건의료의 결과, 안전성, 형평성, 부담적정성(Affordability) 개선을 위한 업무를 수행하는 비영리기관으로 의료의 질 측정 방법, 기준과 실행방법에 대해 다양한 이해관계자들의 합의를 이끌어내고 있다. 의료서비스를 획기적으로 개선하고 국가에 더 큰 가치를 제공할 효과적인 질 측정척도(Measures)를 개발하고 있으며, 표준화된 기준을 바탕으로 제시된 기준의 순서에 따라 제안된 성과 측정의 적합성을 평가하고 있다[10].
NQF는 성과 측정 평가기준에 대한 보고서와 가이드라인에 성과 측정의 적합성 판단 근거를 5개 범주 11개 기준으로 제시하고 있다. 5개의 범주는 측정 및 보고 중요성(측정 이유와 지지 근거, 성과격차), 지표의 과학적 수용가능성(신뢰도, 타당도), 실행 가능성(임상 측정 여부, 전자의무기록 통합 가능 여부, 자료수집 가능성), 사용용이성 및 활용(책임성과 투명성, 의료 질 개선), 관련 또는 유사 측정과의 비교(관련 측정과의 호환성 및 차이점, 유사 측정 대비 우수성)이다[11]. 이 같은 평가 기준에 근거하여 고ㆍ슬관절치환술 환자를 대상으로 PRO를 이용하여 성과를 측정하기 시작하였다[12,13].

(2) 캐나다

캐나다의 보건정보연구소(Canadian Institute for Health Information, CIHI)는 보건의료체계의 성과와 인구집단 건강의 개선을 목적으로 표준화된 국가 수준의 PRO 측정 프로그램을 주도적으로 도입하고 있다[14]. CIHI가 의료서비스 평가를 위한 국가적 PRO 수집 초기 도입영역 선정 시 고려한 영역은 ‘환자 삶의 질 향상’ 을 주요 목표로 하는 선택적(elective) 수술과 만성질환 관리이다.

(3) 한국

한국의 건강보험심사평가원은 2001년부터 의료의 질 향상을 목적으로 요양급여 적정성 평가, 즉 의료의 질을 평가하고 있다. 요양급여의 적정성 평가 대상 선정 절차와 평가 기준은 ‘요양급여의 적정성 평가 및 요양급여비용의 가감지급 기준’ 제6조에 명시되어 있다(보건복지부 고시, 제 2023-35호, 2023.02.24. 개정). 먼저 평가목적 부합여부를 검토하는데, 이 과정에서 첫째, 의료의 질 저하로 국민 보건에 심각한 결과를 초래할 수 있는 경우, 둘째 의료자원 배분의 왜곡 등으로 요양급여의 비용효과가 낮은 경우, 셋째 요양급여비용의 심사만으로는 요양급여의 적정성 확보와 개선을 기대하기 곤란한 경우에 해당하는 지를 확인한다. 다음 단계에서 평가 대상 선정 시 우선순위 기준은 ① 전체 요양급여에서 차지하는 빈도나 비중, ② 의ㆍ약학적 중요성, ③ 사회적 관심 정도, ④ 평가 수행으로 기대되는 개선 효과, ⑤ 평가의 용이성으로 이루어져 있다[15].

(4) 국제 컨소시엄

국제 컨소시엄인 ICHOM은 임상 영역별로 환자에게 중요한 결과지표 표준세트를 정의하는 국제 컨소시엄이다. ICHOM은 ① 질병 부담(disease burden), ② 임상에서의 참여도(clinical engagement), ③ 결과 지표 세트 개발에 필요한 자금 조달 가능성(funding) 등 세 가지 요소를 고려하여 환자중심 결과세트 개발을 위한 임상영역 우선순위를 결정하고 있다[16].

2) 선정기준 초안을 작성하기 위한 자문단 회의

고찰한 국내외 의료의 질 평가 영역 선정기준 목록을 대상으로 자문단 회의를 통해 한국에 PRO를 도입할 때 우선 평가영역 선정 시 필요한 기준에 대한 의견을 들었다. 평가 기준과 함께 PRO 도입이 필요한 진료영역 선정 시 고려사항에 대한 의견도 들었다. PRO 도입 필요성이 높은 진료영역은 ① 질병정보의 PRO 의존도가 높은 질환, ② 삶의 질에 영향을 크게 미치는 질환 등이라는 의견이 있었다. 아울러 PRO 측정 가능성도 매우 중요하므로 ① PRO 활용도가 높은 임상영역, ② 1회성 또는 중재 전후만으로 유효한 결과를 산출할 수 있는 영역, ③ 국외에서 활발히 PRO 측정이 실시되고 있는 영역인지 확인할 필요가 있다는 의견이었다.

3) PRO 도입영역에 대한 델파이 조사

문헌고찰과 자문단 의견을 통해 얻은 결과를 바탕으로 작성한 PRO 우선 도입영역 선정기준 및 선정기준별 정의에 대해 초안을 작성하였다. 선정기준별 정의는 선정기준별 명칭과 정의가 일치하는지, 각 명칭과 정의가 이해하기 쉬운지 등 제시된 선정기준이 적절하게 정의되었는지를 평가하도록 하였다. 선정기준별 정의의 적절성과 관련해 추가적인 수정 의견이 없고, 모든 전문가가 적절하다고 평가할 때까지 수정 과정을 반복했다. 델파이 조사는 2회 실시되었다(Table 1).
두 차례의 델파이 조사를 통해 최종 PRO 도입영역 선정 기준 목록에 포함된 기준은 3개 범주의 8개 기준이다. 첫번째 범주는 ‘PRO 측정의 중요성 및 타당성’으로 3개의 기준으로 구성되는데 ‘질병 부담’, ‘결과 정보의 PRO 의존도’, ‘PRO 개선이 환자 삶에 영향을 미치는 정도’이다. 두 번째 범주는 ‘실행 가능성’이다. 실행 가능성은 ‘가용 측정 도구 활용 가능성’, ‘자기보고 가능성’, ‘임상 활용 정도’, ‘기존 사업(제도) 활용 가능성’으로 구성된다. 세 번째 범주는 ‘측정결과 활용성’으로 ‘의료의 질 개선 가능성’으로 구성되었다 (Table 2).

2. PRO 측정 대상 영역 선정

1) PRO 측정 후보영역 선정을 위한 의견 조사

ICHOM에서 환자중심 결과 측정세트를 제시한 45개 임상영역 중 생애주기 및 모자건강 관련 임상영역을 제외한 40개 임상영역에서 전문가 패널 과반수 이상이 PRO 도입이 적합하다고 평가한 영역은 고슬관절 치환술, 유방암, 우울증 및 불안, 대장암, 폐암이다(Table 3).

2) PRO 측정 대상에 대한 우선순위

PRO 측정 후보영역을 대상으로 전문가 패널은 선정기준별로 9점 척도로 평가하였다. ‘구간점수’, ‘의견일치 여부’, ‘평균 점수’ 등을 확인하였다. 평가결과 구간점수에서 평균 7.0점 이상이고 패널 간 의견이 일치한 임상영역은 ‘질병부담’의 경우 유방암, 폐암이었고 동일하게 평균 7.8점이었다. ‘결과 정보의 PRO 의존성’ 항목은 고ㆍ슬관절치환술 및 우울증 및 불안으로 동일하게 평균 점수가 7.8점 이었다. ‘환자 삶에 영향을 미치는 정도’는 우울증 및 불안, 고ㆍ슬관절치환술이 동일하게 평균 점수가 7.9점이었고 유방암 7.8점, 폐암 7.4점 순이었다. ‘가용 측정도구 활용가능성’에서는 우울증 및 불안의 평균 점수는 8.0점, 고ㆍ슬관절치환술이 7.6점으로 평가되었다. 자가보고 가능성은 유방암 8.3점, 우울증 및 불안과 대장암이 동일하게 7.9점, 고ㆍ슬관절치환술 7.7점, 폐암 7.6점 순이었다. 임상 활용 정도는 평균 점수가 고ㆍ슬관절치환술 8.2점, 우울증 및 불안 7.9점, 유방암 7.3점, 대장암 7.0점 순이었다. 기존사업(제도) 활용가능성은 고ㆍ슬관절치환술 8.1점, 우울증 및 불안 7.8점, 유방암 7.6점 순이었다. 의료 질 개선 가능성은 고ㆍ슬관절치환술 8.0점, 유방암 7.6점, 대장암 7.4점, 순이었다(Table 4). 선정기준에서 자문단 의견이 일치하면서 구간별 높음으로 평가한 항목 수가 가장 많은 진료영역은 고ㆍ슬관절치환술이었으나 상위 후보영역별 변별력이 크다고 보기 어려워 평가결과를 바탕으로 자문단 토론을 진행했다. 자문단에서는 암질환은 병기나 환자 특성에 차이가 있고 치료 종류가 많아 어떤 결과를 측정할 지에 대한 상당한 정도의 숙고가 필요하고 우울증 및 불안은 그 자체로 하나의 질환인 동시에 다양한 질환에서 공통적으로 나타날 수 있는 증상이므로 평가대상 구체화가 어려울 것이라는 의견을 제시하였다. 이러한 자문단의 의견과 연구진 내부 논의를 통해 연구진은 PRO 측정을 우선 도입할 수 있는 임상영역으로 고ㆍ슬관절치환술을 최종 선정하였다.

Ⅳ. 고찰

최근 환자 중심의 가치를 중시하는 의료가 강조되면서 PRO는 중요한 의료의 질 평가지표로 자리를 잡아가고 있다[17]. 국내에서는 PRO가 주로 민간 분야에서 진료 및 학술 목적으로 활용되고 있으나 국외에서는 국가차원의 의료 질 평가에도 점차 활용되고 있다. 그 예로 미국의 공보험인 메디케어 및 메디케이드 서비스 센터(Centers for Medicare and Medicaid Services, CMS)는 고ㆍ슬관절치환술에 대한 진료비 지불보상에 활용하는 의료 질 지표 중 하나로 PRO를 고려하고 있다[18], 영국 국가보건의료서비스(National Health Service, NHS)는 평가를 통하여 일정 기준을 충족한 의료 제공자에게는 추가적인 금전적 보상을 제공하며[19,20], NHS Digital 웹사이트에서 고ㆍ슬관절치환술에 대한 수술별, 지역별, 기관별, 측정도구 별 평가결과를 공개해 환자가 의료기관을 선택하는 데 도움을 주고 있다. CIHI 홈페이지에서 고ㆍ슬관절치환술에 대한 PRO 평가결과를 공개하고 있다[21].
따라서 우리나라도 국가단위의 의료의 질 평가에 PRO 도입을 고려할 필요가 있으며, 이를 위해 우선적으로 도입 가능 영역의 선정과 선정기준에 대한 검토가 필요하다. 이 연구는 문헌고찰 및 자문단 회의 등을 통해 예비 선정기준 11개 항목을 초안으로 도출하였고, 각 선정기준의 특성에 따라 PRO 측정의 중요성 및 타당성, 실행가능성, 측정 결과 활용성 그리고 사회적 관심, 4가지 범주로 분류하였다. 두 차례의 델파이 조사를 통해 PRO 도입 선정기준을 마련 후 이에 대한 자문단의 최종 서면 확인절차를 거쳤다. 첫번째 델파이 조사 결과 ‘질병정보의 PRO 의존도’와 ‘가용측정도구의 활용 가능성’이 선정기준에 포함되었다. ‘측정 결과 활용성’ 범주로 분류되었던 ‘국제 비교 가능성’과 ‘사회적 관심’ 범주에 포함되었던 ‘사회적 관심 및 요구도’ 항목은 선정기준에서 제외되었고, 나머지 항목은 재평가가 필요한 항목으로 분류되었다. 이를 통해 자문단이 PRO 도입에서 중요하게 생각하는 선정항목은 임상생리학적 검사로 측정이 어려운 환자의 건강상태에 대해 PRO가 핵심결과라 할 수 있는 정도(‘질병정보의 PRO 의존도’)와 신뢰도 및 타당도가 검증된 PRO 설문도구의 유무 및 활용가능 정도(‘가용 측정도구의 활용 가능성’)임을 알 수 있다. 한편 제외된 기준에 대해서는 자문단에서 다음과 같은 의견이 제시되었다. ‘국제 비교 가능성’의 경우, 자문단은 국가 간 보건의료 환경이 다르고, 측정 목적이 상이하므로 국가 간 PRO 측정결과 비교는 한계가 있다는 점을 고려해야 한다는 의견을 제시하였다. 아울러 ‘사회적 관심 및 요구도’는 이를 반영하는 지표나 평가기준이 모호하므로 해당 선정기준을 수용하기는 어렵다는 의견이었다. 두 번째 델파이 조사에서는 ‘측정시점의 명확성’이 제외되었다. ‘측정시점의 명확성’은 PRO 측정 시점 및 빈도가 비교적 명확하고 표준화된 정도를 의미한다. 이 항목에 대해 자문단의 별도 언급은 없었으나 이 부분은 임상 전문가 자문을 통해 PRO 측정 시기를 표준화 또는 명확화 할 수 있기 때문이라고 사료된다. 이 과정을 통해 PRO 도입 선정기준으로 3개 분야 8개 항목이 개발되었다.
해당 선정기준을 활용해 국내에서 PRO를 우선적으로 측정할 수 있는 진료영역에 대하여 검토하였다. ICHOM에서 건강결과 측정세트를 제시하고 있는 임상영역 중 자문단 과반수가 PRO 측정 도입으로 적합하다고 판단한 영역은 고ㆍ슬관절치환술, 유방암, 우울증 및 불안, 대장암, 폐암 등 5개 임상영역이었다. 이중 고ㆍ슬관절치환술, 유방암에 대해 가장 많은 자문단이 도입이 적합하다는 의견이었다. 선정이유는 두 영역 모두 건강보험심사평가원의 요양급여 적정성 평가항목 또는 예비항목에 포함되어 있으며 고ㆍ슬관절치환술은 PRO가 치료의 성공여부를 판단하는데 중요한 의미가 있고, 유방암은 마약성 진통제 사용 환자에서 자가 통증 보고가 중요하기 때문이라는 의견이었다. 2차로 5개 임상영역을 선정기준에 따라 평가했을 때 가장 우선순위가 높은 영역은 고ㆍ슬관절치환술 이었다. 고ㆍ슬관절치환술은 ‘질병부담’을 제외한 선정기준 항목에서 높은 순위에 있었다. 해당 평가결과를 토대로 한 자문단 회의에서도 고ㆍ슬관절치환술은 다른 임상영역보다 측정대상과 측정 결과가 구체적이므로 도입이 상대적으로 용이할 것이라는 긍정적인 의견이 있었다.
고ㆍ슬관절치환술은 앞서 언급했듯이 영국, 캐나다, 미국 등 주요 외국 뿐 아니라 OECD에서도 PRO를 평가하는 임상영역이다[22]. 따라서 PRO 측정 및 평가방법에 대한 지식축적도 상대적으로 많은 분야라 하겠다. 아울러 우리나라에서 슬관절치환술은 2018~2022년 동안 연평균 증감률이 환자 수는 1.8%, 입원 진료비는 4.3% 이고, 고ㆍ관절치환술은 동일 기간 동안 연평균 증감률이 환자 수는 2.8%, 입원 진료비는 6%로 증가추세이다[23].
향후 우리나라에서 PRO를 측정하기 위해서는 다음과 같은 사항을 고려할 필요가 있다. 먼저, 전국적으로 PRO 측정을 시행하기 위해서는 다양한 이해관계자들 간 평가 필요성, 평가체계, 평가지표 등에 대한 합의가 필요하다. NQF가 그들의 중요한 임무 중 하나로 의료질생태계(healthcare quality ecosystem)를 감독하고 생태계에 포함된 이해관계자들 간의 합의를 모으는 것을 드는 것이 그 이유다[24]. 캐나다에서 PRO 측정도구(Patient-Reported Outcome Measure, PROM)를 선택할 때에는 방법론 전문가, 공무원, 환자 또는 보호자, 임상의 등으로 구성된 위원회 구성을 시작으로 각 단계에서 임상환경이나 환자의 수용성 등을 고려한다[25]. 다음과 같은 PROM 측정 목적을 고려함으로써 이해관계자들의 수용성을 높일 수 있을 것이다. PROM 측정의 목적은 미시적인 수준에서는 임상의의 개별 환자 진료에 도움을 주는 데 있고, 중간 수준은 기관 단위에서는 행정가나 관리자가 프로그램을 평가하거나 질 향상 시범사업 정보 제공 등에 사용하기 위함이며, 거시적인 수준에서는 경영진이나 정책 입안자가 보건 의료시스템의 성과를 평가하고 대중에게 이를 공개하는 것이다[26].
이 연구는 국가단위에서 의료기관을 대상으로 PRO 평가를 도입할 수 있는 영역을 처음으로 제시했다는 의미가 있으나 다음과 같은 과제가 남아있다. 이후 연구에서는 고ㆍ슬관절치환술을 대상으로 PRO를 도입할 때 필요한 도구(PROMs)의 선정과 해당 도구의 한국어 번역본에 대한 검증여부 확인, 자료 수집방법, 위험도 보정 등 구체적인 평가체계의 설계가 필요하다. 의료기관별 고ㆍ슬관절치환술 PRO 평가결과에 대해 미국은 PRO 평가결과를 2028년 진료비 지불보상 제도에 연계할 계획임을 밝혔으며 아울러 해당 의료기관에 평가결과를 피드백하고, 의료기관별 평가 결과를 공개할 예정이다[27]. 영국은 앞에서 기술한 바와 같이 평가 결과에 기반하여 추가적인 금전적 보상을 제공하거나 결과를 공개하고 있다[28].
우리나라는 건강보험심사평가원에서 요양급여 적정성 평가 시 일부 평가항목에 대해서는 가감지급제를 적용해 평가결과에 따라 금전적 인센티브를 주고 있다. PRO 도입을 위해서는 자료수집을 위한 전자 시스템 구축, 자료수집에 따른 의료기관의 부담 경감 방안, 평가 수행 또는 평가결과에 기반한 성과보상 방안 등이 함께 검토되어야 한다.
동 연구는 델파이 방법의 일종인 RAM 방법을 활용하였다. RAM 방법에서 패널 수는 초창기에는 9명의 구성을 적절하다고 보았으나 이후에는 중간에 참여를 못하는 패널이 발생하는 경우가 생길 수 있으므로 7명~15명의 패널 수를 적절하다고 보았다. 패널의 다양성을 고려할 때 최소 7명 이상으로 구성하되 회의 가능한 최대 인원 수를 15명으로 본 것이다[8]. 위와 같은 배경으로 9명으로 구성된 자문단을 구성하게 되었다. 이 연구는 자문단 구성 시 PROMs 측정이 활발한 일부 임상영역(정형외과)의 전문가가 자문단 참여를 거절해 포함하지 못했다는 한계가 있다. 델파이 방법이 전문가의 집단적 판단을 이용한다는 점에서 전문가 구성이 중요하나 델파이 조사가 몇 차례의 설문조사와 회의 등을 통해 이루어진다는 점에서 조사가 끝날 때까지 책임감을 가지고 참여할 전문가를 찾기 어려울 수도 있으며 연구과정에서 패널이 이탈할 수도 있다는 점을 고려한 연구 설계가 필요하다[29].

Ⅴ. 결론

이 연구는 우리나라에서 주로 학술이나 진료 목적으로 사용하고 있는 PRO 측정을 국가 차원의 의료의 질 평가 지표로 도입하기 위해 PRO 도입 임상영역 선정기준을 마련하고, 이 기준에 따라 PRO 도입이 우선 가능한 임상영역을 선정하였다. PRO 도입 영역을 선정하기 위한 평가기준으로는 3개 영역의 8개 기준이 선정되었다. 자문단은 ICHOM에서 환자중심 측정 결과를 제시한 진료 영역 중 이 연구에서 도출한 선정기준을 적용해 우선 도입이 가능한 영역으로 고ㆍ슬관절치환술을 선정하였다.
고ㆍ슬관절치환술은 수술 전, 후로 환자 측면의 삶의 질이나 통증, 기능상태와 같은 PRO 측정을 통해 수술이 환자의 건강결과에 미치는 영향을 파악할 수 있다. 이를 통해 의료기관별 의료의 질 평가 뿐 아니라 성과가 양호한 의료기관에 대한 벤치마킹, 전체 우리나라 고ㆍ슬관절치환술 후 환자의 건강상태에 대한 모니터링, 요양급여 적정성 평가 등에 활용할 수 있을 것으로 기대한다.

NOTES

Funding

None

Conflict of Interest

None

Table 1.
Results of delphi survey for determining selection criteria in the areas requiring PRO introduction.
Category Selection criteria First round (n=9) Second round (n=8)
Content validity ratio First round result Content validity ratio Second round result
The importance of PRO Ease of evaluation The importance of PRO Ease of evaluation
The importance and validity of PRO measure and report Disease burden 0.6 0.8 Re-evaluation 0.5 0.8 Inclusion
Dependence on PRO of the outcome information 0.8 0.8 Inclusion Inclusion1) Inclusion
Impact on the patient’s life 1.0 0.3 Re-evaluation 1.0 0.3 Inclusion
Feasibility The applicability of available measurement tools 0.8 1.0 Inclusion Inclusion1) Inclusion
Clarity of the measurement timing. 0.3 0.3 Re-evaluation 0.3 0.5 Exclusion
Self-report feasibility 0.3 0.3 Re-evaluation 0.5 1.0 Inclusion
The extent of utilization in clinical practice 0.6 0.6 Re-evaluation 0.8 0.8 Inclusion
Potential for utilizing existing programs (systems) 0.6 0.6 Re-evaluation 0.8 0.8 Inclusion
Usability and Use Opportunity for improving the quality of health care 1.0 0.1 Re-evaluation 1.0 0.5 Inclusion
International comparability -0.1 0.6 Exclusion - - -
Social interest Social interest and demand 0.3 -0.6 Exclusion - - -

1) Included based on the results of the first round

Table 2.
Criteria for selecting the PRO introduction areas.
Category Selection criteria Definition
PRO Measurement importance and validity Disease burden Frequency or cost sharing in overall healthcare coverage.
PRO Dependence on outcomes The extent to which clinical or physiological tests are insufficient to measure the patient’s condition or treatment outcomes, and the degree to which outcomes reported by the patient or a proxy (such as functional status, symptoms, quality of life) are expected to be the key results for the area
Impact on patient’s life The degree to which improvements in symptoms and function are expected to meaningfully affect the patient’s quality of life.
Feasibility Availability of measurement tools Existence and Feasibility of Using PRO Survey Tools with Verified Reliability and Validity
- Availability of Measurement Tools: Whether internationally used survey tools are available (e.g., ICHOM, OECD), and whether the measurement and result calculation methods of the tools are standardized.
- Feasibility of Using the Tools: Whether a Korean translation is available, whether the reliability and validity of the Korean translation have been verified, the existence of copyrights and fees, and a comprehensive assessment of the length of the survey tool.
Self-reporting feasibility The degree to which respondents can complete the survey without the help or interpretation of another person. (Example: Individuals with dementia, children, and elderly people may require the help of another person)
Utilization of existing programs (systems) To what extent PRO measurement and data collection are being conducted in clinical practice for assessing patient conditions and treatment outcomes, or the clarity of evidence supporting clinical use
Utilization of existing programs (systems) The existence of related programs that could facilitate the introduction of PRO measurement, and the degree to which they can be utilized. (Example: If a system for evaluation already exists in areas subject to long-term care, or if pilot projects are underway, opportunities for regular PRO measurement can be provided.)
Utilization of measurement results Potential for improving healthcare quality The extent to which improvements in treatment outcomes are expected through PRO measurement:
- Significant performance differences exist between clinicians or healthcare institutions.
- Overall, optimal performance is not being achieved. Performance disparities (inequities) exist between population groups.
- Differences in treatment outcomes are observed between treatment methods, etc.
Table 3.
Results of the candidate areas selection of PRO introduction.
Area No. of agreement Reason for selection
Hip and knee arthroplasty 8 - PRO provides important and meaningful information for determining the success of treatment.
- It is included as a preliminary item in the assessment of the appropriateness of healthcare benefits, suggesting a high potential for introduction.
- In this clinical area, quality of life (QoL) is treated as an important outcome.
Breast cancer 8 - Self-reported pain is critically important in patients using opioid analgesics.
- Included in the quality assessment items
- In this clinical area, quality of life (QoL) is considered an important outcome
Depression and anxiety 5 - Since the diagnosis and treatment of the disease are already being measured by PROs, it seems to be a clinical area suitable for the purpose of evaluation
- In this clinical area, quality of life (QoL) is considered an important outcome
Colorectal cancer 5 - Self-reported pain is critically important in patients using opioid analgesics.
- Included in the quality assessment items
Lung cancer 5 - Self-reported pain is critically important in patients using opioid analgesics.
- Included in the quality assessment items
Table 4.
Priority evaluation results for PRO measurement introduction areas based on selection criteria.
Criteria in selection Assessment area Number of response Agreement status Average
Low (1-3) Moderate (4-6) High (7-9)
PRO Measurement importance and validity Disease burden Breast cancer 0 1 8 Agree 7.8
Lung cancer 0 2 7 Agree 7.8
Hip and knee arthroplasty 1 1 7 Agree 6.9
Colorectal cancer 0 3 6 - 7.3
Depression and anxiety 2 2 5 - 6.1
PRO dependence on outcome information Hip and knee arthroplasty 0 2 7 Agree 7.8
Depression and anxiety 0 2 7 Agree 7.8
Breast cancer 0 3 6 - 6.8
Colorectal cancer 0 3 6 - 6.7
Lung cancer 1 2 6 - 6.6
Extent of impact on the patient’s life Depression and anxiety 0 2 7 Agree 7.9
Hip and knee arthroplasty 0 2 7 Agree 7.9
Breast cancer 0 2 7 Agree 7.8
Lung cancer 0 2 7 Agree 7.4
Colorectal cancer 0 3 6 - 7.4
Feasibility Feasibility of using available measurement Depression and anxiety 0 2 7 Agree 8.0
Hip and knee arthroplasty 0 2 7 Agree 7.6
Breast cancer 0 3 6 - 7.0
Colorectal cancer 0 3 6 - 6.7
Lung cancer 0 4 5 - 6.8
Self-report feasibility Breast cancer 0 1 8 Agree 8.3
Hip and knee arthroplasty 0 1 8 Agree 7.7
Depression and anxiety 0 2 7 Agree 7.9
Colorectal cancer 0 2 7 Agree 7.9
Lung cancer 0 2 7 Agree 7.6
Degree of clinical utilization Hip and knee arthroplasty 0 0 9 Agree 8.2
Depression and anxiety 0 1 8 Agree 7.9
Breast cancer 0 1 8 Agree 7.3
Colorectal cancer 0 2 7 Agree 7.0
Lung cancer 0 3 6 - 7.1
Feasibility of utilizing existing programs (systems) Hip and knee arthroplasty 0 1 8 Agree 8.1
Depression and anxiety 0 1 8 Agree 7.8
Breast cancer 0 2 7 Agree 7.6
Lung cancer 0 3 6 - 7.4
Colorectal cancer 0 3 6 - 7.1
Utilization measurement results Potential for healthcare improvement Hip and knee arthroplasty 0 1 8 Agree 8.0
Breast cancer 0 2 7 Agree 7.6
Colorectal cancer 0 2 7 Agree 7.4
Lung cancer 0 3 6 - 7.4
Depression and anxiety 1 2 6 - 6.9

Note: The clinical areas are listed in order of the number of respondents who rated the priority as ‘high’ and by the average score

참고문헌

1. U.S. Department of Health and Human Services FDA Center for Drug Evaluation and Research, U.S. Department of Health and Human Services FDA Center for Biologics Evaluation and Research, U.S. Department of Health and Human Services FDA Center for Devices and Radiological Health. Guidance for industry: patient-reported outcome measures: use in medical product development to support labeling claims: draft guidance. Health and Quality of Life Outcomes. 2006;4(1):79. PMID: 17034633
crossref pmid pmc pdf
2. Cella D, Hahn EA, Jensen SE, Butt Z, Nowinski CJ, Rothrock N. Methodological issues in the selec tion, administration and use of patient-reported outcomes in performance measurement in health care settings. Washington DC: United States of America: National Quality Forum; 2012.
3. National Quality Forum. Patient-reported outcomes: Best practices on selection and data collection – Final technical report [Internet]. Washington, DC, USA: National Quality Forum; 2020 [cited 2023. Sep. 11]. Avaliable from: https://www.qualityforum.org/Publications/2020/09/Patient-Reported_Outcomes__Best_Practices_on_Selection_and_Data_Collection_-_Final_Technical_Report.aspx.
4. OECD/European Union. Health at a glance: Europe 2022: State of health in the EU Cycle. OECD Publishing, Paris, France: OECD/European Union; 2022.
5. The Organization for Economic Co-operation and Development. Measuring what matters: The pa tient-reported indicator surveys [internet]. Paris, France: The Organization for Economic Co-oper ation and Development; 2019 [cited 2023 Sep 12]. Available from: https://www.oecd.org/en/publications/measuring-what-matters_2148719d-en.html.
6. Kim KH, Park CS, Yoo HR, Kim TW, Kim JA, Kwon YG. Current status and challenges of the Asia-pacific region healthcare quality improvement network – A Survey on patient-centered quality assessment. Wonju, Korea: Health Insurance Review and Assessment Service; 2018.
7. International Consortium for Health Outcomes Measurement. Sets of patient-centered outcome measures [Internet]. Boston, United States of America: International Consortium for Health Outcomes Measurement; 2023 [cited 2023 Sep 7]. Available from: https://www.ichom.org/patient-centered-outcome-measures/#standard-sets/.
8. Fitch K, Bernstein SJ, Aguilar MD, Burnand B, La Calle JR, Lazaro P, et al. RAND/UCLA appropriate ness method user's manual. Santa Monica, United States of America: RAND corporation; 2000.
9. Lawshe CH. A quantitative approach to content validity. Personnel Psychology. 1975;28(4):563-75. crossref
10. National Quality Forum. About US [Internet]. Washington DC: United States of America: National Quality Forum; 2024;[cited 2024 Oct 18]. Available from: https://www.qualityforum.org/About_NQF/.
11. National Quality Forum. Measure evaluation criteria [Internet]. Washington, United States of America: National Quality Forum; 2024;[cited 2024 Oct 18]. Available from: https://www.qualityforum.org/Measuring_Performance/Submitting_Standards/Measure_Evaluation_Criteria.aspx.
12. Centers for Medicare & Medicaid Services. Patient-reported outcomes (PROs) following elective primary total hip and/or total knee arthroplasty: hospital-level performance measure-methodology report. Baltimore, United States of America: Centers for Medicare & Medicaid Services; 2021.
13. Federal Register. Medicare program; hospital in patient prospective payment systems for acute care hospitals and the long-term care hospital prospective payment system and policy changes and fiscal year 2023 rates; quality programs and medicare promoting interoperability program requirements for eligible hospitals and critical access hospitals; costs incurred for qualified and non-qualified deferred compensation plans; and changes to hospital and critical access hospital conditions of participation [Internet]. Washington DC: United States of America: Federal Register; 2022;[cited 2023 Dec 5]. Available from: https://federalregister.gov/documents/2022/08/10/2022-16472/medicare-program-hospital-inpatient-prospective-payment-systems-for-acute-care-hospitals-and-the.
14. Canadian Institute for Health Information. PROMs Forum Proceedings. Ottawa, Canada: Canadian Institute for Health Information; 2015.
15. Health Insurance Review and Assessment Service. 2023 Quality assessment article 14 of the operating regulations: prioritization of the selection of assessment criteria. WonJu, Korea: Health Insurance Review and Assessment Service; 2023.
16. International Consortium for Health Outcomes Measurement. Frequently asked ques tions [Internet]. Boston, United States of America: International Consortium for Health Outcomes Measurement; 2023;[cited 2023 Dec 26]. Available from: https://www.ichom.org/faqs/.
17. Tinetti ME, Naik AD, Dodson JA. Moving from disease-centered to patient goals-directed care for patients with multiple chronic conditions: patient value-based care. The Journal of the American Medical Association Cardiology. 2016;1(1):9-10. PMID: 27437646
pmid
18. Centers for Medicare & Medicaid Services. Comprehensive care for joint replacement model [Internet]. Baltimore, United States of America: Centers for Medicare & Medicaid Services; 2025;[cited 2025 Feb 17]. Available from: https://www.cms.gov/priorities/innovation/innovation-models/cjr.
19. Gutacker N, Street A, Gomes M, Bojke C. Should english healthcare providers be penalised for failing to collect patient-reported outcome measures? A retrospective analysis. Journal of the Royal Society of Medicine. 2015;108(8):304-16. PMID: 25827906
crossref pmid pmc pdf
20. National Health Service Digital. Patient reported outcome measures (PROMs) in England, final 2023/24 data-interactive power BI report [Internet]. West Yorkshire, England: National Health Service Digital; 2025;[cited 2025 Feb 18]. Available from: https://digital.nhs.uk/data-and-information/publications/statistical/patient-reported-outcome-measures-proms/final-2023-24-data.
21. Canadian Institute for Health Information. CJRR annual report: hip and knee replacements in Canada, 2021–2022 [Internet]. Ottawa. Canada: Canadian Institute for Health Information; 2023;[cited 2023 Sep 15]. Available from: https://www.cihi.ca/en/cjrr-annual-report-hip-and-knee-replacements-in-canada-2021-2022.
22. Kendir C, de Bienassis K, Slawomirski L, Klazinga N, Turnau M, Terner M, et al. International assessment of the use and results of patient-reported outcome measures for hip and knee replacement surgery: findings of the OECD Patient-Reported Indicator Surveys (PaRIS) working group on hip and knee replacement surgery. Paris, France: OECD Health Working Papers; 2022.
23. Health Insurance Review and Service. Statistics of disease diagnosis and treatment practices in daily life. WonJu. Korea: Health Insurance Review and Assessment Service; 2023.
24. National Quality Forum. A strategic plan for achieving the care we need. 2021 [Internet]. Washington DC, United States of America: National Quality Forum; 2024;[cited 2024 Oct 16]. Available from: https://qualityforum.org/about_NQF/.
25. Al Sayah F, Jin X, Johnson JA. Selection of patient-reported outcome measures (PROMs) for use in health systems. Journal of patient-reported outcomes. 2021;5(Suppl 2):99. PMID: 34637010
pmid pmc
26. Barbazza E, Klazinga N. S, Kringos D. S. Exploring the action ability of healthcare perfor mance indicators for quality of care: a qualitative analysis of the literature, expert opinion and user experience. BMJ quality and safety Quality & safety. 2021;30(12):1010-102. PMID: 33963072
crossref pmid pmc
27. Centers for Medicare & Medicaid Services. Comprehensive care for Joint re placement (CJR) Model Performance Years 6 through 8 extension and changes to episode definition and pricing: frequently asked question [Internet]. Baltimore, United States of America: Centers for Medicare & Medicaid Services; 2021;[cited 2023. Oct 10]. Available from: https://www.cms.gov/search/cms?keys=Comprehensive+Care+for+Joint+Replacement+%28CJR%29+Model+Reporting+of+Patient%E2%80%90Reported+Outcome+%28PRO%29+and+Limited+Risk+Variable+Data.
28. National Health Service Digital. Finalised patient reported outcome measures (PROMs) in England for hip and knee replacement procedures [Internet]. West Yorkshire, England: National Health Service Digital; 2023;[cited 2023 Sep 01.] Available from: https://digital.nhs.uk/data-and-information/publications/statistical/patient-reported-outcome-measures-proms/finalised-hip-and-knee-replacement-procedures-april-2021-to-march-2022.
29. Kang YJ. Understanding and Application Examples of the Delphi Method. Bundang, Korea: Korea Employment Agency for Persons with Disabilities; 2020.
TOOLS
Share :
Facebook Twitter Linked In Google+
METRICS Graph View
  • 0 Crossref
  •    
  • 967 View
  • 24 Download


ABOUT
ARTICLE CATEGORY

Browse all articles >

BROWSE ARTICLES
FOR AUTHORS AND REVIEWERS
Editorial Office
1227, 656, Gwonyul-daero, Deogyang-gu, Goyang-si, Gyeonggi-do, Republic of Korea
Tel: +82-31-962-7555     E-mail: kosqua@qihjournal.org

Copyright © Korean Society for Quality in Health Care.

Developed in M2PI

Close layer
prev next