Result Analysis according to Population Distribution Trends when Reagents are Changed

Original article
박 혜미  Hye-Mi Park임 수연  Soo-Yeon Lim유 선희  Seon-Hee Yoo이 선호  Sun-Ho Lee*

Abstract

Purpose: In this study, the monthly population distribution was calculated for statistical verification of 10 tests (CA19-9, CA15-3, testosterone, PTH, calcitonin, AFP, CEA, CA72-4, PSA, estradiol) with changed reagents, and the trend of change By comparing and analyzing the results, we want to verify the accuracy of the results and improve the reliability of the test. Materials and Methods: From June 2021 to February 2023, for the 10 items in which the reagent was changed, the monthly percentage and standard deviation index before and after the reagent change were compared, respectively. At this time, the reference value was arbitrarily set for the comparison group in consideration of the reference value of the test item, and the groups were subdivided and compared, and the standard deviation index allowed range was -2.0 or more and 2.0 or less. Results: For CA19-9, CA15-3, AFP, CEA, and calcitonin 5 test items, the change in monthly ratio in all test sections before and after the reagent change was kept constant. On the other hand, for CA72-4, PSA, testosterone, PTH, and estradiol items, the standard deviation index exceeded the acceptable standard after changing the reagent. CA72-4 test items showed an increasing trend in standard deviation index in the test section exceeding the reference value. In the case of the PSA test item, the maintenance ratio of 0.04 ng/mL was significantly decreased after changing the reagent. The testosterone test item had a standard deviation index of -2.5 in the test section exceeding 10.1 ng/mL after changing the reagent, and the standard deviation index of the PTH test item was out of the acceptable range in all test sections. It was confirmed that the estradiol test item showed an overall increase in the result value. Conclusion: Through this study, the continuity and accuracy of the test results could be verified. It is considered that the stability of the test can be secured by analyzing the factors affecting the test result and solving the cause for the test item whose standard deviation index is out of the acceptable standard.

Keyword



서론

핵의학 검체검사를 통해 얻어진 수치는 질병의 진단 및 치료, 추적 감시에 중요한 판단 척도가 되므로 정확하고 재현성이 좋아야 하며 적시성이 보장되는 검사 결과를 제공해야 한다. 핵의학 검체 검사실은 신뢰도 높은 결과를 제공하기 위해 검사의 질을 지속적으로 유지하고 개선할 수 있도록 종합적 질 관리(total quality management, TQM)를 시행하고 있다. 국내 대부분의 핵의학 검체 검사실은 통계적 방법으로 내부정도관리와 외부정도관리를 시행하고 있다. 내부정도관리는 허용범위를 평균 ± 2 표준편차(standard deviation, SD)로 설정하여 허용범위 이탈에 따라 오차의 여부를 판단하는 Levey-Jennings control chart 방법과 정도관리 상의 문제점을 조기 발견하고 무작위 오차, 계통오차 등을 판별하여 신속하게 대처할 수 있도록 고안된 Westgard Multi-Rules control chart 방법을 적용하여 검사 결과의 신뢰도를 확보하고 있다[1]. 외부정도관리는 참값 또는 평균값과 비교하여 정확도를 상대평가 하는 표준편차지수법(standard deviation index, SDI)을 사용하여 검사 결과의 정확도를 유지하고 있다. 본 연구는 통계적 품질관리기법 중 표준편차지수법을 사용하여 시약 변경이 이루어진 검사종목에 대해 시약 변경 전과 변경 후의 월별 모집단 분포 추이를 비교 분석함으로써 검사 결과의 정확성을 검증하고자 하였다. 더불어 검사결과에 영향을 주는 환경적 요소들을 점검 후 문제점들의 개선을 통해 검사의 신뢰도를 향상시키는데 연구의 목적이 있다.

실험재료 및 방법

1. 대상

서울아산병원 핵의학과 검체 검사실에서 시행하고 있는 검사 종목 중 2021년 6월부터 2023년 2월까지 기존 시약 단종으로 인해 시약 변경이 이루어진 CA19-9, CA15-3, testosterone, parathyroid hormone (PTH), calcitonin, alpha-fetoprotein(AFP), carcinoembryonic antigen (CEA), CA72-4, prostate specific antigen (PSA), estradiol 등의 검사 종목을 대상으로 본 연구를 시행하였다. 시약변경이 이루어진 검사 종목 및 종목별 변경 시점은 Table 1과 같다.

Table 1. Time to change reagents according to test items

http://dam.zipot.com:8080/sites/KJNMT/images/KJNMT-23-012_image/Table_kjnmt_27_01_12_T1.png

AFP: alpha-fetoprotein, CEA: carcinoembryonic antigen, PSA: prostate specific antigen, PTH: parathyroid hormone

2. 분석 방법

2021년 6월부터 2023년 2월까지 시약 변경이 이루어진 10종의 검사 종목에 대해 그룹별 월간 백분율과 표준편차지수를 산출하였다. 검사 종목에 따라 시약 변경 시점이 다르므로 검사 종목별로 시약 변경 전과 후로 기간을 나누어 월간 백분율과 표준편차지수를 비교 분석하였다. 이때 비교 그룹은 참고치를 기준으로 설정하였으며, 검사 종목에 따라 참고치 이내 혹은 참고치 초과 등 두 그룹으로 구분하되 성별 및 연령에 따라 참고치 범위가 다양한 호르몬 검사 종목에 대해서는 참고치를 고려하여 기준값을 기준값 미만, 기준값 이내, 기준값 초과 등으로 세분화하여 설정하였다. PSA는 전립선에 특이적인 종양표지자로 전립선암의 조기진단 및 수술적 또는 화학적 치료 후에 재발 혹은 전이 등의 진단에 매우 유용한 것으로 알려져 있다[2]. 본 연구에서는 시약변경이 이루어진 10가지 검사종목 중 중요도가 높은 PSA 검사종목에 대한 결과값의 연속성과 정확성을 상세히 검토하고자 임상적으로 의의가 있는 결과 값들을 구분하여 비교하였다. 본원에서는 전립선암 재발 판단 기준을 PSA수치가 0.20 ng/mL 초과로 설정하고 있으며, 0.04 ng/mL 값의 유지 여부를 임상에서 매우 중요하게 여긴다. 따라서 이전 시약의 결과값을 기준으로 새로이 변경된 시약의 결과값이 0.20 ng/mL을 초과한 그룹과 0.04 ng/mL을 유지하고 있는 그룹을 나누어 비교분석하였다. 또한 10종의 검사 종목에 대해 그룹별 월간 백분율과 모집단 분포의 평균값과 표준편차, 그리고 표준편차지수(SDI)를 Microsoft Excel (Microsoft®, Redmond, Washington, USA)을 사용하여 분석하였다. 본 연구에서 사용한 표준편차지수는 다음과 같이 정의하였다.

표준편차지수 = (수행 검사실의 결과 – 동류 의료기관의 평균값)/동류 의료기관의 표준편차

표준편차지수는 외부정도관리에서 정확도를 평가하기 위한 지수로 주로 사용되며, 대한핵의학회에서 주관하는 외부정도관리의 결과 분석 시 표준편차지수값을 다음과 같은 기준으로 평가 한다: SDI ≤ 2.0 = 만족 판정, 2.0 < SDI < 3.0 = 의심 판정, 3.0 ≤ SDI = 불만족 판정. 또한 정도관리 참고문헌에서는 표준편차지수에 대한 결과 해석을 다음과 같이 제시하고 있다: -0.5 < SDI < 0.5 = excellent performance (이상적인 범위; 검사실간의 차이가 없음), -1 < SDI < 1 = good performance, -2 < SDI < 2 = acceptable performance(허용가능한 범위), SDI < -2 or SDI > 2 = need to be improved (수용할 수 없는 결과이며, 원인 규명과 개선이 필요한 범위) [3]. 본 연구에서 표준편차지수 분석 시 대한핵의학회의 기준과 참고문헌의 기준을 바탕으로 표준편차 지수 허용범위를 -2.0 ≤ SDI ≤ 2.0로 설정하였다.

3. 분석 결과 허용 기준을 벗어나는 검사 종목의 점검

표준편차지수가 허용범위를 벗어나는 검사 종목은 시약 변경 이후의 월간 백분율, 모집단 분포의 평균값과 표준편차, 그리고 표준편차지수를 산출하여 모집단 분포 추이를 점검하고 시약의 안정성을 확인하였다.

결과

CA19-9, CA15-3, AFP, CEA, calcitonin 등 5종의 검사 종목은 시약이 변경된 후에도 모든 검사 구간의 월간 비율 변화가 일정하게 유지되었으며, 모집단 분포의 표준편차지수는 -2.0 ≤ SDI ≤ 2.0로 모든 검사 구간이 허용범위 내에 속하였다(Table 2). 반면 표준편차지수가 ±2.0 초과하는 검사 종목은 CA72-4, PSA, testosterone, PTH, estradiol 5종목 이였다(Table 3). CA72-4 종목은 참고치 초과 검사 구간에서 8월과 9월에 각각 3.8, 7.8로 나타났다. PSA 종목은 0.20 ng/mL 초과 검사 구간의 7월 표준편차지수가 3.6으로 급격히 상승하였지만 8월부터 점진적으로 감소하여 표준편차지수가 –7.5―-2.4로 기존 시약과 비교하였을 때 현저히 낮아진 것을 확인할 수 있었다(Fig. 1). 또한 0.04 ng/mL 유지 검사 구간에서는 7월에 표준편차지수가 -8.1로 산출되었다. 이를 통해 시약 변경 직후 0.04 ng/mL 유지 검사 구간의 비율이 감소하여 결과 값이 상승하였다는 것을 알 수 있었다(Fig. 2). Testosterone 종목은 10.1 ng/mL 초과 검사 구간에서 9월에 표준편차지수가 -2.5로 허용 기준을 벗어났으며, PTH 종목은 10.0 pg/mL 미만 검사 구간에서 8월에 표준편차지수가 3.0으로, 10.0―57.0 pg/mL 검사 구간에서는 2022년 7월과 11월, 2023년 2월에 표준편차지수가 각각 2.4, 2.2, 2.8으로 산출되었으며, 57.0 pg/mL 초과 검사 구간에서는 2022년 8월과 2023년 2월에 각각 표준편차지수가 -2.3, -2.2로 나타났다. Estradiol 종목은 10.0 pg/mL미만, 10.0―20.0 pg/mL, 21.0―35.0 pg/mL 검사 구간에서 시약 변경 시점부터 2023년 2월까지 표준편차지수가 -16.5―21.5로 허용 기준을 크게 벗어났으며, 35.0 pg/mL 초과 검사 구간에서는 9월에 14.6으로 불만족스러운 결과를 보였다(Fig. 3). 표준편차지수가 허용범위를 벗어났던 5종목에 대해 변경된 시약 간의 월별 백분율과 모집단 분포의 표준편차지수 추이를 점검한 결과 모든 검사 구간이 허용범위 내에 속하였다(Table 4). Calcitonin 종목과 testosterone 종목, estradiol 종목은 시약 교체가 이루어진 기간 내 표본 수가 적어 모집단 분포 분석의 정확도에 영향을 줄 수 있으므로 표준편차지수 평가에서 제외하였다.

http://dam.zipot.com:8080/sites/KJNMT/images/KJNMT-23-012_image/Figure_kjnmt_27_01_10_F1.png

Fig. 1. Based on the previously reported value (0.20 ng/mL) for PSA test items, the percentage and SDI trends for the number of cases exceeding the standard value were shown.

http://dam.zipot.com:8080/sites/KJNMT/images/KJNMT-23-012_image/Figure_kjnmt_27_01_10_F2.png

Fig. 2. Based on the previously reported value (0.04 ng/mL) for PSA test items, the percentage and SDI trends for the number of cases exceeding the standard value were shown.

http://dam.zipot.com:8080/sites/KJNMT/images/KJNMT-23-012_image/Figure_kjnmt_27_01_10_F3.png

Fig. 3. The SDI change trend by test section of the estradiol test item is shown.

Table 2. Percentage and SDI of tested items that meet the acceptance criteria

http://dam.zipot.com:8080/sites/KJNMT/images/KJNMT-23-012_image/Table_kjnmt_27_01_12_T2.png

Table 3. Percentage and SDI of items tested outside the acceptance criteria

http://dam.zipot.com:8080/sites/KJNMT/images/KJNMT-23-012_image/Table_kjnmt_27_01_12_T3.png

*PSA 종목의 검사 구간 중 0.20 ng/mL 이내, 초과 검사 구간과 0.04 ng/mL 유지, 초과 검사 구간은 이전에 보고된 결과값을 기준으로 하여 검사 구간의 기준값에서 변경된 건수에 대한 산출결과이다.

Table 4. Percentage and SDI for each test item between the changed reagents

http://dam.zipot.com:8080/sites/KJNMT/images/KJNMT-23-012_image/Table_kjnmt_27_01_12_T4.png

*PSA 종목의 검사 구간은 이전에 보고된 결과값을 기준으로 하여 검사구간의 기준값에서 변경된 건수에 대한 산출결과이다.

결론

검사실의 전체적인 질 관리를 위해서는 내부정도관리와 검사 결과의 정확도 유지를 위한 외부정도관리의 지속적인 시행이 필수적이다[1]. 본 연구는 추가적인 통계적 품질관리 방법을 활용하여 내부정도관리를 보완하고 신뢰성 있는 검사 결과를 얻는데 도움이 되고자 하였다. 시약 변경이 이루어진 10종의 검사 종목을 대상으로 월별 모집단 분포의 표준편차지수를 산출하여 변화 추이를 비교 분석하였다. 그 결과 허용 기준을 벗어나는 검사 종목은 CA72-4, PSA, testosterone, PTH, estradiol 5종목이었다. CA72-4 종목은 8월과 9월에 결과값이 상승되는 것으로 보였으나 로트 변경 이후 현재는 안정화되어 시약 변경 후 일시적으로 오차가 발생된 것으로 판단된다. PSA 종목은 참고치 이내, 참고치 초과 검사 구간에서 표준편차지수가 허용범위 내에 속한 반면 0.04 ng/mL 유지, 0.20 ng/mL 초과 검사 구간에서는 허용범위를 크게 벗어나 확연한 시약 간 차이를 보였다. 시약 변경 직후 0.04 ng/mL 유지 그룹의 비율은 현저히 낮아졌고 0.20 ng/mL 초과 그룹의 비율은 높아져 낮은 값의 범위에서 결과 값이 높게 측정되고 있다는 것을 확인할 수 있었다(Fig. 1,2). 특히, PSA 종목은 치료 후에 재발 혹은 전이를 판단하는 지표가 되는 검사로 검사 결과의 중요성이 매우 크다. 따라서 결과 값의 상승은 임상적 진단에 혼란을 야기 시킬 수 있었다. 이에 본원의 전립선암 재발판단 기준이 되는 농도의 표준액(0.20 ng/mL)을 제조사에 요청하였고, 새로운 농도를 적용한 이후에는 낮은 값에서 안정화된 결과를 보이고 있다. 또한 testosterone 종목은 10.1 ng/mL 초과 검사 구간의 결과 값이 기존 시약보다 낮게 측정되는 것으로 나타나 지속적으로 모니터링을 시행하였고 로트 변경 이후 결과 값이 안정화되어 시약 변경 후 일시적인 오차로 판단된다. PTH 종목은 10.0―57.0 pg/mL 검사 구간의 표준편차지수는 높아지고 10.0 pg/mL 미만과 57.0 pg/mL 초과 검사 구간의 표준편차지수는 낮아져 참고치를 기준으로 낮은 값의 범위에서는 결과 값이 상승되고 높은 값의 범위에서는 하향되는 추세를 보이고 있으나 이는 참고치가 8.0―76.0 pg/mL에서 10.0―57.0 pg/mL로 변경되어 참고치에 기인했음을 확인할 수 있었다. 마지막으로 estradiol 종목은 10.0 pg/mL 미만 검사 구간에서 표준편차지수가 허용기준보다 4배 이상 낮게 나타났으며 그 외 10.0―20.0 pg/mL, 21.0―35.0 pg/mL, 35.0 pg/mL 초과 검사 구간에서는 표준편차지수가 허용기준 보다 2배 이상 높게 나타났다. 시약 변경 후 높아진 결과 값에 대해 임상과의 문의가 있었고 분석 결과 전반적으로 결과 값이 크게 상승하였다는 것을 수치로 확인할 수 있었다. 이후 제조사에 표준액 농도 하향 조정을 요청하였고, 새로운 농도를 적용한 이후에는 폐경기의 기준이 되는 35.0 pg/mL 초과 검사 구간에서 결과 값이 하향 조정되고 안정화되었다는 것을 확인할 수 있었다(Table 4). 허용 기준을 벗어난 5종목에 대해 변경된 시약 간 모집단 분포 추이를 확인하고자 2022년 9월부터 2023년 2월까지 월별 백분율, 모집단 분포의 평균과 표준편차, 표준편차지수를 산출하였다. 모든 종목의 월별 표준편차지수가 허용범위 내에 속하고 있어 안정화된 검사 결과를 확인할 수 있었다(Table 4). 본 연구를 통해 검사자가 체감적으로 느끼는 검사의 불안정을 수치화하여 확인하였고, 이를 기반으로 원인을 찾고 문제점을 수정할 수 있었다. 추후 지속적인 모니터링을 시행한다면 검사 결과의 정확성을 관리하고 보증하는데 도움이 될 수 있을 것으로 사료된다.

고찰

모집단 분포의 분석은 월별 검사 건수에 따라 오차 범위에 영향을 받는다. 따라서 검사 구간을 세밀하게 나누거나 범위를 좁게 설정하면 표본 수가 적어 오차율이 클 수 있으므로 주의해야 한다. 독립적인 정도 관리 방법으로 체계화하여 정립하기에는 한계가 따르지만 표본의 성질을 포함하고 있으므로 검사실에서 적용하고 있는 내부정도관리 프로그램을 보완하는 역할로 유용하게 활용할 수 있을 것이다. 또한 검사로 얻어진 수치는 환자의 진단과 치료 관찰의 판단 척도가 되므로 검사 결과의 정확성과 연속성이 매우 중요하다. 이에 따라서 시약 간 차이를 보였던 종목들은 추후에도 지속적인 모니터링을 통해 검사 결과의 안정성을 재검토해야 할 것으로 생각된다. 본 연구 결과를 참고하여 검사자는 좀 더 정확한 결과 보고가 가능할 것이며 임상과의 문의가 있을 때 연구결과에 대한 정보를 참고하여 원활한 응대에 도움이 될 것으로 사료된다.

References

1 1. 권영일, 이해순, 김대은, 윤기남. 정도관리, 기초에서 고급까지, 2판, 서울시, 대한나래출판사, 2022, p. 39, 108 

2 2. 김진규. 임상검사 정도관리 실제, 2판, 서울시, 범문에듀케이션, 2012, p. 204―5 

3 3. 이갑노. 아시아 임상검사실 정도관리 프로그램, 한국건강관리협회지, 2006;4:60―7.