Method details


Abstract:
This is the CTA reference standard (consensus reading performed with the three observers). On the About page of our website, we describe how the observer results are combined into the reference standard. The CTA consensus is ranked with respect to the reference standard in the same way the other methods are ranked.

Detection confusion tables

Calc. cat.QCA (per segment)CTA (per lesion)
 TPFPFNTP+FPTP+FNTPFPFNTP+FPTP+FN
All  23  21  44  28  47  47  47 
The results of this method are based on the following centerlines: own or none.

Detection (QCA per segment / CTA per lesion)

Calc. cat.QCA
Sens.
QCA
P.P.V.
CTA
Sens.
CTA
P.P.V.
Avg. rank
 %rank%rank%rank%rank 
0 (0 - 0.1)  60.0  4.0  42.9  2.0  100.0  1.0  100.0  1.0  2.0 
1 (0.1 - 10)  100.0  1.0  20.0  6.0  100.0  1.0  100.0  1.0  2.2 
2 (11 - 100)  85.7  1.0  60.0  2.0  100.0  1.0  100.0  1.0  1.2 
3 (101 - 400)  90.0  1.0  50.0  2.0  100.0  1.0  100.0  1.0  1.2 
4 (400+)  80.0  1.0  100.0  1.0  100.0  1.0  100.0  1.0  1.0 
All  82.1  2.0  52.3  1.0  100.0  1.0  100.0  1.0  1.2 
For ranking  82.1  2.0  52.3  1.0  100.0  1.0  100.0  1.0  1.2 
These results are based on 30 datasets and 19 submissions.


Quantification

Calc. cat.QCA
Avg. Abs. diff.
QCA
R.M.S. diff.
CTA
Weigthed Kappa
Avg. rank
 %rank%rankΚrank 
0 (0 - 0.1)  25.6  1.0  29.9  1.0  1.00  1.0  1.0 
1 (0.1 - 10)  35.0  9.0  36.9  8.0  1.00  1.0  4.8 
2 (11 - 100)  28.0  1.0  35.1  1.0  1.00  1.0  1.0 
3 (101 - 400)  29.9  3.0  36.4  3.0  1.00  1.0  2.0 
4 (400+)  26.2  1.0  30.1  1.0  1.00  1.0  1.0 
All  28.8  2.0  34.4  2.0  1.00  1.0  1.5 
For ranking  28.8  2.0  34.4  2.0  1.00  1.0  1.5