Results on testing datasets

Detection

MethodCat.QCA
Sens.
QCA
P.P.V.
CTA
Sens.
CTA
P.P.V.
Avg. rank
  %rank%rank%rank%rank 
Shahzad et al.
Int J Card Img
 
Min.User  28.6  15.0  24.2  8.0  21.3  16.0  23.3  12.0  12.8 
Flórez-Valencia et al.
Kalman filter
 
Min.User  17.9  19.0  8.5  19.0  14.9  18.0  4.8  17.0  18.2 
Eslami et al.
Likelihood
 
Min.User  67.9  4.0  9.4  18.0  51.1  7.0  4.0  18.0  11.8 
CTA Consensus  Min.User  82.1  2.0  52.3  1.0  100.0  1.0  100.0  1.0  1.2 
Melki et al.
Learning based detection
 
Automatic  57.1  7.0  11.3  17.0  55.3  5.0  11.5  14.0  10.8 
Kitamura et al.
Higher-Order Graph Cut
 
Automatic  35.7  14.0  32.3  6.0  51.1  7.0  33.3  5.0  8.0 
Lugauer et al.
ClosedSetOpt
 
Automatic  60.7  6.0  24.6  7.0  46.8  11.0  25.0  11.0  8.8 
Lugauer et al.
Machine Learning + MRF
 
Automatic  53.6  10.0  22.1  10.0  48.9  10.0  27.7  8.0  9.5 
Duval et al.
Feature extraction
 
Automatic  57.1  7.0  12.2  15.0  42.6  12.0  7.6  16.0  12.5 
Lor et al.
Probabilistic
 
Min.User  50.0  12.0  13.9  14.0  31.9  14.0  3.0  19.0  14.8 
Melki et al.
Watershed
 
Automatic  46.4  13.0  12.1  16.0  42.6  12.0  9.3  15.0  14.0 
Observer3  Min.User  64.3  5.0  42.9  4.0  66.0  4.0  59.6  4.0  4.2 
Observer2  Min.User  75.0  3.0  51.2  2.0  70.2  3.0  80.5  2.0  2.5 
Broersen et al.
LKEB
 
Automatic  25.0  16.0  18.9  12.0  27.7  15.0  31.0  7.0  12.5 
Mohr et al.
Level-sets & tissue classification
 
Automatic  57.1  7.0  14.4  13.0  51.1  7.0  15.7  13.0  10.0 
Cetin et al.
Vessel intensity & geometric features
 
Min.User  53.6  10.0  19.2  11.0  53.2  6.0  26.0  9.0  9.0 
Wang et al.
Level-sets
 
Automatic  25.0  16.0  50.0  3.0  10.6  19.0  33.3  5.0  10.8 
Öksüz et al.
Region growing
 
Min.User  21.4  18.0  22.2  9.0  17.0  17.0  25.8  10.0  13.5 
Observer1  Min.User  85.7  1.0  40.0  5.0  83.0  2.0  60.9  3.0  2.8 

Quantification

MethodCat.QCA
Avg. Abs. diff.
QCA
R.M.S. diff.
CTA
Weigthed Kappa
Avg. rank
  %rank%rankΚrank 
Shahzad et al.
Int J Card Img
 
Min.User  31.0  6.0  39.3  8.0  0.29  8.0  7.5 
Flórez-Valencia et al.
Kalman filter
 
Min.User  51.6  15.0  55.6  13.0  0.01  13.0  13.5 
CTA Consensus  Min.User  28.8  2.0  34.4  2.0  1.00  1.0  1.5 
Lugauer et al.
Machine Learning + MRF
 
Automatic  50.0  13.0  55.6  14.0  0.32  6.0  9.8 
Kitamura et al.
Higher-Order Graph Cut
 
Automatic  30.8  5.0  36.6  5.0  0.32  5.0  5.0 
Lugauer et al.
ClosedSetOpt
 
Automatic  49.0  11.0  55.1  12.0  0.30  7.0  9.2 
Eslami et al.
Likelihood
 
Min.User  50.9  14.0  55.0  11.0  -0.02  14.0  13.2 
Lor et al.
Probabilistic
 
Min.User  38.6  9.0  42.7  9.0  -0.03  15.0  12.0 
Observer3  Min.User  30.6  4.0  36.9  6.0  0.73  4.0  4.5 
Observer2  Min.User  31.1  7.0  36.5  4.0  0.77  2.0  3.8 
Broersen et al.
LKEB
 
Automatic  32.5  8.0  39.3  7.0  0.27  9.0  8.2 
Mohr et al.
Level-sets & tissue classification
 
Automatic  49.6  12.0  56.0  15.0  0.15  12.0  12.8 
Wang et al.
Level-sets
 
Automatic  28.8  1.0  33.7  1.0  0.18  11.0  6.0 
Öksüz et al.
Region growing
 
Min.User  47.0  10.0  53.1  10.0  0.21  10.0  10.0 
Observer1  Min.User  30.1  3.0  35.2  3.0  0.74  3.0  3.0 

Segmentation

MethodCat.DICE
diseased
DICE
healthy
MSD
diseased
MSD
healthy
MAXSD
diseased
MAXSD
healthy
Avg. rank
  %rank%rankmmrankmmrankmmrankmmrank 
Shahzad et al.
Int J Card Img
 
Min.User  0.65  8.5  0.68  7.9  0.39  8.2  0.41  7.2  2.73  6.1  3.20  4.8  7.0 
Lugauer et al.
Machine Learning + MRF
 
Automatic  0.76  3.3  0.75  3.9  0.32  3.8  0.51  4.6  2.47  3.9  3.67  4.3  4.0 
Lugauer et al.
ClosedSetOpt
 
Automatic  0.74  4.5  0.73  5.1  0.35  4.5  0.55  5.3  2.99  4.7  3.73  4.7  4.9 
Kitamura et al.
Higher-Order Graph Cut
 
Automatic  0.71  6.1  0.75  5.2  0.42  7.2  0.41  6.0  3.17  6.3  3.69  5.0  5.8 
Flórez-Valencia et al.
Kalman filter
 
Min.User  0.42  10.9  0.38  10.8  0.83  10.2  1.13  10.5  3.81  5.9  6.96  8.0  9.5 
Wang et al.
Level-sets
 
Automatic  0.69  6.7  0.69  6.7  0.45  8.0  0.55  8.0  3.94  7.7  6.48  8.3  7.6 
Observer2  Min.User  0.65  7.6  0.72  7.1  0.34  7.2  0.27  5.5  2.82  6.9  3.26  6.5  6.7 
Observer3  Min.User  0.79  2.0  0.81  1.9  0.23  2.6  0.21  2.1  3.00  7.8  3.45  7.0  3.9 
Broersen et al.
LKEB
 
Automatic  0.67  7.1  0.69  7.2  0.50  8.4  0.70  8.5  3.89  7.7  5.86  7.9  7.8 
Mohr et al.
Level-sets & tissue classification
 
Automatic  0.70  5.8  0.73  5.2  0.40  6.4  0.39  5.3  2.68  4.1  2.75  3.0  4.9 
Observer1  Min.User  0.76  3.0  0.77  4.6  0.24  3.2  0.24  3.9  2.87  6.8  3.47  7.0  4.8