CompaRNA - on-line benchmarks of RNA structure prediction methods
Home

Methods
Datasets
Rankings
RNA 2D Atlas

Help
FAQ

Contact us
RSS feeds
Twitter

Table of contents:

  1. Overview

  2. Performance Plots

  3. Performance of Vsfold5 - scored higher in this pairwise comparison

  4. Performance of NanoFolder - scored lower in this pairwise comparison

  5. Compile and download dataset for Vsfold5 & NanoFolder [.zip] - may take several seconds...


Overview

Metric Vsfold5 NanoFolder
MCC 0.340 > 0.176
Average MCC ± 95% Confidence Intervals 0.335 ± 0.030 > 0.174 ± 0.023
Sensitivity 0.319 > 0.208
Positive Predictive Value 0.366 > 0.151
Total TP 3242 > 2117
Total TN 6198900 > 6193755
Total FP 6086 < 12301
Total FP CONTRA 793 < 2180
Total FP INCONS 4832 < 9715
Total FP COMP 461 > 406
Total FN 6926 < 8051
P-value 3.56938820447e-08

^top




Performance plots


  1. Comparison of performance of Vsfold5 and NanoFolder. Positive Predictive Value (PPV) is plotted against sensitivity. Each dot represents a single test of each method. See tables below for raw data (individual counts for Vsfold5 and NanoFolder).

  2. Average Matthews Correlation Coefficients (MCC) with 95% confidence intervals (CIs) were plotted for different RNA families, for which at least 3 members were present in the benchmarking dataset. 'n' denotes the number of MCCs used to calculate the average and CI. See tables below for raw data (individual counts for Vsfold5 and NanoFolder).

  3. Comparison of average Matthews Correlation Coefficients (MCCs) for Vsfold5 and NanoFolder. The whiskers correspond to 95% confidence intervals (CIs). 'n' denotes the number of MCCs used to calculate average MCCs and CIs. See tables below for raw data (individual counts for Vsfold5 and NanoFolder).

^top





Performance of Vsfold5 - scored higher in this pairwise comparison

1. Total counts & total scores for Vsfold5

Total Base Pair Counts
Total TP 3242
Total TN 6198900
Total FP 6086
Total FP CONTRA 793
Total FP INCONS 4832
Total FP COMP 461
Total FN 6926
Total Scores
MCC 0.340
Average MCC ± 95% Confidence Intervals 0.335 ± 0.030
Sensitivity 0.319
Positive Predictive Value 0.366
Nr of predictions 100

^top



2. Individual counts for Vsfold5 [ download as .csv ]

RNA Chain Rfam family MCC SENS PPV TP TN FP FP CONTRA FP INCONS FP COMP FN
ASE_00017 0.33 0.38 0.30 24 50960 69 23 33 13 40
ASE_00083 0.62 0.57 0.67 63 62387 35 5 26 4 47
ASE_00122 0.53 0.48 0.58 42 43293 31 0 30 1 46
ASE_00185 0.37 0.35 0.40 45 73423 68 6 62 0 83
ASE_00190 0.37 0.32 0.43 29 45384 42 2 36 4 61
ASE_00196 0.30 0.28 0.32 21 31561 48 4 40 4 54
ASE_00221 0.40 0.37 0.43 43 64520 57 5 52 0 74
ASE_00227 0.33 0.30 0.37 40 78896 67 6 61 0 93
ASE_00228 0.48 0.47 0.49 40 46890 41 13 28 0 46
ASE_00229 0.52 0.49 0.54 43 42407 36 8 28 0 44
ASE_00231 0.59 0.57 0.62 55 47806 34 3 31 0 41
ASE_00234 0.27 0.24 0.31 31 75367 68 4 64 0 98
ASE_00238 0.30 0.28 0.32 32 64162 67 7 60 0 82
ASE_00248 0.45 0.43 0.48 49 62378 57 4 50 3 65
ASE_00250 0.43 0.40 0.47 53 78890 63 9 51 3 78
ASE_00254 0.32 0.30 0.33 25 36781 55 4 46 5 57
ASE_00255 0.35 0.32 0.38 42 74579 70 12 58 0 88
ASE_00257 0.55 0.52 0.59 50 50955 35 5 30 0 47
ASE_00267 0.24 0.23 0.25 20 45070 64 6 54 4 68
ASE_00270 0.37 0.35 0.38 45 72273 73 4 68 1 83
ASE_00274 0.36 0.34 0.39 35 55522 54 8 46 0 68
ASE_00277 0.30 0.29 0.31 26 48122 57 13 44 0 65
ASE_00279 0.32 0.30 0.34 30 53214 57 6 51 0 71
ASE_00285 0.40 0.37 0.44 45 68903 58 1 57 0 77
ASE_00287 0.39 0.34 0.45 35 54868 45 1 42 2 68
ASE_00295 0.41 0.37 0.47 48 73818 54 2 52 0 83
ASE_00298 0.40 0.37 0.44 42 67432 57 4 50 3 71
ASE_00318 0.37 0.35 0.40 41 80098 66 10 51 5 77
ASE_00335 0.39 0.36 0.43 42 75368 61 6 50 5 74
ASE_00339 0.00 0.00 0.00 0 80200 0 0 0 0 119
ASE_00340 0.58 0.55 0.62 47 45980 29 13 16 0 38
ASE_00343 0.44 0.43 0.45 49 83328 69 11 48 10 64
ASE_00367 0.26 0.24 0.27 21 42994 60 3 53 4 65
ASE_00370 0.41 0.38 0.44 32 41833 47 1 39 7 52
ASE_00372 0.45 0.42 0.48 42 51915 48 6 40 2 58
ASE_00375 0.49 0.47 0.52 52 60278 51 1 47 3 58
ASE_00376 0.45 0.42 0.48 44 56861 52 4 44 4 61
ASE_00377 0.60 0.56 0.65 60 57537 37 2 31 4 47
ASE_00386 0.40 0.38 0.44 36 50321 51 8 38 5 60
ASE_00393 0.45 0.43 0.48 40 47811 49 1 43 5 53
ASE_00412 0.32 0.30 0.36 31 58224 56 7 49 0 74
ASE_00413 0.45 0.44 0.46 36 44473 46 4 38 4 45
ASE_00416 0.00 0.00 0.00 0 77421 0 0 0 0 127
ASE_00417 0.37 0.37 0.37 37 54514 65 13 51 1 63
ASE_00422 0.55 0.52 0.58 49 46886 41 2 34 5 45
ASE_00428 0.24 0.24 0.25 30 76515 91 2 89 0 95
ASE_00429 - 0.34 0.32 0.37 21 28146 41 0 36 5 45
ASE_00430 0.62 0.58 0.66 56 46886 34 2 27 5 41
ASE_00434 0.36 0.34 0.39 37 68169 64 7 52 5 73
ASE_00437 0.00 0.00 0.00 0 79401 0 0 0 0 135
ASE_00451 0.35 0.32 0.38 40 70771 65 2 63 0 85
CRW_00654 - 0.57 0.55 0.60 68 78096 47 4 42 1 56
CRW_00658 - 0.19 0.19 0.19 19 74591 87 12 69 6 83
CRW_00663 - 0.16 0.16 0.17 10 26046 57 6 44 7 51
CRW_00664 - 0.00 0.00 0.00 0 53628 0 0 0 0 78
CRW_00671 0.29 0.26 0.33 31 62740 64 2 62 0 86
CRW_00672 0.39 0.40 0.39 44 72278 70 14 54 2 67
CRW_00674 0.33 0.31 0.36 38 83330 74 5 63 6 86
CRW_00676 0.34 0.36 0.33 41 93405 88 19 63 6 74
CRW_00688 - 0.75 0.74 0.76 42 21890 16 2 11 3 15
CRW_00721 - 0.26 0.26 0.26 18 58585 76 9 41 26 50
PDB_00078 - 0.39 0.35 0.44 40 49679 51 3 48 0 75
PDB_00278 - 0.60 0.57 0.63 41 24911 24 10 14 0 31
PDB_00701 - 0.26 0.25 0.28 27 45354 71 6 64 1 82
PDB_00917 - 0.66 0.60 0.72 57 35166 30 4 18 8 38
TMR_00123 0.28 0.28 0.29 28 66332 75 9 61 5 73
TMR_00180 0.25 0.25 0.26 25 67064 78 14 58 6 74
TMR_00240 0.27 0.29 0.25 25 63091 82 23 51 8 60
TMR_00352 0.14 0.15 0.13 11 95179 103 14 62 27 64
TMR_00353 0.24 0.25 0.24 26 84148 99 17 64 18 79
TMR_00357 0.32 0.32 0.33 29 82939 78 15 45 18 63
TMR_00374 0.29 0.29 0.29 27 81716 83 9 58 16 65
TMR_00384 0.20 0.19 0.21 20 65607 80 11 65 4 88
TMR_00395 0.48 0.46 0.51 50 64521 54 1 48 5 59
TMR_00398 0.33 0.32 0.34 34 65242 70 7 58 5 72
TMR_00399 0.14 0.14 0.14 13 64884 86 17 66 3 81
TMR_00430 0.18 0.18 0.18 20 82511 93 14 76 3 89
TMR_00431 0.13 0.13 0.13 7 51951 83 8 37 38 48
TMR_00443 0.15 0.14 0.16 15 67066 84 8 72 4 89
TMR_00457 0.23 0.24 0.24 24 78504 85 28 50 7 78
TMR_00469 0.12 0.12 0.12 12 64521 92 8 79 5 88
TMR_00502 0.21 0.22 0.20 20 75366 90 17 63 10 73
TMR_00503 0.19 0.19 0.20 21 67792 90 3 80 7 90
TMR_00519 0.12 0.12 0.13 11 63107 82 11 61 10 84
TMR_00528 0.31 0.31 0.31 30 63092 73 16 52 5 67
TMR_00541 0.34 0.33 0.34 35 61673 74 11 57 6 70
TMR_00547 0.34 0.34 0.34 34 65240 73 9 58 6 66
TMR_00562 0.22 0.24 0.22 24 72660 92 10 77 5 78
TMR_00566 0.30 0.29 0.31 29 60632 69 9 56 4 71
TMR_00571 0.00 0.00 0.00 0 60726 0 0 0 0 99
TMR_00584 0.18 0.19 0.18 18 60977 85 11 69 5 79
TMR_00594 0.43 0.45 0.41 47 79286 72 18 50 4 57
TMR_00605 0.47 0.48 0.46 52 74193 64 20 40 4 56
TMR_00609 0.28 0.27 0.30 31 63442 78 4 69 5 82
TMR_00624 0.22 0.22 0.23 24 62375 86 10 72 4 84
TMR_00683 0.14 0.15 0.14 15 82921 101 20 72 9 85
TMR_00698 0.37 0.38 0.36 39 63082 69 16 53 0 65
TMR_00703 0.33 0.31 0.34 31 67437 67 7 53 7 68
TMR_00706 0.23 0.21 0.26 22 66344 68 10 54 4 81
TMR_00711 0.20 0.21 0.20 21 67789 88 22 64 2 77

^top



Performance of NanoFolder - scored lower in this pairwise comparison

1. Total counts & total scores for NanoFolder

Total Base Pair Counts
Total TP 2117
Total TN 6193755
Total FP 12301
Total FP CONTRA 2180
Total FP INCONS 9715
Total FP COMP 406
Total FN 8051
Total Scores
MCC 0.176
Average MCC ± 95% Confidence Intervals 0.174 ± 0.023
Sensitivity 0.208
Positive Predictive Value 0.151
Nr of predictions 100

^top



2. Individual counts for NanoFolder [ download as .csv ]

RNA Chain Rfam family MCC SENS PPV TP TN FP FP CONTRA FP INCONS FP COMP FN
ASE_00017 0.02 0.03 0.02 2 50914 131 38 86 7 62
ASE_00083 0.22 0.25 0.20 27 62347 108 12 95 1 83
ASE_00122 0.27 0.30 0.24 26 43258 84 13 68 3 62
ASE_00185 0.17 0.19 0.16 24 73382 134 14 116 4 104
ASE_00190 0.24 0.28 0.21 25 45334 93 14 78 1 65
ASE_00196 0.49 0.57 0.42 43 31524 62 16 43 3 32
ASE_00221 0.20 0.21 0.18 25 64484 112 10 101 1 92
ASE_00227 0.28 0.31 0.25 41 78840 122 20 102 0 92
ASE_00228 0.05 0.06 0.04 5 46858 109 17 91 1 81
ASE_00229 0.12 0.14 0.11 12 42380 97 12 82 3 75
ASE_00231 0.37 0.42 0.33 40 47773 84 17 65 2 56
ASE_00234 0.25 0.27 0.23 35 75315 117 10 106 1 94
ASE_00238 0.26 0.30 0.23 34 64111 119 18 98 3 80
ASE_00248 0.13 0.15 0.12 17 62340 124 9 115 0 97
ASE_00250 0.25 0.29 0.23 38 78835 135 17 113 5 93
ASE_00254 0.15 0.16 0.14 13 36761 88 3 79 6 69
ASE_00255 0.11 0.12 0.10 16 74530 146 16 129 1 114
ASE_00257 0.37 0.42 0.33 41 50917 85 15 67 3 56
ASE_00267 0.00 0.00 0.00 0 45036 115 9 105 1 88
ASE_00270 0.19 0.21 0.17 27 72232 132 14 117 1 101
ASE_00274 0.00 0.00 0.00 0 55487 126 12 112 2 103
ASE_00277 0.10 0.12 0.08 11 48071 123 23 100 0 80
ASE_00279 0.14 0.16 0.13 16 53177 109 16 92 1 85
ASE_00285 0.34 0.36 0.31 44 68866 98 14 82 2 78
ASE_00287 0.15 0.17 0.14 17 54824 107 14 91 2 86
ASE_00295 0.14 0.16 0.13 21 73761 140 19 119 2 110
ASE_00298 0.09 0.10 0.08 11 67389 129 8 120 1 102
ASE_00318 0.03 0.04 0.03 5 80039 156 21 135 0 113
ASE_00335 0.10 0.12 0.09 14 75304 151 22 126 3 102
ASE_00339 0.25 0.29 0.22 34 80042 129 20 104 5 85
ASE_00340 0.06 0.07 0.05 6 45943 110 13 94 3 79
ASE_00343 0.14 0.17 0.12 19 83275 145 31 111 3 94
ASE_00367 0.08 0.09 0.07 8 42960 110 10 93 7 78
ASE_00370 0.03 0.04 0.03 3 41796 109 18 88 3 81
ASE_00372 0.17 0.20 0.15 20 51871 113 19 93 1 80
ASE_00375 0.12 0.14 0.11 15 60246 120 10 107 3 95
ASE_00376 0.00 0.00 0.00 0 56822 136 9 122 5 105
ASE_00377 0.25 0.27 0.23 29 57505 98 10 86 2 78
ASE_00386 0.14 0.16 0.13 15 50284 106 9 95 2 81
ASE_00393 0.31 0.35 0.27 33 47773 90 18 71 1 60
ASE_00412 0.15 0.17 0.14 18 58183 111 14 96 1 87
ASE_00413 0.08 0.10 0.07 8 44438 108 19 86 3 73
ASE_00416 0.39 0.43 0.35 54 77267 103 18 82 3 73
ASE_00417 0.32 0.36 0.28 36 54486 98 18 75 5 64
ASE_00422 0.28 0.31 0.25 29 46856 87 9 77 1 65
ASE_00428 0.24 0.26 0.22 33 76483 121 13 107 1 92
ASE_00429 - 0.08 0.09 0.07 6 28114 84 14 69 1 60
ASE_00430 0.16 0.18 0.14 17 46852 102 10 92 0 80
ASE_00434 0.29 0.34 0.25 37 68116 122 20 92 10 73
ASE_00437 0.00 0.00 0.00 0 79238 164 12 151 1 135
ASE_00451 0.20 0.22 0.19 27 70731 118 8 110 0 98
CRW_00654 - 0.41 0.47 0.36 58 78049 105 18 85 2 66
CRW_00658 - 0.21 0.26 0.16 27 74527 137 28 109 0 75
CRW_00663 - 0.08 0.10 0.07 6 26014 90 17 69 4 55
CRW_00664 - 0.14 0.19 0.11 15 53486 134 42 85 7 63
CRW_00671 0.18 0.21 0.16 24 62682 130 23 106 1 93
CRW_00672 0.36 0.43 0.31 48 72233 114 35 74 5 63
CRW_00674 0.16 0.19 0.14 23 83274 142 19 120 3 101
CRW_00676 0.11 0.14 0.09 16 93347 169 29 136 4 99
CRW_00688 - 0.33 0.40 0.27 23 21859 64 21 42 1 34
CRW_00721 - 0.22 0.31 0.15 21 58515 133 46 71 16 47
PDB_00078 - 0.00 0.00 0.00 0 49644 126 10 116 0 115
PDB_00278 - 0.04 0.06 0.04 4 24875 98 13 84 1 68
PDB_00701 - 0.04 0.05 0.04 5 45319 127 14 113 0 104
PDB_00917 - 0.31 0.34 0.29 32 35136 81 10 67 4 63
TMR_00123 0.19 0.23 0.16 23 66283 126 20 104 2 78
TMR_00180 0.12 0.16 0.10 16 66999 149 35 111 3 83
TMR_00240 0.23 0.31 0.17 26 63041 128 39 84 5 59
TMR_00352 0.07 0.09 0.05 7 95133 171 39 87 45 68
TMR_00353 0.41 0.51 0.32 54 84087 127 49 65 13 51
TMR_00357 0.26 0.34 0.19 31 82869 146 44 84 18 61
TMR_00374 0.09 0.13 0.07 12 81631 174 44 123 7 80
TMR_00384 0.17 0.20 0.14 22 65550 133 26 105 2 86
TMR_00395 0.27 0.31 0.24 34 64478 115 10 98 7 75
TMR_00398 0.05 0.07 0.05 7 65197 139 24 113 2 99
TMR_00399 0.20 0.26 0.16 24 64833 130 38 85 7 70
TMR_00430 0.18 0.23 0.15 25 82450 148 34 112 2 84
TMR_00431 0.24 0.33 0.17 18 51899 127 26 60 41 37
TMR_00443 0.17 0.20 0.15 21 67018 126 24 98 4 83
TMR_00457 0.19 0.25 0.15 25 78443 141 39 99 3 77
TMR_00469 0.10 0.12 0.08 12 64469 145 27 112 6 88
TMR_00502 0.14 0.19 0.11 18 75303 150 45 100 5 75
TMR_00503 0.11 0.14 0.10 15 67741 141 20 120 1 96
TMR_00519 0.04 0.05 0.03 5 63046 141 33 106 2 90
TMR_00528 0.13 0.15 0.11 15 63051 131 20 104 7 82
TMR_00541 0.12 0.14 0.10 15 61630 139 22 109 8 90
TMR_00547 0.28 0.35 0.23 35 65188 122 37 81 4 65
TMR_00562 0.09 0.12 0.08 12 72617 147 27 115 5 90
TMR_00566 0.13 0.16 0.11 16 60582 132 22 106 4 84
TMR_00571 0.05 0.06 0.04 6 60577 149 19 124 6 93
TMR_00584 0.01 0.01 0.01 1 60922 159 33 119 7 96
TMR_00594 0.08 0.10 0.06 10 79238 156 30 123 3 94
TMR_00605 0.28 0.35 0.23 38 74141 129 36 90 3 70
TMR_00609 0.53 0.62 0.45 70 63391 89 28 57 4 43
TMR_00624 0.36 0.44 0.30 47 62325 111 27 82 2 61
TMR_00683 0.01 0.02 0.01 2 82854 176 50 122 4 98
TMR_00698 0.20 0.24 0.17 25 63042 124 27 96 1 79
TMR_00703 0.10 0.12 0.08 12 67376 140 26 114 0 87
TMR_00706 0.14 0.17 0.11 17 66281 133 29 103 1 86
TMR_00711 0.18 0.22 0.14 22 67740 137 41 93 3 76

^top


Matthews Correlation Coeffient, Sensitivity and Positive Predictive Value have been calculated based on the paper by Gardener & Giegerich, 2004.