CompaRNA - on-line benchmarks of RNA structure prediction methods
Home

Methods
Datasets
Rankings
RNA 2D Atlas

Help
FAQ

Contact us
RSS feeds
Twitter

Table of contents:

  1. Overview

  2. Performance Plots

  3. Performance of CRWrnafold - scored higher in this pairwise comparison

  4. Performance of NanoFolder - scored lower in this pairwise comparison

  5. Compile and download dataset for CRWrnafold & NanoFolder [.zip] - may take several seconds...


Overview

Metric CRWrnafold NanoFolder
MCC 0.442 > 0.172
Average MCC ± 95% Confidence Intervals 0.439 ± 0.033 > 0.171 ± 0.022
Sensitivity 0.443 > 0.204
Positive Predictive Value 0.443 > 0.147
Total TP 4768 > 2201
Total TN 6790682 > 6786500
Total FP 6627 < 13225
Total FP CONTRA 1040 < 2380
Total FP INCONS 4966 < 10375
Total FP COMP 621 > 470
Total FN 5998 < 8565
P-value 3.56938820447e-08

^top




Performance plots


  1. Comparison of performance of CRWrnafold and NanoFolder. Positive Predictive Value (PPV) is plotted against sensitivity. Each dot represents a single test of each method. See tables below for raw data (individual counts for CRWrnafold and NanoFolder).

  2. Average Matthews Correlation Coefficients (MCC) with 95% confidence intervals (CIs) were plotted for different RNA families, for which at least 3 members were present in the benchmarking dataset. 'n' denotes the number of MCCs used to calculate the average and CI. See tables below for raw data (individual counts for CRWrnafold and NanoFolder).

  3. Comparison of average Matthews Correlation Coefficients (MCCs) for CRWrnafold and NanoFolder. The whiskers correspond to 95% confidence intervals (CIs). 'n' denotes the number of MCCs used to calculate average MCCs and CIs. See tables below for raw data (individual counts for CRWrnafold and NanoFolder).

^top





Performance of CRWrnafold - scored higher in this pairwise comparison

1. Total counts & total scores for CRWrnafold

Total Base Pair Counts
Total TP 4768
Total TN 6790682
Total FP 6627
Total FP CONTRA 1040
Total FP INCONS 4966
Total FP COMP 621
Total FN 5998
Total Scores
MCC 0.442
Average MCC ± 95% Confidence Intervals 0.439 ± 0.033
Sensitivity 0.443
Positive Predictive Value 0.443
Nr of predictions 105

^top



2. Individual counts for CRWrnafold [ download as .csv ]

RNA Chain Rfam family MCC SENS PPV TP TN FP FP CONTRA FP INCONS FP COMP FN
ASE_00017 0.25 0.28 0.22 18 50958 82 22 42 18 46
ASE_00083 0.75 0.71 0.79 78 62382 28 1 20 7 32
ASE_00122 0.26 0.25 0.28 22 43286 62 2 55 5 66
ASE_00185 0.64 0.62 0.66 79 73417 44 5 35 4 49
ASE_00190 0.52 0.51 0.53 46 45365 46 7 33 6 44
ASE_00196 0.80 0.79 0.81 59 31553 20 2 12 6 16
ASE_00221 0.49 0.44 0.55 51 64527 45 1 41 3 66
ASE_00227 0.52 0.50 0.54 66 78881 56 4 52 0 67
ASE_00228 0.34 0.34 0.35 29 46887 61 9 46 6 57
ASE_00229 0.44 0.43 0.46 37 42405 47 5 39 3 50
ASE_00231 0.62 0.63 0.63 60 47799 37 7 29 1 36
ASE_00234 0.52 0.50 0.55 64 75350 55 4 48 3 65
ASE_00238 0.56 0.54 0.57 62 64152 51 3 44 4 52
ASE_00248 0.28 0.27 0.30 31 62378 72 7 65 0 83
ASE_00250 0.51 0.50 0.52 65 78878 65 11 49 5 66
ASE_00254 0.62 0.61 0.64 50 36778 34 3 25 6 32
ASE_00255 0.58 0.55 0.61 72 74573 52 4 42 6 58
ASE_00257 0.53 0.53 0.53 51 50944 49 6 39 4 46
ASE_00267 0.17 0.17 0.17 15 45064 77 8 63 6 73
ASE_00270 0.62 0.59 0.65 76 72273 41 7 34 0 52
ASE_00274 0.41 0.41 0.42 42 55512 57 10 47 0 61
ASE_00277 0.30 0.30 0.31 27 48117 61 8 53 0 64
ASE_00279 0.30 0.29 0.31 29 53208 64 10 54 0 72
ASE_00285 0.50 0.48 0.53 58 68897 54 7 44 3 64
ASE_00287 0.34 0.32 0.36 33 54854 63 5 54 4 70
ASE_00294 0.38 0.36 0.41 61 114334 89 2 84 3 110
ASE_00295 0.37 0.35 0.39 46 73803 74 4 67 3 85
ASE_00298 0.41 0.39 0.43 44 67425 66 1 58 7 69
ASE_00318 0.53 0.53 0.54 62 80086 56 11 41 4 56
ASE_00335 0.53 0.52 0.55 60 75356 56 10 40 6 56
ASE_00339 0.47 0.46 0.48 55 80086 67 15 44 8 64
ASE_00340 0.32 0.32 0.32 27 45971 62 10 48 4 58
ASE_00343 0.28 0.29 0.27 33 83312 97 13 78 6 80
ASE_00367 0.26 0.27 0.26 23 42982 69 8 58 3 63
ASE_00370 0.51 0.50 0.51 42 41823 47 4 36 7 42
ASE_00372 0.59 0.59 0.58 59 51902 44 8 34 2 41
ASE_00375 0.68 0.64 0.73 70 60282 30 1 25 4 40
ASE_00376 0.43 0.43 0.44 45 56851 57 3 54 0 60
ASE_00377 0.68 0.66 0.70 71 57529 36 4 26 6 36
ASE_00386 0.39 0.39 0.41 37 50312 58 7 47 4 59
ASE_00393 0.24 0.24 0.26 22 47809 71 4 60 7 71
ASE_00412 0.57 0.55 0.60 58 58214 42 6 33 3 47
ASE_00413 0.28 0.30 0.27 24 44462 65 14 51 0 57
ASE_00416 0.46 0.45 0.48 57 77301 69 8 55 6 70
ASE_00417 0.48 0.48 0.48 48 54515 54 8 44 2 52
ASE_00422 0.71 0.69 0.73 65 46882 30 2 22 6 29
ASE_00428 0.53 0.50 0.55 63 76522 55 8 43 4 62
ASE_00429 - 0.45 0.45 0.45 30 28137 38 6 30 2 36
ASE_00430 0.68 0.66 0.71 64 46881 32 3 23 6 33
ASE_00434 0.50 0.50 0.50 55 68154 64 10 46 8 55
ASE_00437 0.33 0.32 0.34 43 79274 84 6 78 0 92
ASE_00451 0.42 0.41 0.44 51 70759 66 3 63 0 74
CRW_00648 - 0.27 0.28 0.27 42 137917 119 18 98 3 106
CRW_00654 - 0.83 0.82 0.83 102 78087 26 2 19 5 22
CRW_00658 - 0.34 0.35 0.32 36 74579 79 17 59 3 66
CRW_00663 - 0.00 0.00 0.00 0 26036 71 11 59 1 61
CRW_00664 - 0.19 0.21 0.18 16 53540 83 16 56 11 62
CRW_00671 0.61 0.58 0.64 68 62728 44 7 32 5 49
CRW_00672 0.76 0.77 0.75 85 72276 39 6 23 10 26
CRW_00674 0.55 0.55 0.56 68 83314 58 12 42 4 56
CRW_00676 0.52 0.57 0.47 65 93390 78 24 49 5 50
CRW_00685 - 0.55 0.61 0.50 65 156949 98 21 45 32 41
CRW_00688 - 0.62 0.65 0.59 37 21882 27 10 16 1 20
CRW_00721 - 0.59 0.57 0.61 39 58589 56 3 22 31 29
PDB_00078 - 0.54 0.52 0.56 60 49662 48 5 43 0 55
PDB_00278 - 0.13 0.13 0.13 9 24908 59 5 54 0 63
PDB_00701 - 0.10 0.10 0.10 11 45344 96 10 86 0 98
PDB_00917 - 0.50 0.48 0.52 46 35156 48 5 38 5 49
TMR_00036 0.57 0.58 0.56 59 90420 75 9 37 29 42
TMR_00123 0.60 0.58 0.63 59 66336 40 6 29 5 42
TMR_00180 0.63 0.64 0.62 63 67059 50 11 28 11 36
TMR_00240 0.22 0.25 0.21 21 63088 84 23 58 3 64
TMR_00352 0.23 0.25 0.20 19 95172 114 24 51 39 56
TMR_00353 0.52 0.52 0.52 55 84149 64 12 39 13 50
TMR_00357 0.50 0.54 0.47 50 82921 72 21 36 15 42
TMR_00361 - 0.36 0.43 0.30 31 93425 89 27 45 17 41
TMR_00374 0.12 0.13 0.11 12 81704 112 27 67 18 80
TMR_00384 0.51 0.50 0.52 54 65600 54 5 44 5 54
TMR_00395 0.36 0.36 0.36 39 64513 70 7 61 2 70
TMR_00398 0.36 0.35 0.37 37 65240 68 4 60 4 69
TMR_00399 0.18 0.19 0.17 18 64876 88 17 69 2 76
TMR_00430 0.21 0.22 0.20 24 82500 100 25 72 3 85
TMR_00431 0.64 0.69 0.59 38 51939 56 15 11 30 17
TMR_00443 0.41 0.42 0.41 44 67053 72 15 49 8 60
TMR_00457 0.35 0.35 0.34 36 78500 78 8 62 8 66
TMR_00469 0.41 0.43 0.39 43 64511 66 15 51 0 57
TMR_00502 0.21 0.24 0.19 22 75350 98 20 74 4 71
TMR_00503 0.39 0.39 0.40 43 67788 73 6 59 8 68
TMR_00519 0.13 0.14 0.12 13 63083 94 17 77 0 82
TMR_00528 0.26 0.26 0.27 25 63096 77 16 53 8 72
TMR_00541 0.48 0.49 0.48 51 61670 65 5 50 10 54
TMR_00547 0.44 0.45 0.44 45 65238 58 9 49 0 55
TMR_00562 0.43 0.43 0.43 44 72668 66 15 44 7 58
TMR_00566 0.23 0.24 0.23 24 60622 84 15 65 4 76
TMR_00571 0.50 0.49 0.52 49 60631 55 6 40 9 50
TMR_00584 0.55 0.58 0.53 56 60969 53 10 40 3 41
TMR_00594 0.35 0.37 0.34 38 79289 76 18 56 2 66
TMR_00605 0.37 0.40 0.35 43 74183 82 20 59 3 65
TMR_00609 0.63 0.64 0.63 72 63431 43 17 26 0 41
TMR_00624 0.58 0.57 0.58 62 62374 51 9 36 6 46
TMR_00683 0.11 0.12 0.10 12 82902 120 29 85 6 88
TMR_00698 0.32 0.34 0.32 35 63079 76 20 56 0 69
TMR_00703 0.41 0.41 0.41 41 67427 62 9 51 2 58
TMR_00706 0.49 0.49 0.50 50 66329 55 4 47 4 53
TMR_00711 0.55 0.58 0.53 57 67788 57 15 36 6 41

^top



Performance of NanoFolder - scored lower in this pairwise comparison

1. Total counts & total scores for NanoFolder

Total Base Pair Counts
Total TP 2201
Total TN 6786500
Total FP 13225
Total FP CONTRA 2380
Total FP INCONS 10375
Total FP COMP 470
Total FN 8565
Total Scores
MCC 0.172
Average MCC ± 95% Confidence Intervals 0.171 ± 0.022
Sensitivity 0.204
Positive Predictive Value 0.147
Nr of predictions 105

^top



2. Individual counts for NanoFolder [ download as .csv ]

RNA Chain Rfam family MCC SENS PPV TP TN FP FP CONTRA FP INCONS FP COMP FN
ASE_00017 0.02 0.03 0.02 2 50914 131 38 86 7 62
ASE_00083 0.22 0.25 0.20 27 62347 108 12 95 1 83
ASE_00122 0.27 0.30 0.24 26 43258 84 13 68 3 62
ASE_00185 0.17 0.19 0.16 24 73382 134 14 116 4 104
ASE_00190 0.24 0.28 0.21 25 45334 93 14 78 1 65
ASE_00196 0.49 0.57 0.42 43 31524 62 16 43 3 32
ASE_00221 0.20 0.21 0.18 25 64484 112 10 101 1 92
ASE_00227 0.28 0.31 0.25 41 78840 122 20 102 0 92
ASE_00228 0.05 0.06 0.04 5 46858 109 17 91 1 81
ASE_00229 0.12 0.14 0.11 12 42380 97 12 82 3 75
ASE_00231 0.37 0.42 0.33 40 47773 84 17 65 2 56
ASE_00234 0.25 0.27 0.23 35 75315 117 10 106 1 94
ASE_00238 0.26 0.30 0.23 34 64111 119 18 98 3 80
ASE_00248 0.13 0.15 0.12 17 62340 124 9 115 0 97
ASE_00250 0.25 0.29 0.23 38 78835 135 17 113 5 93
ASE_00254 0.15 0.16 0.14 13 36761 88 3 79 6 69
ASE_00255 0.11 0.12 0.10 16 74530 146 16 129 1 114
ASE_00257 0.37 0.42 0.33 41 50917 85 15 67 3 56
ASE_00267 0.00 0.00 0.00 0 45036 115 9 105 1 88
ASE_00270 0.19 0.21 0.17 27 72232 132 14 117 1 101
ASE_00274 0.00 0.00 0.00 0 55487 126 12 112 2 103
ASE_00277 0.10 0.12 0.08 11 48071 123 23 100 0 80
ASE_00279 0.14 0.16 0.13 16 53177 109 16 92 1 85
ASE_00285 0.34 0.36 0.31 44 68866 98 14 82 2 78
ASE_00287 0.15 0.17 0.14 17 54824 107 14 91 2 86
ASE_00294 0.12 0.13 0.12 23 114287 172 11 160 1 148
ASE_00295 0.14 0.16 0.13 21 73761 140 19 119 2 110
ASE_00298 0.09 0.10 0.08 11 67389 129 8 120 1 102
ASE_00318 0.03 0.04 0.03 5 80039 156 21 135 0 113
ASE_00335 0.10 0.12 0.09 14 75304 151 22 126 3 102
ASE_00339 0.25 0.29 0.22 34 80042 129 20 104 5 85
ASE_00340 0.06 0.07 0.05 6 45943 110 13 94 3 79
ASE_00343 0.14 0.17 0.12 19 83275 145 31 111 3 94
ASE_00367 0.08 0.09 0.07 8 42960 110 10 93 7 78
ASE_00370 0.03 0.04 0.03 3 41796 109 18 88 3 81
ASE_00372 0.17 0.20 0.15 20 51871 113 19 93 1 80
ASE_00375 0.12 0.14 0.11 15 60246 120 10 107 3 95
ASE_00376 0.00 0.00 0.00 0 56822 136 9 122 5 105
ASE_00377 0.25 0.27 0.23 29 57505 98 10 86 2 78
ASE_00386 0.14 0.16 0.13 15 50284 106 9 95 2 81
ASE_00393 0.31 0.35 0.27 33 47773 90 18 71 1 60
ASE_00412 0.15 0.17 0.14 18 58183 111 14 96 1 87
ASE_00413 0.08 0.10 0.07 8 44438 108 19 86 3 73
ASE_00416 0.39 0.43 0.35 54 77267 103 18 82 3 73
ASE_00417 0.32 0.36 0.28 36 54486 98 18 75 5 64
ASE_00422 0.28 0.31 0.25 29 46856 87 9 77 1 65
ASE_00428 0.24 0.26 0.22 33 76483 121 13 107 1 92
ASE_00429 - 0.08 0.09 0.07 6 28114 84 14 69 1 60
ASE_00430 0.16 0.18 0.14 17 46852 102 10 92 0 80
ASE_00434 0.29 0.34 0.25 37 68116 122 20 92 10 73
ASE_00437 0.00 0.00 0.00 0 79238 164 12 151 1 135
ASE_00451 0.20 0.22 0.19 27 70731 118 8 110 0 98
CRW_00648 - 0.05 0.06 0.04 9 137864 213 24 178 11 139
CRW_00654 - 0.41 0.47 0.36 58 78049 105 18 85 2 66
CRW_00658 - 0.21 0.26 0.16 27 74527 137 28 109 0 75
CRW_00663 - 0.08 0.10 0.07 6 26014 90 17 69 4 55
CRW_00664 - 0.14 0.19 0.11 15 53486 134 42 85 7 63
CRW_00671 0.18 0.21 0.16 24 62682 130 23 106 1 93
CRW_00672 0.36 0.43 0.31 48 72233 114 35 74 5 63
CRW_00674 0.16 0.19 0.14 23 83274 142 19 120 3 101
CRW_00676 0.11 0.14 0.09 16 93347 169 29 136 4 99
CRW_00685 - 0.11 0.15 0.08 16 156867 212 64 133 15 90
CRW_00688 - 0.33 0.40 0.27 23 21859 64 21 42 1 34
CRW_00721 - 0.22 0.31 0.15 21 58515 133 46 71 16 47
PDB_00078 - 0.00 0.00 0.00 0 49644 126 10 116 0 115
PDB_00278 - 0.04 0.06 0.04 4 24875 98 13 84 1 68
PDB_00701 - 0.04 0.05 0.04 5 45319 127 14 113 0 104
PDB_00917 - 0.31 0.34 0.29 32 35136 81 10 67 4 63
TMR_00036 0.22 0.29 0.17 29 90359 153 37 100 16 72
TMR_00123 0.19 0.23 0.16 23 66283 126 20 104 2 78
TMR_00180 0.12 0.16 0.10 16 66999 149 35 111 3 83
TMR_00240 0.23 0.31 0.17 26 63041 128 39 84 5 59
TMR_00352 0.07 0.09 0.05 7 95133 171 39 87 45 68
TMR_00353 0.41 0.51 0.32 54 84087 127 49 65 13 51
TMR_00357 0.26 0.34 0.19 31 82869 146 44 84 18 61
TMR_00361 - 0.06 0.10 0.04 7 93368 174 64 89 21 65
TMR_00374 0.09 0.13 0.07 12 81631 174 44 123 7 80
TMR_00384 0.17 0.20 0.14 22 65550 133 26 105 2 86
TMR_00395 0.27 0.31 0.24 34 64478 115 10 98 7 75
TMR_00398 0.05 0.07 0.05 7 65197 139 24 113 2 99
TMR_00399 0.20 0.26 0.16 24 64833 130 38 85 7 70
TMR_00430 0.18 0.23 0.15 25 82450 148 34 112 2 84
TMR_00431 0.24 0.33 0.17 18 51899 127 26 60 41 37
TMR_00443 0.17 0.20 0.15 21 67018 126 24 98 4 83
TMR_00457 0.19 0.25 0.15 25 78443 141 39 99 3 77
TMR_00469 0.10 0.12 0.08 12 64469 145 27 112 6 88
TMR_00502 0.14 0.19 0.11 18 75303 150 45 100 5 75
TMR_00503 0.11 0.14 0.10 15 67741 141 20 120 1 96
TMR_00519 0.04 0.05 0.03 5 63046 141 33 106 2 90
TMR_00528 0.13 0.15 0.11 15 63051 131 20 104 7 82
TMR_00541 0.12 0.14 0.10 15 61630 139 22 109 8 90
TMR_00547 0.28 0.35 0.23 35 65188 122 37 81 4 65
TMR_00562 0.09 0.12 0.08 12 72617 147 27 115 5 90
TMR_00566 0.13 0.16 0.11 16 60582 132 22 106 4 84
TMR_00571 0.05 0.06 0.04 6 60577 149 19 124 6 93
TMR_00584 0.01 0.01 0.01 1 60922 159 33 119 7 96
TMR_00594 0.08 0.10 0.06 10 79238 156 30 123 3 94
TMR_00605 0.28 0.35 0.23 38 74141 129 36 90 3 70
TMR_00609 0.53 0.62 0.45 70 63391 89 28 57 4 43
TMR_00624 0.36 0.44 0.30 47 62325 111 27 82 2 61
TMR_00683 0.01 0.02 0.01 2 82854 176 50 122 4 98
TMR_00698 0.20 0.24 0.17 25 63042 124 27 96 1 79
TMR_00703 0.10 0.12 0.08 12 67376 140 26 114 0 87
TMR_00706 0.14 0.17 0.11 17 66281 133 29 103 1 86
TMR_00711 0.18 0.22 0.14 22 67740 137 41 93 3 76

^top


Matthews Correlation Coeffient, Sensitivity and Positive Predictive Value have been calculated based on the paper by Gardener & Giegerich, 2004.