CompaRNA - on-line benchmarks of RNA structure prediction methods
Home

Methods
Datasets
Rankings
RNA 2D Atlas

Help
FAQ

Contact us
RSS feeds
Twitter

Table of contents:

  1. Overview

  2. Performance Plots

  3. Performance of RNAwolf - scored higher in this pairwise comparison

  4. Performance of NanoFolder - scored lower in this pairwise comparison

  5. Compile and download dataset for RNAwolf & NanoFolder [.zip] - may take several seconds...


Overview

Metric RNAwolf NanoFolder
MCC 0.337 > 0.174
Average MCC ± 95% Confidence Intervals 0.347 ± 0.030 > 0.183 ± 0.028
Sensitivity 0.349 > 0.207
Positive Predictive Value 0.327 > 0.149
Total TP 3819 > 2258
Total TN 6808821 > 6805326
Total FP 9079 < 13384
Total FP CONTRA 1316 < 2402
Total FP INCONS 6529 < 10499
Total FP COMP 1234 > 483
Total FN 7113 < 8674
P-value 3.56938820447e-08

^top




Performance plots


  1. Comparison of performance of RNAwolf and NanoFolder. Positive Predictive Value (PPV) is plotted against sensitivity. Each dot represents a single test of each method. See tables below for raw data (individual counts for RNAwolf and NanoFolder).

  2. Average Matthews Correlation Coefficients (MCC) with 95% confidence intervals (CIs) were plotted for different RNA families, for which at least 3 members were present in the benchmarking dataset. 'n' denotes the number of MCCs used to calculate the average and CI. See tables below for raw data (individual counts for RNAwolf and NanoFolder).

  3. Comparison of average Matthews Correlation Coefficients (MCCs) for RNAwolf and NanoFolder. The whiskers correspond to 95% confidence intervals (CIs). 'n' denotes the number of MCCs used to calculate average MCCs and CIs. See tables below for raw data (individual counts for RNAwolf and NanoFolder).

^top





Performance of RNAwolf - scored higher in this pairwise comparison

1. Total counts & total scores for RNAwolf

Total Base Pair Counts
Total TP 3819
Total TN 6808821
Total FP 9079
Total FP CONTRA 1316
Total FP INCONS 6529
Total FP COMP 1234
Total FN 7113
Total Scores
MCC 0.337
Average MCC ± 95% Confidence Intervals 0.347 ± 0.030
Sensitivity 0.349
Positive Predictive Value 0.327
Nr of predictions 112

^top



2. Individual counts for RNAwolf [ download as .csv ]

RNA Chain Rfam family MCC SENS PPV TP TN FP FP CONTRA FP INCONS FP COMP FN
ASE_00017 0.11 0.13 0.10 8 50962 92 14 56 22 56
ASE_00083 0.29 0.29 0.28 32 62368 94 11 70 13 78
ASE_00122 0.36 0.36 0.35 32 43274 62 12 47 3 56
ASE_00185 0.49 0.49 0.49 63 73407 73 10 56 7 65
ASE_00190 0.56 0.54 0.57 49 45365 50 1 36 13 41
ASE_00196 0.57 0.59 0.55 44 31546 50 4 32 14 31
ASE_00221 0.36 0.37 0.35 43 64496 87 11 70 6 74
ASE_00227 0.21 0.20 0.21 27 78875 107 6 95 6 106
ASE_00228 0.36 0.40 0.32 34 46866 76 20 51 5 52
ASE_00229 0.09 0.10 0.09 9 42384 101 6 87 8 78
ASE_00231 0.56 0.58 0.53 56 47790 61 8 41 12 40
ASE_00234 0.54 0.54 0.55 70 75338 70 8 50 12 59
ASE_00238 0.56 0.57 0.56 65 64144 64 10 42 12 49
ASE_00248 0.32 0.31 0.33 35 62376 75 7 63 5 79
ASE_00250 0.37 0.36 0.38 47 78880 83 10 66 7 84
ASE_00254 0.36 0.39 0.34 32 36761 69 10 53 6 50
ASE_00255 0.46 0.47 0.45 61 74555 83 9 66 8 69
ASE_00257 0.56 0.57 0.56 55 50941 56 9 35 12 42
ASE_00267 0.36 0.35 0.37 31 45067 62 8 44 10 57
ASE_00270 0.51 0.50 0.52 64 72268 71 4 54 13 64
ASE_00274 0.30 0.29 0.30 30 55512 78 13 56 9 73
ASE_00277 0.28 0.30 0.26 27 48103 84 14 61 9 64
ASE_00279 0.29 0.29 0.29 29 53202 80 4 66 10 72
ASE_00285 0.27 0.28 0.27 34 68878 102 9 85 8 88
ASE_00287 0.30 0.30 0.30 31 54842 81 6 67 8 72
ASE_00294 0.38 0.37 0.38 63 114317 107 9 92 6 108
ASE_00295 0.49 0.49 0.50 64 73792 73 10 54 9 67
ASE_00298 0.29 0.29 0.30 33 67418 86 8 69 9 80
ASE_00318 0.41 0.42 0.40 49 80077 79 13 61 5 69
ASE_00335 0.58 0.57 0.58 66 75353 65 5 42 18 50
ASE_00339 0.51 0.52 0.50 62 80077 77 3 58 16 57
ASE_00340 0.14 0.15 0.14 13 45963 87 8 72 7 72
ASE_00343 0.51 0.50 0.53 56 83331 75 2 47 26 57
ASE_00367 0.26 0.27 0.25 23 42978 79 8 62 9 63
ASE_00370 0.29 0.30 0.28 25 41816 75 7 57 11 59
ASE_00372 0.21 0.22 0.21 22 51897 88 11 73 4 78
ASE_00375 0.34 0.32 0.37 35 60284 67 9 50 8 75
ASE_00376 0.45 0.46 0.44 48 56843 71 4 58 9 57
ASE_00377 0.65 0.65 0.64 70 57521 52 8 31 13 37
ASE_00386 0.39 0.40 0.38 38 50303 74 6 56 12 58
ASE_00393 0.27 0.28 0.27 26 47798 77 6 65 6 67
ASE_00412 0.25 0.25 0.25 26 58206 86 11 68 7 79
ASE_00413 0.60 0.62 0.59 50 44466 49 10 25 14 31
ASE_00416 0.32 0.32 0.32 41 77291 98 8 81 9 86
ASE_00417 0.42 0.44 0.40 44 54506 75 9 56 10 56
ASE_00422 0.24 0.24 0.24 23 46875 85 1 72 12 71
ASE_00428 0.29 0.30 0.29 37 76507 103 11 81 11 88
ASE_00429 - 0.36 0.38 0.35 25 28131 54 12 35 7 41
ASE_00430 0.52 0.53 0.52 51 46873 56 1 46 9 46
ASE_00434 0.63 0.64 0.63 70 68154 63 4 37 22 40
ASE_00437 0.30 0.30 0.31 41 79268 98 3 89 6 94
ASE_00451 0.48 0.49 0.47 61 70746 77 7 62 8 64
CRW_00648 - 0.33 0.34 0.32 50 137920 132 23 82 27 98
CRW_00654 - 0.48 0.49 0.47 61 78080 80 11 58 11 63
CRW_00658 - 0.22 0.24 0.20 24 74572 115 12 83 20 78
CRW_00663 - 0.09 0.10 0.09 6 26039 71 9 52 10 55
CRW_00664 - 0.05 0.06 0.05 5 53527 99 22 74 3 73
CRW_00671 0.13 0.13 0.13 15 62723 100 11 86 3 102
CRW_00672 0.06 0.06 0.06 7 72276 114 17 90 7 104
CRW_00674 0.28 0.28 0.28 35 83310 106 12 79 15 89
CRW_00676 0.16 0.17 0.16 19 93407 113 22 80 11 96
CRW_00685 - 0.30 0.31 0.28 33 156964 148 16 67 65 73
CRW_00688 - 0.43 0.44 0.42 25 21885 42 9 26 7 32
CRW_00721 - 0.26 0.31 0.22 21 58559 91 29 44 18 47
PDB_00078 - 0.31 0.30 0.33 34 49666 74 4 66 4 81
PDB_00278 - 0.30 0.29 0.30 21 24907 50 3 45 2 51
PDB_00571 0.89 0.84 0.95 21 3299 2 1 0 1 4
PDB_00701 - 0.14 0.15 0.14 16 45337 99 9 89 1 93
PDB_00828 0.85 0.81 0.88 22 2460 3 1 2 0 5
PDB_00851 - 0.34 0.34 0.35 14 4713 26 0 26 0 27
PDB_00917 - 0.35 0.34 0.36 32 35157 63 6 50 7 63
PDB_01009 0.45 0.52 0.39 11 2457 18 6 11 1 10
RFA_00770 0.51 0.50 0.53 9 1999 12 2 6 4 9
RFA_00773 0.42 0.39 0.47 7 1938 12 1 7 4 11
RFA_00808 0.68 0.56 0.82 9 2005 2 2 0 0 7
TMR_00036 0.19 0.20 0.18 20 90411 122 13 81 28 81
TMR_00123 0.21 0.23 0.21 23 66318 95 16 73 6 78
TMR_00180 0.54 0.56 0.52 55 67055 74 14 37 23 44
TMR_00240 0.32 0.38 0.27 32 63073 92 29 56 7 53
TMR_00352 0.08 0.09 0.06 7 95157 141 27 75 39 68
TMR_00353 0.32 0.35 0.30 37 84130 113 15 73 25 68
TMR_00357 0.29 0.33 0.26 30 82913 101 26 59 16 62
TMR_00361 - 0.25 0.32 0.20 23 93412 113 37 56 20 49
TMR_00374 0.11 0.12 0.10 11 81695 122 17 87 18 81
TMR_00384 0.43 0.45 0.41 49 65584 75 17 53 5 59
TMR_00395 0.34 0.36 0.33 39 64500 82 19 62 1 70
TMR_00398 0.28 0.29 0.28 31 65230 85 13 67 5 75
TMR_00399 0.30 0.32 0.29 30 64876 86 18 56 12 64
TMR_00430 0.13 0.15 0.12 16 82490 120 29 86 5 93
TMR_00431 0.32 0.36 0.28 20 51931 82 12 40 30 35
TMR_00443 0.23 0.25 0.22 26 67043 107 10 82 15 78
TMR_00457 0.30 0.33 0.28 34 78483 99 24 65 10 68
TMR_00469 0.17 0.19 0.16 19 64500 111 14 87 10 81
TMR_00502 0.36 0.40 0.32 37 75352 92 19 58 15 56
TMR_00503 0.44 0.48 0.40 53 67765 81 27 51 3 58
TMR_00519 0.14 0.15 0.13 14 63085 101 22 69 10 81
TMR_00528 0.23 0.25 0.22 24 63081 92 28 57 7 73
TMR_00541 0.23 0.24 0.22 25 61660 101 15 76 10 80
TMR_00547 0.46 0.46 0.46 46 65240 72 12 43 17 54
TMR_00562 0.21 0.23 0.19 23 72653 102 23 72 7 79
TMR_00566 0.29 0.30 0.28 30 60617 91 11 68 12 70
TMR_00571 0.50 0.51 0.50 50 60625 71 7 44 20 49
TMR_00584 0.27 0.28 0.26 27 60972 91 13 63 15 70
TMR_00594 0.21 0.22 0.21 23 79292 94 17 69 8 81
TMR_00605 0.35 0.36 0.35 39 74193 86 12 61 13 69
TMR_00609 0.56 0.55 0.56 62 63436 64 4 44 16 51
TMR_00624 0.36 0.37 0.35 40 62368 87 6 67 14 68
TMR_00683 0.19 0.22 0.16 22 82894 129 30 82 17 78
TMR_00698 0.16 0.16 0.15 17 63080 94 15 78 1 87
TMR_00703 0.21 0.23 0.20 23 67411 99 22 72 5 76
TMR_00706 0.48 0.47 0.49 48 66332 66 10 40 16 55
TMR_00711 0.43 0.48 0.38 47 67773 87 27 49 11 51

^top



Performance of NanoFolder - scored lower in this pairwise comparison

1. Total counts & total scores for NanoFolder

Total Base Pair Counts
Total TP 2258
Total TN 6805326
Total FP 13384
Total FP CONTRA 2402
Total FP INCONS 10499
Total FP COMP 483
Total FN 8674
Total Scores
MCC 0.174
Average MCC ± 95% Confidence Intervals 0.183 ± 0.028
Sensitivity 0.207
Positive Predictive Value 0.149
Nr of predictions 112

^top



2. Individual counts for NanoFolder [ download as .csv ]

RNA Chain Rfam family MCC SENS PPV TP TN FP FP CONTRA FP INCONS FP COMP FN
ASE_00017 0.02 0.03 0.02 2 50914 131 38 86 7 62
ASE_00083 0.22 0.25 0.20 27 62347 108 12 95 1 83
ASE_00122 0.27 0.30 0.24 26 43258 84 13 68 3 62
ASE_00185 0.17 0.19 0.16 24 73382 134 14 116 4 104
ASE_00190 0.24 0.28 0.21 25 45334 93 14 78 1 65
ASE_00196 0.49 0.57 0.42 43 31524 62 16 43 3 32
ASE_00221 0.20 0.21 0.18 25 64484 112 10 101 1 92
ASE_00227 0.28 0.31 0.25 41 78840 122 20 102 0 92
ASE_00228 0.05 0.06 0.04 5 46858 109 17 91 1 81
ASE_00229 0.12 0.14 0.11 12 42380 97 12 82 3 75
ASE_00231 0.37 0.42 0.33 40 47773 84 17 65 2 56
ASE_00234 0.25 0.27 0.23 35 75315 117 10 106 1 94
ASE_00238 0.26 0.30 0.23 34 64111 119 18 98 3 80
ASE_00248 0.13 0.15 0.12 17 62340 124 9 115 0 97
ASE_00250 0.25 0.29 0.23 38 78835 135 17 113 5 93
ASE_00254 0.15 0.16 0.14 13 36761 88 3 79 6 69
ASE_00255 0.11 0.12 0.10 16 74530 146 16 129 1 114
ASE_00257 0.37 0.42 0.33 41 50917 85 15 67 3 56
ASE_00267 0.00 0.00 0.00 0 45036 115 9 105 1 88
ASE_00270 0.19 0.21 0.17 27 72232 132 14 117 1 101
ASE_00274 0.00 0.00 0.00 0 55487 126 12 112 2 103
ASE_00277 0.10 0.12 0.08 11 48071 123 23 100 0 80
ASE_00279 0.14 0.16 0.13 16 53177 109 16 92 1 85
ASE_00285 0.34 0.36 0.31 44 68866 98 14 82 2 78
ASE_00287 0.15 0.17 0.14 17 54824 107 14 91 2 86
ASE_00294 0.12 0.13 0.12 23 114287 172 11 160 1 148
ASE_00295 0.14 0.16 0.13 21 73761 140 19 119 2 110
ASE_00298 0.09 0.10 0.08 11 67389 129 8 120 1 102
ASE_00318 0.03 0.04 0.03 5 80039 156 21 135 0 113
ASE_00335 0.10 0.12 0.09 14 75304 151 22 126 3 102
ASE_00339 0.25 0.29 0.22 34 80042 129 20 104 5 85
ASE_00340 0.06 0.07 0.05 6 45943 110 13 94 3 79
ASE_00343 0.14 0.17 0.12 19 83275 145 31 111 3 94
ASE_00367 0.08 0.09 0.07 8 42960 110 10 93 7 78
ASE_00370 0.03 0.04 0.03 3 41796 109 18 88 3 81
ASE_00372 0.17 0.20 0.15 20 51871 113 19 93 1 80
ASE_00375 0.12 0.14 0.11 15 60246 120 10 107 3 95
ASE_00376 0.00 0.00 0.00 0 56822 136 9 122 5 105
ASE_00377 0.25 0.27 0.23 29 57505 98 10 86 2 78
ASE_00386 0.14 0.16 0.13 15 50284 106 9 95 2 81
ASE_00393 0.31 0.35 0.27 33 47773 90 18 71 1 60
ASE_00412 0.15 0.17 0.14 18 58183 111 14 96 1 87
ASE_00413 0.08 0.10 0.07 8 44438 108 19 86 3 73
ASE_00416 0.39 0.43 0.35 54 77267 103 18 82 3 73
ASE_00417 0.32 0.36 0.28 36 54486 98 18 75 5 64
ASE_00422 0.28 0.31 0.25 29 46856 87 9 77 1 65
ASE_00428 0.24 0.26 0.22 33 76483 121 13 107 1 92
ASE_00429 - 0.08 0.09 0.07 6 28114 84 14 69 1 60
ASE_00430 0.16 0.18 0.14 17 46852 102 10 92 0 80
ASE_00434 0.29 0.34 0.25 37 68116 122 20 92 10 73
ASE_00437 0.00 0.00 0.00 0 79238 164 12 151 1 135
ASE_00451 0.20 0.22 0.19 27 70731 118 8 110 0 98
CRW_00648 - 0.05 0.06 0.04 9 137864 213 24 178 11 139
CRW_00654 - 0.41 0.47 0.36 58 78049 105 18 85 2 66
CRW_00658 - 0.21 0.26 0.16 27 74527 137 28 109 0 75
CRW_00663 - 0.08 0.10 0.07 6 26014 90 17 69 4 55
CRW_00664 - 0.14 0.19 0.11 15 53486 134 42 85 7 63
CRW_00671 0.18 0.21 0.16 24 62682 130 23 106 1 93
CRW_00672 0.36 0.43 0.31 48 72233 114 35 74 5 63
CRW_00674 0.16 0.19 0.14 23 83274 142 19 120 3 101
CRW_00676 0.11 0.14 0.09 16 93347 169 29 136 4 99
CRW_00685 - 0.11 0.15 0.08 16 156867 212 64 133 15 90
CRW_00688 - 0.33 0.40 0.27 23 21859 64 21 42 1 34
CRW_00721 - 0.22 0.31 0.15 21 58515 133 46 71 16 47
PDB_00078 - 0.00 0.00 0.00 0 49644 126 10 116 0 115
PDB_00278 - 0.04 0.06 0.04 4 24875 98 13 84 1 68
PDB_00571 -0.01 0.00 0.00 0 3286 36 6 29 1 25
PDB_00701 - 0.04 0.05 0.04 5 45319 127 14 113 0 104
PDB_00828 0.30 0.33 0.28 9 2453 23 0 23 0 18
PDB_00851 - 0.16 0.17 0.17 7 4711 35 3 32 0 34
PDB_00917 - 0.31 0.34 0.29 32 35136 81 10 67 4 63
PDB_01009 0.27 0.33 0.23 7 2455 25 3 20 2 14
RFA_00770 -0.01 0.00 0.00 0 1996 24 0 20 4 18
RFA_00773 0.93 1.00 0.86 18 1932 9 3 0 6 0
RFA_00808 0.83 1.00 0.70 16 1993 7 7 0 0 0
TMR_00036 0.22 0.29 0.17 29 90359 153 37 100 16 72
TMR_00123 0.19 0.23 0.16 23 66283 126 20 104 2 78
TMR_00180 0.12 0.16 0.10 16 66999 149 35 111 3 83
TMR_00240 0.23 0.31 0.17 26 63041 128 39 84 5 59
TMR_00352 0.07 0.09 0.05 7 95133 171 39 87 45 68
TMR_00353 0.41 0.51 0.32 54 84087 127 49 65 13 51
TMR_00357 0.26 0.34 0.19 31 82869 146 44 84 18 61
TMR_00361 - 0.06 0.10 0.04 7 93368 174 64 89 21 65
TMR_00374 0.09 0.13 0.07 12 81631 174 44 123 7 80
TMR_00384 0.17 0.20 0.14 22 65550 133 26 105 2 86
TMR_00395 0.27 0.31 0.24 34 64478 115 10 98 7 75
TMR_00398 0.05 0.07 0.05 7 65197 139 24 113 2 99
TMR_00399 0.20 0.26 0.16 24 64833 130 38 85 7 70
TMR_00430 0.18 0.23 0.15 25 82450 148 34 112 2 84
TMR_00431 0.24 0.33 0.17 18 51899 127 26 60 41 37
TMR_00443 0.17 0.20 0.15 21 67018 126 24 98 4 83
TMR_00457 0.19 0.25 0.15 25 78443 141 39 99 3 77
TMR_00469 0.10 0.12 0.08 12 64469 145 27 112 6 88
TMR_00502 0.14 0.19 0.11 18 75303 150 45 100 5 75
TMR_00503 0.11 0.14 0.10 15 67741 141 20 120 1 96
TMR_00519 0.04 0.05 0.03 5 63046 141 33 106 2 90
TMR_00528 0.13 0.15 0.11 15 63051 131 20 104 7 82
TMR_00541 0.12 0.14 0.10 15 61630 139 22 109 8 90
TMR_00547 0.28 0.35 0.23 35 65188 122 37 81 4 65
TMR_00562 0.09 0.12 0.08 12 72617 147 27 115 5 90
TMR_00566 0.13 0.16 0.11 16 60582 132 22 106 4 84
TMR_00571 0.05 0.06 0.04 6 60577 149 19 124 6 93
TMR_00584 0.01 0.01 0.01 1 60922 159 33 119 7 96
TMR_00594 0.08 0.10 0.06 10 79238 156 30 123 3 94
TMR_00605 0.28 0.35 0.23 38 74141 129 36 90 3 70
TMR_00609 0.53 0.62 0.45 70 63391 89 28 57 4 43
TMR_00624 0.36 0.44 0.30 47 62325 111 27 82 2 61
TMR_00683 0.01 0.02 0.01 2 82854 176 50 122 4 98
TMR_00698 0.20 0.24 0.17 25 63042 124 27 96 1 79
TMR_00703 0.10 0.12 0.08 12 67376 140 26 114 0 87
TMR_00706 0.14 0.17 0.11 17 66281 133 29 103 1 86
TMR_00711 0.18 0.22 0.14 22 67740 137 41 93 3 76

^top


Matthews Correlation Coeffient, Sensitivity and Positive Predictive Value have been calculated based on the paper by Gardener & Giegerich, 2004.