CompaRNA - on-line benchmarks of RNA structure prediction methods
Home

Methods
Datasets
Rankings
RNA 2D Atlas

Help
FAQ

Contact us
RSS feeds
Twitter

Table of contents:

  1. Overview

  2. Performance Plots

  3. Performance of ContextFold - scored higher in this pairwise comparison

  4. Performance of MXScarna(seed) - scored lower in this pairwise comparison

  5. Compile and download dataset for ContextFold & MXScarna(seed) [.zip] - may take several seconds...


Overview

Metric ContextFold MXScarna(seed)
MCC 0.802 > 0.637
Average MCC ± 95% Confidence Intervals 0.791 ± 0.018 > 0.622 ± 0.020
Sensitivity 0.766 > 0.535
Positive Predictive Value 0.841 > 0.759
Total TP 32993 > 23071
Total TN 25238495 < 25247346
Total FP 8131 < 10057
Total FP CONTRA 1128 > 971
Total FP INCONS 5128 < 6356
Total FP COMP 1875 < 2730
Total FN 10100 < 20022
P-value 3.56938820447e-08

^top




Performance plots


  1. Comparison of performance of ContextFold and MXScarna(seed). Positive Predictive Value (PPV) is plotted against sensitivity. Each dot represents a single test of each method. See tables below for raw data (individual counts for ContextFold and MXScarna(seed)).

  2. Average Matthews Correlation Coefficients (MCC) with 95% confidence intervals (CIs) were plotted for different RNA families, for which at least 3 members were present in the benchmarking dataset. 'n' denotes the number of MCCs used to calculate the average and CI. See tables below for raw data (individual counts for ContextFold and MXScarna(seed)).

  3. Comparison of average Matthews Correlation Coefficients (MCCs) for ContextFold and MXScarna(seed). The whiskers correspond to 95% confidence intervals (CIs). 'n' denotes the number of MCCs used to calculate average MCCs and CIs. See tables below for raw data (individual counts for ContextFold and MXScarna(seed)).

^top





Performance of ContextFold - scored higher in this pairwise comparison

1. Total counts & total scores for ContextFold

Total Base Pair Counts
Total TP 32993
Total TN 25238495
Total FP 8131
Total FP CONTRA 1128
Total FP INCONS 5128
Total FP COMP 1875
Total FN 10100
Total Scores
MCC 0.802
Average MCC ± 95% Confidence Intervals 0.791 ± 0.018
Sensitivity 0.766
Positive Predictive Value 0.841
Nr of predictions 431

^top



2. Individual counts for ContextFold [ download as .csv ]

RNA Chain Rfam family MCC SENS PPV TP TN FP FP CONTRA FP INCONS FP COMP FN
ASE_00001 0.88 0.83 0.94 62 34125 7 0 4 3 13
ASE_00002 0.64 0.60 0.69 44 35447 25 4 16 5 29
ASE_00004 0.88 0.86 0.90 83 47803 9 1 8 0 14
ASE_00005 0.91 0.85 0.98 99 57869 2 0 2 0 18
ASE_00006 0.89 0.87 0.90 81 47496 9 1 8 0 12
ASE_00007 0.91 0.86 0.97 95 59587 3 0 3 0 15
ASE_00009 0.84 0.79 0.90 53 26047 6 0 6 0 14
ASE_00010 0.98 0.96 1.00 79 49691 11 0 0 11 3
ASE_00012 0.69 0.63 0.75 78 73816 29 3 23 3 45
ASE_00014 0.70 0.65 0.75 69 54193 26 1 22 3 37
ASE_00017 0.13 0.13 0.13 8 50979 71 12 41 18 56
ASE_00018 0.88 0.84 0.93 112 80480 9 0 9 0 22
ASE_00020 0.76 0.71 0.81 89 73810 21 1 20 0 37
ASE_00021 0.87 0.79 0.95 126 104064 10 0 6 4 34
ASE_00022 0.89 0.80 1.00 99 82929 5 0 0 5 25
ASE_00023 0.88 0.84 0.91 107 84138 13 0 10 3 20
ASE_00025 0.10 0.10 0.10 7 78537 101 11 51 39 64
ASE_00026 0.80 0.72 0.90 79 59597 13 1 8 4 31
ASE_00028 0.86 0.76 0.96 96 84566 8 1 3 4 30
ASE_00029 0.88 0.84 0.93 102 82918 9 2 6 1 20
ASE_00030 0.88 0.81 0.95 117 85368 6 2 4 0 28
ASE_00031 0.95 0.90 1.00 114 86622 5 0 0 5 12
ASE_00032 0.93 0.87 1.00 103 80097 3 0 0 3 15
ASE_00033 0.77 0.67 0.88 81 64888 11 0 11 0 40
ASE_00035 0.75 0.65 0.86 77 70410 15 1 12 2 41
ASE_00036 0.83 0.74 0.92 98 75749 9 1 7 1 34
ASE_00037 0.88 0.80 0.98 88 59250 2 0 2 0 22
ASE_00038 0.94 0.89 1.00 90 53538 0 0 0 0 11
ASE_00040 0.88 0.81 0.96 108 78891 7 0 4 3 25
ASE_00041 0.88 0.81 0.97 87 57540 5 0 3 2 21
ASE_00042 0.82 0.74 0.91 108 89981 14 1 10 3 37
ASE_00044 0.92 0.87 0.97 91 54521 6 0 3 3 14
ASE_00045 0.92 0.89 0.96 71 47204 9 0 3 6 9
ASE_00046 0.81 0.69 0.96 71 50329 3 0 3 0 32
ASE_00047 0.77 0.72 0.84 93 74194 18 0 18 0 37
ASE_00052 0.71 0.61 0.83 68 61343 15 0 14 1 44
ASE_00053 0.88 0.82 0.94 109 79285 7 4 3 0 24
ASE_00057 0.79 0.75 0.85 100 82097 20 5 13 2 34
ASE_00064 0.95 0.91 1.00 81 45370 1 0 0 1 8
ASE_00066 0.87 0.79 0.95 103 72282 5 0 5 0 27
ASE_00068 0.82 0.75 0.90 64 37604 7 0 7 0 21
ASE_00069 0.91 0.84 0.99 117 82910 2 0 1 1 23
ASE_00074 0.95 0.90 1.00 107 67789 0 0 0 0 12
ASE_00075 0.83 0.74 0.94 120 108683 12 1 7 4 42
ASE_00076 0.83 0.78 0.89 92 68162 11 0 11 0 26
ASE_00077 0.88 0.84 0.94 72 45073 5 1 4 0 14
ASE_00078 0.88 0.88 0.89 73 42989 10 3 6 1 10
ASE_00079 0.72 0.68 0.76 68 55522 21 2 19 0 32
ASE_00080 0.79 0.74 0.84 91 71523 21 0 17 4 32
ASE_00081 0.92 0.86 1.00 83 49687 0 0 0 0 14
ASE_00082 0.93 0.86 1.00 100 70400 8 0 0 8 16
ASE_00083 0.80 0.77 0.83 85 62379 20 0 17 3 25
ASE_00084 0.93 0.89 0.97 88 53537 3 1 2 0 11
ASE_00087 0.89 0.81 0.98 116 88292 2 0 2 0 28
ASE_00090 0.84 0.83 0.86 84 55513 14 1 13 0 17
ASE_00092 0.94 0.91 0.97 103 63440 3 1 2 0 10
ASE_00096 0.79 0.74 0.85 85 63446 15 0 15 0 30
ASE_00099 0.92 0.85 1.00 102 64518 0 0 0 0 18
ASE_00100 0.25 0.25 0.25 19 82140 97 12 44 41 57
ASE_00102 0.87 0.79 0.95 131 117717 9 1 6 2 35
ASE_00104 0.92 0.85 1.00 101 64160 0 0 0 0 18
ASE_00105 0.74 0.65 0.84 72 64175 14 0 14 0 39
ASE_00107 0.93 0.87 1.00 111 73042 0 0 0 0 16
ASE_00108 0.23 0.27 0.20 17 46887 76 24 43 9 46
ASE_00111 0.00 0.00 0.00 0 50004 92 24 58 10 57
ASE_00112 0.95 0.90 1.00 104 75362 3 0 0 3 12
ASE_00114 0.78 0.74 0.83 57 45382 22 0 12 10 20
ASE_00115 0.96 0.93 0.99 94 54520 5 0 1 4 7
ASE_00116 0.90 0.85 0.97 56 31568 2 0 2 0 10
ASE_00118 0.80 0.76 0.85 78 60634 15 1 13 1 24
ASE_00119 0.89 0.87 0.90 94 62731 10 1 9 0 14
ASE_00120 0.82 0.73 0.92 69 46896 7 2 4 1 25
ASE_00121 0.85 0.77 0.95 71 45075 5 2 2 1 21
ASE_00122 0.92 0.86 0.97 76 43287 2 0 2 0 12
ASE_00123 0.88 0.81 0.96 69 38431 3 0 3 0 16
ASE_00125 0.92 0.86 0.99 76 39263 1 0 1 0 12
ASE_00128 0.93 0.86 1.00 86 53215 0 0 0 0 14
ASE_00129 0.72 0.68 0.77 76 62736 23 1 22 0 35
ASE_00131 0.90 0.82 0.99 70 39269 1 0 1 0 15
ASE_00132 0.90 0.82 0.99 78 50324 2 0 1 1 17
ASE_00134 0.92 0.89 0.96 85 50314 4 0 4 0 10
ASE_00135 0.95 0.91 0.99 99 63090 6 0 1 5 10
ASE_00136 0.95 0.91 0.99 84 48120 1 0 1 0 8
ASE_00137 0.91 0.88 0.95 86 48425 5 1 4 0 12
ASE_00138 0.93 0.89 0.97 72 40396 2 0 2 0 9
ASE_00139 0.94 0.88 1.00 91 54194 1 0 0 1 13
ASE_00140 0.91 0.84 0.98 105 70769 2 2 0 0 20
ASE_00142 0.90 0.83 0.97 101 67057 5 0 3 2 21
ASE_00145 0.80 0.78 0.81 87 70018 25 4 16 5 24
ASE_00146 0.84 0.75 0.94 93 70777 7 1 5 1 31
ASE_00148 0.85 0.80 0.90 123 112438 17 2 12 3 31
ASE_00151 0.86 0.82 0.90 80 51914 9 6 3 0 18
ASE_00153 0.51 0.51 0.51 37 57558 68 6 29 33 36
ASE_00154 0.69 0.66 0.72 71 65243 31 3 24 4 36
ASE_00155 0.87 0.80 0.94 114 93407 12 0 7 5 28
ASE_00161 0.77 0.74 0.81 64 53549 17 3 12 2 23
ASE_00163 0.85 0.84 0.87 78 53211 16 3 9 4 15
ASE_00165 0.84 0.80 0.89 81 52884 11 3 7 1 20
ASE_00168 0.26 0.30 0.23 19 60645 73 16 46 11 45
ASE_00169 0.85 0.79 0.91 85 57198 11 0 8 3 22
ASE_00170 0.91 0.87 0.95 81 48743 6 0 4 2 12
ASE_00171 0.86 0.79 0.95 74 48438 4 0 4 0 20
ASE_00172 0.86 0.83 0.90 88 58898 11 2 8 1 18
ASE_00174 0.91 0.85 0.97 93 60979 4 0 3 1 16
ASE_00175 0.94 0.90 0.98 96 59933 3 0 2 1 11
ASE_00176 0.64 0.56 0.73 62 59946 23 5 18 0 48
ASE_00179 0.82 0.76 0.89 64 44181 8 4 4 0 20
ASE_00180 0.93 0.87 1.00 87 51273 0 0 0 0 13
ASE_00181 0.93 0.90 0.96 95 57531 4 0 4 0 11
ASE_00182 0.91 0.85 0.97 116 84135 4 0 4 0 20
ASE_00183 0.83 0.81 0.85 91 61318 17 0 16 1 22
ASE_00184 0.96 0.93 0.99 95 54519 2 0 1 1 7
ASE_00185 0.92 0.87 0.98 111 73423 2 0 2 0 17
ASE_00186 0.89 0.86 0.93 113 78882 12 1 7 4 19
ASE_00187 0.78 0.71 0.85 82 68539 16 2 12 2 33
ASE_00189 0.91 0.87 0.96 89 63097 6 0 4 2 13
ASE_00190 0.86 0.81 0.91 73 45371 8 0 7 1 17
ASE_00191 0.94 0.92 0.97 56 29588 4 0 2 2 5
ASE_00192 0.73 0.62 0.86 82 84571 19 1 12 6 51
ASE_00194 0.79 0.71 0.88 84 73440 17 2 10 5 35
ASE_00196 0.78 0.75 0.82 56 31558 14 2 10 2 19
ASE_00197 0.77 0.73 0.82 106 89123 27 0 24 3 39
ASE_00198 0.95 0.90 1.00 92 52558 0 0 0 0 10
ASE_00203 0.94 0.90 0.99 86 46578 1 1 0 0 10
ASE_00204 0.84 0.72 0.98 81 67813 8 0 2 6 31
ASE_00205 0.64 0.61 0.68 55 45975 32 1 25 6 35
ASE_00209 0.59 0.55 0.63 48 42995 28 1 27 0 40
ASE_00210 0.70 0.69 0.71 45 27198 20 3 15 2 20
ASE_00212 0.86 0.82 0.90 122 93826 16 1 12 3 26
ASE_00213 0.87 0.82 0.93 54 27203 6 0 4 2 12
ASE_00214 0.95 0.91 0.99 94 56185 6 0 1 5 9
ASE_00215 0.92 0.85 1.00 84 48432 1 0 0 1 15
ASE_00216 0.91 0.88 0.94 72 39263 5 3 2 0 10
ASE_00217 0.83 0.74 0.93 67 40398 10 0 5 5 23
ASE_00221 0.76 0.68 0.84 80 64525 15 1 14 0 37
ASE_00222 0.75 0.69 0.82 108 111969 27 2 22 3 49
ASE_00227 0.62 0.54 0.71 72 78902 29 2 27 0 61
ASE_00228 0.85 0.83 0.87 71 46889 12 3 8 1 15
ASE_00229 0.91 0.87 0.94 76 42405 5 1 4 0 11
ASE_00231 0.94 0.92 0.97 88 47804 3 1 2 0 8
ASE_00232 0.96 0.93 1.00 78 38425 0 0 0 0 6
ASE_00234 0.78 0.73 0.83 94 75353 19 1 18 0 35
ASE_00237 0.08 0.09 0.07 5 45683 76 18 47 11 51
ASE_00238 0.94 0.90 0.98 103 64156 2 1 1 0 11
ASE_00240 0.77 0.73 0.81 68 46581 18 0 16 2 25
ASE_00241 0.96 0.93 0.99 81 43874 1 0 1 0 6
ASE_00242 0.92 0.89 0.95 100 60970 5 3 2 0 12
ASE_00245 0.57 0.56 0.58 44 55202 53 0 32 21 34
ASE_00246 0.14 0.15 0.13 10 48129 75 18 48 9 57
ASE_00247 0.06 0.06 0.07 4 54226 84 7 48 29 60
ASE_00248 0.93 0.87 0.99 99 62381 1 0 1 0 15
ASE_00250 0.88 0.80 0.96 105 78894 7 0 4 3 26
ASE_00252 0.77 0.68 0.88 115 115309 20 0 16 4 53
ASE_00254 0.90 0.85 0.95 70 36782 4 0 4 0 12
ASE_00255 0.81 0.75 0.89 97 74582 12 1 11 0 33
ASE_00257 0.96 0.93 1.00 90 50950 0 0 0 0 7
ASE_00258 0.84 0.85 0.84 46 26741 14 3 6 5 8
ASE_00259 0.63 0.54 0.75 65 73066 22 2 20 0 56
ASE_00263 0.88 0.85 0.92 102 70389 9 0 9 0 18
ASE_00264 0.87 0.82 0.93 82 49053 12 0 6 6 18
ASE_00267 0.96 0.92 1.00 81 45069 2 0 0 2 7
ASE_00270 0.91 0.86 0.96 110 72275 5 1 4 0 18
ASE_00274 0.89 0.83 0.96 86 55521 4 1 3 0 17
ASE_00277 0.81 0.78 0.85 71 48121 13 1 12 0 20
ASE_00279 0.92 0.86 0.98 87 53212 2 0 2 0 14
ASE_00280 0.86 0.82 0.90 80 51914 9 0 9 0 18
ASE_00281 0.95 0.91 1.00 80 44471 0 0 0 0 8
ASE_00282 0.88 0.83 0.95 105 77704 10 0 6 4 22
ASE_00283 0.90 0.86 0.95 92 61679 5 0 5 0 15
ASE_00284 0.95 0.91 1.00 98 58213 0 0 0 0 10
ASE_00285 0.86 0.80 0.92 97 68901 8 0 8 0 25
ASE_00286 0.88 0.85 0.92 78 46580 10 0 7 3 14
ASE_00287 0.93 0.86 1.00 89 54857 0 0 0 0 14
ASE_00288 0.78 0.68 0.90 63 45986 7 2 5 0 30
ASE_00289 0.89 0.81 0.98 127 100895 5 1 2 2 30
ASE_00292 0.71 0.66 0.76 91 81690 29 0 29 0 47
ASE_00294 0.90 0.83 0.97 142 114334 8 0 5 3 29
ASE_00295 0.85 0.76 0.96 99 73817 4 0 4 0 32
ASE_00296 0.84 0.79 0.90 115 91678 13 1 12 0 30
ASE_00297 0.87 0.84 0.90 82 52884 10 1 8 1 16
ASE_00298 0.72 0.68 0.76 77 67427 24 2 22 0 36
ASE_00299 0.76 0.71 0.82 71 49368 20 0 16 4 29
ASE_00303 0.70 0.69 0.71 66 67803 37 0 27 10 29
ASE_00305 0.93 0.89 0.96 76 54536 6 0 3 3 9
ASE_00313 0.62 0.60 0.65 53 62399 41 10 19 12 36
ASE_00316 0.89 0.80 0.99 78 107801 35 1 0 34 20
ASE_00318 0.76 0.68 0.86 80 80107 19 0 13 6 38
ASE_00321 0.98 0.95 1.00 84 54531 4 0 0 4 4
ASE_00327 0.87 0.80 0.96 71 57217 21 2 1 18 18
ASE_00328 0.91 0.86 0.97 96 72672 9 0 3 6 16
ASE_00329 0.83 0.84 0.83 53 40691 28 5 6 17 10
ASE_00330 0.83 0.79 0.88 71 56199 23 0 10 13 19
ASE_00332 0.65 0.62 0.69 85 81687 39 2 36 1 53
ASE_00335 0.82 0.74 0.91 86 75372 13 0 8 5 30
ASE_00337 0.59 0.56 0.63 40 39276 35 5 19 11 31
ASE_00338 0.76 0.71 0.81 70 66344 31 2 14 15 28
ASE_00339 0.95 0.91 1.00 108 80092 7 0 0 7 11
ASE_00340 0.79 0.75 0.82 64 45978 17 2 12 3 21
ASE_00342 0.91 0.86 0.96 99 62378 4 0 4 0 16
ASE_00343 0.89 0.83 0.95 94 83337 12 0 5 7 19
ASE_00346 0.61 0.58 0.64 56 48118 32 2 29 1 41
ASE_00353 0.95 0.92 0.99 98 57871 1 1 0 0 9
ASE_00359 0.73 0.69 0.79 55 42708 17 2 13 2 25
ASE_00360 0.73 0.65 0.82 42 29352 9 0 9 0 23
ASE_00361 0.94 0.88 1.00 112 75354 2 0 0 2 15
ASE_00362 0.88 0.86 0.90 78 48118 9 2 7 0 13
ASE_00363 0.95 0.91 0.98 86 51272 3 0 2 1 8
ASE_00364 0.90 0.86 0.95 90 54190 5 0 5 0 15
ASE_00366 0.79 0.77 0.81 75 58560 18 3 15 0 23
ASE_00367 0.90 0.84 0.96 72 42996 7 0 3 4 14
ASE_00369 0.96 0.93 1.00 99 55846 1 0 0 1 8
ASE_00370 0.94 0.90 0.99 76 41828 1 0 1 0 8
ASE_00372 0.84 0.81 0.88 81 51911 12 1 10 1 19
ASE_00374 0.88 0.88 0.90 77 44764 9 2 7 0 11
ASE_00375 0.94 0.88 1.00 97 60281 0 0 0 0 13
ASE_00376 0.88 0.85 0.92 89 56856 8 0 8 0 16
ASE_00377 0.95 0.93 0.98 99 57529 2 0 2 0 8
ASE_00379 0.90 0.87 0.94 77 45974 7 0 5 2 12
ASE_00380 0.92 0.84 1.00 83 54863 0 0 0 0 16
ASE_00382 0.96 0.93 0.99 78 41826 1 0 1 0 6
ASE_00383 0.93 0.87 1.00 91 54524 0 0 0 0 14
ASE_00384 0.95 0.90 1.00 83 48433 0 0 0 0 9
ASE_00385 0.79 0.75 0.82 61 41831 13 7 6 0 20
ASE_00386 0.85 0.81 0.90 78 50316 10 5 4 1 18
ASE_00387 0.89 0.86 0.93 89 55849 7 0 7 0 15
ASE_00388 0.94 0.89 1.00 79 45674 0 0 0 0 10
ASE_00390 0.93 0.89 0.97 76 42117 8 0 2 6 9
ASE_00393 0.89 0.84 0.94 78 47812 5 0 5 0 15
ASE_00394 0.96 0.91 1.00 85 46886 0 0 0 0 8
ASE_00395 0.98 0.95 1.00 80 41536 2 0 0 2 4
ASE_00396 0.91 0.88 0.95 73 41539 4 0 4 0 10
ASE_00397 0.94 0.89 0.99 93 54521 1 1 0 0 12
ASE_00398 0.72 0.65 0.80 68 55860 17 0 17 0 36
ASE_00400 0.85 0.79 0.91 84 57878 8 0 8 0 22
ASE_00401 0.85 0.81 0.90 102 76915 11 0 11 0 24
ASE_00402 0.90 0.87 0.94 74 42407 5 0 5 0 11
ASE_00403 0.85 0.79 0.90 85 55851 9 0 9 0 22
ASE_00404 0.90 0.86 0.95 73 42994 7 0 4 3 12
ASE_00406 0.97 0.94 1.00 88 48740 2 0 0 2 6
ASE_00411 0.82 0.81 0.83 72 49368 15 5 10 0 17
ASE_00412 0.87 0.81 0.94 85 58221 5 0 5 0 20
ASE_00413 0.90 0.90 0.90 73 44470 11 5 3 3 8
ASE_00414 0.79 0.72 0.88 68 46283 15 0 9 6 27
ASE_00415 0.89 0.85 0.93 88 54851 7 0 7 0 15
ASE_00416 0.92 0.88 0.96 112 77304 8 1 4 3 15
ASE_00417 0.83 0.76 0.90 76 54531 11 0 8 3 24
ASE_00418 0.84 0.77 0.91 58 38717 9 0 6 3 17
ASE_00419 0.96 0.93 0.98 96 54848 3 1 1 1 7
ASE_00420 0.76 0.75 0.78 47 43305 38 0 13 25 16
ASE_00422 0.92 0.88 0.97 83 46885 9 0 3 6 11
ASE_00423 0.92 0.87 0.97 95 56855 4 2 1 1 14
ASE_00426 0.77 0.71 0.84 77 60983 15 1 14 0 31
ASE_00427 0.00 0.00 0.00 0 40693 70 20 42 8 46
ASE_00428 0.87 0.82 0.92 102 76525 10 1 8 1 23
ASE_00430 0.95 0.91 1.00 88 46883 3 0 0 3 9
ASE_00431 0.85 0.75 0.97 71 46287 9 0 2 7 24
ASE_00434 0.79 0.75 0.84 82 68167 26 3 13 10 28
ASE_00437 0.75 0.67 0.83 91 79292 18 0 18 0 44
ASE_00438 0.87 0.84 0.91 97 65959 10 0 10 0 19
ASE_00441 0.93 0.87 0.99 97 64163 4 0 1 3 15
ASE_00443 0.95 0.92 0.98 46 26749 21 0 1 20 4
ASE_00447 0.77 0.68 0.88 79 60288 11 0 11 0 37
ASE_00448 0.91 0.85 0.97 95 64163 8 0 3 5 17
ASE_00451 0.91 0.85 0.97 106 70767 3 1 2 0 19
ASE_00454 0.67 0.70 0.64 44 43296 37 9 16 12 19
CRW_00013 0.67 0.60 0.76 69 103649 34 4 18 12 46
CRW_00016 0.81 0.73 0.92 87 77326 14 3 5 6 33
CRW_00610 0.87 0.80 0.94 65 36246 7 1 3 3 16
CRW_00613 0.47 0.42 0.53 33 34918 36 3 26 7 45
CRW_00614 0.14 0.14 0.14 8 121715 98 13 35 50 49
CRW_00618 0.21 0.21 0.21 13 56218 64 9 40 15 48
CRW_00619 0.00 0.00 0.00 0 164974 131 8 43 80 73
CRW_00620 0.31 0.32 0.31 20 150910 112 14 31 67 43
CRW_00621 0.44 0.41 0.48 29 153121 120 6 25 89 42
CRW_00623 0.35 0.30 0.41 25 129734 101 6 30 65 58
CRW_00633 0.81 0.75 0.86 80 63453 15 4 9 2 26
CRW_00634 0.62 0.62 0.62 58 64526 36 9 27 0 36
CRW_00670 0.86 0.83 0.90 99 70015 11 4 7 0 21
CRW_00671 0.83 0.79 0.88 92 62731 12 3 9 0 25
CRW_00672 0.86 0.84 0.89 93 72285 13 4 8 1 18
CRW_00674 0.81 0.77 0.85 95 83324 19 1 16 2 29
CRW_00676 0.60 0.57 0.63 66 93424 41 9 29 3 49
CRW_00692 0.77 0.73 0.81 66 68554 24 6 9 9 24
PDB_00827 0.79 0.65 0.96 53 26973 3 0 2 1 28
PDB_00919 0.65 0.56 0.75 58 44176 24 1 18 5 45
RFA_00597 0.40 0.40 0.39 44 97791 79 14 54 11 65
RFA_00598 0.45 0.45 0.46 45 84568 67 11 42 14 56
RFA_00599 0.27 0.27 0.27 30 101365 98 14 66 18 81
RFA_00600 0.23 0.24 0.21 24 120183 108 34 54 20 76
RFA_00601 0.33 0.35 0.32 40 99109 96 28 58 10 74
RFA_00602 0.52 0.53 0.51 61 101356 72 21 37 14 55
RFA_00606 0.45 0.44 0.47 17 21285 23 10 9 4 22
RFA_00620 0.58 0.54 0.62 21 21911 27 3 10 14 18
RFA_00621 0.54 0.54 0.53 41 46283 44 5 31 8 35
RFA_00623 0.56 0.55 0.57 43 43880 42 4 29 9 35
RFA_00624 0.53 0.56 0.52 34 30069 35 6 26 3 27
RFA_00626 0.80 0.75 0.87 65 56541 19 1 9 9 22
RFA_00627 0.76 0.71 0.81 62 56876 16 3 12 1 25
RFA_00628 0.60 0.56 0.65 48 57217 28 3 23 2 38
RFA_00630 0.62 0.60 0.65 52 56873 35 3 25 7 35
RFA_00639 0.64 0.63 0.65 55 54531 39 7 22 10 32
RFA_00805 0.60 0.53 0.68 80 133268 38 3 35 0 70
RFA_00814 0.94 0.93 0.95 38 25160 18 0 2 16 3
RFA_00815 0.74 0.83 0.65 34 24479 21 13 5 3 7
RFA_00816 0.67 0.71 0.63 29 23174 22 13 4 5 12
RFA_00817 0.58 0.59 0.59 24 21904 17 5 12 0 17
RFA_00818 0.61 0.66 0.56 27 20253 29 10 11 8 14
RFA_00819 0.96 0.95 0.98 39 27926 15 0 1 14 2
RFA_00820 0.94 0.92 0.97 147 151373 9 1 4 4 13
RFA_00830 0.54 0.47 0.62 73 152510 80 5 40 35 81
SRP_00002 0.88 0.88 0.88 90 45048 12 3 9 0 12
SRP_00006 0.91 0.90 0.93 91 45655 7 0 7 0 10
SRP_00009 0.91 0.88 0.94 90 46569 8 0 6 2 12
SRP_00011 0.68 0.65 0.70 68 46263 29 1 28 0 36
SRP_00012 0.68 0.65 0.71 66 46267 27 1 26 0 35
SRP_00015 0.68 0.63 0.73 62 46275 26 0 23 3 37
SRP_00016 0.89 0.86 0.92 94 47793 8 1 7 0 15
SRP_00018 0.64 0.63 0.65 51 38425 29 6 21 2 30
SRP_00019 0.84 0.80 0.88 73 35963 14 2 8 4 18
SRP_00024 0.92 0.90 0.94 78 37592 6 0 5 1 9
SRP_00026 0.97 0.97 0.97 85 36768 6 0 3 3 3
SRP_00027 0.95 0.91 0.99 79 37048 1 0 1 0 8
SRP_00030 0.87 0.85 0.88 75 36771 10 4 6 0 13
SRP_00031 0.84 0.81 0.88 72 36233 11 5 5 1 17
SRP_00037 0.75 0.72 0.79 63 36505 17 5 12 0 24
SRP_00050 0.98 0.96 1.00 95 44755 2 0 0 2 4
SRP_00053 0.95 0.94 0.96 88 45058 10 0 4 6 6
SRP_00060 0.90 0.88 0.93 88 44456 8 3 4 1 12
SRP_00061 0.98 0.97 0.99 97 44752 4 0 1 3 3
SRP_00066 0.97 0.96 0.98 96 45353 2 0 2 0 4
SRP_00069 0.49 0.48 0.51 41 34372 40 4 36 0 44
SRP_00070 0.25 0.27 0.23 33 126612 113 30 81 2 88
SRP_00073 0.71 0.70 0.71 50 38990 33 5 15 13 21
SRP_00079 0.87 0.85 0.89 75 41821 17 0 9 8 13
SRP_00085 0.70 0.66 0.74 67 45360 25 2 22 1 34
SRP_00086 0.94 0.91 0.98 91 44160 2 0 2 0 9
SRP_00087 0.27 0.31 0.24 18 37326 63 19 38 6 40
SRP_00088 0.91 0.88 0.94 78 34108 5 1 4 0 11
SRP_00089 0.97 0.93 1.00 84 35694 0 0 0 0 6
SRP_00090 0.93 0.88 0.99 79 35431 3 0 1 2 11
SRP_00091 0.85 0.83 0.87 79 52884 13 2 10 1 16
SRP_00099 0.67 0.66 0.67 63 44756 31 7 24 0 32
SRP_00102 0.99 0.97 1.00 98 44453 0 0 0 0 3
SRP_00103 0.96 0.95 0.97 97 45351 3 1 2 0 5
SRP_00104 0.39 0.41 0.37 28 34378 51 8 39 4 41
SRP_00117 1.00 0.99 1.00 101 45350 0 0 0 0 1
SRP_00123 0.95 0.91 0.99 83 36501 2 0 1 1 8
SRP_00124 0.90 0.87 0.94 74 37049 9 0 5 4 11
SRP_00127 0.89 0.87 0.90 104 72275 14 3 8 3 15
SRP_00130 0.83 0.81 0.85 79 49677 17 1 13 3 18
SRP_00136 0.57 0.61 0.53 43 44172 45 9 29 7 28
SRP_00142 0.96 0.96 0.97 89 45964 6 0 3 3 4
SRP_00143 0.87 0.86 0.88 87 49671 17 1 11 5 14
SRP_00144 0.94 0.93 0.96 87 46574 9 0 4 5 7
SRP_00148 0.48 0.48 0.48 42 49999 51 5 40 6 45
SRP_00152 0.91 0.87 0.95 90 45658 6 0 5 1 13
SRP_00153 0.93 0.89 0.97 95 46873 5 0 3 2 12
SRP_00157 0.62 0.63 0.62 45 44180 38 5 23 10 27
SRP_00158 0.36 0.40 0.33 46 124112 96 37 56 3 69
SRP_00160 0.68 0.62 0.75 80 86213 27 1 26 0 50
SRP_00171 0.31 0.30 0.33 26 45372 53 7 46 0 62
SRP_00173 0.97 0.94 0.99 85 38140 2 0 1 1 5
SRP_00174 0.76 0.77 0.76 66 38694 21 7 14 0 20
SRP_00175 0.52 0.50 0.55 42 44475 40 5 29 6 42
SRP_00178 0.94 0.92 0.97 94 45656 3 0 3 0 8
SRP_00179 0.93 0.88 0.98 92 45962 5 0 2 3 13
SRP_00181 0.91 0.87 0.96 89 45963 4 0 4 0 13
SRP_00182 0.86 0.83 0.88 84 45961 11 2 9 0 17
SRP_00184 0.72 0.68 0.76 68 45967 24 1 20 3 32
SRP_00188 0.94 0.91 0.96 72 31050 4 0 3 1 7
SRP_00197 0.91 0.88 0.95 89 49361 5 0 5 0 12
SRP_00198 0.91 0.88 0.95 91 50944 5 0 5 0 12
SRP_00199 0.86 0.84 0.89 88 50941 12 0 11 1 17
SRP_00201 0.90 0.87 0.92 97 47790 10 0 8 2 14
SRP_00202 0.97 0.97 0.98 113 54170 3 0 2 1 4
SRP_00203 0.86 0.87 0.85 91 48721 22 0 16 6 14
SRP_00204 0.86 0.84 0.88 86 49043 13 1 11 1 16
SRP_00206 0.87 0.83 0.90 90 47795 10 5 5 0 18
SRP_00208 0.88 0.84 0.91 85 46572 10 2 6 2 16
SRP_00228 0.98 0.97 1.00 92 45359 4 0 0 4 3
SRP_00230 0.75 0.76 0.76 68 39531 22 6 16 0 22
SRP_00234 0.97 0.97 0.98 83 36230 4 0 2 2 3
SRP_00239 0.58 0.59 0.58 55 50308 40 5 35 0 38
SRP_00240 0.90 0.87 0.94 89 48110 12 0 6 6 13
SRP_00241 0.55 0.59 0.53 48 45965 44 14 29 1 34
SRP_00247 0.62 0.64 0.60 56 47184 42 7 31 4 31
SRP_00252 0.66 0.67 0.64 60 49047 36 6 28 2 29
SRP_00253 0.70 0.71 0.68 64 49361 32 6 24 2 26
SRP_00254 0.45 0.48 0.43 29 32317 43 8 31 4 32
SRP_00255 0.85 0.86 0.84 81 47489 19 0 16 3 13
SRP_00257 0.93 0.90 0.97 97 50940 7 0 3 4 11
SRP_00260 0.68 0.68 0.68 68 47795 34 5 27 2 32
SRP_00265 0.64 0.66 0.63 48 41252 34 7 21 6 25
SRP_00267 0.93 0.91 0.96 87 44460 5 0 4 1 9
SRP_00276 0.94 0.92 0.95 101 50615 5 0 5 0 9
SRP_00278 0.83 0.82 0.85 86 45955 15 0 15 0 19
SRP_00282 0.36 0.43 0.30 27 43275 69 23 40 6 36
SRP_00286 0.81 0.80 0.83 139 136858 31 0 29 2 35
SRP_00287 0.55 0.54 0.56 88 141622 73 10 58 5 74
SRP_00290 0.85 0.84 0.86 114 100443 20 3 16 1 21
SRP_00292 0.74 0.71 0.78 122 137393 37 1 34 2 51
SRP_00294 0.74 0.71 0.78 118 129134 35 4 30 1 49
SRP_00299 0.82 0.78 0.88 77 44165 16 0 11 5 22
SRP_00300 0.84 0.81 0.88 76 44167 13 2 8 3 18
SRP_00301 0.37 0.34 0.40 29 32568 43 1 42 0 57
SRP_00302 0.42 0.42 0.43 34 41537 53 4 41 8 47
SRP_00308 0.91 0.88 0.94 77 36233 7 0 5 2 11
SRP_00317 0.96 0.93 0.99 91 45058 3 0 1 2 7
SRP_00321 0.80 0.79 0.82 85 47482 19 3 16 0 23
SRP_00322 0.94 0.94 0.94 102 48408 6 0 6 0 7
SRP_00323 0.96 0.94 0.98 101 47175 3 0 2 1 6
SRP_00328 0.82 0.81 0.82 69 39537 17 4 11 2 16
SRP_00329 0.70 0.69 0.70 59 39819 28 3 22 3 26
SRP_00330 0.89 0.86 0.91 82 49996 11 0 8 3 13
SRP_00331 0.68 0.63 0.72 55 37599 24 1 20 3 32
SRP_00332 0.91 0.89 0.93 94 50302 7 0 7 0 12
SRP_00335 0.30 0.41 0.23 16 35174 72 26 29 17 23
SRP_00337 0.95 0.92 0.98 84 35425 4 0 2 2 7
SRP_00339 0.83 0.82 0.84 77 44459 18 1 14 3 17
SRP_00340 0.70 0.70 0.70 57 41247 26 8 16 2 25
SRP_00347 0.87 0.85 0.89 82 46573 11 2 8 1 14
SRP_00361 0.85 0.84 0.86 76 41817 15 2 10 3 14
SRP_00368 0.97 0.97 0.98 95 43859 2 0 2 0 3
SRP_00371 0.80 0.77 0.83 63 36239 14 1 12 1 19
SRP_00382 0.73 0.71 0.74 121 141615 49 6 36 7 49
TMR_00173 0.32 0.36 0.29 15 42144 55 13 23 19 27
TMR_00357 0.53 0.52 0.54 48 82939 55 17 24 14 44
TMR_00601 0.69 0.67 0.72 28 58957 55 1 10 44 14
TMR_00603 0.80 0.74 0.86 32 60341 49 1 4 44 11
TMR_00611 0.71 0.70 0.73 71 61328 26 6 20 0 31
TMR_00696 0.51 0.47 0.55 54 84980 55 7 37 11 60

^top



Performance of MXScarna(seed) - scored lower in this pairwise comparison

1. Total counts & total scores for MXScarna(seed)

Total Base Pair Counts
Total TP 23071
Total TN 25247346
Total FP 10057
Total FP CONTRA 971
Total FP INCONS 6356
Total FP COMP 2730
Total FN 20022
Total Scores
MCC 0.637
Average MCC ± 95% Confidence Intervals 0.622 ± 0.020
Sensitivity 0.535
Positive Predictive Value 0.759
Nr of predictions 431

^top



2. Individual counts for MXScarna(seed) [ download as .csv ]

RNA Chain Rfam family MCC SENS PPV TP TN FP FP CONTRA FP INCONS FP COMP FN
ASE_00001 0.67 0.51 0.88 38 34148 6 0 5 1 37
ASE_00002 0.68 0.53 0.87 39 35466 7 1 5 1 34
ASE_00004 0.52 0.41 0.65 40 47833 24 4 18 2 57
ASE_00005 0.72 0.57 0.92 67 57897 8 2 4 2 50
ASE_00006 0.51 0.41 0.63 38 47526 25 3 19 3 55
ASE_00007 0.82 0.75 0.90 83 59593 12 4 5 3 27
ASE_00009 0.68 0.57 0.81 38 26059 10 1 8 1 29
ASE_00010 0.70 0.63 0.76 52 49702 27 4 12 11 30
ASE_00012 0.64 0.55 0.75 68 73829 26 4 19 3 55
ASE_00014 0.67 0.52 0.87 55 54222 9 0 8 1 51
ASE_00017 0.49 0.41 0.59 26 50996 36 2 16 18 38
ASE_00018 0.77 0.64 0.91 86 80507 11 2 6 3 48
ASE_00020 0.50 0.36 0.71 45 73857 21 6 12 3 81
ASE_00021 0.49 0.36 0.66 57 104110 34 4 25 5 103
ASE_00022 0.66 0.58 0.75 72 82932 31 5 19 7 52
ASE_00023 0.27 0.20 0.37 25 84188 47 2 40 5 102
ASE_00025 0.53 0.42 0.67 30 78561 28 0 15 13 41
ASE_00026 0.74 0.65 0.85 72 59600 18 5 8 5 38
ASE_00028 0.69 0.60 0.78 76 84569 29 5 16 8 50
ASE_00029 0.24 0.18 0.32 22 82960 50 6 40 4 100
ASE_00030 0.65 0.46 0.91 67 85417 9 3 4 2 78
ASE_00031 0.31 0.23 0.43 29 86668 41 3 36 2 97
ASE_00032 0.20 0.15 0.28 18 80135 55 0 47 8 100
ASE_00033 0.77 0.67 0.89 81 64889 14 3 7 4 40
ASE_00035 0.75 0.66 0.86 78 70409 18 3 10 5 40
ASE_00036 0.60 0.50 0.73 66 75764 28 3 22 3 66
ASE_00037 0.86 0.79 0.94 87 59247 9 2 4 3 23
ASE_00038 0.69 0.56 0.84 57 53560 14 1 10 3 44
ASE_00040 0.69 0.59 0.80 78 78906 22 4 15 3 55
ASE_00041 0.80 0.72 0.90 78 57543 12 2 7 3 30
ASE_00042 0.68 0.52 0.87 76 90013 14 1 10 3 69
ASE_00044 0.85 0.78 0.93 82 54527 9 3 3 3 23
ASE_00045 0.64 0.58 0.72 46 47214 28 4 14 10 34
ASE_00046 0.76 0.66 0.87 68 50325 13 1 9 3 35
ASE_00047 0.74 0.60 0.92 78 74220 8 2 5 1 52
ASE_00052 0.64 0.55 0.75 62 61342 24 3 18 3 50
ASE_00053 0.60 0.47 0.76 63 79318 24 4 16 4 70
ASE_00057 0.71 0.57 0.88 77 82127 14 4 7 3 57
ASE_00064 0.82 0.71 0.94 63 45384 7 1 3 3 26
ASE_00066 0.71 0.57 0.88 74 72306 11 3 7 1 56
ASE_00068 0.67 0.52 0.88 44 37625 8 1 5 2 41
ASE_00069 0.62 0.49 0.79 69 82941 22 3 15 4 71
ASE_00074 0.81 0.70 0.94 83 67808 9 2 3 4 36
ASE_00075 0.49 0.35 0.69 56 108730 31 3 22 6 106
ASE_00076 0.42 0.32 0.55 38 68196 33 2 29 2 80
ASE_00077 0.77 0.70 0.85 60 45079 14 4 7 3 26
ASE_00078 0.79 0.72 0.87 60 43002 13 2 7 4 23
ASE_00079 0.41 0.33 0.52 33 55548 32 1 29 2 67
ASE_00080 0.37 0.30 0.47 37 71552 44 6 36 2 86
ASE_00081 0.76 0.67 0.87 65 49695 13 2 8 3 32
ASE_00082 0.35 0.24 0.50 28 70444 31 1 27 3 88
ASE_00083 0.71 0.56 0.89 62 62411 11 1 7 3 48
ASE_00084 0.71 0.59 0.85 58 53560 14 1 9 4 41
ASE_00087 0.31 0.21 0.46 30 88345 36 0 35 1 114
ASE_00090 0.66 0.54 0.81 55 55543 16 2 11 3 46
ASE_00092 0.56 0.43 0.73 49 63479 21 2 16 3 64
ASE_00096 0.41 0.30 0.55 35 63482 31 1 28 2 80
ASE_00099 0.83 0.73 0.96 87 64529 7 2 2 3 33
ASE_00100 0.54 0.41 0.70 31 82171 27 1 12 14 45
ASE_00102 0.47 0.34 0.63 57 117765 36 5 28 3 109
ASE_00104 0.82 0.73 0.93 87 64167 10 2 5 3 32
ASE_00105 0.51 0.38 0.70 42 64201 21 5 13 3 69
ASE_00107 0.78 0.68 0.91 86 73058 12 2 7 3 41
ASE_00108 0.54 0.43 0.68 27 46931 25 0 13 12 36
ASE_00111 0.68 0.54 0.86 31 50050 23 0 5 18 26
ASE_00112 0.32 0.25 0.42 29 75397 42 7 33 2 87
ASE_00114 0.50 0.45 0.55 35 45387 40 4 25 11 42
ASE_00115 0.54 0.43 0.68 43 54552 23 1 19 3 58
ASE_00116 0.35 0.27 0.46 18 31587 22 1 20 1 48
ASE_00118 0.39 0.30 0.50 31 60664 34 3 28 3 71
ASE_00119 0.30 0.24 0.38 26 62767 43 2 40 1 82
ASE_00120 0.72 0.57 0.92 54 46912 7 0 5 2 40
ASE_00121 0.77 0.63 0.94 58 45088 5 0 4 1 34
ASE_00122 0.66 0.58 0.75 51 43297 20 1 16 3 37
ASE_00123 0.67 0.53 0.85 45 38450 10 2 6 2 40
ASE_00125 0.68 0.51 0.90 45 39290 7 1 4 2 43
ASE_00128 0.66 0.54 0.82 54 53235 15 1 11 3 46
ASE_00129 0.68 0.53 0.88 59 62768 11 1 7 3 52
ASE_00131 0.63 0.47 0.83 40 39292 10 1 7 2 45
ASE_00132 0.48 0.40 0.57 38 50336 31 4 25 2 57
ASE_00134 0.73 0.62 0.86 59 50334 13 1 9 3 36
ASE_00135 0.40 0.32 0.51 35 63121 35 4 30 1 74
ASE_00136 0.78 0.67 0.91 62 48137 9 1 5 3 30
ASE_00137 0.53 0.43 0.66 42 48452 25 2 20 3 56
ASE_00138 0.73 0.63 0.85 51 40410 13 3 6 4 30
ASE_00139 0.48 0.35 0.67 36 54231 19 0 18 1 68
ASE_00140 0.47 0.34 0.65 42 70811 26 3 20 3 83
ASE_00142 0.79 0.70 0.89 86 67064 14 3 8 3 36
ASE_00145 0.58 0.40 0.85 44 70073 9 0 8 1 67
ASE_00146 0.78 0.66 0.92 82 70787 10 2 5 3 42
ASE_00148 0.47 0.28 0.80 43 112521 12 0 11 1 111
ASE_00151 0.79 0.71 0.88 70 51923 13 7 3 3 28
ASE_00153 0.60 0.48 0.76 35 57584 26 0 11 15 38
ASE_00154 0.61 0.50 0.76 53 65271 18 4 13 1 54
ASE_00155 0.54 0.35 0.83 50 93468 12 0 10 2 92
ASE_00161 0.69 0.64 0.75 56 53553 29 4 15 10 31
ASE_00163 0.79 0.70 0.89 65 53228 11 2 6 3 28
ASE_00165 0.56 0.43 0.74 43 52917 19 1 14 4 58
ASE_00168 0.59 0.48 0.72 31 60683 27 0 12 15 33
ASE_00169 0.47 0.34 0.65 36 57236 22 1 18 3 71
ASE_00170 0.71 0.62 0.82 58 48757 16 2 11 3 35
ASE_00171 0.59 0.49 0.71 46 48451 22 1 18 3 48
ASE_00172 0.59 0.46 0.75 49 58931 19 4 12 3 57
ASE_00174 0.54 0.42 0.69 46 61008 24 3 18 3 63
ASE_00175 0.71 0.55 0.91 59 59966 9 1 5 3 48
ASE_00176 0.46 0.35 0.60 38 59968 27 1 24 2 72
ASE_00179 0.57 0.49 0.66 41 44191 24 4 17 3 43
ASE_00180 0.72 0.61 0.85 61 51288 14 2 9 3 39
ASE_00181 0.59 0.45 0.76 48 57567 19 3 12 4 58
ASE_00182 0.35 0.24 0.51 33 84190 33 3 29 1 103
ASE_00183 0.65 0.52 0.81 59 61352 17 0 14 3 54
ASE_00184 0.69 0.55 0.86 56 54550 12 0 9 3 46
ASE_00185 0.23 0.16 0.32 21 73470 46 8 37 1 107
ASE_00186 0.72 0.62 0.84 82 78905 21 2 14 5 50
ASE_00187 0.58 0.43 0.78 49 68572 17 1 13 3 66
ASE_00189 0.63 0.57 0.70 58 63107 35 5 20 10 44
ASE_00190 0.53 0.42 0.67 38 45394 23 5 14 4 52
ASE_00191 0.82 0.70 0.96 43 29601 4 0 2 2 18
ASE_00192 0.29 0.23 0.38 30 84588 51 6 42 3 103
ASE_00194 0.60 0.50 0.71 60 73452 32 5 19 8 59
ASE_00196 0.66 0.52 0.85 39 31580 9 0 7 2 36
ASE_00197 0.67 0.55 0.82 80 89156 20 2 15 3 65
ASE_00198 0.75 0.61 0.93 62 52583 8 1 4 3 40
ASE_00203 0.56 0.47 0.68 45 46599 24 1 20 3 51
ASE_00204 0.62 0.53 0.72 59 67814 30 6 17 7 53
ASE_00205 0.71 0.59 0.85 53 45994 12 0 9 3 37
ASE_00209 0.77 0.65 0.92 57 43009 7 0 5 2 31
ASE_00210 0.69 0.54 0.90 35 27222 5 0 4 1 30
ASE_00212 0.67 0.54 0.82 80 93864 20 2 15 3 68
ASE_00213 0.65 0.48 0.86 32 27224 6 0 5 1 34
ASE_00214 0.74 0.63 0.87 65 56205 13 2 8 3 38
ASE_00215 0.38 0.26 0.54 26 48468 23 2 20 1 73
ASE_00216 0.69 0.59 0.81 48 39281 14 3 8 3 34
ASE_00217 0.81 0.71 0.93 64 40401 8 2 3 3 26
ASE_00221 0.78 0.69 0.89 81 64529 13 2 8 3 36
ASE_00222 0.47 0.27 0.82 42 112050 10 0 9 1 115
ASE_00227 0.28 0.21 0.38 28 78930 47 1 44 2 105
ASE_00228 0.62 0.51 0.76 44 46913 18 2 12 4 42
ASE_00229 0.72 0.62 0.84 54 42422 13 1 9 3 33
ASE_00231 0.49 0.40 0.60 38 47832 27 5 20 2 58
ASE_00232 0.63 0.57 0.71 48 38435 23 4 16 3 36
ASE_00234 0.23 0.17 0.32 22 75398 48 3 43 2 107
ASE_00237 0.56 0.48 0.66 27 45712 30 2 12 16 29
ASE_00238 0.54 0.39 0.76 44 64203 17 3 11 3 70
ASE_00240 0.61 0.49 0.74 46 46603 19 1 15 3 47
ASE_00241 0.80 0.72 0.89 63 43885 11 2 6 3 24
ASE_00242 0.82 0.75 0.90 84 60982 12 2 7 3 28
ASE_00245 0.17 0.09 0.33 7 55257 20 3 11 6 71
ASE_00246 0.60 0.48 0.74 32 48162 25 0 11 14 35
ASE_00247 0.59 0.48 0.72 31 54242 28 0 12 16 33
ASE_00248 0.81 0.72 0.92 82 62392 11 2 5 4 32
ASE_00250 0.60 0.49 0.73 64 78915 25 4 20 1 67
ASE_00252 0.47 0.35 0.64 58 115350 37 4 28 5 110
ASE_00254 0.67 0.59 0.77 48 36794 17 1 13 3 34
ASE_00255 0.61 0.50 0.74 65 74603 26 5 18 3 65
ASE_00257 0.72 0.58 0.90 56 50978 9 4 2 3 41
ASE_00258 0.15 0.11 0.21 6 26768 24 4 18 2 48
ASE_00259 0.59 0.48 0.73 58 73073 28 1 21 6 63
ASE_00263 0.52 0.39 0.68 47 70431 25 3 19 3 73
ASE_00264 0.28 0.14 0.56 14 49116 15 0 11 4 86
ASE_00267 0.75 0.65 0.86 57 45084 12 2 7 3 31
ASE_00270 0.39 0.27 0.56 35 72328 32 0 27 5 93
ASE_00274 0.60 0.48 0.77 49 55547 18 1 14 3 54
ASE_00277 0.60 0.48 0.75 44 48146 19 1 14 4 47
ASE_00279 0.78 0.65 0.93 66 53230 8 2 3 3 35
ASE_00280 0.73 0.62 0.85 61 51931 14 1 10 3 37
ASE_00281 0.79 0.68 0.91 60 44485 9 2 4 3 28
ASE_00282 0.48 0.35 0.65 45 77746 26 3 21 2 82
ASE_00283 0.68 0.56 0.82 60 61703 16 2 11 3 47
ASE_00284 0.67 0.54 0.84 58 58242 14 2 9 3 50
ASE_00285 0.51 0.40 0.64 49 68930 30 2 25 3 73
ASE_00286 0.68 0.58 0.82 53 46600 15 1 11 3 39
ASE_00287 0.67 0.54 0.84 56 54879 14 2 9 3 47
ASE_00288 0.64 0.54 0.77 50 45991 18 2 13 3 43
ASE_00289 0.54 0.42 0.70 66 100931 31 3 25 3 91
ASE_00292 0.77 0.65 0.92 90 81712 11 3 5 3 48
ASE_00294 0.67 0.51 0.87 88 114380 16 2 11 3 83
ASE_00295 0.76 0.63 0.92 82 73831 10 2 5 3 49
ASE_00296 0.68 0.54 0.87 78 91716 15 3 9 3 67
ASE_00297 0.62 0.50 0.77 49 52911 18 0 15 3 49
ASE_00298 0.55 0.42 0.72 47 67463 21 4 14 3 66
ASE_00299 0.32 0.24 0.42 24 49398 34 1 32 1 76
ASE_00303 0.29 0.20 0.43 19 67852 30 7 18 5 76
ASE_00305 0.73 0.68 0.77 58 54540 28 4 13 11 27
ASE_00313 0.39 0.20 0.75 18 62457 17 0 6 11 71
ASE_00316 0.27 0.17 0.41 17 107839 35 3 21 11 81
ASE_00318 0.63 0.54 0.74 64 80113 37 6 17 14 54
ASE_00321 0.74 0.69 0.79 61 54538 25 4 12 9 27
ASE_00327 0.28 0.18 0.43 16 57254 24 1 20 3 73
ASE_00328 0.73 0.66 0.80 74 72679 31 5 13 13 38
ASE_00329 0.34 0.24 0.48 15 40724 21 11 5 5 48
ASE_00330 0.28 0.17 0.47 15 56248 24 0 17 7 75
ASE_00332 0.74 0.63 0.88 87 81711 15 2 10 3 51
ASE_00335 0.72 0.66 0.78 76 75369 33 6 15 12 40
ASE_00337 0.35 0.24 0.50 17 39306 24 2 15 7 54
ASE_00338 0.31 0.19 0.50 19 66392 21 2 17 2 79
ASE_00339 0.44 0.34 0.58 40 80131 37 3 26 8 79
ASE_00340 0.51 0.45 0.59 38 45992 31 3 23 5 47
ASE_00342 0.81 0.72 0.91 83 62390 11 3 5 3 32
ASE_00343 0.27 0.20 0.35 23 83371 49 4 38 7 90
ASE_00346 0.61 0.49 0.75 48 48141 18 2 14 2 49
ASE_00353 0.69 0.56 0.86 60 57900 13 1 9 3 47
ASE_00359 0.37 0.26 0.51 21 42737 24 1 19 4 59
ASE_00360 0.78 0.63 0.98 41 29361 2 0 1 1 24
ASE_00361 0.66 0.46 0.94 59 75403 7 1 3 3 68
ASE_00362 0.76 0.66 0.88 60 48137 12 2 6 4 31
ASE_00363 0.77 0.63 0.94 59 51297 7 1 3 3 35
ASE_00364 0.70 0.57 0.87 60 54216 12 1 8 3 45
ASE_00366 0.58 0.48 0.70 47 58586 23 6 14 3 51
ASE_00367 0.79 0.71 0.88 61 43002 11 2 6 3 25
ASE_00369 0.71 0.58 0.86 62 55873 13 1 9 3 45
ASE_00370 0.81 0.71 0.92 60 41840 8 1 4 3 24
ASE_00372 0.57 0.45 0.71 45 51940 21 2 16 3 55
ASE_00374 0.79 0.68 0.91 60 44784 9 2 4 3 28
ASE_00375 0.50 0.39 0.64 43 60311 26 1 23 2 67
ASE_00376 0.65 0.55 0.76 58 56877 21 2 16 3 47
ASE_00377 0.72 0.58 0.89 62 57560 11 1 7 3 45
ASE_00379 0.76 0.66 0.87 59 45988 12 2 7 3 30
ASE_00380 0.51 0.40 0.65 40 54884 24 1 21 2 59
ASE_00382 0.79 0.71 0.88 60 41837 11 2 6 3 24
ASE_00383 0.78 0.67 0.91 70 54538 10 2 5 3 35
ASE_00384 0.72 0.61 0.85 56 48450 13 1 9 3 36
ASE_00385 0.55 0.47 0.64 38 41846 24 3 18 3 43
ASE_00386 0.75 0.61 0.92 59 50339 8 1 4 3 37
ASE_00387 0.60 0.50 0.71 52 55872 25 2 19 4 52
ASE_00388 0.74 0.64 0.85 57 45686 14 2 8 4 32
ASE_00390 0.78 0.68 0.89 58 42130 10 2 5 3 27
ASE_00393 0.68 0.57 0.82 53 47830 15 1 11 3 40
ASE_00394 0.73 0.62 0.87 58 46904 12 1 8 3 35
ASE_00395 0.82 0.71 0.94 60 41552 7 1 3 3 24
ASE_00396 0.75 0.66 0.85 55 41551 12 2 8 2 28
ASE_00397 0.74 0.61 0.90 64 54544 10 2 5 3 41
ASE_00398 0.65 0.52 0.82 54 55879 15 0 12 3 50
ASE_00400 0.45 0.37 0.56 39 57900 33 2 29 2 67
ASE_00401 0.55 0.40 0.76 51 76961 19 0 16 3 75
ASE_00402 0.83 0.74 0.94 63 42419 7 1 3 3 22
ASE_00403 0.71 0.57 0.90 61 55877 10 1 6 3 46
ASE_00404 0.78 0.67 0.90 57 43008 10 2 4 4 28
ASE_00406 0.79 0.68 0.93 64 48759 8 2 3 3 30
ASE_00411 0.59 0.48 0.72 43 49395 20 2 15 3 46
ASE_00412 0.55 0.42 0.72 44 58250 20 1 16 3 61
ASE_00413 0.68 0.57 0.82 46 44495 14 1 9 4 35
ASE_00414 0.19 0.16 0.24 15 46298 48 3 44 1 80
ASE_00415 0.39 0.31 0.48 32 54880 36 3 31 2 71
ASE_00416 0.69 0.60 0.80 76 77326 23 3 16 4 51
ASE_00417 0.78 0.63 0.95 63 54549 5 0 3 2 37
ASE_00418 0.71 0.55 0.91 41 38736 6 0 4 2 34
ASE_00419 0.59 0.49 0.72 50 54877 20 3 16 1 53
ASE_00420 0.16 0.11 0.23 7 43335 29 5 18 6 56
ASE_00422 0.58 0.49 0.69 46 46904 24 3 18 3 48
ASE_00423 0.81 0.72 0.90 79 56865 13 3 6 4 30
ASE_00426 0.42 0.36 0.48 39 60994 42 3 39 0 69
ASE_00427 0.56 0.41 0.76 19 40730 18 1 5 12 27
ASE_00428 0.69 0.60 0.80 75 76542 22 5 14 3 50
ASE_00430 0.55 0.45 0.68 44 46906 24 1 20 3 53
ASE_00431 0.27 0.22 0.34 21 46299 40 8 32 0 74
ASE_00434 0.62 0.55 0.71 60 68180 34 5 20 9 50
ASE_00437 0.58 0.50 0.69 67 79304 33 2 28 3 68
ASE_00438 0.41 0.32 0.54 37 65997 33 6 26 1 79
ASE_00441 0.32 0.24 0.43 27 64198 40 4 32 4 85
ASE_00443 0.15 0.08 0.27 4 26781 18 0 11 7 46
ASE_00447 0.80 0.72 0.90 83 60286 12 2 7 3 33
ASE_00448 0.80 0.72 0.88 81 64169 14 2 9 3 31
ASE_00451 0.77 0.66 0.88 83 70782 14 2 9 3 42
ASE_00454 0.05 0.03 0.09 2 43342 25 1 20 4 61
CRW_00013 0.33 0.21 0.53 24 103695 23 4 17 2 91
CRW_00016 0.31 0.19 0.51 23 77376 24 7 15 2 97
CRW_00610 0.16 0.09 0.32 7 36293 15 1 14 0 74
CRW_00613 0.00 0.00 0.00 0 34956 24 7 17 0 78
CRW_00614 0.00 0.00 0.00 0 121749 22 4 18 0 57
CRW_00618 0.18 0.10 0.32 6 56261 13 1 12 0 55
CRW_00619 0.00 0.00 0.00 0 165006 19 2 17 0 73
CRW_00620 0.00 0.00 0.00 0 150963 16 0 12 4 63
CRW_00621 0.00 0.00 0.00 0 153149 34 7 25 2 71
CRW_00623 0.00 0.00 0.00 0 129785 17 1 9 7 83
CRW_00633 0.45 0.27 0.74 29 63507 14 0 10 4 77
CRW_00634 0.47 0.30 0.74 28 64582 18 0 10 8 66
CRW_00670 0.47 0.26 0.86 31 70089 7 0 5 2 89
CRW_00671 0.56 0.37 0.84 43 62784 10 0 8 2 74
CRW_00672 0.43 0.28 0.67 31 72344 17 0 15 2 80
CRW_00674 0.22 0.14 0.37 17 83390 29 5 24 0 107
CRW_00676 0.03 0.02 0.07 2 93500 31 4 22 5 113
CRW_00692 0.03 0.01 0.06 1 68619 22 0 15 7 89
PDB_00827 0.00 0.00 0.00 0 27011 17 1 16 0 81
PDB_00919 0.27 0.21 0.35 22 44191 40 3 37 0 81
RFA_00597 0.71 0.66 0.76 72 97808 43 8 15 20 37
RFA_00598 0.72 0.68 0.77 69 84576 40 5 16 19 32
RFA_00599 0.54 0.51 0.57 57 101375 62 5 38 19 54
RFA_00600 0.53 0.49 0.57 49 120209 62 10 27 25 51
RFA_00601 0.74 0.73 0.75 83 99124 49 4 24 21 31
RFA_00602 0.69 0.68 0.69 79 101361 50 5 30 15 37
RFA_00606 0.53 0.51 0.56 20 21285 25 4 12 9 19
RFA_00620 0.20 0.18 0.23 7 21915 33 7 16 10 32
RFA_00621 0.34 0.18 0.64 14 46338 14 0 8 6 62
RFA_00623 0.42 0.23 0.75 18 43932 10 1 5 4 60
RFA_00624 0.27 0.18 0.39 11 30107 20 0 17 3 50
RFA_00626 0.89 0.87 0.92 76 56533 29 2 5 22 11
RFA_00627 0.83 0.79 0.87 69 56874 36 1 9 26 18
RFA_00628 0.85 0.81 0.89 70 57212 38 2 7 29 16
RFA_00630 0.82 0.78 0.86 68 56874 33 2 9 22 19
RFA_00639 0.31 0.31 0.31 27 54527 69 10 51 8 60
RFA_00805 0.78 0.72 0.84 108 133257 31 1 20 10 42
RFA_00814 0.95 0.93 0.97 38 25161 22 0 1 21 3
RFA_00815 0.96 0.93 1.00 38 24493 15 0 0 15 3
RFA_00816 0.96 0.93 1.00 38 23182 15 0 0 15 3
RFA_00817 0.94 0.88 1.00 36 21909 12 0 0 12 5
RFA_00818 0.64 0.68 0.61 28 20255 30 11 7 12 13
RFA_00819 0.94 0.90 0.97 37 27928 26 0 1 25 4
RFA_00820 0.88 0.88 0.87 141 151363 51 0 21 30 19
RFA_00830 0.61 0.59 0.63 91 152484 92 2 51 39 63
SRP_00002 0.84 0.82 0.87 84 45053 19 0 13 6 18
SRP_00006 0.84 0.82 0.86 83 45657 22 0 13 9 18
SRP_00009 0.82 0.80 0.83 82 46566 28 0 17 11 20
SRP_00011 0.77 0.77 0.78 80 46257 31 0 23 8 24
SRP_00012 0.86 0.84 0.89 85 46264 26 0 11 15 16
SRP_00015 0.87 0.85 0.89 84 46266 25 0 10 15 15
SRP_00016 0.92 0.89 0.95 97 47793 15 0 5 10 12
SRP_00018 0.84 0.74 0.95 60 38440 16 0 3 13 21
SRP_00019 0.76 0.65 0.88 59 35979 18 0 8 10 32
SRP_00024 0.81 0.75 0.88 65 37601 13 0 9 4 22
SRP_00026 0.80 0.73 0.88 64 36783 15 0 9 6 24
SRP_00027 0.83 0.76 0.90 66 37055 14 0 7 7 21
SRP_00030 0.84 0.78 0.91 69 36780 11 0 7 4 19
SRP_00031 0.84 0.78 0.91 69 36239 11 0 7 4 20
SRP_00037 0.84 0.77 0.92 67 36512 13 0 6 7 20
SRP_00050 0.92 0.91 0.94 90 44754 20 0 6 14 9
SRP_00053 0.89 0.87 0.90 82 45059 25 0 9 16 12
SRP_00060 0.93 0.91 0.95 91 44455 15 0 5 10 9
SRP_00061 0.93 0.91 0.95 91 44754 15 0 5 10 9
SRP_00066 0.85 0.83 0.86 83 45355 25 0 13 12 17
SRP_00069 0.66 0.58 0.77 49 34389 25 3 12 10 36
SRP_00070 0.45 0.37 0.55 45 126674 45 7 30 8 76
SRP_00073 0.66 0.61 0.72 43 39000 31 4 13 14 28
SRP_00079 0.68 0.66 0.71 58 41823 39 0 24 15 30
SRP_00085 0.81 0.79 0.82 80 45354 30 0 17 13 21
SRP_00086 0.91 0.90 0.93 90 44156 17 0 7 10 10
SRP_00087 0.32 0.34 0.31 20 37336 53 16 29 8 38
SRP_00088 0.77 0.69 0.86 61 34120 13 1 9 3 28
SRP_00089 0.80 0.73 0.88 66 35703 13 1 8 4 24
SRP_00090 0.78 0.71 0.86 64 35437 14 1 9 4 26
SRP_00091 0.59 0.48 0.73 46 52912 29 3 14 12 49
SRP_00099 0.55 0.56 0.55 53 44753 48 3 41 4 42
SRP_00102 0.90 0.88 0.93 89 44455 16 0 7 9 12
SRP_00103 0.91 0.89 0.92 91 45352 17 0 8 9 11
SRP_00104 0.53 0.49 0.57 34 34393 37 5 21 11 35
SRP_00117 0.81 0.78 0.83 80 45355 24 0 16 8 22
SRP_00123 0.78 0.76 0.81 69 36500 24 3 13 8 22
SRP_00124 0.60 0.55 0.64 47 37055 30 6 20 4 38
SRP_00127 0.55 0.42 0.71 50 72320 24 3 17 4 69
SRP_00130 0.74 0.70 0.77 68 49682 35 1 19 15 29
SRP_00136 0.57 0.54 0.61 38 44191 37 9 15 13 33
SRP_00142 0.89 0.87 0.90 81 45966 25 0 9 16 12
SRP_00143 0.84 0.83 0.85 84 49671 26 0 15 11 17
SRP_00144 0.87 0.86 0.87 81 46572 28 0 12 16 13
SRP_00148 0.60 0.51 0.72 44 50025 27 0 17 10 43
SRP_00152 0.88 0.86 0.89 89 45653 21 0 11 10 14
SRP_00153 0.86 0.85 0.88 91 46867 22 0 13 9 16
SRP_00157 0.56 0.53 0.60 38 44190 39 5 20 14 34
SRP_00158 0.25 0.18 0.35 21 124191 44 8 31 5 94
SRP_00160 0.42 0.32 0.54 42 86242 46 0 36 10 88
SRP_00171 0.83 0.83 0.84 73 45364 36 0 14 22 15
SRP_00173 0.78 0.70 0.86 63 38153 15 0 10 5 27
SRP_00174 0.77 0.71 0.84 61 38708 15 0 12 3 25
SRP_00175 0.58 0.49 0.69 41 44492 33 2 16 15 43
SRP_00178 0.89 0.88 0.89 90 45652 23 0 11 12 12
SRP_00179 0.87 0.86 0.88 90 45954 23 0 12 11 15
SRP_00181 0.80 0.79 0.80 81 45955 30 0 20 10 21
SRP_00182 0.84 0.83 0.85 84 45957 25 0 15 10 17
SRP_00184 0.78 0.77 0.79 77 45958 34 0 21 13 23
SRP_00188 0.54 0.51 0.58 40 31056 32 7 22 3 39
SRP_00197 0.92 0.90 0.94 91 49358 24 0 6 18 10
SRP_00198 0.90 0.87 0.92 90 50942 24 0 8 16 13
SRP_00199 0.89 0.88 0.91 92 50939 21 0 9 12 13
SRP_00201 0.94 0.93 0.96 103 47788 11 0 4 7 8
SRP_00202 0.89 0.85 0.93 100 54178 16 0 7 9 17
SRP_00203 0.83 0.83 0.83 87 48723 25 0 18 7 18
SRP_00204 0.87 0.85 0.88 87 49042 25 0 12 13 15
SRP_00206 0.94 0.93 0.96 100 47791 14 0 4 10 8
SRP_00208 0.91 0.88 0.95 89 46571 20 0 5 15 12
SRP_00228 0.89 0.87 0.90 83 45359 23 0 9 14 12
SRP_00230 0.68 0.57 0.81 51 39558 23 3 9 11 39
SRP_00234 0.84 0.76 0.93 65 36245 14 0 5 9 21
SRP_00239 0.49 0.52 0.48 48 50302 62 6 47 9 45
SRP_00240 0.76 0.75 0.77 77 48105 33 3 20 10 25
SRP_00241 0.50 0.51 0.49 42 45970 54 8 36 10 40
SRP_00247 0.51 0.54 0.49 47 47182 55 8 41 6 40
SRP_00252 0.65 0.63 0.67 56 49057 40 2 26 12 33
SRP_00253 0.62 0.62 0.62 56 49364 48 5 30 13 34
SRP_00254 0.35 0.36 0.34 22 32321 49 10 32 7 39
SRP_00255 0.74 0.76 0.73 71 47489 40 1 25 14 23
SRP_00257 0.62 0.55 0.69 59 50955 29 4 22 3 49
SRP_00260 0.50 0.47 0.53 47 47806 44 6 36 2 53
SRP_00265 0.63 0.59 0.68 43 41265 35 7 13 15 30
SRP_00267 0.89 0.89 0.90 85 44457 21 0 9 12 11
SRP_00276 0.93 0.91 0.94 100 50615 13 0 6 7 10
SRP_00278 0.73 0.69 0.77 72 45963 26 0 21 5 33
SRP_00282 0.27 0.32 0.23 20 43279 76 19 47 10 43
SRP_00286 0.51 0.36 0.71 63 136937 37 1 25 11 111
SRP_00287 0.48 0.35 0.65 57 141690 43 2 29 12 105
SRP_00290 0.48 0.35 0.65 47 100504 36 2 23 11 88
SRP_00292 0.50 0.36 0.70 62 137461 38 1 26 11 111
SRP_00294 0.60 0.45 0.82 75 129194 27 1 16 10 92
SRP_00299 0.78 0.77 0.80 76 44158 28 0 19 9 23
SRP_00300 0.88 0.86 0.90 81 44163 23 0 9 14 13
SRP_00301 0.58 0.47 0.73 40 32585 26 2 13 11 46
SRP_00302 0.51 0.44 0.58 36 41554 39 3 23 13 45
SRP_00308 0.82 0.73 0.91 64 36245 15 0 6 9 24
SRP_00317 0.89 0.87 0.92 85 45058 22 0 7 15 13
SRP_00321 0.76 0.75 0.78 81 47482 30 0 23 7 27
SRP_00322 0.79 0.75 0.83 82 48417 26 0 17 9 27
SRP_00323 0.85 0.83 0.87 89 47176 22 0 13 9 18
SRP_00328 0.64 0.60 0.69 51 39547 31 4 19 8 34
SRP_00329 0.63 0.60 0.65 51 39825 35 4 23 8 34
SRP_00330 0.80 0.80 0.81 76 49992 29 2 16 11 19
SRP_00331 0.55 0.48 0.64 42 37609 30 1 23 6 45
SRP_00332 0.95 0.93 0.97 99 50301 15 0 3 12 7
SRP_00335 0.35 0.44 0.29 17 35186 58 21 21 16 22
SRP_00337 0.78 0.71 0.84 65 35434 14 1 11 2 26
SRP_00339 0.78 0.78 0.78 73 44458 27 4 16 7 21
SRP_00340 0.58 0.56 0.60 46 41251 43 4 27 12 36
SRP_00347 0.93 0.93 0.94 89 46570 18 0 6 12 7
SRP_00361 0.77 0.77 0.77 69 41815 33 5 16 12 21
SRP_00368 0.90 0.88 0.92 86 43863 19 0 7 12 12
SRP_00371 0.76 0.71 0.82 58 36244 22 2 11 9 24
SRP_00382 0.53 0.38 0.74 64 141691 31 0 23 8 106
TMR_00173 0.41 0.31 0.54 13 42171 18 2 9 7 29
TMR_00357 0.19 0.13 0.28 12 82985 38 4 27 7 80
TMR_00601 0.67 0.62 0.72 26 58960 30 1 9 20 16
TMR_00603 0.78 0.70 0.88 30 60344 30 0 4 26 13
TMR_00611 0.48 0.35 0.65 36 61370 19 4 15 0 66
TMR_00696 0.35 0.25 0.51 28 85023 34 3 24 7 86

^top


Matthews Correlation Coeffient, Sensitivity and Positive Predictive Value have been calculated based on the paper by Gardener & Giegerich, 2004.