CompaRNA - on-line benchmarks of RNA structure prediction methods
Home

Methods
Datasets
Rankings
RNA 2D Atlas

Help
FAQ

Contact us
RSS feeds
Twitter

Table of contents:

  1. Overview

  2. Performance Plots

  3. Performance of Vsfold4 - scored higher in this pairwise comparison

  4. Performance of NanoFolder - scored lower in this pairwise comparison

  5. Compile and download dataset for Vsfold4 & NanoFolder [.zip] - may take several seconds...


Overview

Metric Vsfold4 NanoFolder
MCC 0.329 > 0.171
Average MCC ± 95% Confidence Intervals 0.325 ± 0.028 > 0.169 ± 0.020
Sensitivity 0.300 > 0.203
Positive Predictive Value 0.362 > 0.147
Total TP 3799 > 2569
Total TN 7473299 > 7466314
Total FP 7291 < 15453
Total FP CONTRA 843 < 2732
Total FP INCONS 5866 < 12192
Total FP COMP 582 > 529
Total FN 8845 < 10075
P-value 3.56938820447e-08

^top




Performance plots


  1. Comparison of performance of Vsfold4 and NanoFolder. Positive Predictive Value (PPV) is plotted against sensitivity. Each dot represents a single test of each method. See tables below for raw data (individual counts for Vsfold4 and NanoFolder).

  2. Average Matthews Correlation Coefficients (MCC) with 95% confidence intervals (CIs) were plotted for different RNA families, for which at least 3 members were present in the benchmarking dataset. 'n' denotes the number of MCCs used to calculate the average and CI. See tables below for raw data (individual counts for Vsfold4 and NanoFolder).

  3. Comparison of average Matthews Correlation Coefficients (MCCs) for Vsfold4 and NanoFolder. The whiskers correspond to 95% confidence intervals (CIs). 'n' denotes the number of MCCs used to calculate average MCCs and CIs. See tables below for raw data (individual counts for Vsfold4 and NanoFolder).

^top





Performance of Vsfold4 - scored higher in this pairwise comparison

1. Total counts & total scores for Vsfold4

Total Base Pair Counts
Total TP 3799
Total TN 7473299
Total FP 7291
Total FP CONTRA 843
Total FP INCONS 5866
Total FP COMP 582
Total FN 8845
Total Scores
MCC 0.329
Average MCC ± 95% Confidence Intervals 0.325 ± 0.028
Sensitivity 0.300
Positive Predictive Value 0.362
Nr of predictions 129

^top



2. Individual counts for Vsfold4 [ download as .csv ]

RNA Chain Rfam family MCC SENS PPV TP TN FP FP CONTRA FP INCONS FP COMP FN
ASE_00017 0.16 0.16 0.16 10 50976 69 14 40 15 54
ASE_00083 0.55 0.50 0.60 55 62389 41 5 32 4 55
ASE_00122 0.49 0.42 0.58 37 43301 28 1 26 1 51
ASE_00185 0.39 0.32 0.47 41 73448 49 2 45 2 87
ASE_00190 0.42 0.37 0.49 33 45383 38 7 28 3 57
ASE_00191 0.56 0.52 0.59 32 29592 26 0 22 4 29
ASE_00196 0.17 0.15 0.19 11 31569 47 4 42 1 64
ASE_00221 0.38 0.32 0.44 38 64533 49 3 46 0 79
ASE_00227 0.38 0.33 0.44 44 78904 55 3 52 0 89
ASE_00228 0.35 0.33 0.37 28 46896 49 13 34 2 58
ASE_00229 0.58 0.52 0.64 45 42416 27 1 24 2 42
ASE_00231 0.66 0.63 0.71 60 47810 25 8 17 0 36
ASE_00234 0.32 0.26 0.40 33 75384 49 2 47 0 96
ASE_00238 0.34 0.31 0.39 35 64171 55 3 52 0 79
ASE_00248 0.41 0.36 0.48 41 62395 48 1 44 3 73
ASE_00250 0.47 0.43 0.53 56 78897 53 6 44 3 75
ASE_00254 0.34 0.30 0.38 25 36790 46 4 37 5 57
ASE_00255 0.33 0.29 0.38 38 74591 62 9 53 0 92
ASE_00257 0.54 0.47 0.62 46 50966 28 2 26 0 51
ASE_00267 0.38 0.34 0.43 30 45081 47 3 36 8 58
ASE_00270 0.39 0.36 0.43 46 72283 61 4 57 0 82
ASE_00274 0.38 0.34 0.42 35 55527 49 4 45 0 68
ASE_00277 0.31 0.29 0.33 26 48127 52 8 44 0 65
ASE_00279 0.26 0.23 0.31 23 53226 53 4 48 1 78
ASE_00285 0.49 0.43 0.56 52 68913 41 1 40 0 70
ASE_00287 0.40 0.34 0.47 35 54872 41 0 39 2 68
ASE_00295 0.40 0.35 0.46 46 73821 55 1 52 2 85
ASE_00298 0.38 0.33 0.44 37 67443 51 0 48 3 76
ASE_00318 0.38 0.35 0.41 41 80101 61 5 53 3 77
ASE_00321 0.32 0.30 0.34 26 54539 50 5 45 0 62
ASE_00335 0.35 0.32 0.39 37 75372 61 4 53 4 79
ASE_00339 0.38 0.34 0.42 41 80103 57 7 49 1 78
ASE_00340 0.43 0.38 0.48 32 45990 34 9 25 0 53
ASE_00343 0.43 0.41 0.46 46 83336 61 5 49 7 67
ASE_00344 - 0.50 0.48 0.52 27 27209 35 4 21 10 29
ASE_00350 - 0.40 0.40 0.40 21 29594 42 13 18 11 31
ASE_00367 0.30 0.27 0.33 23 43001 51 5 42 4 63
ASE_00370 0.41 0.37 0.46 31 41837 42 5 32 5 53
ASE_00372 0.44 0.40 0.48 40 51919 49 1 43 5 60
ASE_00375 0.61 0.55 0.67 61 60287 36 1 29 6 49
ASE_00376 0.59 0.53 0.66 56 56868 33 4 25 4 49
ASE_00377 0.67 0.63 0.73 67 57538 29 3 22 4 40
ASE_00386 0.43 0.39 0.47 37 50325 46 7 34 5 59
ASE_00393 0.34 0.30 0.39 28 47824 49 1 42 6 65
ASE_00412 0.43 0.38 0.48 40 58228 43 5 38 0 65
ASE_00413 0.60 0.58 0.62 47 44475 35 8 21 6 34
ASE_00416 0.40 0.35 0.45 45 77321 55 2 53 0 82
ASE_00417 0.46 0.44 0.47 44 54522 50 3 46 1 56
ASE_00422 0.71 0.64 0.79 60 46895 21 1 15 5 34
ASE_00427 0.00 0.00 0.00 0 40700 67 10 45 12 46
ASE_00428 0.26 0.23 0.29 29 76537 70 2 68 0 96
ASE_00429 - 0.23 0.21 0.25 14 28147 47 4 38 5 52
ASE_00430 0.75 0.67 0.83 65 46893 18 1 12 5 32
ASE_00434 0.36 0.34 0.38 37 68167 64 11 50 3 73
ASE_00437 0.40 0.34 0.46 46 79302 53 2 51 0 89
ASE_00451 0.38 0.34 0.43 42 70778 56 3 53 0 83
ASE_00454 0.34 0.32 0.36 20 43309 55 7 29 19 43
CRW_00654 - 0.67 0.62 0.73 77 78104 30 3 26 1 47
CRW_00658 - 0.31 0.27 0.34 28 74609 60 3 51 6 74
CRW_00663 - 0.17 0.16 0.19 10 26053 47 2 41 4 51
CRW_00664 - 0.21 0.21 0.21 16 53551 71 10 51 10 62
CRW_00671 0.55 0.50 0.60 59 62736 40 2 38 0 58
CRW_00672 0.30 0.29 0.32 32 72291 71 14 53 4 79
CRW_00674 0.29 0.26 0.33 32 83339 67 8 57 2 92
CRW_00676 0.34 0.34 0.34 39 93413 80 20 56 4 76
CRW_00688 - 0.72 0.70 0.74 40 21891 17 5 9 3 17
CRW_00721 - 0.27 0.25 0.28 17 58593 63 7 36 20 51
PDB_00078 - 0.42 0.38 0.47 44 49677 49 6 43 0 71
PDB_00278 - 0.47 0.43 0.53 31 24917 28 2 26 0 41
PDB_00701 - 0.15 0.14 0.17 15 45365 72 7 64 1 94
PDB_00917 - 0.64 0.58 0.71 55 35168 30 4 18 8 40
PDB_01076 - 0.44 0.38 0.52 30 23378 29 1 27 1 49
RFA_00620 0.22 0.23 0.21 9 21903 40 11 22 7 30
RFA_00816 0.12 0.12 0.13 5 23181 42 9 25 8 36
SRP_00103 0.18 0.17 0.19 17 45362 72 2 70 0 85
SRP_00117 0.19 0.17 0.21 17 45370 66 3 61 2 85
SRP_00144 0.18 0.17 0.20 16 46584 67 5 60 2 78
SRP_00173 0.11 0.10 0.12 9 38151 66 6 60 0 81
SRP_00197 0.08 0.07 0.09 7 49377 71 8 63 0 94
SRP_00198 0.00 0.00 0.00 0 50960 80 8 72 0 103
SRP_00234 0.07 0.07 0.08 6 36239 71 5 65 1 80
SRP_00267 0.21 0.19 0.24 18 44477 56 4 52 0 78
SRP_00276 0.14 0.13 0.16 14 50632 75 9 66 0 96
SRP_00278 0.13 0.12 0.14 13 45965 78 5 73 0 92
SRP_00308 0.13 0.11 0.14 10 36245 60 12 48 0 78
SRP_00317 0.10 0.09 0.11 9 45069 74 2 70 2 89
SRP_00321 0.24 0.20 0.28 22 47506 59 6 52 1 86
SRP_00322 0.18 0.17 0.19 18 48423 75 5 70 0 91
SRP_00332 0.23 0.21 0.25 22 50316 66 2 63 1 84
SRP_00337 0.07 0.07 0.08 6 35435 70 3 67 0 85
SRP_00354 - 0.14 0.13 0.15 12 38703 66 7 59 0 81
SRP_00355 - 0.19 0.18 0.22 17 41826 62 10 52 0 79
TMR_00036 0.23 0.21 0.27 21 90446 83 7 51 25 80
TMR_00123 0.35 0.33 0.38 33 66344 58 7 46 5 68
TMR_00180 0.32 0.31 0.34 31 67069 67 19 42 6 68
TMR_00240 0.27 0.27 0.27 23 63104 66 15 48 3 62
TMR_00352 0.12 0.12 0.13 9 95195 91 17 45 29 66
TMR_00353 0.16 0.15 0.17 16 84160 95 17 62 16 89
TMR_00357 0.24 0.22 0.26 20 82950 75 7 51 17 72
TMR_00361 - 0.15 0.15 0.14 11 93450 84 24 43 17 61
TMR_00374 0.14 0.13 0.14 12 81727 84 9 62 13 80
TMR_00384 0.33 0.29 0.39 31 65624 52 3 45 4 77
TMR_00395 0.50 0.45 0.56 49 64532 44 4 35 5 60
TMR_00398 0.44 0.40 0.50 42 65257 46 1 41 4 64
TMR_00399 0.17 0.17 0.18 16 64889 78 15 60 3 78
TMR_00430 0.17 0.17 0.19 18 82525 84 7 71 6 91
TMR_00431 0.31 0.31 0.32 17 51950 70 10 26 34 38
TMR_00443 0.17 0.14 0.20 15 67085 65 3 58 4 89
TMR_00457 0.24 0.22 0.26 22 78521 66 16 47 3 80
TMR_00469 0.34 0.33 0.34 33 64524 70 11 52 7 67
TMR_00502 0.33 0.33 0.34 31 75374 69 25 36 8 62
TMR_00503 0.36 0.32 0.42 35 67812 56 1 48 7 76
TMR_00519 0.23 0.22 0.25 21 63105 74 12 52 10 74
TMR_00528 0.08 0.07 0.09 7 63109 83 16 58 9 90
TMR_00541 0.32 0.30 0.35 32 61684 65 13 47 5 73
TMR_00547 0.23 0.21 0.25 21 65258 71 4 58 9 79
TMR_00562 0.20 0.19 0.22 19 72685 71 11 56 4 83
TMR_00566 0.32 0.30 0.33 30 60636 64 7 53 4 70
TMR_00571 0.19 0.18 0.20 18 60637 72 7 64 1 81
TMR_00584 0.37 0.34 0.40 33 60993 56 8 41 7 64
TMR_00594 0.24 0.22 0.26 23 79313 69 6 59 4 81
TMR_00605 0.28 0.26 0.31 28 74216 66 15 46 5 80
TMR_00609 0.29 0.27 0.32 30 63453 65 8 55 2 83
TMR_00624 0.33 0.29 0.38 31 62400 55 4 46 5 77
TMR_00683 0.10 0.10 0.11 10 82934 94 10 74 10 90
TMR_00698 0.25 0.24 0.27 25 63096 69 7 62 0 79
TMR_00703 0.32 0.29 0.35 29 67446 60 5 48 7 70
TMR_00706 0.25 0.22 0.28 23 66348 59 11 48 0 80
TMR_00711 0.24 0.21 0.27 21 67818 61 14 43 4 77

^top



Performance of NanoFolder - scored lower in this pairwise comparison

1. Total counts & total scores for NanoFolder

Total Base Pair Counts
Total TP 2569
Total TN 7466314
Total FP 15453
Total FP CONTRA 2732
Total FP INCONS 12192
Total FP COMP 529
Total FN 10075
Total Scores
MCC 0.171
Average MCC ± 95% Confidence Intervals 0.169 ± 0.020
Sensitivity 0.203
Positive Predictive Value 0.147
Nr of predictions 129

^top



2. Individual counts for NanoFolder [ download as .csv ]

RNA Chain Rfam family MCC SENS PPV TP TN FP FP CONTRA FP INCONS FP COMP FN
ASE_00017 0.02 0.03 0.02 2 50914 131 38 86 7 62
ASE_00083 0.22 0.25 0.20 27 62347 108 12 95 1 83
ASE_00122 0.27 0.30 0.24 26 43258 84 13 68 3 62
ASE_00185 0.17 0.19 0.16 24 73382 134 14 116 4 104
ASE_00190 0.24 0.28 0.21 25 45334 93 14 78 1 65
ASE_00191 0.36 0.43 0.30 26 29559 67 15 46 6 35
ASE_00196 0.49 0.57 0.42 43 31524 62 16 43 3 32
ASE_00221 0.20 0.21 0.18 25 64484 112 10 101 1 92
ASE_00227 0.28 0.31 0.25 41 78840 122 20 102 0 92
ASE_00228 0.05 0.06 0.04 5 46858 109 17 91 1 81
ASE_00229 0.12 0.14 0.11 12 42380 97 12 82 3 75
ASE_00231 0.37 0.42 0.33 40 47773 84 17 65 2 56
ASE_00234 0.25 0.27 0.23 35 75315 117 10 106 1 94
ASE_00238 0.26 0.30 0.23 34 64111 119 18 98 3 80
ASE_00248 0.13 0.15 0.12 17 62340 124 9 115 0 97
ASE_00250 0.25 0.29 0.23 38 78835 135 17 113 5 93
ASE_00254 0.15 0.16 0.14 13 36761 88 3 79 6 69
ASE_00255 0.11 0.12 0.10 16 74530 146 16 129 1 114
ASE_00257 0.37 0.42 0.33 41 50917 85 15 67 3 56
ASE_00267 0.00 0.00 0.00 0 45036 115 9 105 1 88
ASE_00270 0.19 0.21 0.17 27 72232 132 14 117 1 101
ASE_00274 0.00 0.00 0.00 0 55487 126 12 112 2 103
ASE_00277 0.10 0.12 0.08 11 48071 123 23 100 0 80
ASE_00279 0.14 0.16 0.13 16 53177 109 16 92 1 85
ASE_00285 0.34 0.36 0.31 44 68866 98 14 82 2 78
ASE_00287 0.15 0.17 0.14 17 54824 107 14 91 2 86
ASE_00295 0.14 0.16 0.13 21 73761 140 19 119 2 110
ASE_00298 0.09 0.10 0.08 11 67389 129 8 120 1 102
ASE_00318 0.03 0.04 0.03 5 80039 156 21 135 0 113
ASE_00321 0.11 0.14 0.09 12 54484 122 22 97 3 76
ASE_00335 0.10 0.12 0.09 14 75304 151 22 126 3 102
ASE_00339 0.25 0.29 0.22 34 80042 129 20 104 5 85
ASE_00340 0.06 0.07 0.05 6 45943 110 13 94 3 79
ASE_00343 0.14 0.17 0.12 19 83275 145 31 111 3 94
ASE_00344 - 0.30 0.38 0.24 21 27175 84 18 47 19 35
ASE_00350 - 0.00 0.00 0.00 0 29557 101 20 69 12 52
ASE_00367 0.08 0.09 0.07 8 42960 110 10 93 7 78
ASE_00370 0.03 0.04 0.03 3 41796 109 18 88 3 81
ASE_00372 0.17 0.20 0.15 20 51871 113 19 93 1 80
ASE_00375 0.12 0.14 0.11 15 60246 120 10 107 3 95
ASE_00376 0.00 0.00 0.00 0 56822 136 9 122 5 105
ASE_00377 0.25 0.27 0.23 29 57505 98 10 86 2 78
ASE_00386 0.14 0.16 0.13 15 50284 106 9 95 2 81
ASE_00393 0.31 0.35 0.27 33 47773 90 18 71 1 60
ASE_00412 0.15 0.17 0.14 18 58183 111 14 96 1 87
ASE_00413 0.08 0.10 0.07 8 44438 108 19 86 3 73
ASE_00416 0.39 0.43 0.35 54 77267 103 18 82 3 73
ASE_00417 0.32 0.36 0.28 36 54486 98 18 75 5 64
ASE_00422 0.28 0.31 0.25 29 46856 87 9 77 1 65
ASE_00427 0.06 0.09 0.04 4 40651 105 35 65 5 42
ASE_00428 0.24 0.26 0.22 33 76483 121 13 107 1 92
ASE_00429 - 0.08 0.09 0.07 6 28114 84 14 69 1 60
ASE_00430 0.16 0.18 0.14 17 46852 102 10 92 0 80
ASE_00434 0.29 0.34 0.25 37 68116 122 20 92 10 73
ASE_00437 0.00 0.00 0.00 0 79238 164 12 151 1 135
ASE_00451 0.20 0.22 0.19 27 70731 118 8 110 0 98
ASE_00454 0.24 0.32 0.19 20 43260 103 28 57 18 43
CRW_00654 - 0.41 0.47 0.36 58 78049 105 18 85 2 66
CRW_00658 - 0.21 0.26 0.16 27 74527 137 28 109 0 75
CRW_00663 - 0.08 0.10 0.07 6 26014 90 17 69 4 55
CRW_00664 - 0.14 0.19 0.11 15 53486 134 42 85 7 63
CRW_00671 0.18 0.21 0.16 24 62682 130 23 106 1 93
CRW_00672 0.36 0.43 0.31 48 72233 114 35 74 5 63
CRW_00674 0.16 0.19 0.14 23 83274 142 19 120 3 101
CRW_00676 0.11 0.14 0.09 16 93347 169 29 136 4 99
CRW_00688 - 0.33 0.40 0.27 23 21859 64 21 42 1 34
CRW_00721 - 0.22 0.31 0.15 21 58515 133 46 71 16 47
PDB_00078 - 0.00 0.00 0.00 0 49644 126 10 116 0 115
PDB_00278 - 0.04 0.06 0.04 4 24875 98 13 84 1 68
PDB_00701 - 0.04 0.05 0.04 5 45319 127 14 113 0 104
PDB_00917 - 0.31 0.34 0.29 32 35136 81 10 67 4 63
PDB_01076 - 0.00 0.00 0.00 0 23356 80 7 73 0 79
RFA_00620 0.16 0.23 0.11 9 21864 80 29 43 8 30
RFA_00816 0.00 0.00 0.00 0 23133 89 30 57 2 41
SRP_00103 0.00 0.00 0.00 0 45319 132 14 118 0 102
SRP_00117 0.20 0.23 0.18 23 45322 106 9 97 0 79
SRP_00144 0.05 0.06 0.05 6 46538 122 17 104 1 88
SRP_00173 0.00 0.00 0.00 0 38104 124 13 109 2 90
SRP_00197 0.12 0.14 0.11 14 49324 117 16 101 0 87
SRP_00198 0.07 0.08 0.06 8 50903 129 15 114 0 95
SRP_00234 0.21 0.24 0.18 21 36200 97 19 75 3 65
SRP_00267 0.04 0.05 0.04 5 44424 122 15 107 0 91
SRP_00276 0.19 0.22 0.18 24 50585 112 10 102 0 86
SRP_00278 0.33 0.36 0.30 38 45928 90 14 76 0 67
SRP_00308 0.14 0.17 0.12 15 36189 112 18 93 1 73
SRP_00317 0.14 0.16 0.12 16 45018 116 16 100 0 82
SRP_00321 0.44 0.49 0.40 53 47453 81 16 64 1 55
SRP_00322 0.22 0.25 0.21 27 48385 105 8 96 1 82
SRP_00332 0.12 0.14 0.11 15 50269 120 8 111 1 91
SRP_00337 0.42 0.46 0.38 42 35400 70 15 54 1 49
SRP_00354 - 0.06 0.08 0.06 7 38654 120 15 105 0 86
SRP_00355 - 0.09 0.10 0.08 10 41778 119 9 108 2 86
TMR_00036 0.22 0.29 0.17 29 90359 153 37 100 16 72
TMR_00123 0.19 0.23 0.16 23 66283 126 20 104 2 78
TMR_00180 0.12 0.16 0.10 16 66999 149 35 111 3 83
TMR_00240 0.23 0.31 0.17 26 63041 128 39 84 5 59
TMR_00352 0.07 0.09 0.05 7 95133 171 39 87 45 68
TMR_00353 0.41 0.51 0.32 54 84087 127 49 65 13 51
TMR_00357 0.26 0.34 0.19 31 82869 146 44 84 18 61
TMR_00361 - 0.06 0.10 0.04 7 93368 174 64 89 21 65
TMR_00374 0.09 0.13 0.07 12 81631 174 44 123 7 80
TMR_00384 0.17 0.20 0.14 22 65550 133 26 105 2 86
TMR_00395 0.27 0.31 0.24 34 64478 115 10 98 7 75
TMR_00398 0.05 0.07 0.05 7 65197 139 24 113 2 99
TMR_00399 0.20 0.26 0.16 24 64833 130 38 85 7 70
TMR_00430 0.18 0.23 0.15 25 82450 148 34 112 2 84
TMR_00431 0.24 0.33 0.17 18 51899 127 26 60 41 37
TMR_00443 0.17 0.20 0.15 21 67018 126 24 98 4 83
TMR_00457 0.19 0.25 0.15 25 78443 141 39 99 3 77
TMR_00469 0.10 0.12 0.08 12 64469 145 27 112 6 88
TMR_00502 0.14 0.19 0.11 18 75303 150 45 100 5 75
TMR_00503 0.11 0.14 0.10 15 67741 141 20 120 1 96
TMR_00519 0.04 0.05 0.03 5 63046 141 33 106 2 90
TMR_00528 0.13 0.15 0.11 15 63051 131 20 104 7 82
TMR_00541 0.12 0.14 0.10 15 61630 139 22 109 8 90
TMR_00547 0.28 0.35 0.23 35 65188 122 37 81 4 65
TMR_00562 0.09 0.12 0.08 12 72617 147 27 115 5 90
TMR_00566 0.13 0.16 0.11 16 60582 132 22 106 4 84
TMR_00571 0.05 0.06 0.04 6 60577 149 19 124 6 93
TMR_00584 0.01 0.01 0.01 1 60922 159 33 119 7 96
TMR_00594 0.08 0.10 0.06 10 79238 156 30 123 3 94
TMR_00605 0.28 0.35 0.23 38 74141 129 36 90 3 70
TMR_00609 0.53 0.62 0.45 70 63391 89 28 57 4 43
TMR_00624 0.36 0.44 0.30 47 62325 111 27 82 2 61
TMR_00683 0.01 0.02 0.01 2 82854 176 50 122 4 98
TMR_00698 0.20 0.24 0.17 25 63042 124 27 96 1 79
TMR_00703 0.10 0.12 0.08 12 67376 140 26 114 0 87
TMR_00706 0.14 0.17 0.11 17 66281 133 29 103 1 86
TMR_00711 0.18 0.22 0.14 22 67740 137 41 93 3 76

^top


Matthews Correlation Coeffient, Sensitivity and Positive Predictive Value have been calculated based on the paper by Gardener & Giegerich, 2004.