--- language: - en license: apache-2.0 tags: - sentence-transformers - sparse-encoder - sparse - splade - generated_from_trainer - dataset_size:390000 - loss:SpladeLoss - loss:SparseMultipleNegativesRankingLoss - loss:FlopsLoss base_model: drexalt/NeoBERT-RetroMAE-pretrain widget: - text: placeholder datasets: - lightonai/ms-marco-en-bge-gemma pipeline_tag: feature-extraction library_name: sentence-transformers metrics: - dot_accuracy@1 - dot_accuracy@3 - dot_accuracy@5 - dot_accuracy@10 - dot_precision@1 - dot_precision@3 - dot_precision@5 - dot_precision@10 - dot_recall@1 - dot_recall@3 - dot_recall@5 - dot_recall@10 - dot_ndcg@10 - dot_mrr@10 - dot_map@100 - query_active_dims - query_sparsity_ratio - corpus_active_dims - corpus_sparsity_ratio model-index: - name: splade-NeoBERT-RetroMAE-pretrain trained on LightOn MS MARCO (triplets) results: - task: type: sparse-information-retrieval name: Sparse Information Retrieval dataset: name: NanoSciFact type: NanoSciFact metrics: - type: dot_accuracy@1 value: 0.54 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.66 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.74 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.8 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.54 name: Dot Precision@1 - type: dot_precision@3 value: 0.24 name: Dot Precision@3 - type: dot_precision@5 value: 0.168 name: Dot Precision@5 - type: dot_precision@10 value: 0.09 name: Dot Precision@10 - type: dot_recall@1 value: 0.515 name: Dot Recall@1 - type: dot_recall@3 value: 0.635 name: Dot Recall@3 - type: dot_recall@5 value: 0.73 name: Dot Recall@5 - type: dot_recall@10 value: 0.79 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.655473775938405 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.6167142857142857 name: Dot Mrr@10 - type: dot_map@100 value: 0.6155237632737632 name: Dot Map@100 - type: query_active_dims value: 214.10000610351562 name: Query Active Dims - type: query_sparsity_ratio value: 0.9929853873893089 name: Query Sparsity Ratio - type: corpus_active_dims value: 527.3963623046875 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.9827207796899061 name: Corpus Sparsity Ratio - type: dot_accuracy@1 value: 0.54 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.68 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.74 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.8 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.54 name: Dot Precision@1 - type: dot_precision@3 value: 0.24666666666666665 name: Dot Precision@3 - type: dot_precision@5 value: 0.168 name: Dot Precision@5 - type: dot_precision@10 value: 0.09 name: Dot Precision@10 - type: dot_recall@1 value: 0.515 name: Dot Recall@1 - type: dot_recall@3 value: 0.655 name: Dot Recall@3 - type: dot_recall@5 value: 0.73 name: Dot Recall@5 - type: dot_recall@10 value: 0.79 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.65598376976016 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.6173809523809524 name: Dot Mrr@10 - type: dot_map@100 value: 0.6161873435206768 name: Dot Map@100 - type: query_active_dims value: 215.0 name: Query Active Dims - type: query_sparsity_ratio value: 0.9929559006618177 name: Query Sparsity Ratio - type: corpus_active_dims value: 529.1915283203125 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.9826619642120336 name: Corpus Sparsity Ratio - task: type: sparse-information-retrieval name: Sparse Information Retrieval dataset: name: NanoMSMARCO type: NanoMSMARCO metrics: - type: dot_accuracy@1 value: 0.46 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.64 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.7 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.76 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.46 name: Dot Precision@1 - type: dot_precision@3 value: 0.21333333333333332 name: Dot Precision@3 - type: dot_precision@5 value: 0.14 name: Dot Precision@5 - type: dot_precision@10 value: 0.07600000000000001 name: Dot Precision@10 - type: dot_recall@1 value: 0.46 name: Dot Recall@1 - type: dot_recall@3 value: 0.64 name: Dot Recall@3 - type: dot_recall@5 value: 0.7 name: Dot Recall@5 - type: dot_recall@10 value: 0.76 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.6033192844653051 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.5536904761904761 name: Dot Mrr@10 - type: dot_map@100 value: 0.5669218226959646 name: Dot Map@100 - type: query_active_dims value: 99.13999938964844 name: Query Active Dims - type: query_sparsity_ratio value: 0.9967518511437766 name: Query Sparsity Ratio - type: corpus_active_dims value: 295.5086364746094 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.990318175857591 name: Corpus Sparsity Ratio - type: dot_accuracy@1 value: 0.46 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.64 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.7 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.76 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.46 name: Dot Precision@1 - type: dot_precision@3 value: 0.21333333333333332 name: Dot Precision@3 - type: dot_precision@5 value: 0.14 name: Dot Precision@5 - type: dot_precision@10 value: 0.07600000000000001 name: Dot Precision@10 - type: dot_recall@1 value: 0.46 name: Dot Recall@1 - type: dot_recall@3 value: 0.64 name: Dot Recall@3 - type: dot_recall@5 value: 0.7 name: Dot Recall@5 - type: dot_recall@10 value: 0.76 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.6030305868428701 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.5534126984126982 name: Dot Mrr@10 - type: dot_map@100 value: 0.5665743193221454 name: Dot Map@100 - type: query_active_dims value: 99.80000305175781 name: Query Active Dims - type: query_sparsity_ratio value: 0.9967302272769885 name: Query Sparsity Ratio - type: corpus_active_dims value: 296.68511962890625 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.9902796304426675 name: Corpus Sparsity Ratio - task: type: sparse-information-retrieval name: Sparse Information Retrieval dataset: name: NanoTouche2020 type: NanoTouche2020 metrics: - type: dot_accuracy@1 value: 0.7142857142857143 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.9183673469387755 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.9591836734693877 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.9591836734693877 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.7142857142857143 name: Dot Precision@1 - type: dot_precision@3 value: 0.6190476190476191 name: Dot Precision@3 - type: dot_precision@5 value: 0.6163265306122448 name: Dot Precision@5 - type: dot_precision@10 value: 0.4857142857142858 name: Dot Precision@10 - type: dot_recall@1 value: 0.04901801483377477 name: Dot Recall@1 - type: dot_recall@3 value: 0.12839324801527874 name: Dot Recall@3 - type: dot_recall@5 value: 0.20197488305019035 name: Dot Recall@5 - type: dot_recall@10 value: 0.31116392892910627 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.5505974886287978 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.8153061224489796 name: Dot Mrr@10 - type: dot_map@100 value: 0.40077665094673615 name: Dot Map@100 - type: query_active_dims value: 93.40816497802734 name: Query Active Dims - type: query_sparsity_ratio value: 0.996939644683244 name: Query Sparsity Ratio - type: corpus_active_dims value: 369.0992126464844 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.9879071092115036 name: Corpus Sparsity Ratio - type: dot_accuracy@1 value: 0.7142857142857143 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.9183673469387755 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.9591836734693877 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.9795918367346939 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.7142857142857143 name: Dot Precision@1 - type: dot_precision@3 value: 0.6190476190476191 name: Dot Precision@3 - type: dot_precision@5 value: 0.6163265306122448 name: Dot Precision@5 - type: dot_precision@10 value: 0.4897959183673469 name: Dot Precision@10 - type: dot_recall@1 value: 0.04901801483377477 name: Dot Recall@1 - type: dot_recall@3 value: 0.12839324801527874 name: Dot Recall@3 - type: dot_recall@5 value: 0.20197488305019035 name: Dot Recall@5 - type: dot_recall@10 value: 0.3156954697119897 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.5537250207448905 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.816326530612245 name: Dot Mrr@10 - type: dot_map@100 value: 0.4010315264845556 name: Dot Map@100 - type: query_active_dims value: 93.69387817382812 name: Query Active Dims - type: query_sparsity_ratio value: 0.9969302837896 name: Query Sparsity Ratio - type: corpus_active_dims value: 370.4649353027344 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.9878623636949501 name: Corpus Sparsity Ratio - task: type: sparse-information-retrieval name: Sparse Information Retrieval dataset: name: NanoSCIDOCS type: NanoSCIDOCS metrics: - type: dot_accuracy@1 value: 0.36 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.56 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.66 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.8 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.36 name: Dot Precision@1 - type: dot_precision@3 value: 0.26 name: Dot Precision@3 - type: dot_precision@5 value: 0.22 name: Dot Precision@5 - type: dot_precision@10 value: 0.146 name: Dot Precision@10 - type: dot_recall@1 value: 0.07566666666666667 name: Dot Recall@1 - type: dot_recall@3 value: 0.16166666666666668 name: Dot Recall@3 - type: dot_recall@5 value: 0.22566666666666663 name: Dot Recall@5 - type: dot_recall@10 value: 0.29966666666666664 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.29573664808275163 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.49310317460317465 name: Dot Mrr@10 - type: dot_map@100 value: 0.2176904693649033 name: Dot Map@100 - type: query_active_dims value: 151.5399932861328 name: Query Active Dims - type: query_sparsity_ratio value: 0.9950350569003954 name: Query Sparsity Ratio - type: corpus_active_dims value: 496.980712890625 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.9837172952987803 name: Corpus Sparsity Ratio - type: dot_accuracy@1 value: 0.36 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.56 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.66 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.8 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.36 name: Dot Precision@1 - type: dot_precision@3 value: 0.26 name: Dot Precision@3 - type: dot_precision@5 value: 0.21599999999999997 name: Dot Precision@5 - type: dot_precision@10 value: 0.146 name: Dot Precision@10 - type: dot_recall@1 value: 0.07566666666666667 name: Dot Recall@1 - type: dot_recall@3 value: 0.16166666666666668 name: Dot Recall@3 - type: dot_recall@5 value: 0.22166666666666665 name: Dot Recall@5 - type: dot_recall@10 value: 0.29966666666666664 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.29553880630562923 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.49405555555555564 name: Dot Mrr@10 - type: dot_map@100 value: 0.2171795470333841 name: Dot Map@100 - type: query_active_dims value: 152.10000610351562 name: Query Active Dims - type: query_sparsity_ratio value: 0.9950167090589241 name: Query Sparsity Ratio - type: corpus_active_dims value: 498.65167236328125 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.9836625492312667 name: Corpus Sparsity Ratio - task: type: sparse-information-retrieval name: Sparse Information Retrieval dataset: name: NanoNFCorpus type: NanoNFCorpus metrics: - type: dot_accuracy@1 value: 0.44 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.6 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.64 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.64 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.44 name: Dot Precision@1 - type: dot_precision@3 value: 0.4 name: Dot Precision@3 - type: dot_precision@5 value: 0.344 name: Dot Precision@5 - type: dot_precision@10 value: 0.27399999999999997 name: Dot Precision@10 - type: dot_recall@1 value: 0.062138556107558876 name: Dot Recall@1 - type: dot_recall@3 value: 0.09968051520546126 name: Dot Recall@3 - type: dot_recall@5 value: 0.11598389889948522 name: Dot Recall@5 - type: dot_recall@10 value: 0.14031421345268424 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.3556239717444623 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.52 name: Dot Mrr@10 - type: dot_map@100 value: 0.1637676115687091 name: Dot Map@100 - type: query_active_dims value: 90.4800033569336 name: Query Active Dims - type: query_sparsity_ratio value: 0.9970355807824869 name: Query Sparsity Ratio - type: corpus_active_dims value: 496.4185485839844 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.9837357136300379 name: Corpus Sparsity Ratio - type: dot_accuracy@1 value: 0.44 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.6 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.64 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.64 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.44 name: Dot Precision@1 - type: dot_precision@3 value: 0.4 name: Dot Precision@3 - type: dot_precision@5 value: 0.34 name: Dot Precision@5 - type: dot_precision@10 value: 0.272 name: Dot Precision@10 - type: dot_recall@1 value: 0.062138556107558876 name: Dot Recall@1 - type: dot_recall@3 value: 0.09968051520546126 name: Dot Recall@3 - type: dot_recall@5 value: 0.11594070235520877 name: Dot Recall@5 - type: dot_recall@10 value: 0.13985966799813876 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.35414887626851177 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.52 name: Dot Mrr@10 - type: dot_map@100 value: 0.16371114767459527 name: Dot Map@100 - type: query_active_dims value: 91.0 name: Query Active Dims - type: query_sparsity_ratio value: 0.9970185440010484 name: Query Sparsity Ratio - type: corpus_active_dims value: 497.9546203613281 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.9836853869221766 name: Corpus Sparsity Ratio - task: type: sparse-nano-beir name: Sparse Nano BEIR dataset: name: NanoBEIR mean type: NanoBEIR_mean metrics: - type: dot_accuracy@1 value: 0.5028571428571429 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.6756734693877552 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.7398367346938776 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.7918367346938775 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.5028571428571429 name: Dot Precision@1 - type: dot_precision@3 value: 0.3464761904761905 name: Dot Precision@3 - type: dot_precision@5 value: 0.297665306122449 name: Dot Precision@5 - type: dot_precision@10 value: 0.21434285714285717 name: Dot Precision@10 - type: dot_recall@1 value: 0.23236464752160013 name: Dot Recall@1 - type: dot_recall@3 value: 0.33294808597748127 name: Dot Recall@3 - type: dot_recall@5 value: 0.3947250897232685 name: Dot Recall@5 - type: dot_recall@10 value: 0.4602289618096915 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.4921502337719444 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.5997628117913832 name: Dot Mrr@10 - type: dot_map@100 value: 0.39293606357001526 name: Dot Map@100 - type: query_active_dims value: 129.87951883829263 name: Query Active Dims - type: query_sparsity_ratio value: 0.9957447244991059 name: Query Sparsity Ratio - type: corpus_active_dims value: 407.1836875842223 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.986659337933811 name: Corpus Sparsity Ratio - type: dot_accuracy@1 value: 0.5457142857142858 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.7106436420722138 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.7599372056514914 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.8153532182103612 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.5457142857142858 name: Dot Precision@1 - type: dot_precision@3 value: 0.32967032967032966 name: Dot Precision@3 - type: dot_precision@5 value: 0.2587943485086342 name: Dot Precision@5 - type: dot_precision@10 value: 0.17690737833594974 name: Dot Precision@10 - type: dot_recall@1 value: 0.3189603120082316 name: Dot Recall@1 - type: dot_recall@3 value: 0.45789247549185824 name: Dot Recall@3 - type: dot_recall@5 value: 0.5139907551178431 name: Dot Recall@5 - type: dot_recall@10 value: 0.5825516902460118 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.5623474779935465 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.6345031397174254 name: Dot Mrr@10 - type: dot_map@100 value: 0.4832343408137437 name: Dot Map@100 - type: query_active_dims value: 156.4915262466219 name: Query Active Dims - type: query_sparsity_ratio value: 0.9948728285745816 name: Query Sparsity Ratio - type: corpus_active_dims value: 359.4252604414698 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.98822405935255 name: Corpus Sparsity Ratio - task: type: sparse-information-retrieval name: Sparse Information Retrieval dataset: name: NanoClimateFEVER type: NanoClimateFEVER metrics: - type: dot_accuracy@1 value: 0.26 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.46 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.52 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.62 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.26 name: Dot Precision@1 - type: dot_precision@3 value: 0.15999999999999998 name: Dot Precision@3 - type: dot_precision@5 value: 0.11599999999999999 name: Dot Precision@5 - type: dot_precision@10 value: 0.07400000000000001 name: Dot Precision@10 - type: dot_recall@1 value: 0.1433333333333333 name: Dot Recall@1 - type: dot_recall@3 value: 0.22833333333333333 name: Dot Recall@3 - type: dot_recall@5 value: 0.26 name: Dot Recall@5 - type: dot_recall@10 value: 0.30066666666666664 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.2726746068133177 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.3772460317460318 name: Dot Mrr@10 - type: dot_map@100 value: 0.22213421141987527 name: Dot Map@100 - type: query_active_dims value: 233.4199981689453 name: Query Active Dims - type: query_sparsity_ratio value: 0.9923524016064168 name: Query Sparsity Ratio - type: corpus_active_dims value: 401.8573913574219 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.986833844723235 name: Corpus Sparsity Ratio - task: type: sparse-information-retrieval name: Sparse Information Retrieval dataset: name: NanoDBPedia type: NanoDBPedia metrics: - type: dot_accuracy@1 value: 0.78 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.92 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.94 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.94 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.78 name: Dot Precision@1 - type: dot_precision@3 value: 0.6133333333333333 name: Dot Precision@3 - type: dot_precision@5 value: 0.588 name: Dot Precision@5 - type: dot_precision@10 value: 0.502 name: Dot Precision@10 - type: dot_recall@1 value: 0.10391478675297891 name: Dot Recall@1 - type: dot_recall@3 value: 0.1658458784908766 name: Dot Recall@3 - type: dot_recall@5 value: 0.2364483581106884 name: Dot Recall@5 - type: dot_recall@10 value: 0.33804540691659585 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.6253305386409256 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.8406666666666668 name: Dot Mrr@10 - type: dot_map@100 value: 0.46218362306786676 name: Dot Map@100 - type: query_active_dims value: 101.41999816894531 name: Query Active Dims - type: query_sparsity_ratio value: 0.9966771509675334 name: Query Sparsity Ratio - type: corpus_active_dims value: 330.4876708984375 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.9891721489123113 name: Corpus Sparsity Ratio - task: type: sparse-information-retrieval name: Sparse Information Retrieval dataset: name: NanoFEVER type: NanoFEVER metrics: - type: dot_accuracy@1 value: 0.78 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.9 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.94 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 1.0 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.78 name: Dot Precision@1 - type: dot_precision@3 value: 0.32 name: Dot Precision@3 - type: dot_precision@5 value: 0.19999999999999996 name: Dot Precision@5 - type: dot_precision@10 value: 0.10599999999999998 name: Dot Precision@10 - type: dot_recall@1 value: 0.7166666666666667 name: Dot Recall@1 - type: dot_recall@3 value: 0.8633333333333333 name: Dot Recall@3 - type: dot_recall@5 value: 0.9033333333333333 name: Dot Recall@5 - type: dot_recall@10 value: 0.9633333333333333 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.8531330669775704 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.8477777777777777 name: Dot Mrr@10 - type: dot_map@100 value: 0.8092375464632647 name: Dot Map@100 - type: query_active_dims value: 147.24000549316406 name: Query Active Dims - type: query_sparsity_ratio value: 0.995175938487217 name: Query Sparsity Ratio - type: corpus_active_dims value: 403.611083984375 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.9867763880484772 name: Corpus Sparsity Ratio - task: type: sparse-information-retrieval name: Sparse Information Retrieval dataset: name: NanoFiQA2018 type: NanoFiQA2018 metrics: - type: dot_accuracy@1 value: 0.42 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.54 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.58 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.68 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.42 name: Dot Precision@1 - type: dot_precision@3 value: 0.26 name: Dot Precision@3 - type: dot_precision@5 value: 0.17600000000000002 name: Dot Precision@5 - type: dot_precision@10 value: 0.10800000000000001 name: Dot Precision@10 - type: dot_recall@1 value: 0.22341269841269842 name: Dot Recall@1 - type: dot_recall@3 value: 0.36168253968253966 name: Dot Recall@3 - type: dot_recall@5 value: 0.3871825396825397 name: Dot Recall@5 - type: dot_recall@10 value: 0.49990476190476196 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.4203007987534202 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.49455555555555547 name: Dot Mrr@10 - type: dot_map@100 value: 0.3593139757287158 name: Dot Map@100 - type: query_active_dims value: 104.18000030517578 name: Query Active Dims - type: query_sparsity_ratio value: 0.996586724319993 name: Query Sparsity Ratio - type: corpus_active_dims value: 358.292724609375 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.9882611649102493 name: Corpus Sparsity Ratio - task: type: sparse-information-retrieval name: Sparse Information Retrieval dataset: name: NanoHotpotQA type: NanoHotpotQA metrics: - type: dot_accuracy@1 value: 0.86 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.92 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.94 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.94 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.86 name: Dot Precision@1 - type: dot_precision@3 value: 0.43999999999999995 name: Dot Precision@3 - type: dot_precision@5 value: 0.29599999999999993 name: Dot Precision@5 - type: dot_precision@10 value: 0.15599999999999997 name: Dot Precision@10 - type: dot_recall@1 value: 0.43 name: Dot Recall@1 - type: dot_recall@3 value: 0.66 name: Dot Recall@3 - type: dot_recall@5 value: 0.74 name: Dot Recall@5 - type: dot_recall@10 value: 0.78 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.758598735743758 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.8906666666666667 name: Dot Mrr@10 - type: dot_map@100 value: 0.6979999899439231 name: Dot Map@100 - type: query_active_dims value: 138.0 name: Query Active Dims - type: query_sparsity_ratio value: 0.995478671122469 name: Query Sparsity Ratio - type: corpus_active_dims value: 333.8575744628906 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.989061739910134 name: Corpus Sparsity Ratio - task: type: sparse-information-retrieval name: Sparse Information Retrieval dataset: name: NanoNQ type: NanoNQ metrics: - type: dot_accuracy@1 value: 0.48 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.68 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.74 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.82 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.48 name: Dot Precision@1 - type: dot_precision@3 value: 0.22666666666666666 name: Dot Precision@3 - type: dot_precision@5 value: 0.156 name: Dot Precision@5 - type: dot_precision@10 value: 0.086 name: Dot Precision@10 - type: dot_recall@1 value: 0.46 name: Dot Recall@1 - type: dot_recall@3 value: 0.63 name: Dot Recall@3 - type: dot_recall@5 value: 0.7 name: Dot Recall@5 - type: dot_recall@10 value: 0.78 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.6249114830342452 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.5917380952380952 name: Dot Mrr@10 - type: dot_map@100 value: 0.571780340853074 name: Dot Map@100 - type: query_active_dims value: 97.18000030517578 name: Query Active Dims - type: query_sparsity_ratio value: 0.996816067089143 name: Query Sparsity Ratio - type: corpus_active_dims value: 359.4037780761719 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.9882247631847136 name: Corpus Sparsity Ratio - task: type: sparse-information-retrieval name: Sparse Information Retrieval dataset: name: NanoQuoraRetrieval type: NanoQuoraRetrieval metrics: - type: dot_accuracy@1 value: 0.88 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.98 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.98 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.98 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.88 name: Dot Precision@1 - type: dot_precision@3 value: 0.37999999999999995 name: Dot Precision@3 - type: dot_precision@5 value: 0.24399999999999994 name: Dot Precision@5 - type: dot_precision@10 value: 0.12999999999999998 name: Dot Precision@10 - type: dot_recall@1 value: 0.7873333333333332 name: Dot Recall@1 - type: dot_recall@3 value: 0.9186666666666667 name: Dot Recall@3 - type: dot_recall@5 value: 0.9453333333333334 name: Dot Recall@5 - type: dot_recall@10 value: 0.966 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.9174021126998152 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.9133333333333336 name: Dot Mrr@10 - type: dot_map@100 value: 0.8929260461760461 name: Dot Map@100 - type: query_active_dims value: 98.04000091552734 name: Query Active Dims - type: query_sparsity_ratio value: 0.9967878906717932 name: Query Sparsity Ratio - type: corpus_active_dims value: 103.37158203125 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.9966132107322179 name: Corpus Sparsity Ratio - task: type: sparse-information-retrieval name: Sparse Information Retrieval dataset: name: NanoArguAna type: NanoArguAna metrics: - type: dot_accuracy@1 value: 0.12 name: Dot Accuracy@1 - type: dot_accuracy@3 value: 0.44 name: Dot Accuracy@3 - type: dot_accuracy@5 value: 0.54 name: Dot Accuracy@5 - type: dot_accuracy@10 value: 0.64 name: Dot Accuracy@10 - type: dot_precision@1 value: 0.12 name: Dot Precision@1 - type: dot_precision@3 value: 0.14666666666666667 name: Dot Precision@3 - type: dot_precision@5 value: 0.10800000000000003 name: Dot Precision@5 - type: dot_precision@10 value: 0.064 name: Dot Precision@10 - type: dot_recall@1 value: 0.12 name: Dot Recall@1 - type: dot_recall@3 value: 0.44 name: Dot Recall@3 - type: dot_recall@5 value: 0.54 name: Dot Recall@5 - type: dot_recall@10 value: 0.64 name: Dot Recall@10 - type: dot_ndcg@10 value: 0.3757388113309908 name: Dot Ndcg@10 - type: dot_mrr@10 value: 0.29138095238095235 name: Dot Mrr@10 - type: dot_map@100 value: 0.3017868128905456 name: Dot Map@100 - type: query_active_dims value: 462.05999755859375 name: Query Active Dims - type: query_sparsity_ratio value: 0.9848614115209162 name: Query Sparsity Ratio - type: corpus_active_dims value: 448.9967041015625 name: Corpus Active Dims - type: corpus_sparsity_ratio value: 0.98528940750601 name: Corpus Sparsity Ratio --- # splade-NeoBERT-RetroMAE-pretrain trained on LightOn MS MARCO (triplets) This is a [SPLADE Sparse Encoder](https://www.sbert.net/docs/sparse_encoder/usage/usage.html) model finetuned from [drexalt/NeoBERT-RetroMAE-pretrain](https://huggingface.co/drexalt/NeoBERT-RetroMAE-pretrain) on the [ms-marco-en-bge-gemma](https://huggingface.co/datasets/lightonai/ms-marco-en-bge-gemma) dataset using the [sentence-transformers](https://www.SBERT.net) library. It maps sentences & paragraphs to a 30522-dimensional sparse vector space and can be used for semantic search and sparse retrieval. ## Model Details ### Model Description - **Model Type:** SPLADE Sparse Encoder - **Base model:** [drexalt/NeoBERT-RetroMAE-pretrain](https://huggingface.co/drexalt/NeoBERT-RetroMAE-pretrain) - **Maximum Sequence Length:** 256 tokens - **Output Dimensionality:** 30522 dimensions - **Similarity Function:** Dot Product - **Training Dataset:** - [ms-marco-en-bge-gemma](https://huggingface.co/datasets/lightonai/ms-marco-en-bge-gemma) - **Language:** en - **License:** apache-2.0 ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Documentation:** [Sparse Encoder Documentation](https://www.sbert.net/docs/sparse_encoder/usage/usage.html) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Sparse Encoders on Hugging Face](https://huggingface.co/models?library=sentence-transformers&other=sparse-encoder) ### Full Model Architecture ``` SparseEncoder( (0): MLMTransformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'NeoBERTLMHead'}) (1): SpladePooling({'pooling_strategy': 'max', 'activation_function': 'relu', 'word_embedding_dimension': 30522}) ) ``` ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import SparseEncoder # Download from the 🤗 Hub model = SparseEncoder("drexalt/splade-NeoBERT-RetroMAE-pretrain-lighton-msmarco-triplets-20250919-064009") # Run inference sentences = [ 'The weather is lovely today.', "It's so sunny outside!", 'He drove to the stadium.', ] embeddings = model.encode(sentences) print(embeddings.shape) # [3, 30522] # Get the similarity scores for the embeddings similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [3, 3] ``` ## Evaluation ### Metrics #### Sparse Information Retrieval * Datasets: `NanoSciFact`, `NanoMSMARCO`, `NanoTouche2020`, `NanoSCIDOCS`, `NanoNFCorpus`, `NanoClimateFEVER`, `NanoDBPedia`, `NanoFEVER`, `NanoFiQA2018`, `NanoHotpotQA`, `NanoMSMARCO`, `NanoNFCorpus`, `NanoNQ`, `NanoQuoraRetrieval`, `NanoSCIDOCS`, `NanoArguAna`, `NanoSciFact` and `NanoTouche2020` * Evaluated with [SparseInformationRetrievalEvaluator](https://sbert.net/docs/package_reference/sparse_encoder/evaluation.html#sentence_transformers.sparse_encoder.evaluation.SparseInformationRetrievalEvaluator) | Metric | NanoSciFact | NanoMSMARCO | NanoTouche2020 | NanoSCIDOCS | NanoNFCorpus | NanoClimateFEVER | NanoDBPedia | NanoFEVER | NanoFiQA2018 | NanoHotpotQA | NanoNQ | NanoQuoraRetrieval | NanoArguAna | |:----------------------|:------------|:------------|:---------------|:------------|:-------------|:-----------------|:------------|:-----------|:-------------|:-------------|:-----------|:-------------------|:------------| | dot_accuracy@1 | 0.54 | 0.46 | 0.7143 | 0.36 | 0.44 | 0.26 | 0.78 | 0.78 | 0.42 | 0.86 | 0.48 | 0.88 | 0.12 | | dot_accuracy@3 | 0.68 | 0.64 | 0.9184 | 0.56 | 0.6 | 0.46 | 0.92 | 0.9 | 0.54 | 0.92 | 0.68 | 0.98 | 0.44 | | dot_accuracy@5 | 0.74 | 0.7 | 0.9592 | 0.66 | 0.64 | 0.52 | 0.94 | 0.94 | 0.58 | 0.94 | 0.74 | 0.98 | 0.54 | | dot_accuracy@10 | 0.8 | 0.76 | 0.9796 | 0.8 | 0.64 | 0.62 | 0.94 | 1.0 | 0.68 | 0.94 | 0.82 | 0.98 | 0.64 | | dot_precision@1 | 0.54 | 0.46 | 0.7143 | 0.36 | 0.44 | 0.26 | 0.78 | 0.78 | 0.42 | 0.86 | 0.48 | 0.88 | 0.12 | | dot_precision@3 | 0.2467 | 0.2133 | 0.619 | 0.26 | 0.4 | 0.16 | 0.6133 | 0.32 | 0.26 | 0.44 | 0.2267 | 0.38 | 0.1467 | | dot_precision@5 | 0.168 | 0.14 | 0.6163 | 0.216 | 0.34 | 0.116 | 0.588 | 0.2 | 0.176 | 0.296 | 0.156 | 0.244 | 0.108 | | dot_precision@10 | 0.09 | 0.076 | 0.4898 | 0.146 | 0.272 | 0.074 | 0.502 | 0.106 | 0.108 | 0.156 | 0.086 | 0.13 | 0.064 | | dot_recall@1 | 0.515 | 0.46 | 0.049 | 0.0757 | 0.0621 | 0.1433 | 0.1039 | 0.7167 | 0.2234 | 0.43 | 0.46 | 0.7873 | 0.12 | | dot_recall@3 | 0.655 | 0.64 | 0.1284 | 0.1617 | 0.0997 | 0.2283 | 0.1658 | 0.8633 | 0.3617 | 0.66 | 0.63 | 0.9187 | 0.44 | | dot_recall@5 | 0.73 | 0.7 | 0.202 | 0.2217 | 0.1159 | 0.26 | 0.2364 | 0.9033 | 0.3872 | 0.74 | 0.7 | 0.9453 | 0.54 | | dot_recall@10 | 0.79 | 0.76 | 0.3157 | 0.2997 | 0.1399 | 0.3007 | 0.338 | 0.9633 | 0.4999 | 0.78 | 0.78 | 0.966 | 0.64 | | **dot_ndcg@10** | **0.656** | **0.603** | **0.5537** | **0.2955** | **0.3541** | **0.2727** | **0.6253** | **0.8531** | **0.4203** | **0.7586** | **0.6249** | **0.9174** | **0.3757** | | dot_mrr@10 | 0.6174 | 0.5534 | 0.8163 | 0.4941 | 0.52 | 0.3772 | 0.8407 | 0.8478 | 0.4946 | 0.8907 | 0.5917 | 0.9133 | 0.2914 | | dot_map@100 | 0.6162 | 0.5666 | 0.401 | 0.2172 | 0.1637 | 0.2221 | 0.4622 | 0.8092 | 0.3593 | 0.698 | 0.5718 | 0.8929 | 0.3018 | | query_active_dims | 215.0 | 99.8 | 93.6939 | 152.1 | 91.0 | 233.42 | 101.42 | 147.24 | 104.18 | 138.0 | 97.18 | 98.04 | 462.06 | | query_sparsity_ratio | 0.993 | 0.9967 | 0.9969 | 0.995 | 0.997 | 0.9924 | 0.9967 | 0.9952 | 0.9966 | 0.9955 | 0.9968 | 0.9968 | 0.9849 | | corpus_active_dims | 529.1915 | 296.6851 | 370.4649 | 498.6517 | 497.9546 | 401.8574 | 330.4877 | 403.6111 | 358.2927 | 333.8576 | 359.4038 | 103.3716 | 448.9967 | | corpus_sparsity_ratio | 0.9827 | 0.9903 | 0.9879 | 0.9837 | 0.9837 | 0.9868 | 0.9892 | 0.9868 | 0.9883 | 0.9891 | 0.9882 | 0.9966 | 0.9853 | #### Sparse Nano BEIR * Dataset: `NanoBEIR_mean` * Evaluated with [SparseNanoBEIREvaluator](https://sbert.net/docs/package_reference/sparse_encoder/evaluation.html#sentence_transformers.sparse_encoder.evaluation.SparseNanoBEIREvaluator) with these parameters: ```json { "dataset_names": [ "scifact", "msmarco", "touche2020", "scidocs", "nfcorpus" ] } ``` | Metric | Value | |:----------------------|:-----------| | dot_accuracy@1 | 0.5029 | | dot_accuracy@3 | 0.6757 | | dot_accuracy@5 | 0.7398 | | dot_accuracy@10 | 0.7918 | | dot_precision@1 | 0.5029 | | dot_precision@3 | 0.3465 | | dot_precision@5 | 0.2977 | | dot_precision@10 | 0.2143 | | dot_recall@1 | 0.2324 | | dot_recall@3 | 0.3329 | | dot_recall@5 | 0.3947 | | dot_recall@10 | 0.4602 | | **dot_ndcg@10** | **0.4922** | | dot_mrr@10 | 0.5998 | | dot_map@100 | 0.3929 | | query_active_dims | 129.8795 | | query_sparsity_ratio | 0.9957 | | corpus_active_dims | 407.1837 | | corpus_sparsity_ratio | 0.9867 | #### Sparse Nano BEIR * Dataset: `NanoBEIR_mean` * Evaluated with [SparseNanoBEIREvaluator](https://sbert.net/docs/package_reference/sparse_encoder/evaluation.html#sentence_transformers.sparse_encoder.evaluation.SparseNanoBEIREvaluator) with these parameters: ```json { "dataset_names": [ "climatefever", "dbpedia", "fever", "fiqa2018", "hotpotqa", "msmarco", "nfcorpus", "nq", "quoraretrieval", "scidocs", "arguana", "scifact", "touche2020" ] } ``` | Metric | Value | |:----------------------|:-----------| | dot_accuracy@1 | 0.5457 | | dot_accuracy@3 | 0.7106 | | dot_accuracy@5 | 0.7599 | | dot_accuracy@10 | 0.8154 | | dot_precision@1 | 0.5457 | | dot_precision@3 | 0.3297 | | dot_precision@5 | 0.2588 | | dot_precision@10 | 0.1769 | | dot_recall@1 | 0.319 | | dot_recall@3 | 0.4579 | | dot_recall@5 | 0.514 | | dot_recall@10 | 0.5826 | | **dot_ndcg@10** | **0.5623** | | dot_mrr@10 | 0.6345 | | dot_map@100 | 0.4832 | | query_active_dims | 156.4915 | | query_sparsity_ratio | 0.9949 | | corpus_active_dims | 359.4253 | | corpus_sparsity_ratio | 0.9882 | ## Training Details ### Training Dataset #### ms-marco-en-bge-gemma * Dataset: [ms-marco-en-bge-gemma](https://huggingface.co/datasets/lightonai/ms-marco-en-bge-gemma) at [1a1ffe7](https://huggingface.co/datasets/lightonai/ms-marco-en-bge-gemma/tree/1a1ffe7cde403016be12ae532b249965b2293114) * Size: 390,000 training samples * Columns: query_id, document_ids, and scores * Approximate statistics based on the first 1000 samples: | | query_id | document_ids | scores | |:--------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------|:------------------------------------| | type | int | list | list | | details | | | | * Samples: | query_id | document_ids | scores | |:--------------------|:----------------------------------------------------------------|:---------------------------------------------------------------------------| | 401967 | [6705462, 6337046, 7109100, 3494181, 7044691, ...] | [27.25, 17.28125, 15.8359375, 16.046875, 18.03125, ...] | | 720668 | [6444886, 5294662, 1672294, 7735669, 1950104, ...] | [28.9375, 14.84375, 13.3671875, 14.890625, 22.828125, ...] | | 636966 | [2250068, 3211646, 4360683, 4515171, 2960232, ...] | [27.0625, 11.0234375, 11.4453125, 15.640625, 10.8359375, ...] | * Loss: [SpladeLoss](https://sbert.net/docs/package_reference/sparse_encoder/losses.html#spladeloss) with these parameters: ```json { "loss": "SparseMultipleNegativesRankingLoss(scale=1.0, similarity_fct='dot_score', gather_across_devices=False)", "document_regularizer_weight": 0.005, "query_regularizer_weight": 0.001 } ``` ### Evaluation Dataset #### ms-marco-en-bge-gemma * Dataset: [ms-marco-en-bge-gemma](https://huggingface.co/datasets/lightonai/ms-marco-en-bge-gemma) at [1a1ffe7](https://huggingface.co/datasets/lightonai/ms-marco-en-bge-gemma/tree/1a1ffe7cde403016be12ae532b249965b2293114) * Size: 10,000 evaluation samples * Columns: query_id, document_ids, and scores * Approximate statistics based on the first 1000 samples: | | query_id | document_ids | scores | |:--------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------|:------------------------------------| | type | int | list | list | | details | | | | * Samples: | query_id | document_ids | scores | |:---------------------|:----------------------------------------------------------------|:----------------------------------------------------------------------------| | 1031437 | [4421662, 6691457, 763928, 2409406, 3950402, ...] | [21.078125, 14.6328125, 15.1640625, 12.84375, 12.1328125, ...] | | 578179 | [5025500, 3408725, 456079, 7559462, 290820, ...] | [23.09375, 20.328125, 22.71875, 22.296875, 17.921875, ...] | | 307799 | [3998942, 3614389, 1644576, 6415293, 6655775, ...] | [24.171875, 13.8984375, 18.609375, 18.1875, 17.96875, ...] | * Loss: [SpladeLoss](https://sbert.net/docs/package_reference/sparse_encoder/losses.html#spladeloss) with these parameters: ```json { "loss": "SparseMultipleNegativesRankingLoss(scale=1.0, similarity_fct='dot_score', gather_across_devices=False)", "document_regularizer_weight": 0.005, "query_regularizer_weight": 0.001 } ``` ### Training Hyperparameters #### Non-Default Hyperparameters - `eval_strategy`: steps - `per_device_train_batch_size`: 4 - `per_device_eval_batch_size`: 4 - `gradient_accumulation_steps`: 16 - `num_train_epochs`: 2 - `bf16`: True - `dataloader_drop_last`: True - `dataloader_num_workers`: 4 - `dataloader_prefetch_factor`: 2 - `load_best_model_at_end`: True - `batch_sampler`: no_duplicates #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `eval_strategy`: steps - `prediction_loss_only`: True - `per_device_train_batch_size`: 4 - `per_device_eval_batch_size`: 4 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 16 - `eval_accumulation_steps`: None - `torch_empty_cache_steps`: None - `learning_rate`: 5e-05 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1.0 - `num_train_epochs`: 2 - `max_steps`: -1 - `lr_scheduler_type`: linear - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.0 - `warmup_steps`: 0 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `restore_callback_states_from_checkpoint`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 42 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: True - `fp16`: False - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: None - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: True - `dataloader_num_workers`: 4 - `dataloader_prefetch_factor`: 2 - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: True - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `parallelism_config`: None - `deepspeed`: None - `label_smoothing_factor`: 0.0 - `optim`: adamw_torch_fused - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: None - `hub_always_push`: False - `hub_revision`: None - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `include_for_metrics`: [] - `eval_do_concat_batches`: True - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_eval_metrics`: False - `eval_on_start`: False - `use_liger_kernel`: False - `liger_kernel_config`: None - `eval_use_gather_object`: False - `average_tokens_across_devices`: False - `prompts`: None - `batch_sampler`: no_duplicates - `multi_dataset_batch_sampler`: proportional - `router_mapping`: {} - `learning_rate_mapping`: {}
### Training Logs
Click to expand | Epoch | Step | Training Loss | Validation Loss | NanoSciFact_dot_ndcg@10 | NanoMSMARCO_dot_ndcg@10 | NanoTouche2020_dot_ndcg@10 | NanoSCIDOCS_dot_ndcg@10 | NanoNFCorpus_dot_ndcg@10 | NanoBEIR_mean_dot_ndcg@10 | NanoClimateFEVER_dot_ndcg@10 | NanoDBPedia_dot_ndcg@10 | NanoFEVER_dot_ndcg@10 | NanoFiQA2018_dot_ndcg@10 | NanoHotpotQA_dot_ndcg@10 | NanoNQ_dot_ndcg@10 | NanoQuoraRetrieval_dot_ndcg@10 | NanoArguAna_dot_ndcg@10 | |:----------:|:-------:|:-------------:|:---------------:|:-----------------------:|:-----------------------:|:--------------------------:|:-----------------------:|:------------------------:|:-------------------------:|:----------------------------:|:-----------------------:|:---------------------:|:------------------------:|:------------------------:|:------------------:|:------------------------------:|:-----------------------:| | 0.0016 | 10 | 2853.6816 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0033 | 20 | 2493.5213 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0049 | 30 | 1641.9127 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0066 | 40 | 971.1249 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0082 | 50 | 420.6338 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0098 | 60 | 140.6441 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0115 | 70 | 67.6825 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0131 | 80 | 44.5013 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0148 | 90 | 31.3716 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0164 | 100 | 23.1858 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0181 | 110 | 15.7173 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0197 | 120 | 11.2013 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0213 | 130 | 8.5635 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0230 | 140 | 5.5386 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0246 | 150 | 3.8336 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0263 | 160 | 2.4716 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0279 | 170 | 1.7919 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0295 | 180 | 1.3739 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0312 | 190 | 1.083 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0328 | 200 | 1.0547 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0345 | 210 | 0.8795 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0361 | 220 | 0.8701 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0377 | 230 | 0.7644 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0394 | 240 | 0.686 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0410 | 250 | 0.7439 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0427 | 260 | 0.7358 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0443 | 270 | 0.7601 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0459 | 280 | 0.7429 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0476 | 290 | 0.7352 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | **0.0492** | **300** | **0.7733** | **0.7228** | **0.6942** | **0.614** | **0.573** | **0.3277** | **0.3417** | **0.5101** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | | 0.0509 | 310 | 0.7582 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0525 | 320 | 0.6953 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0542 | 330 | 0.6387 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0558 | 340 | 0.8385 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0574 | 350 | 0.7787 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0591 | 360 | 0.7481 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0607 | 370 | 0.7543 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0624 | 380 | 0.754 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.064 | 390 | 0.7307 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0656 | 400 | 0.7557 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0673 | 410 | 0.7138 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0689 | 420 | 0.674 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0706 | 430 | 0.7508 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0722 | 440 | 0.6836 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0738 | 450 | 0.7694 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0755 | 460 | 0.7718 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0771 | 470 | 0.6637 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0788 | 480 | 0.6161 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0804 | 490 | 0.5941 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0821 | 500 | 0.7386 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0837 | 510 | 0.6886 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0853 | 520 | 0.6997 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0870 | 530 | 0.7108 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0886 | 540 | 0.6146 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0903 | 550 | 0.7419 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0919 | 560 | 0.7504 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0935 | 570 | 0.6723 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0952 | 580 | 0.8057 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0968 | 590 | 0.6978 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.0985 | 600 | 0.693 | 0.7214 | 0.5666 | 0.6162 | 0.5465 | 0.2758 | 0.3312 | 0.4673 | - | - | - | - | - | - | - | - | | 0.1001 | 610 | 0.7026 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1017 | 620 | 0.5971 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1034 | 630 | 0.6787 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1050 | 640 | 0.7748 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1067 | 650 | 0.7177 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1083 | 660 | 0.7734 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1099 | 670 | 0.8369 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1116 | 680 | 0.6355 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1132 | 690 | 0.7651 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1149 | 700 | 0.7212 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1165 | 710 | 0.6872 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1182 | 720 | 0.7289 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1198 | 730 | 0.6574 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1214 | 740 | 0.722 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1231 | 750 | 0.703 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1247 | 760 | 0.6914 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1264 | 770 | 0.82 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.128 | 780 | 0.7346 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1296 | 790 | 0.7918 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1313 | 800 | 0.7634 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1329 | 810 | 0.7424 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1346 | 820 | 0.7699 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1362 | 830 | 0.6443 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1378 | 840 | 0.6701 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1395 | 850 | 0.7395 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1411 | 860 | 0.6515 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1428 | 870 | 0.7586 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1444 | 880 | 0.7675 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1461 | 890 | 0.8156 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1477 | 900 | 0.7641 | 0.7269 | 0.6355 | 0.5792 | 0.5108 | 0.2813 | 0.3346 | 0.4683 | - | - | - | - | - | - | - | - | | 0.1493 | 910 | 0.7363 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1510 | 920 | 0.8134 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1526 | 930 | 0.7255 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1543 | 940 | 0.7179 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1559 | 950 | 0.7329 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1575 | 960 | 0.7902 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1592 | 970 | 0.7049 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1608 | 980 | 0.894 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1625 | 990 | 0.6627 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1641 | 1000 | 0.749 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1657 | 1010 | 0.6631 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1674 | 1020 | 0.7297 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1690 | 1030 | 0.8125 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1707 | 1040 | 0.7727 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1723 | 1050 | 0.7943 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1739 | 1060 | 0.773 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1756 | 1070 | 0.742 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1772 | 1080 | 0.8077 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1789 | 1090 | 0.7487 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1805 | 1100 | 0.9189 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1822 | 1110 | 0.8047 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1838 | 1120 | 0.7435 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1854 | 1130 | 0.783 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1871 | 1140 | 0.8414 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1887 | 1150 | 0.8519 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1904 | 1160 | 0.7931 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.192 | 1170 | 0.8332 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1936 | 1180 | 0.818 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1953 | 1190 | 0.813 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.1969 | 1200 | 0.8151 | 0.8440 | 0.5867 | 0.6063 | 0.5430 | 0.2363 | 0.3244 | 0.4593 | - | - | - | - | - | - | - | - | | 0.1986 | 1210 | 0.7554 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2002 | 1220 | 0.7871 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2018 | 1230 | 0.8339 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2035 | 1240 | 0.7217 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2051 | 1250 | 0.8481 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2068 | 1260 | 0.8 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2084 | 1270 | 0.8428 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2101 | 1280 | 0.7598 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2117 | 1290 | 0.7409 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2133 | 1300 | 0.8831 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2150 | 1310 | 0.8176 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2166 | 1320 | 0.9345 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2183 | 1330 | 0.8079 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2199 | 1340 | 0.6988 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2215 | 1350 | 0.8105 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2232 | 1360 | 0.8898 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2248 | 1370 | 0.7851 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2265 | 1380 | 0.9494 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2281 | 1390 | 0.8303 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2297 | 1400 | 0.7919 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2314 | 1410 | 0.8606 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2330 | 1420 | 0.6467 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2347 | 1430 | 0.7891 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2363 | 1440 | 0.9057 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2379 | 1450 | 0.7861 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2396 | 1460 | 0.8906 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2412 | 1470 | 0.8613 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2429 | 1480 | 0.7886 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2445 | 1490 | 0.815 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2462 | 1500 | 0.7432 | 0.8273 | 0.5937 | 0.5330 | 0.5383 | 0.3049 | 0.2998 | 0.4539 | - | - | - | - | - | - | - | - | | 0.2478 | 1510 | 0.7984 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2494 | 1520 | 0.7607 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2511 | 1530 | 0.8057 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2527 | 1540 | 0.805 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2544 | 1550 | 0.7914 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.256 | 1560 | 0.8269 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2576 | 1570 | 0.901 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2593 | 1580 | 0.8217 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2609 | 1590 | 0.7025 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2626 | 1600 | 0.7825 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2642 | 1610 | 0.8639 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2658 | 1620 | 0.8635 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2675 | 1630 | 0.7935 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2691 | 1640 | 0.8434 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2708 | 1650 | 0.8091 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2724 | 1660 | 0.8927 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2741 | 1670 | 0.856 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2757 | 1680 | 0.791 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2773 | 1690 | 0.7762 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2790 | 1700 | 0.8491 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2806 | 1710 | 0.7581 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2823 | 1720 | 0.8426 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2839 | 1730 | 0.6991 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2855 | 1740 | 0.7777 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2872 | 1750 | 0.8675 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2888 | 1760 | 0.7848 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2905 | 1770 | 0.8274 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2921 | 1780 | 0.7721 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2937 | 1790 | 0.7794 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2954 | 1800 | 0.7767 | 0.8474 | 0.1023 | 0.5753 | 0.3145 | 0.0393 | 0.2252 | 0.2513 | - | - | - | - | - | - | - | - | | 0.2970 | 1810 | 0.8387 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.2987 | 1820 | 0.8774 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3003 | 1830 | 0.8253 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3019 | 1840 | 0.8669 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3036 | 1850 | 0.803 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3052 | 1860 | 0.8345 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3069 | 1870 | 0.8102 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3085 | 1880 | 0.8298 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3102 | 1890 | 0.7787 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3118 | 1900 | 0.7617 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3134 | 1910 | 0.7475 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3151 | 1920 | 0.8247 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3167 | 1930 | 0.7874 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3184 | 1940 | 0.7501 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.32 | 1950 | 0.8044 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3216 | 1960 | 0.7976 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3233 | 1970 | 0.7266 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3249 | 1980 | 0.7973 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3266 | 1990 | 0.8593 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3282 | 2000 | 0.806 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3298 | 2010 | 0.8298 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3315 | 2020 | 0.7551 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3331 | 2030 | 0.7456 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3348 | 2040 | 0.8204 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3364 | 2050 | 0.8799 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3381 | 2060 | 0.766 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3397 | 2070 | 0.794 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3413 | 2080 | 0.7869 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3430 | 2090 | 0.8206 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3446 | 2100 | 0.7529 | 0.8019 | 0.5296 | 0.5773 | 0.5119 | 0.2194 | 0.2997 | 0.4276 | - | - | - | - | - | - | - | - | | 0.3463 | 2110 | 0.8332 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3479 | 2120 | 0.7854 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3495 | 2130 | 0.8427 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3512 | 2140 | 0.7431 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3528 | 2150 | 0.7675 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3545 | 2160 | 0.7437 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3561 | 2170 | 0.7816 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3577 | 2180 | 0.7557 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3594 | 2190 | 0.7884 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3610 | 2200 | 0.8647 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3627 | 2210 | 0.7614 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3643 | 2220 | 0.7927 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3659 | 2230 | 0.7524 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3676 | 2240 | 0.8075 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3692 | 2250 | 0.8174 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3709 | 2260 | 0.7963 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3725 | 2270 | 0.7773 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3742 | 2280 | 0.7553 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3758 | 2290 | 0.7432 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3774 | 2300 | 0.8458 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3791 | 2310 | 0.6972 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3807 | 2320 | 0.7941 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3824 | 2330 | 0.9397 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.384 | 2340 | 0.7816 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3856 | 2350 | 0.7916 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3873 | 2360 | 0.7625 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3889 | 2370 | 0.8385 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3906 | 2380 | 0.7966 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3922 | 2390 | 0.7233 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3938 | 2400 | 0.7868 | 0.7618 | 0.5157 | 0.5617 | 0.5066 | 0.2514 | 0.3213 | 0.4313 | - | - | - | - | - | - | - | - | | 0.3955 | 2410 | 0.8623 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3971 | 2420 | 0.7505 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.3988 | 2430 | 0.7599 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4004 | 2440 | 0.699 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4021 | 2450 | 0.7462 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4037 | 2460 | 0.829 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4053 | 2470 | 0.7963 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4070 | 2480 | 0.8117 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4086 | 2490 | 0.7174 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4103 | 2500 | 0.7725 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4119 | 2510 | 0.8811 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4135 | 2520 | 0.8089 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4152 | 2530 | 0.8294 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4168 | 2540 | 0.833 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4185 | 2550 | 0.7673 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4201 | 2560 | 0.8173 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4217 | 2570 | 0.8342 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4234 | 2580 | 0.7308 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4250 | 2590 | 0.7941 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4267 | 2600 | 0.8289 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4283 | 2610 | 0.8034 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4299 | 2620 | 0.8357 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4316 | 2630 | 0.8511 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4332 | 2640 | 0.8039 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4349 | 2650 | 0.8951 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4365 | 2660 | 0.7557 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4382 | 2670 | 0.8127 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4398 | 2680 | 0.8842 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4414 | 2690 | 0.8004 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4431 | 2700 | 0.7322 | 0.8007 | 0.4905 | 0.6074 | 0.5088 | 0.2544 | 0.2501 | 0.4222 | - | - | - | - | - | - | - | - | | 0.4447 | 2710 | 0.7449 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4464 | 2720 | 0.7822 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.448 | 2730 | 0.7257 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4496 | 2740 | 0.7776 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4513 | 2750 | 0.833 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4529 | 2760 | 0.8266 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4546 | 2770 | 0.8132 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4562 | 2780 | 0.8101 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4578 | 2790 | 0.7881 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4595 | 2800 | 0.7499 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4611 | 2810 | 0.8028 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4628 | 2820 | 0.881 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4644 | 2830 | 0.7631 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4661 | 2840 | 0.7801 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4677 | 2850 | 0.85 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4693 | 2860 | 0.7681 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4710 | 2870 | 0.8518 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4726 | 2880 | 0.7535 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4743 | 2890 | 0.7761 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4759 | 2900 | 0.8212 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4775 | 2910 | 0.7327 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4792 | 2920 | 0.7347 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4808 | 2930 | 0.7388 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4825 | 2940 | 0.7952 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4841 | 2950 | 0.8178 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4857 | 2960 | 0.8287 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4874 | 2970 | 0.716 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4890 | 2980 | 0.8602 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4907 | 2990 | 0.7998 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4923 | 3000 | 0.8279 | 0.7899 | 0.4715 | 0.5958 | 0.5058 | 0.2161 | 0.2472 | 0.4073 | - | - | - | - | - | - | - | - | | 0.4939 | 3010 | 0.8193 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4956 | 3020 | 0.7464 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4972 | 3030 | 0.8538 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.4989 | 3040 | 0.7928 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5005 | 3050 | 0.7673 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5022 | 3060 | 0.7246 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5038 | 3070 | 0.8393 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5054 | 3080 | 0.7217 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5071 | 3090 | 0.8423 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5087 | 3100 | 0.7694 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5104 | 3110 | 0.7177 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.512 | 3120 | 0.7903 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5136 | 3130 | 0.7751 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5153 | 3140 | 0.8198 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5169 | 3150 | 0.7817 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5186 | 3160 | 0.7991 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5202 | 3170 | 0.7767 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5218 | 3180 | 0.7252 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5235 | 3190 | 0.7682 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5251 | 3200 | 0.8707 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5268 | 3210 | 0.7653 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5284 | 3220 | 0.6935 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5301 | 3230 | 0.8161 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5317 | 3240 | 0.7632 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5333 | 3250 | 0.7813 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5350 | 3260 | 0.8264 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5366 | 3270 | 0.8021 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5383 | 3280 | 0.8022 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5399 | 3290 | 0.8008 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5415 | 3300 | 0.8623 | 0.8122 | 0.5948 | 0.6086 | 0.5389 | 0.2198 | 0.2611 | 0.4446 | - | - | - | - | - | - | - | - | | 0.5432 | 3310 | 0.7774 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5448 | 3320 | 0.853 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5465 | 3330 | 0.7731 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5481 | 3340 | 0.7923 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5497 | 3350 | 0.7138 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5514 | 3360 | 0.7994 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5530 | 3370 | 0.8454 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5547 | 3380 | 0.7702 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5563 | 3390 | 0.7637 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5579 | 3400 | 0.71 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5596 | 3410 | 0.8989 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5612 | 3420 | 0.7496 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5629 | 3430 | 0.87 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5645 | 3440 | 0.7956 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5662 | 3450 | 0.8371 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5678 | 3460 | 0.797 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5694 | 3470 | 0.7402 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5711 | 3480 | 0.8287 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5727 | 3490 | 0.752 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5744 | 3500 | 0.7016 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.576 | 3510 | 0.8639 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5776 | 3520 | 0.8321 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5793 | 3530 | 0.8346 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5809 | 3540 | 0.7356 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5826 | 3550 | 0.7394 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5842 | 3560 | 0.8264 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5858 | 3570 | 0.7634 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5875 | 3580 | 0.7226 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5891 | 3590 | 0.8037 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5908 | 3600 | 0.7574 | 0.7691 | 0.5247 | 0.5606 | 0.5360 | 0.2258 | 0.2806 | 0.4255 | - | - | - | - | - | - | - | - | | 0.5924 | 3610 | 0.7743 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5941 | 3620 | 0.6999 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5957 | 3630 | 0.7681 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5973 | 3640 | 0.8402 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.5990 | 3650 | 0.7414 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6006 | 3660 | 0.8462 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6023 | 3670 | 0.7762 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6039 | 3680 | 0.7283 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6055 | 3690 | 0.7749 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6072 | 3700 | 0.8176 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6088 | 3710 | 0.804 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6105 | 3720 | 0.8282 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6121 | 3730 | 0.847 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6137 | 3740 | 0.7656 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6154 | 3750 | 0.7701 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6170 | 3760 | 0.7634 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6187 | 3770 | 0.8079 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6203 | 3780 | 0.9945 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6219 | 3790 | 0.8768 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6236 | 3800 | 0.7927 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6252 | 3810 | 0.8317 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6269 | 3820 | 0.7297 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6285 | 3830 | 0.7526 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6302 | 3840 | 0.8122 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6318 | 3850 | 0.7588 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6334 | 3860 | 0.737 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6351 | 3870 | 0.7654 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6367 | 3880 | 0.7815 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6384 | 3890 | 0.7905 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.64 | 3900 | 0.7473 | 0.7516 | 0.4984 | 0.5840 | 0.5203 | 0.2762 | 0.2893 | 0.4336 | - | - | - | - | - | - | - | - | | 0.6416 | 3910 | 0.7797 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6433 | 3920 | 0.7407 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6449 | 3930 | 0.7606 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6466 | 3940 | 0.8102 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6482 | 3950 | 0.7721 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6498 | 3960 | 0.8386 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6515 | 3970 | 0.7423 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6531 | 3980 | 0.6679 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6548 | 3990 | 0.8076 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6564 | 4000 | 0.7651 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6581 | 4010 | 0.7046 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6597 | 4020 | 0.7808 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6613 | 4030 | 0.7631 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6630 | 4040 | 0.8228 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6646 | 4050 | 0.7448 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6663 | 4060 | 0.7354 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6679 | 4070 | 0.71 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6695 | 4080 | 0.7858 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6712 | 4090 | 0.8178 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6728 | 4100 | 0.7715 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6745 | 4110 | 0.7934 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6761 | 4120 | 0.8374 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6777 | 4130 | 0.7741 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6794 | 4140 | 0.7541 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6810 | 4150 | 0.781 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6827 | 4160 | 0.8507 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6843 | 4170 | 0.7733 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6859 | 4180 | 0.7511 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6876 | 4190 | 0.6718 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6892 | 4200 | 0.8321 | 0.7816 | 0.5138 | 0.6124 | 0.5130 | 0.2294 | 0.2830 | 0.4303 | - | - | - | - | - | - | - | - | | 0.6909 | 4210 | 0.6999 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6925 | 4220 | 0.7745 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6942 | 4230 | 0.662 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6958 | 4240 | 0.7809 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6974 | 4250 | 0.741 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.6991 | 4260 | 0.801 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7007 | 4270 | 0.7254 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7024 | 4280 | 0.7023 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.704 | 4290 | 0.7472 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7056 | 4300 | 0.6856 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7073 | 4310 | 0.7021 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7089 | 4320 | 0.7453 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7106 | 4330 | 0.7133 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7122 | 4340 | 0.761 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7138 | 4350 | 0.7107 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7155 | 4360 | 0.7189 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7171 | 4370 | 0.6503 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7188 | 4380 | 0.79 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7204 | 4390 | 0.8095 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7221 | 4400 | 0.6968 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7237 | 4410 | 0.7771 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7253 | 4420 | 0.7706 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7270 | 4430 | 0.6979 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7286 | 4440 | 0.7849 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7303 | 4450 | 0.7501 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7319 | 4460 | 0.7748 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7335 | 4470 | 0.8031 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7352 | 4480 | 0.7407 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7368 | 4490 | 0.7053 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7385 | 4500 | 0.6062 | 0.7402 | 0.5804 | 0.5645 | 0.5012 | 0.2393 | 0.3026 | 0.4376 | - | - | - | - | - | - | - | - | | 0.7401 | 4510 | 0.8042 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7417 | 4520 | 0.7805 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7434 | 4530 | 0.6755 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7450 | 4540 | 0.7663 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7467 | 4550 | 0.8568 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7483 | 4560 | 0.7609 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7499 | 4570 | 0.721 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7516 | 4580 | 0.7329 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7532 | 4590 | 0.8352 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7549 | 4600 | 0.6774 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7565 | 4610 | 0.6818 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7582 | 4620 | 0.7174 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7598 | 4630 | 0.7243 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7614 | 4640 | 0.7756 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7631 | 4650 | 0.7175 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7647 | 4660 | 0.7679 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7664 | 4670 | 0.7647 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.768 | 4680 | 0.7713 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7696 | 4690 | 0.7572 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7713 | 4700 | 0.6653 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7729 | 4710 | 0.8305 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7746 | 4720 | 0.7023 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7762 | 4730 | 0.8337 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7778 | 4740 | 0.6764 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7795 | 4750 | 0.7639 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7811 | 4760 | 0.7767 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7828 | 4770 | 0.7009 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7844 | 4780 | 0.725 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7861 | 4790 | 0.818 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7877 | 4800 | 0.7811 | 0.7691 | 0.5622 | 0.5557 | 0.5032 | 0.2686 | 0.3093 | 0.4398 | - | - | - | - | - | - | - | - | | 0.7893 | 4810 | 0.7423 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7910 | 4820 | 0.8681 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7926 | 4830 | 0.7098 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7943 | 4840 | 0.8208 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7959 | 4850 | 0.8399 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7975 | 4860 | 0.6926 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.7992 | 4870 | 0.8239 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8008 | 4880 | 0.7758 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8025 | 4890 | 0.7315 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8041 | 4900 | 0.7711 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8057 | 4910 | 0.7572 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8074 | 4920 | 0.6806 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8090 | 4930 | 0.711 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8107 | 4940 | 0.7366 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8123 | 4950 | 0.7521 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8139 | 4960 | 0.7129 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8156 | 4970 | 0.7254 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8172 | 4980 | 0.7368 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8189 | 4990 | 0.7732 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8205 | 5000 | 0.7763 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8222 | 5010 | 0.7171 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8238 | 5020 | 0.7986 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8254 | 5030 | 0.703 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8271 | 5040 | 0.8228 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8287 | 5050 | 0.6839 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8304 | 5060 | 0.7395 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.832 | 5070 | 0.6788 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8336 | 5080 | 0.7085 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8353 | 5090 | 0.7932 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8369 | 5100 | 0.7836 | 0.7452 | 0.5035 | 0.5746 | 0.5390 | 0.2658 | 0.2932 | 0.4352 | - | - | - | - | - | - | - | - | | 0.8386 | 5110 | 0.7656 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8402 | 5120 | 0.8125 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8418 | 5130 | 0.712 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8435 | 5140 | 0.7017 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8451 | 5150 | 0.7045 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8468 | 5160 | 0.7306 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8484 | 5170 | 0.6787 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8501 | 5180 | 0.7567 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8517 | 5190 | 0.7928 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8533 | 5200 | 0.739 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8550 | 5210 | 0.8855 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8566 | 5220 | 0.7397 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8583 | 5230 | 0.7049 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8599 | 5240 | 0.7166 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8615 | 5250 | 0.7112 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8632 | 5260 | 0.8031 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8648 | 5270 | 0.7629 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8665 | 5280 | 0.7122 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8681 | 5290 | 0.7378 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8697 | 5300 | 0.7683 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8714 | 5310 | 0.7415 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8730 | 5320 | 0.7301 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8747 | 5330 | 0.6621 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8763 | 5340 | 0.7261 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8779 | 5350 | 0.7427 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8796 | 5360 | 0.7695 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8812 | 5370 | 0.8572 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8829 | 5380 | 0.7056 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8845 | 5390 | 0.7039 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8862 | 5400 | 0.7988 | 0.7738 | 0.4815 | 0.5748 | 0.5220 | 0.2394 | 0.2847 | 0.4205 | - | - | - | - | - | - | - | - | | 0.8878 | 5410 | 0.8054 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8894 | 5420 | 0.7299 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8911 | 5430 | 0.7387 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8927 | 5440 | 0.7393 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8944 | 5450 | 0.6936 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.896 | 5460 | 0.7552 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8976 | 5470 | 0.6468 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.8993 | 5480 | 0.6327 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9009 | 5490 | 0.7159 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9026 | 5500 | 0.7158 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9042 | 5510 | 0.7159 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9058 | 5520 | 0.7979 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9075 | 5530 | 0.6315 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9091 | 5540 | 0.758 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9108 | 5550 | 0.7455 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9124 | 5560 | 0.7132 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9141 | 5570 | 0.8288 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9157 | 5580 | 0.7411 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9173 | 5590 | 0.7564 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9190 | 5600 | 0.7443 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9206 | 5610 | 0.7437 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9223 | 5620 | 0.7705 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9239 | 5630 | 0.7422 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9255 | 5640 | 0.7758 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9272 | 5650 | 0.759 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9288 | 5660 | 0.8103 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9305 | 5670 | 0.7431 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9321 | 5680 | 0.7678 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9337 | 5690 | 0.7143 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9354 | 5700 | 0.6295 | 0.7434 | 0.5184 | 0.5742 | 0.5113 | 0.2571 | 0.3085 | 0.4339 | - | - | - | - | - | - | - | - | | 0.9370 | 5710 | 0.8104 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9387 | 5720 | 0.7338 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9403 | 5730 | 0.6961 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9419 | 5740 | 0.748 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9436 | 5750 | 0.7521 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9452 | 5760 | 0.7677 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9469 | 5770 | 0.7332 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9485 | 5780 | 0.7913 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9502 | 5790 | 0.7065 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9518 | 5800 | 0.6556 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9534 | 5810 | 0.6145 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9551 | 5820 | 0.7693 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9567 | 5830 | 0.7335 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9584 | 5840 | 0.7294 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.96 | 5850 | 0.7462 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9616 | 5860 | 0.7334 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9633 | 5870 | 0.8289 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9649 | 5880 | 0.6883 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9666 | 5890 | 0.6858 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9682 | 5900 | 0.7181 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9698 | 5910 | 0.722 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9715 | 5920 | 0.6392 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9731 | 5930 | 0.6933 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9748 | 5940 | 0.6947 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9764 | 5950 | 0.722 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9781 | 5960 | 0.6937 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9797 | 5970 | 0.8133 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9813 | 5980 | 0.6892 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9830 | 5990 | 0.7362 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9846 | 6000 | 0.6702 | 0.6841 | 0.5382 | 0.5951 | 0.4999 | 0.2504 | 0.3229 | 0.4413 | - | - | - | - | - | - | - | - | | 0.9863 | 6010 | 0.7018 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9879 | 6020 | 0.7974 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9895 | 6030 | 0.7336 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9912 | 6040 | 0.6732 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9928 | 6050 | 0.6217 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9945 | 6060 | 0.769 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9961 | 6070 | 0.803 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9977 | 6080 | 0.7408 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 0.9994 | 6090 | 0.7173 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0010 | 6100 | 0.6738 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0026 | 6110 | 0.6823 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0043 | 6120 | 0.6823 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0059 | 6130 | 0.6313 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0075 | 6140 | 0.7271 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0092 | 6150 | 0.6583 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0108 | 6160 | 0.6349 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0125 | 6170 | 0.639 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0141 | 6180 | 0.6113 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0158 | 6190 | 0.5747 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0174 | 6200 | 0.5869 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0190 | 6210 | 0.5953 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0207 | 6220 | 0.6308 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0223 | 6230 | 0.5732 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0240 | 6240 | 0.5719 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0256 | 6250 | 0.6124 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0272 | 6260 | 0.632 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0289 | 6270 | 0.6355 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0305 | 6280 | 0.689 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0322 | 6290 | 0.6511 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0338 | 6300 | 0.747 | 0.7191 | 0.5398 | 0.5564 | 0.5304 | 0.2446 | 0.3085 | 0.4360 | - | - | - | - | - | - | - | - | | 1.0354 | 6310 | 0.6862 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0371 | 6320 | 0.6044 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0387 | 6330 | 0.6565 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0404 | 6340 | 0.621 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0420 | 6350 | 0.5924 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0437 | 6360 | 0.6816 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0453 | 6370 | 0.6681 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0469 | 6380 | 0.6239 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0486 | 6390 | 0.6142 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0502 | 6400 | 0.6606 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0519 | 6410 | 0.6615 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0535 | 6420 | 0.6189 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0551 | 6430 | 0.6717 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0568 | 6440 | 0.6267 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0584 | 6450 | 0.6348 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0601 | 6460 | 0.6197 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0617 | 6470 | 0.6644 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0633 | 6480 | 0.6837 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0650 | 6490 | 0.6767 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0666 | 6500 | 0.6102 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0683 | 6510 | 0.6093 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0699 | 6520 | 0.6765 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0715 | 6530 | 0.6119 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0732 | 6540 | 0.6296 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0748 | 6550 | 0.6926 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0765 | 6560 | 0.654 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0781 | 6570 | 0.6011 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0798 | 6580 | 0.6748 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0814 | 6590 | 0.6762 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0830 | 6600 | 0.5935 | 0.7540 | 0.5735 | 0.5407 | 0.5088 | 0.2355 | 0.2852 | 0.4287 | - | - | - | - | - | - | - | - | | 1.0847 | 6610 | 0.5432 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0863 | 6620 | 0.555 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0880 | 6630 | 0.6143 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0896 | 6640 | 0.6244 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0912 | 6650 | 0.7162 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0929 | 6660 | 0.6695 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0945 | 6670 | 0.648 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0962 | 6680 | 0.621 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0978 | 6690 | 0.6378 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.0994 | 6700 | 0.6055 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1011 | 6710 | 0.7021 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1027 | 6720 | 0.5996 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1044 | 6730 | 0.7365 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1060 | 6740 | 0.6484 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1077 | 6750 | 0.6097 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1093 | 6760 | 0.6188 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1109 | 6770 | 0.6435 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1126 | 6780 | 0.6756 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1142 | 6790 | 0.6044 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1159 | 6800 | 0.5677 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1175 | 6810 | 0.6529 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1191 | 6820 | 0.6033 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1208 | 6830 | 0.6252 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1224 | 6840 | 0.6645 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1241 | 6850 | 0.6183 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1257 | 6860 | 0.5795 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1273 | 6870 | 0.6179 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1290 | 6880 | 0.6045 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1306 | 6890 | 0.6589 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1323 | 6900 | 0.7242 | 0.7307 | 0.5301 | 0.5904 | 0.5287 | 0.2589 | 0.2746 | 0.4365 | - | - | - | - | - | - | - | - | | 1.1339 | 6910 | 0.6462 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1355 | 6920 | 0.6536 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1372 | 6930 | 0.4706 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1388 | 6940 | 0.6979 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1405 | 6950 | 0.6385 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1421 | 6960 | 0.6082 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1438 | 6970 | 0.6653 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1454 | 6980 | 0.6306 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1470 | 6990 | 0.7102 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1487 | 7000 | 0.5662 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1503 | 7010 | 0.5909 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1520 | 7020 | 0.6706 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1536 | 7030 | 0.6727 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1552 | 7040 | 0.6587 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1569 | 7050 | 0.6676 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1585 | 7060 | 0.5925 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1602 | 7070 | 0.6064 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1618 | 7080 | 0.6584 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1634 | 7090 | 0.6072 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1651 | 7100 | 0.6655 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1667 | 7110 | 0.6497 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1684 | 7120 | 0.6788 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1700 | 7130 | 0.6191 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1717 | 7140 | 0.6964 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1733 | 7150 | 0.6045 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1749 | 7160 | 0.6282 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1766 | 7170 | 0.5744 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1782 | 7180 | 0.6417 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1799 | 7190 | 0.594 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1815 | 7200 | 0.6413 | 0.6940 | 0.5629 | 0.5946 | 0.5475 | 0.2558 | 0.2883 | 0.4498 | - | - | - | - | - | - | - | - | | 1.1831 | 7210 | 0.632 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1848 | 7220 | 0.5629 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1864 | 7230 | 0.5742 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1881 | 7240 | 0.6166 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1897 | 7250 | 0.6791 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1913 | 7260 | 0.6296 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1930 | 7270 | 0.6495 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1946 | 7280 | 0.5596 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1963 | 7290 | 0.6606 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1979 | 7300 | 0.5733 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.1995 | 7310 | 0.6906 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2012 | 7320 | 0.59 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2028 | 7330 | 0.6194 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2045 | 7340 | 0.5539 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2061 | 7350 | 0.5667 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2078 | 7360 | 0.5951 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2094 | 7370 | 0.5552 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2110 | 7380 | 0.6709 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2127 | 7390 | 0.5896 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2143 | 7400 | 0.6217 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2160 | 7410 | 0.5584 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2176 | 7420 | 0.6382 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2192 | 7430 | 0.5653 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2209 | 7440 | 0.5751 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2225 | 7450 | 0.5731 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2242 | 7460 | 0.6551 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2258 | 7470 | 0.625 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2274 | 7480 | 0.5083 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2291 | 7490 | 0.5885 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2307 | 7500 | 0.5539 | 0.7052 | 0.5987 | 0.6130 | 0.5305 | 0.2403 | 0.3092 | 0.4583 | - | - | - | - | - | - | - | - | | 1.2324 | 7510 | 0.6375 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2340 | 7520 | 0.7884 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2357 | 7530 | 0.6641 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2373 | 7540 | 0.5895 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2389 | 7550 | 0.5907 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2406 | 7560 | 0.6341 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2422 | 7570 | 0.6539 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2439 | 7580 | 0.7317 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2455 | 7590 | 0.6312 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2471 | 7600 | 0.6182 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2488 | 7610 | 0.6007 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2504 | 7620 | 0.6235 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2521 | 7630 | 0.5653 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2537 | 7640 | 0.672 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2553 | 7650 | 0.5424 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2570 | 7660 | 0.6265 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2586 | 7670 | 0.5752 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2603 | 7680 | 0.6606 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2619 | 7690 | 0.6209 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2635 | 7700 | 0.5565 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2652 | 7710 | 0.5983 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2668 | 7720 | 0.608 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2685 | 7730 | 0.5287 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2701 | 7740 | 0.5946 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2718 | 7750 | 0.6053 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2734 | 7760 | 0.5641 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2750 | 7770 | 0.5423 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2767 | 7780 | 0.5869 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2783 | 7790 | 0.5814 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2800 | 7800 | 0.5768 | 0.6596 | 0.5928 | 0.5566 | 0.5295 | 0.2448 | 0.2829 | 0.4413 | - | - | - | - | - | - | - | - | | 1.2816 | 7810 | 0.591 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2832 | 7820 | 0.6343 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2849 | 7830 | 0.6435 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2865 | 7840 | 0.4934 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2882 | 7850 | 0.6561 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2898 | 7860 | 0.5839 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2914 | 7870 | 0.5567 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2931 | 7880 | 0.6438 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2947 | 7890 | 0.671 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2964 | 7900 | 0.5892 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2980 | 7910 | 0.573 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.2997 | 7920 | 0.6639 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3013 | 7930 | 0.6052 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3029 | 7940 | 0.5692 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3046 | 7950 | 0.5415 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3062 | 7960 | 0.6138 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3079 | 7970 | 0.6434 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3095 | 7980 | 0.5413 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3111 | 7990 | 0.5398 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3128 | 8000 | 0.6557 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3144 | 8010 | 0.5451 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3161 | 8020 | 0.6212 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3177 | 8030 | 0.563 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3193 | 8040 | 0.6082 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3210 | 8050 | 0.6116 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3226 | 8060 | 0.5888 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3243 | 8070 | 0.5818 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3259 | 8080 | 0.5932 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3275 | 8090 | 0.5613 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3292 | 8100 | 0.5928 | 0.6371 | 0.5763 | 0.5851 | 0.5199 | 0.2594 | 0.2988 | 0.4479 | - | - | - | - | - | - | - | - | | 1.3308 | 8110 | 0.5727 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3325 | 8120 | 0.5887 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3341 | 8130 | 0.5708 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3358 | 8140 | 0.5494 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3374 | 8150 | 0.5274 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3390 | 8160 | 0.5007 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3407 | 8170 | 0.5344 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3423 | 8180 | 0.5152 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3440 | 8190 | 0.6155 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3456 | 8200 | 0.56 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3472 | 8210 | 0.5483 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3489 | 8220 | 0.5704 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3505 | 8230 | 0.5732 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3522 | 8240 | 0.6532 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3538 | 8250 | 0.5888 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3554 | 8260 | 0.5518 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3571 | 8270 | 0.6223 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3587 | 8280 | 0.5424 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3604 | 8290 | 0.5806 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3620 | 8300 | 0.4859 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3637 | 8310 | 0.5319 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3653 | 8320 | 0.5844 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3669 | 8330 | 0.5394 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3686 | 8340 | 0.5728 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3702 | 8350 | 0.6082 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3719 | 8360 | 0.5436 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3735 | 8370 | 0.5604 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3751 | 8380 | 0.5635 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3768 | 8390 | 0.4705 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3784 | 8400 | 0.49 | 0.6151 | 0.5503 | 0.5727 | 0.5184 | 0.2596 | 0.3172 | 0.4436 | - | - | - | - | - | - | - | - | | 1.3801 | 8410 | 0.6012 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3817 | 8420 | 0.5374 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3833 | 8430 | 0.5515 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3850 | 8440 | 0.59 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3866 | 8450 | 0.5848 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3883 | 8460 | 0.5178 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3899 | 8470 | 0.5013 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3915 | 8480 | 0.5618 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3932 | 8490 | 0.5457 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3948 | 8500 | 0.5365 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3965 | 8510 | 0.5778 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3981 | 8520 | 0.5161 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.3998 | 8530 | 0.5499 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4014 | 8540 | 0.5502 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4030 | 8550 | 0.5758 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4047 | 8560 | 0.5142 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4063 | 8570 | 0.5733 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4080 | 8580 | 0.5675 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4096 | 8590 | 0.6031 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4112 | 8600 | 0.5377 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4129 | 8610 | 0.5189 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4145 | 8620 | 0.5581 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4162 | 8630 | 0.5183 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4178 | 8640 | 0.5635 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4194 | 8650 | 0.5064 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4211 | 8660 | 0.5181 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4227 | 8670 | 0.4678 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4244 | 8680 | 0.589 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4260 | 8690 | 0.5566 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4277 | 8700 | 0.5515 | 0.6021 | 0.5843 | 0.6096 | 0.5247 | 0.2703 | 0.3193 | 0.4616 | - | - | - | - | - | - | - | - | | 1.4293 | 8710 | 0.5061 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4309 | 8720 | 0.5442 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4326 | 8730 | 0.5736 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4342 | 8740 | 0.5539 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4359 | 8750 | 0.6298 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4375 | 8760 | 0.5764 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4391 | 8770 | 0.4931 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4408 | 8780 | 0.4884 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4424 | 8790 | 0.5936 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4441 | 8800 | 0.4839 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4457 | 8810 | 0.5493 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4473 | 8820 | 0.4848 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4490 | 8830 | 0.4565 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4506 | 8840 | 0.437 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4523 | 8850 | 0.5675 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4539 | 8860 | 0.5676 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4555 | 8870 | 0.4995 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4572 | 8880 | 0.5688 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4588 | 8890 | 0.5237 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4605 | 8900 | 0.4963 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4621 | 8910 | 0.5497 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4638 | 8920 | 0.5136 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4654 | 8930 | 0.465 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4670 | 8940 | 0.555 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4687 | 8950 | 0.5045 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4703 | 8960 | 0.485 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4720 | 8970 | 0.5089 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4736 | 8980 | 0.4943 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4752 | 8990 | 0.4948 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4769 | 9000 | 0.4498 | 0.5840 | 0.5954 | 0.6157 | 0.5547 | 0.2535 | 0.3042 | 0.4647 | - | - | - | - | - | - | - | - | | 1.4785 | 9010 | 0.5163 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4802 | 9020 | 0.4842 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4818 | 9030 | 0.4997 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4834 | 9040 | 0.4831 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4851 | 9050 | 0.5437 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4867 | 9060 | 0.5527 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4884 | 9070 | 0.5737 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4900 | 9080 | 0.5041 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4917 | 9090 | 0.5402 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4933 | 9100 | 0.5493 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4949 | 9110 | 0.5195 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4966 | 9120 | 0.4886 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4982 | 9130 | 0.5321 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.4999 | 9140 | 0.4985 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5015 | 9150 | 0.5323 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5031 | 9160 | 0.5922 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5048 | 9170 | 0.5398 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5064 | 9180 | 0.5404 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5081 | 9190 | 0.5069 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5097 | 9200 | 0.5205 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5113 | 9210 | 0.5177 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5130 | 9220 | 0.4954 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5146 | 9230 | 0.4964 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5163 | 9240 | 0.5054 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5179 | 9250 | 0.5007 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5195 | 9260 | 0.4196 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5212 | 9270 | 0.5068 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5228 | 9280 | 0.4793 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5245 | 9290 | 0.5192 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5261 | 9300 | 0.4381 | 0.5490 | 0.6337 | 0.5792 | 0.5325 | 0.2593 | 0.3088 | 0.4627 | - | - | - | - | - | - | - | - | | 1.5278 | 9310 | 0.5512 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5294 | 9320 | 0.509 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5310 | 9330 | 0.5026 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5327 | 9340 | 0.5238 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5343 | 9350 | 0.538 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5360 | 9360 | 0.5372 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5376 | 9370 | 0.5228 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5392 | 9380 | 0.5261 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5409 | 9390 | 0.5367 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5425 | 9400 | 0.5278 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5442 | 9410 | 0.5255 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5458 | 9420 | 0.5038 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5474 | 9430 | 0.5354 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5491 | 9440 | 0.455 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5507 | 9450 | 0.4533 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5524 | 9460 | 0.4895 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5540 | 9470 | 0.4888 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5557 | 9480 | 0.4857 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5573 | 9490 | 0.4735 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5589 | 9500 | 0.4777 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5606 | 9510 | 0.4073 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5622 | 9520 | 0.4904 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5639 | 9530 | 0.4263 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5655 | 9540 | 0.4964 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5671 | 9550 | 0.4912 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5688 | 9560 | 0.4751 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5704 | 9570 | 0.4405 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5721 | 9580 | 0.4953 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5737 | 9590 | 0.4424 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5753 | 9600 | 0.5058 | 0.5387 | 0.6112 | 0.6026 | 0.5428 | 0.3098 | 0.3106 | 0.4754 | - | - | - | - | - | - | - | - | | 1.5770 | 9610 | 0.4961 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5786 | 9620 | 0.524 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5803 | 9630 | 0.4506 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5819 | 9640 | 0.4889 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5835 | 9650 | 0.4286 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5852 | 9660 | 0.4653 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5868 | 9670 | 0.4841 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5885 | 9680 | 0.4713 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5901 | 9690 | 0.4542 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5918 | 9700 | 0.4183 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5934 | 9710 | 0.4689 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5950 | 9720 | 0.4607 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5967 | 9730 | 0.4509 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.5983 | 9740 | 0.4247 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6000 | 9750 | 0.4692 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6016 | 9760 | 0.5105 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6032 | 9770 | 0.5334 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6049 | 9780 | 0.4199 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6065 | 9790 | 0.4784 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6082 | 9800 | 0.4734 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6098 | 9810 | 0.4945 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6114 | 9820 | 0.4304 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6131 | 9830 | 0.5083 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6147 | 9840 | 0.4458 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6164 | 9850 | 0.489 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6180 | 9860 | 0.4972 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6197 | 9870 | 0.4366 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6213 | 9880 | 0.551 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6229 | 9890 | 0.4152 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6246 | 9900 | 0.5085 | 0.5033 | 0.6271 | 0.6096 | 0.5378 | 0.2781 | 0.3226 | 0.4750 | - | - | - | - | - | - | - | - | | 1.6262 | 9910 | 0.4437 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6279 | 9920 | 0.4271 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6295 | 9930 | 0.3861 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6311 | 9940 | 0.4536 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6328 | 9950 | 0.4001 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6344 | 9960 | 0.4154 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6361 | 9970 | 0.4804 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6377 | 9980 | 0.4893 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6393 | 9990 | 0.449 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6410 | 10000 | 0.4567 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6426 | 10010 | 0.3992 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6443 | 10020 | 0.4414 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6459 | 10030 | 0.4851 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6475 | 10040 | 0.4637 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6492 | 10050 | 0.4581 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6508 | 10060 | 0.5009 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6525 | 10070 | 0.4466 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6541 | 10080 | 0.4017 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6558 | 10090 | 0.5068 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6574 | 10100 | 0.4411 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6590 | 10110 | 0.4764 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6607 | 10120 | 0.3938 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6623 | 10130 | 0.4373 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6640 | 10140 | 0.5035 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6656 | 10150 | 0.4532 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6672 | 10160 | 0.408 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6689 | 10170 | 0.4663 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6705 | 10180 | 0.4693 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6722 | 10190 | 0.4836 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6738 | 10200 | 0.3868 | 0.4979 | 0.6335 | 0.6255 | 0.5384 | 0.2765 | 0.3282 | 0.4804 | - | - | - | - | - | - | - | - | | 1.6754 | 10210 | 0.4748 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6771 | 10220 | 0.4367 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6787 | 10230 | 0.4273 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6804 | 10240 | 0.4416 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6820 | 10250 | 0.5184 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6837 | 10260 | 0.4362 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6853 | 10270 | 0.4657 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6869 | 10280 | 0.5093 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6886 | 10290 | 0.4695 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6902 | 10300 | 0.5118 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6919 | 10310 | 0.3862 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6935 | 10320 | 0.4791 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6951 | 10330 | 0.4298 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6968 | 10340 | 0.3741 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.6984 | 10350 | 0.3952 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7001 | 10360 | 0.4235 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7017 | 10370 | 0.4119 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7033 | 10380 | 0.4485 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7050 | 10390 | 0.4505 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7066 | 10400 | 0.4391 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7083 | 10410 | 0.4666 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7099 | 10420 | 0.4594 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7115 | 10430 | 0.4437 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7132 | 10440 | 0.4203 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7148 | 10450 | 0.3743 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7165 | 10460 | 0.3612 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7181 | 10470 | 0.4634 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7198 | 10480 | 0.4501 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7214 | 10490 | 0.4363 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7230 | 10500 | 0.4413 | 0.4835 | 0.6234 | 0.5941 | 0.5358 | 0.2943 | 0.3525 | 0.4800 | - | - | - | - | - | - | - | - | | 1.7247 | 10510 | 0.4708 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7263 | 10520 | 0.4243 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7280 | 10530 | 0.4339 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7296 | 10540 | 0.3916 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7312 | 10550 | 0.4294 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7329 | 10560 | 0.4773 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7345 | 10570 | 0.4771 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7362 | 10580 | 0.3705 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7378 | 10590 | 0.4469 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7394 | 10600 | 0.4713 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7411 | 10610 | 0.4244 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7427 | 10620 | 0.3906 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7444 | 10630 | 0.4445 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7460 | 10640 | 0.4237 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7477 | 10650 | 0.3662 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7493 | 10660 | 0.4136 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7509 | 10670 | 0.3534 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7526 | 10680 | 0.4238 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7542 | 10690 | 0.4197 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7559 | 10700 | 0.4316 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7575 | 10710 | 0.3894 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7591 | 10720 | 0.4195 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7608 | 10730 | 0.429 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7624 | 10740 | 0.3465 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7641 | 10750 | 0.3617 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7657 | 10760 | 0.3925 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7673 | 10770 | 0.3694 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7690 | 10780 | 0.3935 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7706 | 10790 | 0.4513 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7723 | 10800 | 0.4032 | 0.4712 | 0.6450 | 0.6042 | 0.5583 | 0.2994 | 0.3535 | 0.4921 | - | - | - | - | - | - | - | - | | 1.7739 | 10810 | 0.4897 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7755 | 10820 | 0.4046 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7772 | 10830 | 0.3659 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7788 | 10840 | 0.4877 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7805 | 10850 | 0.4404 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7821 | 10860 | 0.4504 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7838 | 10870 | 0.3782 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7854 | 10880 | 0.4439 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7870 | 10890 | 0.3993 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7887 | 10900 | 0.5311 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7903 | 10910 | 0.4273 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7920 | 10920 | 0.4055 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7936 | 10930 | 0.3862 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7952 | 10940 | 0.3844 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7969 | 10950 | 0.3584 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.7985 | 10960 | 0.4621 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8002 | 10970 | 0.348 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8018 | 10980 | 0.4062 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8034 | 10990 | 0.3853 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8051 | 11000 | 0.4047 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8067 | 11010 | 0.438 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8084 | 11020 | 0.4129 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8100 | 11030 | 0.3646 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8117 | 11040 | 0.3858 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8133 | 11050 | 0.4013 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8149 | 11060 | 0.4546 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8166 | 11070 | 0.4519 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8182 | 11080 | 0.4241 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8199 | 11090 | 0.4604 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8215 | 11100 | 0.3914 | 0.4574 | 0.6367 | 0.5973 | 0.5503 | 0.2921 | 0.3533 | 0.4860 | - | - | - | - | - | - | - | - | | 1.8231 | 11110 | 0.3853 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8248 | 11120 | 0.4361 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8264 | 11130 | 0.364 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8281 | 11140 | 0.423 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8297 | 11150 | 0.4674 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8313 | 11160 | 0.4297 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8330 | 11170 | 0.4201 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8346 | 11180 | 0.4411 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8363 | 11190 | 0.4169 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8379 | 11200 | 0.3695 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8395 | 11210 | 0.3909 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8412 | 11220 | 0.3807 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8428 | 11230 | 0.3792 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8445 | 11240 | 0.4265 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8461 | 11250 | 0.4307 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8478 | 11260 | 0.4417 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8494 | 11270 | 0.3512 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8510 | 11280 | 0.4803 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8527 | 11290 | 0.418 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8543 | 11300 | 0.4403 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8560 | 11310 | 0.4401 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8576 | 11320 | 0.389 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8592 | 11330 | 0.394 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8609 | 11340 | 0.361 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8625 | 11350 | 0.3952 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8642 | 11360 | 0.3869 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8658 | 11370 | 0.4322 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8674 | 11380 | 0.3301 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8691 | 11390 | 0.3785 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8707 | 11400 | 0.3121 | 0.4525 | 0.6547 | 0.6068 | 0.5577 | 0.2971 | 0.3556 | 0.4944 | - | - | - | - | - | - | - | - | | 1.8724 | 11410 | 0.3345 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8740 | 11420 | 0.407 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8757 | 11430 | 0.4976 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8773 | 11440 | 0.3822 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8789 | 11450 | 0.3881 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8806 | 11460 | 0.396 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8822 | 11470 | 0.3988 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8839 | 11480 | 0.441 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8855 | 11490 | 0.4363 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8871 | 11500 | 0.4328 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8888 | 11510 | 0.4047 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8904 | 11520 | 0.4414 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8921 | 11530 | 0.5021 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8937 | 11540 | 0.4239 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8953 | 11550 | 0.4042 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8970 | 11560 | 0.423 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.8986 | 11570 | 0.4275 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9003 | 11580 | 0.3693 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9019 | 11590 | 0.4252 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9035 | 11600 | 0.4385 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9052 | 11610 | 0.4556 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9068 | 11620 | 0.3653 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9085 | 11630 | 0.3884 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9101 | 11640 | 0.4019 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9118 | 11650 | 0.3953 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9134 | 11660 | 0.416 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9150 | 11670 | 0.4334 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9167 | 11680 | 0.43 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9183 | 11690 | 0.4018 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9200 | 11700 | 0.3987 | 0.4474 | 0.6588 | 0.6174 | 0.5562 | 0.2969 | 0.3543 | 0.4967 | - | - | - | - | - | - | - | - | | 1.9216 | 11710 | 0.4291 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9232 | 11720 | 0.4141 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9249 | 11730 | 0.3452 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9265 | 11740 | 0.3858 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9282 | 11750 | 0.3833 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9298 | 11760 | 0.3972 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9314 | 11770 | 0.4287 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9331 | 11780 | 0.4268 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9347 | 11790 | 0.3985 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9364 | 11800 | 0.3969 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9380 | 11810 | 0.4506 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9397 | 11820 | 0.3745 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9413 | 11830 | 0.4273 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9429 | 11840 | 0.4364 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9446 | 11850 | 0.349 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9462 | 11860 | 0.3943 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9479 | 11870 | 0.4093 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9495 | 11880 | 0.3812 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9511 | 11890 | 0.3524 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9528 | 11900 | 0.4282 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9544 | 11910 | 0.3755 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9561 | 11920 | 0.389 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9577 | 11930 | 0.4161 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9593 | 11940 | 0.4126 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9610 | 11950 | 0.4227 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9626 | 11960 | 0.367 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9643 | 11970 | 0.4502 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9659 | 11980 | 0.4551 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9675 | 11990 | 0.4007 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9692 | 12000 | 0.4039 | 0.4455 | 0.6555 | 0.6033 | 0.5506 | 0.2957 | 0.3556 | 0.4922 | - | - | - | - | - | - | - | - | | 1.9708 | 12010 | 0.3664 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9725 | 12020 | 0.4056 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9741 | 12030 | 0.3757 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9758 | 12040 | 0.3722 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9774 | 12050 | 0.3752 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9790 | 12060 | 0.3746 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9807 | 12070 | 0.4147 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9823 | 12080 | 0.36 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9840 | 12090 | 0.4228 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9856 | 12100 | 0.4363 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9872 | 12110 | 0.3822 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9889 | 12120 | 0.3475 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9905 | 12130 | 0.4092 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9922 | 12140 | 0.3611 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9938 | 12150 | 0.4427 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9954 | 12160 | 0.3971 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9971 | 12170 | 0.4295 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | 1.9987 | 12180 | 0.4161 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | | -1 | -1 | - | - | 0.6560 | 0.6030 | 0.5537 | 0.2955 | 0.3541 | 0.5623 | 0.2727 | 0.6253 | 0.8531 | 0.4203 | 0.7586 | 0.6249 | 0.9174 | 0.3757 | * The bold row denotes the saved checkpoint.
### Framework Versions - Python: 3.11.9 - Sentence Transformers: 5.1.0 - Transformers: 4.56.1 - PyTorch: 2.8.0+cu128 - Accelerate: 1.6.0 - Datasets: 3.2.0 - Tokenizers: 0.22.0 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ``` #### SpladeLoss ```bibtex @misc{formal2022distillationhardnegativesampling, title={From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective}, author={Thibault Formal and Carlos Lassance and Benjamin Piwowarski and Stéphane Clinchant}, year={2022}, eprint={2205.04733}, archivePrefix={arXiv}, primaryClass={cs.IR}, url={https://arxiv.org/abs/2205.04733}, } ``` #### SparseMultipleNegativesRankingLoss ```bibtex @misc{henderson2017efficient, title={Efficient Natural Language Response Suggestion for Smart Reply}, author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil}, year={2017}, eprint={1705.00652}, archivePrefix={arXiv}, primaryClass={cs.CL} } ``` #### FlopsLoss ```bibtex @article{paria2020minimizing, title={Minimizing flops to learn efficient sparse representations}, author={Paria, Biswajit and Yeh, Chih-Kuan and Yen, Ian EH and Xu, Ning and Ravikumar, Pradeep and P{'o}czos, Barnab{'a}s}, journal={arXiv preprint arXiv:2004.05665}, year={2020} } ```