Model Evaluation Summary
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━┳━━━━━━━━┳━━━━━━━━┳━━━━━━━━┳━━━━━━━━┳━━━━━━━━┳━━━━━━━━┓
┃ Model ┃ Avg ┃ MIRAC ┃ MLQAR ┃ Massi ┃ Multi ┃ STS17 ┃ STS22 ┃ XNLI_ ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━╇━━━━━━━━╇━━━━━━━━╇━━━━━━━━╇━━━━━━━━╇━━━━━━━━╇━━━━━━━━┩
│ arabic_triplet_matryoshka_v2 │ 0.6610 │ 0.6262 │ 0.5093 │ 0.5577 │ 0.5868 │ 0.8531 │ 0.6396 │ 0.8542 │
│ muffakir_embedding │ 0.6494 │ 0.6424 │ 0.5267 │ 0.5462 │ 0.5943 │ 0.8485 │ 0.6291 │ 0.7583 │
│ arabic_retrieval_v1.0 │ 0.6473 │ 0.6159 │ 0.5674 │ 0.5832 │ 0.5993 │ 0.8002 │ 0.6254 │ 0.7393 │
│ gate_arabert-v1 │ 0.6444 │ 0.5774 │ 0.4808 │ 0.5345 │ 0.5847 │ 0.8278 │ 0.6310 │ 0.8746 │
│ get_multilingual_base │ 0.6440 │ 0.7177 │ 0.5698 │ 0.5071 │ 0.5521 │ 0.7881 │ 0.6145 │ 0.7584 │
│ arabic_sts_matryoshka │ 0.6413 │ 0.5828 │ 0.4840 │ 0.5457 │ 0.5494 │ 0.8290 │ 0.6242 │ 0.8740 │
│ silma_ai_embedding_sts_v0.1 │ 0.6138 │ 0.3799 │ 0.5011 │ 0.5600 │ 0.5749 │ 0.8559 │ 0.6122 │ 0.8125 │
│ Arabic-MiniLM-L12-v2-all-nli-triplet │ 0.5431 │ 0.2240 │ 0.3612 │ 0.4775 │ 0.5698 │ 0.8111 │ 0.5540 │ 0.8043 │
│ paraphrase-multilingual-MiniLM-L12-v2 │ 0.5208 │ 0.2191 │ 0.3496 │ 0.4515 │ 0.5573 │ 0.7916 │ 0.4908 │ 0.7859 │
│ bojji │ 0.5177 │ 0.2941 │ 0.3989 │ 0.4667 │ 0.5433 │ 0.7233 │ 0.5880 │ 0.6094 │
│ zarra │ 0.4822 │ 0.2295 │ 0.3473 │ 0.4119 │ 0.5237 │ 0.6469 │ 0.6218 │ 0.5942 │
│ potion-multilingual-128M │ 0.4699 │ 0.1658 │ 0.3150 │ 0.4285 │ 0.5338 │ 0.6511 │ 0.5951 │ 0.5999 │
│ all_minilm_l6_v2 │ 0.2843 │ 0.0005 │ 0.0064 │ 0.1905 │ 0.4934 │ 0.5089 │ 0.2518 │ 0.5384 │
└───────────────────────────────────────┴────────┴────────┴────────┴────────┴────────┴────────┴────────┴────────┘
Sorted by MIRACLRetrievalHardNegatives_main (Score)
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
┃ Model Name ┃ MIRACLRetrievalHardNegatives_main ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
│ get_multilingual_base │ 0.718 │
├───────────────────────────────────────┼───────────────────────────────────┤
│ muffakir_embedding │ 0.642 │
├───────────────────────────────────────┼───────────────────────────────────┤
│ arabic_triplet_matryoshka_v2 │ 0.626 │
├───────────────────────────────────────┼───────────────────────────────────┤
│ arabic_retrieval_v1.0 │ 0.616 │
├───────────────────────────────────────┼───────────────────────────────────┤
│ arabic_sts_matryoshka │ 0.583 │
├───────────────────────────────────────┼───────────────────────────────────┤
│ gate_arabert-v1 │ 0.577 │
├───────────────────────────────────────┼───────────────────────────────────┤
│ silma_ai_embedding_sts_v0.1 │ 0.380 │
├───────────────────────────────────────┼───────────────────────────────────┤
│ bojji │ 0.294 │
├───────────────────────────────────────┼───────────────────────────────────┤
│ zarra │ 0.230 │
├───────────────────────────────────────┼───────────────────────────────────┤
│ Arabic-MiniLM-L12-v2-all-nli-triplet │ 0.224 │
├───────────────────────────────────────┼───────────────────────────────────┤
│ paraphrase-multilingual-MiniLM-L12-v2 │ 0.219 │
├───────────────────────────────────────┼───────────────────────────────────┤
│ potion-multilingual-128M │ 0.166 │
├───────────────────────────────────────┼───────────────────────────────────┤
│ all_minilm_l6_v2 │ 0.001 │
└───────────────────────────────────────┴───────────────────────────────────┘
Sorted by MLQARetrieval_main (Score)
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━┓
┃ Model Name ┃ MLQARetrieval_main ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━┩
│ get_multilingual_base │ 0.570 │
├───────────────────────────────────────┼────────────────────┤
│ arabic_retrieval_v1.0 │ 0.567 │
├───────────────────────────────────────┼────────────────────┤
│ muffakir_embedding │ 0.527 │
├───────────────────────────────────────┼────────────────────┤
│ arabic_triplet_matryoshka_v2 │ 0.509 │
├───────────────────────────────────────┼────────────────────┤
│ silma_ai_embedding_sts_v0.1 │ 0.501 │
├───────────────────────────────────────┼────────────────────┤
│ arabic_sts_matryoshka │ 0.484 │
├───────────────────────────────────────┼────────────────────┤
│ gate_arabert-v1 │ 0.481 │
├───────────────────────────────────────┼────────────────────┤
│ bojji │ 0.399 │
├───────────────────────────────────────┼────────────────────┤
│ Arabic-MiniLM-L12-v2-all-nli-triplet │ 0.361 │
├───────────────────────────────────────┼────────────────────┤
│ paraphrase-multilingual-MiniLM-L12-v2 │ 0.350 │
├───────────────────────────────────────┼────────────────────┤
│ zarra │ 0.347 │
├───────────────────────────────────────┼────────────────────┤
│ potion-multilingual-128M │ 0.315 │
├───────────────────────────────────────┼────────────────────┤
│ all_minilm_l6_v2 │ 0.006 │
└───────────────────────────────────────┴────────────────────┘
Sorted by MassiveIntentClassification_main (Score)
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
┃ Model Name ┃ MassiveIntentClassification_main ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
│ arabic_retrieval_v1.0 │ 0.583 │
├───────────────────────────────────────┼──────────────────────────────────┤
│ silma_ai_embedding_sts_v0.1 │ 0.560 │
├───────────────────────────────────────┼──────────────────────────────────┤
│ arabic_triplet_matryoshka_v2 │ 0.558 │
├───────────────────────────────────────┼──────────────────────────────────┤
│ muffakir_embedding │ 0.546 │
├───────────────────────────────────────┼──────────────────────────────────┤
│ arabic_sts_matryoshka │ 0.546 │
├───────────────────────────────────────┼──────────────────────────────────┤
│ gate_arabert-v1 │ 0.534 │
├───────────────────────────────────────┼──────────────────────────────────┤
│ get_multilingual_base │ 0.507 │
├───────────────────────────────────────┼──────────────────────────────────┤
│ Arabic-MiniLM-L12-v2-all-nli-triplet │ 0.478 │
├───────────────────────────────────────┼──────────────────────────────────┤
│ bojji │ 0.467 │
├───────────────────────────────────────┼──────────────────────────────────┤
│ paraphrase-multilingual-MiniLM-L12-v2 │ 0.451 │
├───────────────────────────────────────┼──────────────────────────────────┤
│ potion-multilingual-128M │ 0.428 │
├───────────────────────────────────────┼──────────────────────────────────┤
│ zarra │ 0.412 │
├───────────────────────────────────────┼──────────────────────────────────┤
│ all_minilm_l6_v2 │ 0.190 │
└───────────────────────────────────────┴──────────────────────────────────┘
Sorted by MultiHateClassification_main (Score)
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
┃ Model Name ┃ MultiHateClassification_main ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
│ arabic_retrieval_v1.0 │ 0.599 │
├───────────────────────────────────────┼──────────────────────────────┤
│ muffakir_embedding │ 0.594 │
├───────────────────────────────────────┼──────────────────────────────┤
│ arabic_triplet_matryoshka_v2 │ 0.587 │
├───────────────────────────────────────┼──────────────────────────────┤
│ gate_arabert-v1 │ 0.585 │
├───────────────────────────────────────┼──────────────────────────────┤
│ silma_ai_embedding_sts_v0.1 │ 0.575 │
├───────────────────────────────────────┼──────────────────────────────┤
│ Arabic-MiniLM-L12-v2-all-nli-triplet │ 0.570 │
├───────────────────────────────────────┼──────────────────────────────┤
│ paraphrase-multilingual-MiniLM-L12-v2 │ 0.557 │
├───────────────────────────────────────┼──────────────────────────────┤
│ get_multilingual_base │ 0.552 │
├───────────────────────────────────────┼──────────────────────────────┤
│ arabic_sts_matryoshka │ 0.549 │
├───────────────────────────────────────┼──────────────────────────────┤
│ bojji │ 0.543 │
├───────────────────────────────────────┼──────────────────────────────┤
│ potion-multilingual-128M │ 0.534 │
├───────────────────────────────────────┼──────────────────────────────┤
│ zarra │ 0.524 │
├───────────────────────────────────────┼──────────────────────────────┤
│ all_minilm_l6_v2 │ 0.493 │
└───────────────────────────────────────┴──────────────────────────────┘
Sorted by STS17_main (Score)
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┓
┃ Model Name ┃ STS17_main ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━┩
│ silma_ai_embedding_sts_v0.1 │ 0.856 │
├───────────────────────────────────────┼────────────┤
│ arabic_triplet_matryoshka_v2 │ 0.853 │
├───────────────────────────────────────┼────────────┤
│ muffakir_embedding │ 0.849 │
├───────────────────────────────────────┼────────────┤
│ arabic_sts_matryoshka │ 0.829 │
├───────────────────────────────────────┼────────────┤
│ gate_arabert-v1 │ 0.828 │
├───────────────────────────────────────┼────────────┤
│ Arabic-MiniLM-L12-v2-all-nli-triplet │ 0.811 │
├───────────────────────────────────────┼────────────┤
│ arabic_retrieval_v1.0 │ 0.800 │
├───────────────────────────────────────┼────────────┤
│ paraphrase-multilingual-MiniLM-L12-v2 │ 0.792 │
├───────────────────────────────────────┼────────────┤
│ get_multilingual_base │ 0.788 │
├───────────────────────────────────────┼────────────┤
│ bojji │ 0.723 │
├───────────────────────────────────────┼────────────┤
│ potion-multilingual-128M │ 0.651 │
├───────────────────────────────────────┼────────────┤
│ zarra │ 0.647 │
├───────────────────────────────────────┼────────────┤
│ all_minilm_l6_v2 │ 0.509 │
└───────────────────────────────────────┴────────────┘
Sorted by STS22.v2_main (Score)
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━┓
┃ Model Name ┃ STS22.v2_main ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━┩
│ arabic_triplet_matryoshka_v2 │ 0.640 │
├───────────────────────────────────────┼───────────────┤
│ gate_arabert-v1 │ 0.631 │
├───────────────────────────────────────┼───────────────┤
│ muffakir_embedding │ 0.629 │
├───────────────────────────────────────┼───────────────┤
│ arabic_retrieval_v1.0 │ 0.625 │
├───────────────────────────────────────┼───────────────┤
│ arabic_sts_matryoshka │ 0.624 │
├───────────────────────────────────────┼───────────────┤
│ zarra │ 0.622 │
├───────────────────────────────────────┼───────────────┤
│ get_multilingual_base │ 0.615 │
├───────────────────────────────────────┼───────────────┤
│ silma_ai_embedding_sts_v0.1 │ 0.612 │
├───────────────────────────────────────┼───────────────┤
│ potion-multilingual-128M │ 0.595 │
├───────────────────────────────────────┼───────────────┤
│ bojji │ 0.588 │
├───────────────────────────────────────┼───────────────┤
│ Arabic-MiniLM-L12-v2-all-nli-triplet │ 0.554 │
├───────────────────────────────────────┼───────────────┤
│ paraphrase-multilingual-MiniLM-L12-v2 │ 0.491 │
├───────────────────────────────────────┼───────────────┤
│ all_minilm_l6_v2 │ 0.252 │
└───────────────────────────────────────┴───────────────┘
Sorted by XNLI_main (Score)
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━┓
┃ Model Name ┃ XNLI_main ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━┩
│ gate_arabert-v1 │ 0.875 │
├───────────────────────────────────────┼───────────┤
│ arabic_sts_matryoshka │ 0.874 │
├───────────────────────────────────────┼───────────┤
│ arabic_triplet_matryoshka_v2 │ 0.854 │
├───────────────────────────────────────┼───────────┤
│ silma_ai_embedding_sts_v0.1 │ 0.813 │
├───────────────────────────────────────┼───────────┤
│ Arabic-MiniLM-L12-v2-all-nli-triplet │ 0.804 │
├───────────────────────────────────────┼───────────┤
│ paraphrase-multilingual-MiniLM-L12-v2 │ 0.786 │
├───────────────────────────────────────┼───────────┤
│ get_multilingual_base │ 0.758 │
├───────────────────────────────────────┼───────────┤
│ muffakir_embedding │ 0.758 │
├───────────────────────────────────────┼───────────┤
│ arabic_retrieval_v1.0 │ 0.739 │
├───────────────────────────────────────┼───────────┤
│ bojji │ 0.609 │
├───────────────────────────────────────┼───────────┤
│ potion-multilingual-128M │ 0.600 │
├───────────────────────────────────────┼───────────┤
│ zarra │ 0.594 │
├───────────────────────────────────────┼───────────┤
│ all_minilm_l6_v2 │ 0.538 │
└───────────────────────────────────────┴───────────┘
Completed zarra on cpu: 26893.63 sentences/second
Completed bojji on cpu: 27478.15 sentences/second
Completed potion-multilingual-128M on cpu: 27145.31 sentences/second
Completed paraphrase-multilingual-MiniLM-L12-v2 on cuda: 2363.24 sentences/second
Completed silma_ai_embedding_sts_v0.1 on cuda: 627.13 sentences/second
Completed muffakir_embedding on cuda: 621.77 sentences/second
Completed get_multilingual_base on cuda: 895.41 sentences/second
Completed arabic_retrieval_v1.0 on cuda: 618.56 sentences/second
Completed arabic_triplet_matryoshka_v2 on cuda: 610.64 sentences/second
Model Benchmark Results
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┓
┃ Model ┃ Speed (sentences/second) ┃ Device ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━┩
│ zarra │ 26893.63 │ cpu │
│ bojji │ 27478.15 │ cpu │
│ potion-multilingual-128M │ 27145.31 │ cpu │
│ paraphrase-multilingual-MiniLM-L12-v2 │ 2363.24 │ cuda │
│ silma_ai_embedding_sts_v0.1 │ 627.13 │ cuda │
│ muffakir_embedding │ 621.77 │ cuda │
│ get_multilingual_base │ 895.41 │ cuda │
│ arabic_retrieval_v1.0 │ 618.56 │ cuda │
│ arabic_triplet_matryoshka_v2 │ 610.64 │ cuda │
└───────────────────────────────────────┴──────────────────────────┴────────┘
Results saved to model_info_results.csv
Model Information Results
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━┳━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━┓
┃ Model ┃ Parameters (M) ┃ Size (MB) ┃ Relative to Largest (%) ┃ Less than Largest (x) ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━╇━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━┩
│ zarra │ 64.00 │ 244.14 │ 41.92 │ 2.39 │
│ bojji │ 124.88 │ 476.40 │ 81.79 │ 1.22 │
│ potion-multilingual-128M │ 128.09 │ 488.63 │ 83.89 │ 1.19 │
│ paraphrase-multilingual-MiniLM-… │ 117.65 │ 448.82 │ 77.06 │ 1.30 │
│ silma_ai_embedding_sts_v0.1 │ 135.19 │ 515.72 │ 88.54 │ 1.13 │
│ muffakir_embedding │ 135.19 │ 515.72 │ 88.54 │ 1.13 │
│ arabic_retrieval_v1.0 │ 135.19 │ 515.73 │ 88.54 │ 1.13 │
│ arabic_triplet_matryoshka_v2 │ 135.19 │ 515.72 │ 88.54 │ 1.13 │
│ get_multilingual_base │ 305.37 │ 582.45 │ 100.00 │ 1.00 │
└──────────────────────────────────┴────────────────┴───────────┴─────────────────────────┴───────────────────────┘