这是 Llama 3.1 8B Instruct 的未经审查版本，使用删减创建（请参阅本文以了解更多信息）。
特别感谢 @FailSpy 提供的原始代码和技术。如果您对 abliterated 模型感兴趣，请关注他。
以下数据已重新评估并计算为每次测试的平均值。
| Benchmark | Llama-3.1-8b-Instruct | Meta-Llama-3.1-8B-Instruct-abliterated |
|---|---|---|
| IF_Eval | 80.0 | 78.98 |
| MMLU Pro | 36.34 | 35.91 |
| TruthfulQA | 52.98 | 55.42 |
| BBH | 48.72 | 47.0 |
| GPQA | 33.55 | 33.93 |
用于评估的脚本可以在此存储库的 /eval.sh 下找到，或单击此处
原文连接：https://huggingface.co/huihui-ai/Meta-Llama-3.1-8B-Instruct-abliterated