Short-Story · Nouvelle
Lech Mazur · Intégrer naturellement des personnages, une intrigue et des exigences de style donnés dans une nouvelle complète.
Ce qu'il mesure, comment il le mesure
600–800 nouvelles, 10 exigences de création ; même prompt, trois juges, comparaison bidirectionnelle. Le score principal est le Thurstone, le BT ne sert qu'au diagnostic, sans double comptage ; les différents paliers sont retenus selon des règles fixes.
Comment utiliser ces preuves
En observation : à intégrer après avoir clarifié les limites de réutilisation des données officielles et résolu la désynchronisation entre le README et les scores machine.
Limites de l'évaluation et attribution des données
Les modèles juges gardent des préférences littéraires ; certains modèles n'ont pas terminé toutes les histoires. La capacité en nouvelles n'égale pas celle du roman ni le style d'écriture en chinois.
Licence des données :Aucune licence claire de réutilisation des données du classement trouvée ; être public sur GitHub n'équivaut pas à une autorisation ouverte.
Résultats publiés par Lech Mazur ; les scores bruts de chaque épreuve utilisent des échelles différentes et ne peuvent pas être additionnés directement ; le rang de référence applique des règles publiques de normalisation des écarts.