Les dessous de l'entraînement : construction de jeux de données, données synthétiques, méthodes de pré-entraînement et de post-entraînement, puissance de calcul et coûts d'entraînement.
421 sélections30 derniers jours 196 entréesTotal : 1 416 entrées
mise à jour
Archives de la sélection · page 20
26 septembrelun.381–400 entrées · Au total 421 entrées
Hugging Face, avec Intel Labs et le UKP Lab, présente SetFit, un framework d'apprentissage en few-shot pour les Sentence Transformers. Sur le jeu de données CR.
Motif de la recommandation :L'article présente la méthode d'entraînement en deux étapes de SetFit et les résultats comparatifs sur RAFT, permettant de comprendre pourquoi un petit modèle peut atteindre les performances de T-Few.
Motif de la recommandation :L'auteur teste paramètre par paramètre l'impression FDM transparente et mesure l'adhésion entre couches, avec des chiffres de résistance comparables.
Motif de la recommandation :Des essais de flexion et de crochet comparent bois, panneaux et impressions 3D, avec des chiffres exploitables pour choisir un matériau.
Motif de la recommandation :Des tests de débit sur cinq extrudeurs montrent comment la prétension modifie l'extrusion et guident le réglage selon le matériau.
CNC Kitchen a testé la résistance du filament fabriqué par pull-trusion à partir de bouteilles PET recyclées. Les échantillons de traction ont atteint 59 MPa.
Motif de la recommandation :Décrit pas à pas la construction d'un jeu de données, d'un tokenizer et d'une boucle d'entraînement multi-GPU pour un modèle de génération de code.
OpenAI a entraîné un système qui résout des problèmes mathématiques de niveau primaire avec une précision près du double de celle d'un modèle GPT-3 fine-tuné. Sur un test issu de son jeu de données, le système a obtenu 55 %, contre 60 % pour un petit échantillon d'enfants de 9 à 12 ans, soit environ 90 % du nombre de problèmes résolus par ces enfants.
Motif de la recommandation :Un système entraîné par OpenAI résout des problèmes mathématiques de niveau primaire avec une précision près du double de celle d'un GPT-3 fine-tuné, et atteint 55 % contre 60 % pour des enfants de 9 à 12 ans.
Motif de la recommandation :L'article détaille la méthode d'entraînement contrastif, la composition des lots et l'infrastructure TPU, utile pour reproduire un modèle d'embedding de phrases.
CNC Kitchen publie un guide complet sur l'installation et la conception d'inserts thermiques en laiton pour pièces imprimées en 3D. Le texte indique une température du fer à souder d'environ 10 à 20 °C au-dessus de celle d'impression, soit environ 225 °C pour le PLA, 245 °C pour le PETG et 265 °C pour l'ABS, et recommande de fondre l'insert sur seulement 90 % de la profondeur avant de le presser avec un outil. Il détaille aussi les règles de conception (diamètre de perçage adapté, trou borgne environ 1 mm plus profond que l'insert, trous droits, épaisseur de paroi minimale) et l'usage d'inserts dans les impressions résine, où ils doivent être collés à la cyanoacrylate épaisse dans des trous étagés.
Motif de la recommandation :Le guide rassemble températures par matériau, diamètres de perçage et règles de conception pour les inserts thermiques, directement réutilisables en impression 3D.
OpenAI présente une méthode de résumé de livres reposant sur le retour humain, destinée à étendre la supervision humaine des systèmes d'IA pour des tâches difficiles à évaluer.
TruthfulQA est un benchmark proposé par OpenAI pour mesurer dans quelle mesure les modèles de langage reproduisent les fausses croyances humaines. Le contenu source ne fournit que le titre.
Motif de la recommandation :L'auteur détaille le procédé d'extrusion d'un filament PLA chargé à 5 % de marc de café et les limites de mélange observées à 10 %.
Motif de la recommandation :L'auteur détaille le processus d'extrusion de filament PLA avec la 3DEVO Composer 450, du choix des granulés à l'ajout de masterbatch, avec des paramètres concrets et des observations sur la précision du diamètre.
Motif de la recommandation :L'essai compare les performances mécaniques et la résistance à l'humidité du PC Blend de Prusament, avec des données chiffrées sur la résistance à la traction et la ténacité.
Motif de la recommandation :L'auteur mesure lui-même débit d'extrusion, effet de la chaussette silicone et différences entre matériaux, ce qui fournit des repères concrets pour diagnostiquer une imprimante rapide.
Motif de la recommandation :L'article détaille l'intégration de PyTorch/XLA dans les Trainer Hugging Face et fournit un exemple complet d'entraînement de bert-large-uncased sur Cloud TPU.
Motif de la recommandation :L'article compare les gains de ZeRO via DeepSpeed et FairScale sur t5-large et t5-3b, avec des chiffres de temps et de batch size directement réutilisables.