rinna développe Japanese Stable Diffusion, un modèle texte-image dédié au japonais
rinna Co., Ltd. a développé Japanese Stable Diffusion.
rinna Co., Ltd. a développé Japanese Stable Diffusion.
Hugging Face, avec Intel Labs et le UKP Lab, présente SetFit, un framework d'apprentissage en few-shot pour les Sentence Transformers. Sur le jeu de données CR.
Motif de la recommandation :L'article présente la méthode d'entraînement en deux étapes de SetFit et les résultats comparatifs sur RAFT, permettant de comprendre pourquoi un petit modèle peut atteindre les performances de T-Few.
CNC Kitchen a testé les paramètres d'impression FDM transparente partagés par Rygar1432 sur Printables.
Motif de la recommandation :L'auteur teste paramètre par paramètre l'impression FDM transparente et mesure l'adhésion entre couches, avec des chiffres de résistance comparables.
Hugging Face publie un tutoriel pour entraîner de zéro un Decision Transformer offline dans l'environnement Gym HalfCheetah.
OpenAI déclare améliorer la capacité de ses systèmes d'IA à apprendre des retours humains et à aider les humains à évaluer l'IA. L'objectif affiché est de construire un système d'IA suffisamment aligné pour aider à résoudre tous les autres problèmes d'alignement.
CNC Kitchen a testé si l'application d'acétone couche par couche pendant l'impression FDM pouvait améliorer l'adhérence inter-couches. Les résultats montrent que la résistance des échantillons ABS collés à l'acétone n'atteint que 6 MPa, soit environ 15 % de la résistance de référence de 41 MPa, et le crochet de test n'a supporté que 6 kg, identique à l'échantillon non collé. Les échantillons PVB collés à l'alcool isopropylique n'ont pas non plus atteint la résistance de référence, et tous les échantillons collés ont rompu au niveau du joint. L'auteur estime que cette méthode est actuellement fastidieuse à mettre en œuvre et présente des risques d'inflammabilité, et publie ce résultat négatif pour éviter que d'autres ne suivent la même voie.
Hugging Face publie un guide pas à pas pour fine-tuner des modèles Transformer pré-entraînés sur les IPU de Graphcore via la bibliothèque Optimum. L'exemple entraîne un modèle ViT pré-entraîné sur ImageNet-21k sur le jeu de données ChestX-ray14, en s'appuyant sur les checkpoints et fichiers de configuration IPU déjà disponibles dans Optimum Graphcore. Les IPU sont présentés comme particulièrement adaptés aux ViT grâce au parallélisme de données et de modèle, au pipeline et à l'architecture MIMD avec IPU-Fabric.
Ce guide Hugging Face, désormais obsolète, couvre l'API SentenceTransformer.fit des versions antérieures à la v3.0.
Hugging Face consacre l'unité 8 de son cours gratuit de Deep Reinforcement Learning à Proximal Policy Optimization (PPO).
Nyströmformer approxime l'auto-attention standard avec une complexité O(n) en temps et en mémoire.
Le cours de Deep Reinforcement Learning de Hugging Face consacre son unité 7 à l'algorithme Advantage Actor Critic (A2C).
Un développeur a construit un générateur de playlists basé sur Sentence Transformers et Gradio.
Hugging Face publie l'unité 5 de son cours gratuit de Deep Reinforcement Learning.
OpenAI a entraîné un réseau de neurones à jouer à Minecraft par Video PreTraining (VPT) sur un vaste ensemble de vidéos non étiquetées de parties humaines.
Motif de la recommandation :Présente une méthode d'entraînement par pré-entraînement vidéo et une tâche de fabrication d'outils en diamant, utile pour comprendre les capacités des agents sur ordinateur.
OpenAI indique avoir entraîné des modèles de rédaction de critiques chargés de décrire les défauts dans les résumés. Les évaluateurs humains repèrent beaucoup plus souvent ces défauts lorsqu'on leur montre les critiques du modèle. Les modèles plus grands sont meilleurs pour s'autocritiquer, et l'augmentation d'échelle améliore davantage la rédaction de critiques que la rédaction de résumés. Cela ouvre une piste pour que des systèmes d'IA assistent la supervision humaine d'autres systèmes d'IA sur des tâches difficiles.
Motif de la recommandation :Un modèle de rédaction de critiques aide les évaluateurs humains à repérer davantage de défauts dans les résumés, et l'échelle améliore davantage la critique que la rédaction.
OpenAI détaille les techniques d'ingénierie et de recherche nécessaires pour entraîner de grands réseaux de neurones.
Hugging Face publie un article de blog qui détaille les modèles de diffusion probabilistes de débruitage (DDPM) et les implémente pas à pas en PyTorch.
Motif de la recommandation :Implémentation pas à pas du DDPM en PyTorch, avec code exécutable et explications mathématiques, utile pour comprendre les modèles de diffusion.
Le cours de Deep Reinforcement Learning de Hugging Face consacre sa troisième unité à Deep Q-Learning.
CNC Kitchen a testé la résistance en flexion et au crochet de différents bois, panneaux et impressions 3D PLA et PETG. En flexion.
Motif de la recommandation :Des essais de flexion et de crochet comparent bois, panneaux et impressions 3D, avec des chiffres exploitables pour choisir un matériau.
Microsoft présente TAPEX, une méthode de pré-entraînement de tables qui apprend un exécuteur SQL neuronal sur un corpus synthétique généré en échantillonnant des requêtes SQL exécutables et leurs résultats, sans recourir à des données réelles. Intégré à Transformers 4.19.0, TAPEX atteint de nouveaux résultats SOTA sur quatre benchmarks : 89,6 % sur WikiSQL (+2,3 %), 84,2 % sur TabFact (+3,2 %), 74,5 % sur SQA (+3,5 %) et 57,5 % sur WikiTableQuestions (+4,8 %).
Hugging Face publie la deuxième partie de son cours sur le Deep Reinforcement Learning consacrée au Q-Learning.
Hugging Face publie la première partie de l'unité 2 de son cours gratuit de Deep Reinforcement Learning consacrée au Q-Learning. Ce chapitre couvre les méthodes basées sur la valeur.
Hugging Face publie le premier chapitre de son cours gratuit Deep Reinforcement Learning.
Hugging Face annonce l'intégration du Decision Transformer, une méthode d'apprentissage par renforcement hors ligne.
Margaret Mitchell, fondatrice et co-responsable du groupe Ethical AI de Google, a rejoint Hugging Face après quatre ans chez Google pour y créer des protocoles de recherche en IA éthique.
Hugging Face lance le AI Research Residency Program, un programme de 9 mois à temps plein destiné à lancer ou accélérer une carrière en recherche en machine learning.
Ce guide montre comment fine-tuner SegFormer, un modèle de segmentation sémantique SOTA introduit par Xie et al. en 2021.
OpenAI lance un appel à manifestation d'intérêt pour étudier les impacts économiques des grands modèles de langage. L'initiative s'adresse aux chercheurs souhaitant analyser les effets économiques de ces modèles.
OpenAI décrit sa réflexion la plus récente sur la sécurité et les usages abusifs des modèles déployés, dans l'espoir d'aider d'autres développeurs d'IA à traiter ces questions.
BERT (Bidirectional Encoder Representations from Transformers), développé en 2018 par Google AI Language.
OpenAI a construit un prouveur de théorèmes neuronal pour Lean, capable de résoudre divers problèmes d'olympiades de mathématiques difficiles de niveau lycée.
Motif de la recommandation :Un prouveur de théorèmes neuronal entraîné sur Lean résout des problèmes d'olympiades de niveau lycée, ce qui permet d'observer l'application de la démonstration automatique en mathématiques formelles.
OpenAI annonce l'ajout d'embeddings, un nouveau point d'accès dans l'API OpenAI.
Motif de la recommandation :L'original présente un nouveau point d'accès API pour les embeddings, ce qui permet de juger comment intégrer recherche sémantique et classification dans les flux existants.
La bibliothèque huggingface_hub introduit les classes ModelSearchArguments.
CNC Kitchen a testé si les buses à haut débit mélangent le filament bicolore, en imprimant une figurine Mini Stefan avec une buse DIY à fil de cuivre.
Motif de la recommandation :L'auteur teste lui-même trois buses à haut débit avec du filament bicolore et constate que l'écoulement laminaire empêche tout mélange, ce qui aide à choisir une buse.
CNC Kitchen présente une entretoise DIY permettant d'utiliser une buse CHT de longueur standard sur un hotend Volcano.
Motif de la recommandation :L'auteur teste lui-même des entretoises DIY pour utiliser une buse CHT sur un hotend Volcano, avec des mesures de débit et des impressions comparatives.
Hugging Face a ajouté Perceiver IO à sa bibliothèque Transformers, un modèle Transformer capable de traiter texte.
Motif de la recommandation :Présente l'implémentation de Perceiver IO dans Transformers et détaille le traitement de texte, image, flux optique et autoencodage multimodal.
OpenAI annonce le lancement de l'OpenAI Residency.
OpenAI a entraîné un système qui résout des problèmes mathématiques de niveau primaire avec une précision près du double de celle d'un modèle GPT-3 fine-tuné. Sur un test issu de son jeu de données, le système a obtenu 55 %, contre 60 % pour un petit échantillon d'enfants de 9 à 12 ans, soit environ 90 % du nombre de problèmes résolus par ces enfants.
Motif de la recommandation :Un système entraîné par OpenAI résout des problèmes mathématiques de niveau primaire avec une précision près du double de celle d'un GPT-3 fine-tuné, et atteint 55 % contre 60 % pour des enfants de 9 à 12 ans.
Hugging Face a entraîné 20 modèles Sentence Transformers à usage général, dont Mini-LM.
Motif de la recommandation :L'article détaille la méthode d'entraînement contrastif, la composition des lots et l'infrastructure TPU, utile pour reproduire un modèle d'embedding de phrases.
Une équipe distribuée sur 12 fuseaux horaires a fine-tuné le réseau CLIP d'OpenAI avec des images satellite et légendes issues des datasets RSICD.