Hugging Face détaille en trois étapes l'entraînement d'un ControlNet pour Stable Diffusion.
Motif de la recommandation :Le guide détaille les trois étapes d'entraînement d'un ControlNet et fournit les paramètres pour tenir sur 8 Go de VRAM.
Le modèle Informer (AAAI21 best paper) est désormais disponible dans 🤗 Transformers pour la prévision probabiliste multivariée de séries temporelles. Il remplace l'attention classique par la ProbSparse attention en O(T log T) et ajoute une opération de distillation réduisant la mémoire à O(N·T log T), contre O(T²D) et O(NT²) pour le Transformer vanilla. Le modèle prend en charge les émissions indépendantes (diagonales) pour les familles de distributions implémentées, et fonctionne aussi pour le Time Series Transformer vanilla.
Après les séismes de magnitude 7,7 et 7,6 survenus le 6 février 2023 dans le sud-est de la Turquie.
Motif de la recommandation :L'auteur détaille la chaîne complète OCR, NER et classification d'intentions déployée après le séisme en Turquie, une méthode réutilisable pour des applications d'urgence.
Hugging Face a lancé Inference Endpoints, un service managé permettant de déployer presque n'importe quel modèle du Hub sur AWS ou Azure.
Le blog Hugging Face présente BLIP-2 de Salesforce Research, un modèle visuel-langage zero-shot désormais intégré à Transformers.
Motif de la recommandation :Présente le fonctionnement de Q-Former et des exemples de code exécutables pour la légende d'images, le VQA et le dialogue multimodal.
Hugging Face consacre le cinquième volet de sa série « AI for Game Development » à l'usage de ChatGPT pour écrire l'histoire d'un jeu de ferme. Le modèle reproduit d'abord des récits existants proches de Stardew Valley, puis s'améliore par allers-retours successifs, mais montre des limites : répétition sur les contenus longs, risques juridiques, éthiques et commerciaux en cas d'usage direct des sorties. L'auteur recommande de réserver ChatGPT au brainstorming et à la rédaction d'ébauches, la rédaction finale restant manuelle.
Hugging Face détaille l'inférence des Transformers PyTorch sur les CPU Intel Xeon Sapphire Rapids via Optimum Intel.
Hugging Face consacre un article aux modèles conjoints vision-langage, qui traitent images et texte via un encodeur d'images.
Hugging Face consacre le quatrième volet de sa série « AI for Game Development » à la génération d'assets 2D avec Stable Diffusion.
Hugging Face présente l'intégration du fine-tuning LoRA dans la bibliothèque diffusers.
Motif de la recommandation :Le texte détaille l'intégration de LoRA dans diffusers avec un script exécutable et des besoins matériels précis, utile pour reproduire le fine-tuning.
La génération d'assets 3D par texte (text-to-3D) n'est pas encore exploitable en production pour le développement de jeux.
Mask2Former et OneFormer, deux réseaux de neurones de pointe pour la segmentation d'images.
Construire un système de similarité d'images avec les bibliothèques 🤗 Datasets et Transformers en calculant des embeddings via un modèle ViT (nateraw/vit-base-beans) et une similarité cosinus. Le système utilise 100 échantillons du dataset Beans comme candidats, et peut être étendu à d'autres modèles vision comme Swin Transformer, ConvNeXT ou RegNet.
Dans la deuxième partie de cette série, Hugging Face utilise ChatGPT pour la conception d'un jeu de ferme.
Hugging Face publie une introduction au machine learning sur graphes couvrant les fondamentaux.
Intel a lancé sa 4e génération de Xeon, Sapphire Rapids.
Hugging Face publie un tutoriel montrant comment créer un jeu de ferme fonctionnel en 5 jours avec des outils IA.
CLIPSeg, un modèle de segmentation d'images zero-shot publié par Timo Lüddecke et Alexander Ecker.
Hugging Face publie un guide complet sur l'utilisation de la bibliothèque open source 🤗 Datasets pour télécharger et préparer des datasets audio en une seule ligne de code Python via la fonction load_dataset. Le Hub héberge 77 datasets de reconnaissance vocale et 28 datasets de classification audio, avec un aperçu permettant d'écouter les échantillons directement. Le mode streaming et le chargement de GigaSpeech (configurations de xs à xl, de 10 à 10 000 heures) illustrent la simplicité de l'API.
Hugging Face publie un article pédagogique « Deep Learning with Proteins » destiné aux biologistes et aux spécialistes du ML.
Hugging Face présente le Time Series Transformer, un modèle probabiliste de prévision de séries temporelles intégré à la bibliothèque 🤗 Transformers. Ce modèle encodeur-décodeur.
Grâce aux ingénieurs d'Apple, il est désormais possible d'exécuter Stable Diffusion sur Apple Silicon via Core ML. Le dépôt Apple fournit des scripts de conversion et du code d'inférence basés sur Diffusers, et les poids convertis des modèles Stable Diffusion v1.4, v1.5, v2 base et v2.1 base sont disponibles sur le Hugging Face Hub. Core ML prend en charge le CPU, le GPU et le Neural Engine, avec des variantes d'attention original et split_einsum ainsi que des formats packages pour Python et compilés pour Swift. Sur un MacBook Pro M1 Max avec macOS Ventura 13.1 Beta 4, la génération d'une image avec Stable Diffusion v1.4 a pris 18 secondes.
Motif de la recommandation :Le guide détaille les variantes de modèles Core ML et les commandes Python et Swift pour exécuter Stable Diffusion localement sur Apple Silicon.
Hugging Face détaille comment les entreprises peuvent construire des solutions Document AI avec des modèles open source.
Hugging Face détaille une méthode d'analyse de sentiment sur données chiffrées via la bibliothèque Concrete-ML et le chiffrement homomorphe (FHE).
Hugging Face annonce l'intégration de Contrastive Search dans la bibliothèque transformers.
Hugging Face détaille comment entraîner Stable Diffusion avec la technique Dreambooth via le script de Diffusers.
Motif de la recommandation :L'article partage des réglages testés pour entraîner Stable Diffusion avec Dreambooth, notamment learning rate, étapes et prior preservation, ce qui aide à éviter le surapprentissage.
Hugging Face publie un guide pas à pas pour fine-tuner Whisper sur n'importe quel jeu de données ASR multilingue avec Transformers.
Motif de la recommandation :Un guide pas à pas pour fine-tuner Whisper sur une langue peu dotée, avec code exécutable et résultats WER mesurés.
Hugging Face ajoute à la bibliothèque 🤗 Evaluate des métriques et mesures de biais.
Hugging Face publie un tutoriel montrant comment passer de PyTorch DDP natif à Accelerate puis au Trainer pour l'entraînement distribué.
Hugging Face lance Inference Endpoints, un service qui déploie des modèles du hub vers une infrastructure managée sur le cloud en quelques clics. Le service propose trois niveaux d'accès — Public, Protected et Private — le mode Private passant par AWS PrivateLink et un VPC Endpoint pour restreindre l'accès au compte AWS. L'exemple déploie un modèle Swin de classification d'images fine-tuné avec AutoTrain sur food101, sur une instance GPU unique hébergée sur AWS en eu-west-1, avec autoscaling et conteneur personnalisé en option.
Hugging Face Diffusers prend en charge Flax depuis la version 0.5.1.
Motif de la recommandation :Présente la prise en charge de Flax dans Diffusers et détaille le déploiement parallèle de Stable Diffusion sur TPU, une méthode directement réutilisable.
L'équipe Hugging Face détaille dans un article les optimisations apportées au serveur d'inférence de BLOOM.
Hugging Face explique comment Accelerate s'appuie sur le device meta de PyTorch.
Motif de la recommandation :L'article détaille le mécanisme de chargement par sharding et de répartition sur plusieurs appareils, une méthode directement transférable pour exécuter de grands modèles sur du matériel limité.
Hugging Face présente trois scripts d'inférence pour le modèle BLOOM de 176 milliards de paramètres.
Motif de la recommandation :L'article compare trois solutions d'inférence pour BLOOM 176B avec des chiffres de débit et de chargement, utile pour choisir un schéma de déploiement.
Hugging Face publie un tutoriel pour entraîner de zéro un Decision Transformer offline dans l'environnement Gym HalfCheetah.
Hugging Face détaille l'entraînement d'un modèle GPT2 avec Megatron-LM de NVIDIA sur GPU.
Hugging Face explique comment intégrer la visualisation 3D de protéines dans un Space Gradio via 3Dmol.js et le bloc HTML.
Ce tutoriel explique comment pré-entraîner BERT-base depuis zéro avec les bibliothèques Hugging Face Transformers.
Hugging Face présente comment utiliser Stable Diffusion, un modèle de diffusion latent texte-image créé par CompVis.
Motif de la recommandation :L'article détaille l'utilisation de Stable Diffusion avec la bibliothèque Diffusers, du code d'inférence de base à la construction d'un pipeline personnalisé, avec des explications sur les composants du modèle.
Hugging Face montre comment déployer un modèle ViT B/16 de 🤗 Transformers sur Vertex AI.