Développement de jeux assisté par IA : créer un jeu de ferme en 5 jours, partie 2
Dans la deuxième partie de cette série, Hugging Face utilise ChatGPT pour la conception d'un jeu de ferme.
Dans la deuxième partie de cette série, Hugging Face utilise ChatGPT pour la conception d'un jeu de ferme.
Hugging Face publie une introduction au machine learning sur graphes couvrant les fondamentaux.
Intel a lancé sa 4e génération de Xeon, Sapphire Rapids.
Hugging Face publie un tutoriel montrant comment créer un jeu de ferme fonctionnel en 5 jours avec des outils IA.
CLIPSeg, un modèle de segmentation d'images zero-shot publié par Timo Lüddecke et Alexander Ecker.
Hugging Face publie un guide complet sur l'utilisation de la bibliothèque open source 🤗 Datasets pour télécharger et préparer des datasets audio en une seule ligne de code Python via la fonction load_dataset. Le Hub héberge 77 datasets de reconnaissance vocale et 28 datasets de classification audio, avec un aperçu permettant d'écouter les échantillons directement. Le mode streaming et le chargement de GigaSpeech (configurations de xs à xl, de 10 à 10 000 heures) illustrent la simplicité de l'API.
Hugging Face détaille le fonctionnement du Reinforcement Learning from Human Feedback (RLHF).
Hugging Face publie un article pédagogique « Deep Learning with Proteins » destiné aux biologistes et aux spécialistes du ML.
Hugging Face présente le Time Series Transformer, un modèle probabiliste de prévision de séries temporelles intégré à la bibliothèque 🤗 Transformers. Ce modèle encodeur-décodeur.
Grâce aux ingénieurs d'Apple, il est désormais possible d'exécuter Stable Diffusion sur Apple Silicon via Core ML. Le dépôt Apple fournit des scripts de conversion et du code d'inférence basés sur Diffusers, et les poids convertis des modèles Stable Diffusion v1.4, v1.5, v2 base et v2.1 base sont disponibles sur le Hugging Face Hub. Core ML prend en charge le CPU, le GPU et le Neural Engine, avec des variantes d'attention original et split_einsum ainsi que des formats packages pour Python et compilés pour Swift. Sur un MacBook Pro M1 Max avec macOS Ventura 13.1 Beta 4, la génération d'une image avec Stable Diffusion v1.4 a pris 18 secondes.
Motif de la recommandation :Le guide détaille les variantes de modèles Core ML et les commandes Python et Swift pour exécuter Stable Diffusion localement sur Apple Silicon.
Hugging Face détaille comment les entreprises peuvent construire des solutions Document AI avec des modèles open source.
Hugging Face détaille une méthode d'analyse de sentiment sur données chiffrées via la bibliothèque Concrete-ML et le chiffrement homomorphe (FHE).
Hugging Face annonce l'intégration de Contrastive Search dans la bibliothèque transformers.
Hugging Face détaille comment entraîner Stable Diffusion avec la technique Dreambooth via le script de Diffusers.
Motif de la recommandation :L'article partage des réglages testés pour entraîner Stable Diffusion avec Dreambooth, notamment learning rate, étapes et prior preservation, ce qui aide à éviter le surapprentissage.
Hugging Face publie un guide pas à pas pour fine-tuner Whisper sur n'importe quel jeu de données ASR multilingue avec Transformers.
Motif de la recommandation :Un guide pas à pas pour fine-tuner Whisper sur une langue peu dotée, avec code exécutable et résultats WER mesurés.
Hugging Face ajoute à la bibliothèque 🤗 Evaluate des métriques et mesures de biais.
Hugging Face publie un tutoriel montrant comment passer de PyTorch DDP natif à Accelerate puis au Trainer pour l'entraînement distribué.
Hugging Face lance Inference Endpoints, un service qui déploie des modèles du hub vers une infrastructure managée sur le cloud en quelques clics. Le service propose trois niveaux d'accès — Public, Protected et Private — le mode Private passant par AWS PrivateLink et un VPC Endpoint pour restreindre l'accès au compte AWS. L'exemple déploie un modèle Swin de classification d'images fine-tuné avec AutoTrain sur food101, sur une instance GPU unique hébergée sur AWS en eu-west-1, avec autoscaling et conteneur personnalisé en option.
Hugging Face Diffusers prend en charge Flax depuis la version 0.5.1.
Motif de la recommandation :Présente la prise en charge de Flax dans Diffusers et détaille le déploiement parallèle de Stable Diffusion sur TPU, une méthode directement réutilisable.
L'équipe Hugging Face détaille dans un article les optimisations apportées au serveur d'inférence de BLOOM.
Hugging Face explique comment Accelerate s'appuie sur le device meta de PyTorch.
Motif de la recommandation :L'article détaille le mécanisme de chargement par sharding et de répartition sur plusieurs appareils, une méthode directement transférable pour exécuter de grands modèles sur du matériel limité.
Hugging Face présente trois scripts d'inférence pour le modèle BLOOM de 176 milliards de paramètres.
Motif de la recommandation :L'article compare trois solutions d'inférence pour BLOOM 176B avec des chiffres de débit et de chargement, utile pour choisir un schéma de déploiement.
Hugging Face publie un tutoriel pour entraîner de zéro un Decision Transformer offline dans l'environnement Gym HalfCheetah.
Hugging Face détaille l'entraînement d'un modèle GPT2 avec Megatron-LM de NVIDIA sur GPU.
Hugging Face explique comment intégrer la visualisation 3D de protéines dans un Space Gradio via 3Dmol.js et le bloc HTML.
Ce tutoriel explique comment pré-entraîner BERT-base depuis zéro avec les bibliothèques Hugging Face Transformers.
Hugging Face présente comment utiliser Stable Diffusion, un modèle de diffusion latent texte-image créé par CompVis.
Motif de la recommandation :L'article détaille l'utilisation de Stable Diffusion avec la bibliothèque Diffusers, du code d'inférence de base à la construction d'un pipeline personnalisé, avec des explications sur les composants du modèle.
Hugging Face montre comment déployer un modèle ViT B/16 de 🤗 Transformers sur Vertex AI.
Hugging Face publie un guide pas à pas pour fine-tuner des modèles Transformer pré-entraînés sur les IPU de Graphcore via la bibliothèque Optimum. L'exemple entraîne un modèle ViT pré-entraîné sur ImageNet-21k sur le jeu de données ChestX-ray14, en s'appuyant sur les checkpoints et fichiers de configuration IPU déjà disponibles dans Optimum Graphcore. Les IPU sont présentés comme particulièrement adaptés aux ViT grâce au parallélisme de données et de modèle, au pipeline et à l'architecture MIMD avec IPU-Fabric.
Hugging Face intègre LLM.int8() dans transformers et accelerate.
Motif de la recommandation :L'article détaille l'intégration de LLM.int8() dans transformers et accelerate, avec les pièges de chargement et les compromis de vitesse.
Hugging Face détaille sa philosophie d'intégration de TensorFlow dans la bibliothèque transformers.
Hugging Face explique comment passer d'un déploiement local d'un modèle Vision Transformer (ViT) de 🤗 Transformers avec TensorFlow Serving à un déploiement scalable sur Kubernetes via Docker. Le modèle SavedModel est placé dans une structure de répertoires versionnée (hf-vit/1), copié dans un conteneur basé sur l'image officielle tensorflow/serving, puis commité en une nouvelle image Docker exposant les ports 8500 (gRPC) et 8501 (HTTP/REST). Le guide utilise Google Kubernetes Engine (GKE) pour provisionner le cluster, tout en précisant que les concepts s'appliquent aussi à Minikube.
Ce guide Hugging Face, désormais obsolète, couvre l'API SentenceTransformer.fit des versions antérieures à la v3.0.
Hugging Face consacre l'unité 8 de son cours gratuit de Deep Reinforcement Learning à Proximal Policy Optimization (PPO).
Nyströmformer approxime l'auto-attention standard avec une complexité O(n) en temps et en mémoire.
La génération de texte avec les modèles 🤗 transformers sous TensorFlow peut désormais être compilée avec XLA.
Hugging Face permet désormais de déployer localement un modèle Vision Transformer (ViT) de classification d'images via TensorFlow Serving.
Le cours de Deep Reinforcement Learning de Hugging Face consacre son unité 7 à l'algorithme Advantage Actor Critic (A2C).
Hugging Face détaille la collecte dynamique de données adverses (DADC), une méthode où des humains créent des exemples pour tromper des modèles SOTA.
L'équipe BigScience de Hugging Face détaille l'infrastructure matérielle et logicielle utilisée pour entraîner le modèle multilingue BLOOM de 176 milliards de paramètres. L'entraînement a mobilisé 384 GPU NVIDIA A100 80GB répartis sur 48 nœuds, avec une architecture GPT-3 enrichie, un jeu de données de 350 milliards de tokens couvrant 46 langues, et une durée d'environ 3,5 mois sur le supercalculateur Jean Zay. Le framework Megatron-DeepSpeed combine le parallélisme de données ZeRO, le parallélisme tensoriel de Megatron-LM et le parallélisme de pipeline pour répartir l'entraînement, tandis que le format BF16 et des kernels CUDA fusionnés ont permis de stabiliser et d'accélérer le processus.