Explorer des optimisations simples pour SDXL
Le blog Hugging Face présente des techniques d'optimisation de Stable Diffusion XL pour réduire la consommation mémoire et accélérer l'inférence.
Le blog Hugging Face présente des techniques d'optimisation de Stable Diffusion XL pour réduire la consommation mémoire et accélérer l'inférence.
DALL·E 3 est désormais disponible dans ChatGPT Plus et Enterprise. OpenAI indique avoir développé une pile de mesures de sécurité pour préparer DALL·E 3 à une diffusion plus large et partage des mises à jour sur ses recherches en matière de provenance.
OpenAI publie la fiche système de DALL·E 3.
Le blog Hugging Face présente DDPOTrainer, un nouvel outil de la bibliothèque TRL permettant de fine-tuner des modèles de diffusion comme Stable Diffusion par apprentissage par renforcement. DDPO modélise le processus de débruitage comme un processus de décision markovien et utilise PPO pour optimiser une fonction de récompense, par exemple un prédicteur esthétique entraîné sur le jeu de données AVA. L'article détaille l'installation (pip install trl[diffusers]), le script d'exemple ddpo.py, les hyperparamètres recommandés pour un entraînement sur GPU unique (200 époques, train_batch_size 3, learning rate 3e-4) et les limites actuelles, notamment la restriction aux modèles SD vanilla et la difficulté de trouver les bons hyperparamètres sans LoRA.
Motif de la recommandation :L'article détaille l'intégration de DDPO dans la bibliothèque TRL et fournit les hyperparamètres recommandés pour le fine-tuning de Stable Diffusion.
Le 3D Gaussian Splatting est une technique de rastérisation décrite dans l'article 3D Gaussian Splatting for Real-Time Radiance Field Rendering.
Motif de la recommandation :Décompose le principe, l'entraînement et les limites du 3D Gaussian Splatting, avec des repères concrets sur le VRAM et les visionneuses existantes.
Hugging Face présente Würstchen, un modèle de diffusion texte-image qui atteint une compression spatiale de 42x grâce à une architecture en trois étapes (VQGAN.
Motif de la recommandation :Le modèle atteint une compression spatiale 42x et un coût d'entraînement réduit, avec une intégration Diffusers directement réutilisable.
L'équipe Diffusers et les auteurs de T2I-Adapter ont collaboré pour intégrer le support des T2I-Adapters pour Stable Diffusion XL (SDXL) dans diffusers. T2I-Adapter-SDXL ne pèse que 79 M de paramètres (158 Mo en fp16), soit une réduction de 93,69 % par rapport à ControlNet-SDXL (1251 M, 2,5 Go), et n'est exécuté qu'une seule fois pendant tout le processus de débruitage. Les points de contrôle entraînés sur 3M d'images LAION-Aesthetics V2 sont disponibles pour les conditions sketch, canny, lineart, depth et openpose, avec un script d'entraînement et un exemple d'utilisation via StableDiffusionXLAdapterPipeline.
Motif de la recommandation :L'article détaille l'entraînement et l'usage des T2I-Adapters pour SDXL, avec des scripts et des points de contrôle ouverts, permettant de reproduire et de contrôler la génération d'images.
BentoML, plateforme open source de serving de modèles ML, permet de déployer DeepFloyd IF.
Hugging Face explique comment déployer MusicGen, le modèle de génération musicale texte-vers-audio.
Segmind a mis en open source le code d'entraînement et les poids de ses modèles SD-Small et SD-Tiny.
Motif de la recommandation :L'article détaille la méthode de distillation par suppression de blocs et publie le code et les poids, ce qui permet de reproduire et d'adapter ces modèles compressés.
Ce tutoriel détaille un workflow de génération d'assets 3D assisté par IA, du texte à l'intégration dans Unity.
Hugging Face et Apple publient des modèles Core ML de Stable Diffusion XL, dont une version avec quantification mixed-bit réduisant l'UNet de 4.
Motif de la recommandation :Présente la quantification mixed-bit et des recettes prêtes à l'emploi pour exécuter Stable Diffusion XL sur Mac, avec des chiffres de taille et de latence.
Hugging Face célèbre le premier anniversaire de sa bibliothèque Diffusers.
Hugging Face publie un tutoriel détaillant l'AI WebTV.
Hugging Face détaille le fine-tuning d'un modèle Stable Diffusion sur un cluster de quatre serveurs Intel Sapphire Rapids.
Hugging Face consacre le quatrième numéro de sa newsletter Ethics and Society aux sources de biais dans les modèles text-to-image.
Hugging Face présente les optimisations Core ML de WWDC'23 pour exécuter Stable Diffusion plus rapidement et avec moins de mémoire sur iPhone.
Motif de la recommandation :L'article détaille la quantification 6 bits de Core ML et fournit les commandes de conversion, permettant de reproduire le déploiement de Stable Diffusion sur appareil.
Hugging Face organise le premier Open Source AI Game Jam, du 7 au 9 juillet.
Hugging Face explore le fine-tuning par instructions de Stable Diffusion en s'appuyant sur la méthode InstructPix2Pix pour suivre des instructions d'édition précises comme la cartoonisation ou le débruitage d'image. Le pipeline génère 50 phrases synonymes via ChatGPT pour l'instruction « Cartoonize the image », puis utilise 5000 échantillons d'Imagenette traités par un modèle Whitebox CartoonGAN pré-entraîné comme labels. Le code, les modèles pré-entraînés et les datasets sont publiés en open source.
Hugging Face consacre un article aux modèles text-to-video.
Le blog Hugging Face explique comment exécuter le modèle open source de génération d'images texte-image IF de DeepFloyd sur un Google Colab gratuit avec la bibliothèque diffusers. IF fonctionne directement dans l'espace pixel et utilise T5-XXL comme encodeur de texte, ce qui lui permet de générer des détails haute fréquence comme les visages et les mains ainsi que du texte dans les images, mais ses composants totalisent plus de 10 milliards de paramètres, avec T5-XXL à 20 Go et le UNet de l'étape 1 à 17,2 Go en float32. Le tutoriel montre comment charger T5 en quantification 8 bits via bitsandbytes, charger modulairement chaque composant avec device_map, libérer la mémoire GPU entre les étapes, et enchaîner les trois étapes de génération, de variation d'image et d'inpainting. L'auteur précise que cette configuration échange de la vitesse contre de la mémoire et n'est pas recommandée en production, où un A100 de 40 Go est préférable.
Motif de la recommandation :Détaille comment exécuter le modèle de génération d'images IF sur un Colab gratuit via quantification 8 bits et chargement modulaire, avec des étapes directement réutilisables.
Hugging Face détaille en trois étapes l'entraînement d'un ControlNet pour Stable Diffusion.
Motif de la recommandation :Le guide détaille les trois étapes d'entraînement d'un ControlNet et fournit les paramètres pour tenir sur 8 Go de VRAM.
Hugging Face présente l'intégration de ControlNet dans la bibliothèque Diffusers via la classe StableDiffusionControlNetPipeline.
Motif de la recommandation :Le guide détaille l'intégration de ControlNet dans Diffusers avec des exemples de code exécutables et des optimisations de vitesse et de mémoire.
Hugging Face annonce la publication d'un cadre éthique dans la documentation de sa bibliothèque Diffusers.
Hugging Face a mis en ligne la version 1.1 de son application native Diffusers pour Mac sur le Mac App Store.
Hugging Face consacre le cinquième volet de sa série « AI for Game Development » à l'usage de ChatGPT pour écrire l'histoire d'un jeu de ferme. Le modèle reproduit d'abord des récits existants proches de Stardew Valley, puis s'améliore par allers-retours successifs, mais montre des limites : répétition sur les contenus longs, risques juridiques, éthiques et commerciaux en cas d'usage direct des sorties. L'auteur recommande de réserver ChatGPT au brainstorming et à la rédaction d'ébauches, la rédaction finale restant manuelle.
Hugging Face consacre le quatrième volet de sa série « AI for Game Development » à la génération d'assets 2D avec Stable Diffusion.
Hugging Face présente l'intégration du fine-tuning LoRA dans la bibliothèque diffusers.
Motif de la recommandation :Le texte détaille l'intégration de LoRA dans diffusers avec un script exécutable et des besoins matériels précis, utile pour reproduire le fine-tuning.
La génération d'assets 3D par texte (text-to-3D) n'est pas encore exploitable en production pour le développement de jeux.
Mask2Former et OneFormer, deux réseaux de neurones de pointe pour la segmentation d'images.
Construire un système de similarité d'images avec les bibliothèques 🤗 Datasets et Transformers en calculant des embeddings via un modèle ViT (nateraw/vit-base-beans) et une similarité cosinus. Le système utilise 100 échantillons du dataset Beans comme candidats, et peut être étendu à d'autres modèles vision comme Swin Transformer, ConvNeXT ou RegNet.
Dans la deuxième partie de cette série, Hugging Face utilise ChatGPT pour la conception d'un jeu de ferme.
OpenAI présente le fine-tuning de GPT-3 appliqué à la création vidéo clé en main. L'approche vise à alimenter et à passer à l'échelle la production de vidéos « done-for-you ». Aucun détail sur les paramètres, les benchmarks ou la disponibilité n'est fourni dans le texte source.
Hugging Face publie un tutoriel montrant comment créer un jeu de ferme fonctionnel en 5 jours avec des outils IA.
CLIPSeg, un modèle de segmentation d'images zero-shot publié par Timo Lüddecke et Alexander Ecker.
OpenAI présente Point-E, un système permettant de générer des nuages de points 3D à partir de prompts complexes.
Grâce aux ingénieurs d'Apple, il est désormais possible d'exécuter Stable Diffusion sur Apple Silicon via Core ML. Le dépôt Apple fournit des scripts de conversion et du code d'inférence basés sur Diffusers, et les poids convertis des modèles Stable Diffusion v1.4, v1.5, v2 base et v2.1 base sont disponibles sur le Hugging Face Hub. Core ML prend en charge le CPU, le GPU et le Neural Engine, avec des variantes d'attention original et split_einsum ainsi que des formats packages pour Python et compilés pour Swift. Sur un MacBook Pro M1 Max avec macOS Ventura 13.1 Beta 4, la génération d'une image avec Stable Diffusion v1.4 a pris 18 secondes.
Motif de la recommandation :Le guide détaille les variantes de modèles Core ML et les commandes Python et Swift pour exécuter Stable Diffusion localement sur Apple Silicon.
Hugging Face intègre VQ-Diffusion, un modèle de diffusion latent conditionnel développé par l'Université des sciences et technologies de Chine et Microsoft.
Hugging Face organise le 30 novembre un événement communautaire en direct consacré aux modèles de diffusion.
Hugging Face détaille comment entraîner Stable Diffusion avec la technique Dreambooth via le script de Diffusers.
Motif de la recommandation :L'article partage des réglages testés pour entraîner Stable Diffusion avec Dreambooth, notamment learning rate, étapes et prior preservation, ce qui aide à éviter le surapprentissage.