Le front de la génération d'images : toute l'actualité de l'itération des modèles texte-image, des capacités d'édition d'image et de l'écosystème des outils de création.
80 sélections30 derniers jours 11 entréesTotal : 236 entrées
Motif de la recommandation :Présente la quantification mixed-bit et des recettes prêtes à l'emploi pour exécuter Stable Diffusion XL sur Mac, avec des chiffres de taille et de latence.
Motif de la recommandation :L'article détaille la quantification 6 bits de Core ML et fournit les commandes de conversion, permettant de reproduire le déploiement de Stable Diffusion sur appareil.
Le blog Hugging Face explique comment exécuter le modèle open source de génération d'images texte-image IF de DeepFloyd sur un Google Colab gratuit avec la bibliothèque diffusers. IF fonctionne directement dans l'espace pixel et utilise T5-XXL comme encodeur de texte, ce qui lui permet de générer des détails haute fréquence comme les visages et les mains ainsi que du texte dans les images, mais ses composants totalisent plus de 10 milliards de paramètres, avec T5-XXL à 20 Go et le UNet de l'étape 1 à 17,2 Go en float32. Le tutoriel montre comment charger T5 en quantification 8 bits via bitsandbytes, charger modulairement chaque composant avec device_map, libérer la mémoire GPU entre les étapes, et enchaîner les trois étapes de génération, de variation d'image et d'inpainting. L'auteur précise que cette configuration échange de la vitesse contre de la mémoire et n'est pas recommandée en production, où un A100 de 40 Go est préférable.
Motif de la recommandation :Détaille comment exécuter le modèle de génération d'images IF sur un Colab gratuit via quantification 8 bits et chargement modulaire, avec des étapes directement réutilisables.
Motif de la recommandation :Le guide détaille l'intégration de ControlNet dans Diffusers avec des exemples de code exécutables et des optimisations de vitesse et de mémoire.
Motif de la recommandation :Le texte détaille l'intégration de LoRA dans diffusers avec un script exécutable et des besoins matériels précis, utile pour reproduire le fine-tuning.
Grâce aux ingénieurs d'Apple, il est désormais possible d'exécuter Stable Diffusion sur Apple Silicon via Core ML. Le dépôt Apple fournit des scripts de conversion et du code d'inférence basés sur Diffusers, et les poids convertis des modèles Stable Diffusion v1.4, v1.5, v2 base et v2.1 base sont disponibles sur le Hugging Face Hub. Core ML prend en charge le CPU, le GPU et le Neural Engine, avec des variantes d'attention original et split_einsum ainsi que des formats packages pour Python et compilés pour Swift. Sur un MacBook Pro M1 Max avec macOS Ventura 13.1 Beta 4, la génération d'une image avec Stable Diffusion v1.4 a pris 18 secondes.
Motif de la recommandation :Le guide détaille les variantes de modèles Core ML et les commandes Python et Swift pour exécuter Stable Diffusion localement sur Apple Silicon.
Motif de la recommandation :L'article partage des réglages testés pour entraîner Stable Diffusion avec Dreambooth, notamment learning rate, étapes et prior preservation, ce qui aide à éviter le surapprentissage.
OpenAI annonce que l'API DALL·E est désormais disponible en bêta publique. À partir d'aujourd'hui, les développeurs peuvent commencer à créer des applications avec l'API DALL·E.
Motif de la recommandation :L'API DALL·E passe en bêta publique, permettant aux développeurs d'intégrer la génération d'images dans leurs applications.
Motif de la recommandation :L'ouverture de DALL·E sans liste d'attente et les enseignements tirés du déploiement éclairent l'évolution des conditions d'accès aux outils de génération d'images.
Motif de la recommandation :L'original détaille les nouvelles fonctionnalités de diffusers 0.3 et les optimisations de VRAM, ce qui permet de juger des flux de génération d'images à mettre en place.
OpenAI annonce l'arrivée de l'outpainting dans DALL·E, une fonctionnalité qui permet d'étendre une image au-delà de ses limites d'origine et de produire des visuels de n'importe quelle taille.
Motif de la recommandation :L'article détaille l'utilisation de Stable Diffusion avec la bibliothèque Diffusers, du code d'inférence de base à la construction d'un pipeline personnalisé, avec des explications sur les composants du modèle.
OpenAI annonce que DALL·E est disponible en version bêta et invite progressivement 1 million de personnes de la liste d'attente au cours des prochaines semaines. Les utilisateurs peuvent créer avec des crédits gratuits renouvelés chaque mois, et acheter des crédits supplémentaires par tranches de 115 générations pour 15 dollars.
Motif de la recommandation :L'original précise le quota d'invitations, le crédit mensuel gratuit et le prix des crédits supplémentaires, ce qui permet de juger du coût d'usage de DALL·E en version bêta.
Motif de la recommandation :L'article expose les garde-fous mis en place avant l'ouverture de DALL·E 2, un cas concret de réduction des risques d'un modèle de génération d'images.
Hugging Face publie un article de blog qui détaille les modèles de diffusion probabilistes de débruitage (DDPM) et les implémente pas à pas en PyTorch.
Motif de la recommandation :Implémentation pas à pas du DDPM en PyTorch, avec code exécutable et explications mathématiques, utile pour comprendre les modèles de diffusion.
Motif de la recommandation :L'annonce expose l'échelle d'usage de la preview et le rythme d'ouverture de la liste d'attente, utile pour suivre le déploiement de DALL·E 2.
IdeaMaker 4.1.1 de Raise3D introduit une fonction de texturation qui applique une image en niveaux de gris autour de la pièce pour déformer légèrement les périmètres extérieurs. L'auteur teste différents motifs sur un cube PETG sujet au gauchissement et sur un cylindre : le motif à lignes verticales réduit le gauchissement en diminuant la rigidité axiale, tandis qu'un motif horizontal renforce nettement la rigidité du cylindre. La fonction s'applique aussi bien au mode vase qu'aux impressions normales, et le motif choisi peut augmenter ou diminuer la rigidité selon son type et son orientation.
Motif de la recommandation :L'original teste plusieurs motifs de texture sur des pièces à paroi fine et compare leur effet sur le gauchissement et la rigidité, avec des réglages directement réutilisables.
OpenAI annonce avoir entraîné un réseau neuronal nommé DALL·E qui crée des images à partir de légendes textuelles, pour une large gamme de concepts exprimables en langage naturel.
Motif de la recommandation :Un réseau neuronal nommé DALL·E génère des images à partir de légendes textuelles, ce qui permet de situer le jalon de la génération texte-image.