Des chercheurs présentent une approche dite Image-to-Code dans laquelle un agent de codage écrit un programme Blender exécutable à partir d'une seule photo.
Google Research présente Diffusion Controller, un cadre qui reformule le processus de débruitage de la génération d'images comme un problème de contrôle continu.
OpenAI a simplifié, stabilisé et mis à l'échelle les modèles de cohérence en temps continu。
OpenAI 发布 Consistency Models, 指出扩散模型虽推动了图像, 音频和视频生成, 但依赖迭代采样过程, 导致生成速度较慢.
OpenAI présente des techniques d'entraînement améliorées pour les Consistency Models。
OpenAI explore l'entraînement à grande échelle de modèles génératifs sur des données vidéo. L'équipe entraîne conjointement des modèles de diffusion conditionnés par texte sur des vidéos et des images de durées, résolutions et formats variables, en s'appuyant sur une architecture Transformer opérant sur des patchs spatio-temporels de codes latents vidéo et image. Le plus grand modèle, Sora, peut générer une minute de vidéo haute fidélité, et les résultats suggèrent que le passage à l'échelle des modèles de génération vidéo est une voie prometteuse vers des simulateurs généralistes du monde physique.
Motif de la recommandation :L'article expose l'entraînement conjoint de modèles de diffusion sur vidéos et images et présente Sora capable de générer une minute de vidéo, ce qui éclaire la voie vers des simulateurs du monde physique.
OpenAI publie la fiche système de DALL·E 3.
OpenAI présente les mesures de pré-entraînement de DALL·E 2。
Motif de la recommandation :L'article expose les garde-fous mis en place avant l'ouverture de DALL·E 2, un cas concret de réduction des risques d'un modèle de génération d'images.
OpenAI 发布研究« Hierarchical text-conditional image generation with CLIP latents », 探讨基于 CLIP latents 的层次化文本条件图像生成方法. 原文正文未能获取, 仅可确认标题所指向的研究主题.
OpenAI 发现, 正如在大规模语言上训练的 Transformer 模型能够生成连贯文本, 同一模型在像素序列上训练后也能生成连贯的图像补全与样本. 通过建立样本质量与图像分类准确率之间的相关性, OpenAI 表明其最佳生成模型在无监督设置下也包含可与顶级卷积网络媲美的特征.
Motif de la recommandation :OpenAI 展示同一 Transformer 架构在像素序列上也能生成连贯图像, 并给出生成质量与分类精度的关联.
OpenAI présente Glow, un modèle génératif réversible qui utilise des convolutions 1x1 inversibles. Il étend les travaux antérieurs sur les modèles génératifs réversibles et simplifie l'architecture. Le modèle peut générer des images réalistes à haute résolution, prend en charge un échantillonnage efficace et découvre des caractéristiques permettant de manipuler les attributs des données. Le code du modèle et un outil de visualisation en ligne sont publiés.