Hugging Face publie le dataset WebSight et le modèle Sightseer pour convertir les captures d'écran web en code HTML

Hugging Face présente WebSight, un dataset synthétique de paires capture d'écran et code HTML destiné à entraîner des systèmes d'IA capables de transformer des maquettes web en code HTML fonctionnel. Après la version v0.1 de janvier 2024 contenant 823 000 paires, la mise à jour v0.2 introduit des images réelles dans les captures d'écran, passe à Tailwind CSS et porte le dataset à 2 millions d'exemples. En s'appuyant sur WebSight, Hugging Face a fine-tuné son futur modèle de fondation vision-langage pour obtenir Sightseer, capable de convertir des captures d'écran de pages web en HTML fonctionnel et d'y intégrer des images proches de celles de l'original. Le dataset, le rapport technique et un notebook Colab sont disponibles en open source.