Aller au contenu
26 juilletmer.
19 aoûtven.
2 marsmer.
11 févrierven.
  1. Hugging Face Blog22

    Fine-tuner ViT pour la classification d'images avec 🤗 Transformers

    Hugging Face détaille le fine-tuning du Vision Transformer (ViT) pour la classification d'images via les bibliothèques 🤗 datasets et transformers. Le tutoriel s'appuie sur le modèle google/vit-base-patch16-224-in21k et le jeu de données beans (3 classes : angular_leaf_spot, bean_rust, healthy), en utilisant ViTImageProcessor pour redimensionner les images en 224×224 et les normaliser avec mean/std de 0,5. L'installation se fait via `pip install datasets transformers`.

15 décembremer.
25 octobrelun.
31 marsmer.
  1. Hugging Face Blog22

    Comprendre l'attention block sparse de BigBird

    BigBird, un modèle de type RoBERTa, est désormais disponible dans 🤗Transformers avec une attention block sparse qui gère des séquences jusqu'à 4096 tokens à un coût computationnel bien inférieur à celui de BERT. Cette attention approximative combine trois mécanismes — attention glissante sur les tokens voisins, tokens globaux attentifs à tous les autres, et tokens aléatoires — pour capturer les dépendances longue portée sans la complexité quadratique O(n²) de l'attention complète de BERT. BigBird a atteint l'état de l'art sur des tâches à longues séquences comme le résumé de longs documents et le question-answering à long contexte.

18 marsjeu.
9 févriermar.
  1. Hugging Face Blog60

    Hugging Face sur PyTorch/XLA TPU : entraîner des Transformers sur Cloud TPU

    Hugging Face et les équipes PyTorch et Google TPU présentent l'intégration de PyTorch/XLA dans la bibliothèque Transformers.

    Motif de la recommandation :L'article détaille l'intégration de PyTorch/XLA dans les Trainer Hugging Face et fournit un exemple complet d'entraînement de bert-large-uncased sur Cloud TPU.

20 juinsam.
6 marsmer.