Aller au contenu
9 marsmar.
25 févrierjeu.
9 févriermar.
  1. Hugging Face Blog60

    Hugging Face sur PyTorch/XLA TPU : entraîner des Transformers sur Cloud TPU

    Hugging Face et les équipes PyTorch et Google TPU présentent l'intégration de PyTorch/XLA dans la bibliothèque Transformers.

    Motif de la recommandation :L'article détaille l'intégration de PyTorch/XLA dans les Trainer Hugging Face et fournit un exemple complet d'entraînement de bert-large-uncased sur Cloud TPU.

19 janviermar.
  1. Hugging Face Blog62

    Comment entraîner plus vite et plus gros avec ZeRO via DeepSpeed et FairScale

    Le blog Hugging Face détaille l'intégration expérimentale de ZeRO de DeepSpeed et FairScale dans le Trainer de transformers à partir de la v4.2.0.

    Motif de la recommandation :L'article compare les gains de ZeRO via DeepSpeed et FairScale sur t5-large et t5-3b, avec des chiffres de temps et de batch size directement réutilisables.

7 septembrelun.
5 maimar.
14 févrierven.
5 décembrejeu.
19 septembrejeu.
  1. OpenAI News62

    OpenAI ajuste GPT-2 774M par les préférences humaines

    OpenAI a ajusté le modèle de langage GPT-2 de 774M paramètres à l'aide de retours humains pour diverses tâches.

    Motif de la recommandation :L'original expose les préférences humaines et le nombre d'annotations nécessaires pour différentes tâches, ce qui permet de comprendre le coût et les limites du fine-tuning par retour humain.

14 décembreven.
7 novembremer.
11 juinlun.
16 maimer.
  1. OpenAI News85

    OpenAI analyse la croissance exponentielle du calcul d'entraînement en IA

    OpenAI publie une analyse montrant que depuis 2012, la quantité de calcul utilisée dans les plus grands entraînements d'IA croît de façon exponentielle avec un temps de doublement de 3.

    Motif de la recommandation :L'analyse quantifie la croissance exponentielle du calcul d'entraînement depuis 2012 et son rythme de doublement, un repère pour situer les capacités des futurs systèmes.

7 févriermer.
17 juilletlun.
  1. OpenAI News31

    OpenAI crée des images adverses robustes trompant les classifieurs neuronaux

    OpenAI a créé des images qui trompent de manière fiable les classifieurs de réseaux neuronaux lorsqu'elles sont vues sous différentes échelles et perspectives. Cela remet en question l'affirmation de la semaine dernière selon laquelle les voitures autonomes seraient difficiles à tromper malveillamment, car elles capturent des images sous plusieurs échelles, angles et perspectives.