Aller au contenu
23 septembrejeu.
8 septembremer.
7 juilletmer.
10 juinjeu.
15 maisam.
10 mailun.
31 marsmer.
  1. Hugging Face Blog22

    Comprendre l'attention block sparse de BigBird

    BigBird, un modèle de type RoBERTa, est désormais disponible dans 🤗Transformers avec une attention block sparse qui gère des séquences jusqu'à 4096 tokens à un coût computationnel bien inférieur à celui de BERT. Cette attention approximative combine trois mécanismes — attention glissante sur les tokens voisins, tokens globaux attentifs à tous les autres, et tokens aléatoires — pour capturer les dépendances longue portée sans la complexité quadratique O(n²) de l'attention complète de BERT. BigBird a atteint l'état de l'art sur des tâches à longues séquences comme le résumé de longs documents et le question-answering à long contexte.

9 marsmar.
4 marsjeu.
5 janviermar.
  1. OpenAI News85

    OpenAI présente CLIP, un réseau de neurones qui associe texte et images

    OpenAI présente CLIP, un réseau de neurones qui apprend efficacement des concepts visuels à partir d'une supervision en langage naturel. CLIP peut être appliqué à n'importe quel benchmark de classification visuelle en fournissant simplement les noms des catégories à reconnaître, à la manière des capacités zero-shot de GPT-2 et GPT-3.

9 novembrelun.
24 octobresam.
17 septembrejeu.
7 septembrelun.
18 juilletsam.
9 juilletjeu.
3 juilletven.
20 juinsam.
30 maisam.
5 maimar.
14 avrilmar.
  1. OpenAI News52

    OpenAI lance Microscope, une collection de visualisations pour huit modèles de vision

    OpenAI présente OpenAI Microscope, une collection de visualisations de chaque couche et neurone significatifs de huit « organismes modèles » de vision souvent étudiés en interprétabilité. L'outil vise à faciliter l'analyse des caractéristiques qui se forment à l'intérieur de ces réseaux neuronaux et à aider la communauté de recherche à mieux comprendre ces systèmes complexes.

28 marssam.
10 janvierven.
5 décembrejeu.
25 novembrelun.
21 novembrejeu.
19 octobresam.
11 octobreven.
28 septembresam.
25 septembremer.
  1. CNC Kitchen65

    Test du recuit du PLA : 7,5 % de résistance en traction en plus, adhésion entre couches inchangée

    Le recuit du PLA apporte environ 7,5 % de résistance ultime en traction (63,5 MPa à 68.

    Motif de la recommandation :Des essais mesurés sur le PLA recuit montrent un gain de résistance en traction d'environ 7,5 % et une adhésion entre couches inchangée, ce qui aide à calibrer les attentes.

19 septembrejeu.
  1. OpenAI News62

    OpenAI ajuste GPT-2 774M par les préférences humaines

    OpenAI a ajusté le modèle de langage GPT-2 de 774M paramètres à l'aide de retours humains pour diverses tâches.

    Motif de la recommandation :L'original expose les préférences humaines et le nombre d'annotations nécessaires pour différentes tâches, ce qui permet de comprendre le coût et les limites du fine-tuning par retour humain.

22 aoûtjeu.
  1. OpenAI News32

    OpenAI développe une méthode pour tester la robustesse des classifieurs face à des attaques adversariales imprévues

    OpenAI a mis au point une méthode évaluant si un classifieur de réseau de neurones peut résister à des attaques adversariales non vues pendant l'entraînement. Elle introduit une nouvelle métrique, UAR (Unforeseen Attack Robustness), qui mesure la robustesse d'un modèle unique face à une attaque imprévue. Ces travaux soulignent la nécessité d'évaluer les performances sur un éventail plus diversifié d'attaques imprévues.

20 aoûtmar.
  1. OpenAI News83

    OpenAI publie GPT-2 774M et un accord juridique open source

    OpenAI publie le modèle de langage GPT-2 de 774 millions de paramètres, après la sortie du petit modèle 124M en février et la publication échelonnée du modèle moyen 355M en mai.

    Motif de la recommandation :L'article retrace le calendrier de publication par étapes de GPT-2 et expose un accord juridique open source pour les partenariats de partage de modèles.

10 juilletmer.
23 maijeu.
25 avriljeu.
  1. OpenAI News70

    OpenAI présente MuseNet, un réseau neuronal profond capable de générer des compositions musicales

    OpenAI a créé MuseNet, un réseau neuronal profond capable de générer des compositions musicales de 4 minutes avec 10 instruments différents et de combiner des styles allant de la country à Mozart en passant par les Beatles. MuseNet n'a pas été programmé explicitement avec une compréhension musicale, mais a découvert des motifs d'harmonie, de rythme et de style en apprenant à prédire le token suivant dans des centaines de milliers de fichiers MIDI. Il utilise la même technologie non supervisée généraliste que GPT-2, un grand modèle Transformer entraîné à prédire le token suivant dans une séquence, qu'il s'agisse d'audio ou de texte.

    Motif de la recommandation :MuseNet montre comment une architecture Transformer généraliste, celle de GPT-2, peut être réutilisée pour générer de la musique sur des fichiers MIDI.

15 avrillun.
13 marsmer.
6 marsmer.
4 marslun.
  1. OpenAI News50

    Neural MMO : un environnement de jeu massivement multiagent pour l'apprentissage par renforcement

    OpenAI publie Neural MMO, un environnement de jeu massivement multiagent destiné aux agents d'apprentissage par renforcement. La plateforme prend en charge un nombre important et variable d'agents dans une tâche persistante et ouverte, et l'inclusion de nombreux agents et espèces favorise une meilleure exploration, la formation de niches divergentes et une compétence globale accrue.