Aller au contenu

Orientations techniques

Sécurité et alignement Dernières actualités

Sécurité et alignement de l'IA : jailbreak et défenses, recherche sur le comportement des modèles, évaluations de sécurité et cadres de gouvernance.

456 sélections30 derniers jours 359 entréesTotal : 1 012 entrées

mise à jour

Archives de la sélection · page 23

31 janviermer.441–456 entrées
  1. OpenAI News62

    OpenAI construit un système d'alerte précoce pour les menaces biologiques assistées par LLM

    OpenAI développe un cadre d'évaluation du risque qu'un grand modèle de langage (LLM) aide une personne à créer une menace biologique. Dans une évaluation menée avec des experts en biologie et des étudiants, GPT-4 n'apporte au plus qu'une légère amélioration de la précision en matière de création de menaces biologiques. OpenAI précise que cette amélioration n'est pas assez importante pour être concluante, mais que ce résultat constitue un point de départ pour poursuivre la recherche et la réflexion communautaire.

    Motif de la recommandation :OpenAI expose un cadre d'évaluation du risque biologique lié aux LLM et publie les résultats préliminaires sur GPT-4, utiles pour situer les travaux de sécurité.

3 octobremar.
15 aoûtmar.
26 juilletmer.
31 maimer.
  1. OpenAI News78

    OpenAI améliore le raisonnement mathématique par la supervision du processus

    OpenAI indique avoir entraîné un modèle qui atteint un nouvel état de l'art en résolution de problèmes mathématiques en récompensant chaque étape de raisonnement correcte (supervision du processus) plutôt qu'en récompensant simplement la réponse finale correcte (supervision du résultat). Outre l'amélioration des performances par rapport à la supervision du résultat, la supervision du processus présente un avantage d'alignement : elle entraîne directement le modèle à produire une chaîne de pensée validée par des humains.

    Motif de la recommandation :L'article expose la différence entre supervision du processus et supervision du résultat, ainsi que l'avantage d'alignement qui en découle, ce qui permet de comprendre une voie d'entraînement du raisonnement.

23 maimar.
  1. Hugging Face Blog67

    Hugging Face, EleutherAI et Stability AI font de safetensors le format par défaut après un audit de sécurité externe

    Hugging Face, EleutherAI et Stability AI ont commandé un audit de sécurité externe de la bibliothèque safetensors.

    Motif de la recommandation :L'audit externe confirme l'absence de faille critique et le passage de safetensors au statut de dépendance par défaut dans transformers.

24 févrierven.
28 juinmar.
13 juinlun.
  1. OpenAI News62

    OpenAI entraîne des modèles de rédaction de critiques pour aider les humains à repérer les défauts des résumés

    OpenAI indique avoir entraîné des modèles de rédaction de critiques chargés de décrire les défauts dans les résumés. Les évaluateurs humains repèrent beaucoup plus souvent ces défauts lorsqu'on leur montre les critiques du modèle. Les modèles plus grands sont meilleurs pour s'autocritiquer, et l'augmentation d'échelle améliore davantage la rédaction de critiques que la rédaction de résumés. Cela ouvre une piste pour que des systèmes d'IA assistent la supervision humaine d'autres systèmes d'IA sur des tâches difficiles.

    Motif de la recommandation :Un modèle de rédaction de critiques aide les évaluateurs humains à repérer davantage de défauts dans les résumés, et l'échelle améliore davantage la critique que la rédaction.

27 janvierjeu.
8 septembremer.
5 novembremar.
19 septembrejeu.
  1. OpenAI News62

    OpenAI ajuste GPT-2 774M par les préférences humaines

    OpenAI a ajusté le modèle de langage GPT-2 de 774M paramètres à l'aide de retours humains pour diverses tâches.

    Motif de la recommandation :L'original expose les préférences humaines et le nombre d'annotations nécessaires pour différentes tâches, ce qui permet de comprendre le coût et les limites du fine-tuning par retour humain.

20 aoûtmar.
  1. OpenAI News83

    OpenAI publie GPT-2 774M et un accord juridique open source

    OpenAI publie le modèle de langage GPT-2 de 774 millions de paramètres, après la sortie du petit modèle 124M en février et la publication échelonnée du modèle moyen 355M en mai.

    Motif de la recommandation :L'article retrace le calendrier de publication par étapes de GPT-2 et expose un accord juridique open source pour les partenariats de partage de modèles.

3 maijeu.
20 févriermar.