Les dessous de l'entraînement : construction de jeux de données, données synthétiques, méthodes de pré-entraînement et de post-entraînement, puissance de calcul et coûts d'entraînement.
124 sélections30 derniers jours 8 entréesTotal : 372 entrées
mise à jour
Archives de la sélection · page 3
4mois22jourmercredi41–60 entrées · Au total 124 entrées
OpenAI publie Privacy Filter, un modèle à poids ouverts destiné à détecter et masquer les informations personnelles identifiables (PII) dans du texte, avec une précision annoncée comme état de l'art.
Motif de la recommandation :Un modèle à poids ouverts d'OpenAI dédié à la détection et à la suppression des données personnelles, avec un point d'entrée concret pour les flux de traitement de texte.
Google Research présente Simula, un cadre de génération de données synthétiques sans seed qui construit des jeux de données à partir de principes premiers via la conception de mécanismes. Le système décompose la génération en quatre axes contrôlables : diversification globale par taxonomies hiérarchiques, diversification locale par méta-prompts, complexification configurable et contrôle qualité par boucle à double critique. Évalué avec Gemini 2.5 Flash comme modèle enseignant et Gemma-3 4B comme élève sur cinq domaines (cybersécurité, raisonnement juridique, GSM8k, Global MMLU), il génère jusqu'à 512K points par domaine ; une complexité élevée apporte un gain de 10 % en mathématiques mais nuit au raisonnement juridique. Simula alimente l'écosystème Gemma (ShieldGemma, FunctionGemma, MedGemma) et des fonctions de protection des utilisateurs comme la détection d'arnaques sur Android et le filtrage de spam dans Google Messages.
Motif de la recommandation :L'article expose une méthode de génération de données synthétiques pilotée par le raisonnement et ses résultats sur cinq domaines, utile pour comprendre comment couvrir des cas rares sans données réelles.
Motif de la recommandation :L'article détaille comment des neurones synthétiques générés par IA réduisent les erreurs de reconstruction et le temps de relecture manuelle, avec des chiffres concrets.
Motif de la recommandation :Un nouveau modèle de raisonnement d'OpenAI orienté sciences de la vie, dont les capacités annoncées couvrent la découverte de médicaments et l'analyse génomique.
Google Research présente Vantage, une expérience de recherche qui évalue les compétences durables des élèves en les plaçant dans des conversations simulées avec des avatars IA. Un Executive LLM pilote le dialogue pour susciter des occasions de démontrer des compétences comme la résolution de conflits ou la gestion de projet, puis un AI Evaluator note la conversation selon une grille d'évaluation. Une étude conjointe avec la New York University menée auprès de 188 testeurs de 18 à 25 ans indique que l'accord entre l'AI Evaluator et les experts humains est comparable à celui entre deux évaluateurs experts. Vantage est disponible en anglais sur Google Labs.
Motif de la recommandation :L'article détaille un dispositif d'évaluation des compétences durables par des avatars IA pilotés par un Executive LLM, avec validation par des experts humains.
Motif de la recommandation :Le modèle compact et son adaptateur LoRA sont décrits avec les benchmarks de tableaux, graphiques et KVP, ce qui aide à juger son intérêt pour l'extraction documentaire.
Google Quantum AI a publié un livre blanc montrant que de futurs ordinateurs quantiques pourraient casser la cryptographie à courbes elliptiques protégeant les cryptomonnaies avec moins de qubits et de portes que estimé auparavant. Les circuits compilés pour l'algorithme de Shor sur ECDLP-256 utilisent moins de 1 200 qubits logiques et 90 millions de portes Toffoli, ou moins de 1 450 qubits logiques et 70 millions de portes Toffoli, exécutables en quelques minutes sur un CRQC supraconducteur de moins de 500 000 qubits physiques, soit une réduction d'environ 20 fois du nombre de qubits physiques nécessaires. Google recommande la transition des blockchains vers la cryptographie post-quantique (PQC) et a développé une preuve à divulgation nulle de connaissance pour permettre la vérification des vulnérabilités sans fournir de feuille de route aux acteurs malveillants, en collaboration avec le gouvernement américain et selon une échéance 2029.
Motif de la recommandation :Google Quantum AI détaille les ressources quantiques nécessaires pour casser ECDLP-256 et propose une divulgation par preuve à divulgation nulle de connaissance.
NVIDIA détaille un pipeline en six étapes pour transformer un modèle d'embedding généraliste (Llama-Nemotron-Embed-1B-v2) en modèle spécialisé à un domaine。
Motif de la recommandation :Présente un pipeline complet de fine-tuning d'embedding pour RAG, avec commandes, hyperparamètres et résultats mesurés sur un GPU unique.
Motif de la recommandation :L'analyse quantifie la croissance de l'écosystème open source et le basculement de la Chine, offrant un contexte chiffré sur la répartition des usages.
Mistral AI a annoncé Forge, un système destiné aux entreprises pour construire des modèles d'IA de niveau frontière ancrés dans leurs connaissances propriétaires. Forge prend en charge le pré-entraînement, le post-entraînement et l'apprentissage par renforcement sur des documents internes, des bases de code et des données opérationnelles, avec des architectures denses et MoE ainsi que des entrées multimodales. Mistral AI indique avoir déjà collaboré avec ASML, DSO National Laboratories Singapore, Ericsson, l'Agence spatiale européenne, HTX Singapore et Reply. Le système est conçu pour les agents de codage comme Mistral Vibe, qui peuvent l'utiliser pour affiner des modèles, trouver des hyperparamètres optimaux et générer des données synthétiques.
Motif de la recommandation :Mistral AI présente Forge, un système permettant aux entreprises d'entraîner des modèles sur leurs données internes, avec prise en charge des architectures denses et MoE et des agents autonomes.
Motif de la recommandation :Google Research détaille une méthode d'extraction de données de vérité terrain et un modèle LSTM pour prévoir les crues éclair urbaines 24 h à l'avance.
Google Research présente Groundsource, une méthodologie qui utilise Gemini pour transformer des articles de presse non structurés en données historiques exploitables. Le premier jeu de données open access porte sur les crues soudaines urbaines et contient 2,6 millions d'événements couvrant plus de 150 pays depuis 2000. Lors de vérifications manuelles, 60 % des événements extraits étaient exacts en lieu et date, et 82 % suffisamment précis pour une analyse pratique. Groundsource a capturé entre 85 % et 100 % des événements de crue sévère enregistrés par GDACS entre 2020 et 2026. Ces données permettent des prévisions de crues soudaines urbaines jusqu'à 24 heures à l'avance, désormais déployées dans Google Flood Hub.
Motif de la recommandation :L'article détaille une méthode d'extraction de données historiques à partir d'articles de presse avec Gemini et fournit des chiffres de validation concrets.
Motif de la recommandation :L'étude détaille le déploiement réel d'AMIE en soins primaires, avec des chiffres de sécurité et de précision diagnostique qui éclairent les limites d'un agent conversationnel médical.
Google Research présente WAXAL, un corpus vocal ouvert couvrant 27 langues d'Afrique subsaharienne parlées par plus de 100 millions de locuteurs dans plus de 26 pays. La publication inclut environ 1 846 heures d'audio transcrit pour la reconnaissance automatique de la parole (ASR) et plus de 565 heures d'enregistrements haute fidélité pour la synthèse vocale (TTS), sous licence CC-BY-4.0. Le projet, mené depuis 2021 avec des universités et organisations communautaires africaines, vise à soutenir la recherche et le développement de technologies vocales inclusives.
Motif de la recommandation :L'article détaille la composition et les licences d'un corpus vocal multilingue, utile pour évaluer la couverture des langues à faibles ressources.
Motif de la recommandation :L'article détaille la recette complète d'un entraînement text-to-image en 24h sur 32 H200 pour environ 1500 dollars, avec code open source.
Motif de la recommandation :L'article détaille un pipeline de génération de données synthétiques pour l'apprentissage du tracé d'itinéraires sur cartes, avec des résultats chiffrés sur MapBench.