Les dessous de l'entraînement : construction de jeux de données, données synthétiques, méthodes de pré-entraînement et de post-entraînement, puissance de calcul et coûts d'entraînement.
124 sélections30 derniers jours 8 entréesTotal : 372 entrées
mise à jour
Archives de la sélection · page 2
8mois6jourjeudi21–40 entrées · Au total 124 entrées
Motif de la recommandation :Le modèle WeatherNext Cyclones est présenté avec ses performances de prévision et ses poids ouverts, ce qui permet de juger de son intérêt pour la recherche météorologique.
OpenAI partage de nouveaux résultats sur des problèmes ouverts de longue date en mathématiques et en informatique théorique, avec des avancées en géométrie, en cryptographie et en complexité.
Motif de la recommandation :Le système complet est ouvert, du boîtier à la chaîne de traitement, ce qui permet de juger du coût et des étapes pour collecter soi-même des données de manipulation.
Google Research présente SensorFM, un grand modèle de fondation de capteurs pré-entraîné sur plus de mille milliards de minutes de signaux multimodaux issus de cinq millions de participants consentants, couvrant plus de 100 pays et plus de 20 modèles d'appareils Fitbit et Pixel Watch. Le modèle apprend par reconstruction auto-supervisée avec le cadre Adaptive and Inherited Masking (AIM), qui traite les données manquantes comme un artefact naturel plutôt que de les imputer ou de les écarter. Sur 35 tâches de santé issues de trois études prospectives totalisant 13 985 participants, les sondes linéaires sur les embeddings de SensorFM surpassent la baseline supervisée à caractéristiques d'ingénierie sur 34 tâches, et le plus grand modèle (SensorFM-B) réduit la perte de reconstruction de 31 % par rapport à la plus petite variante, avec un gain moyen de 9 % en AUC sur les tâches de classification et de 21 % en coefficient de Pearson sur les tâches de régression. Un système d'agents LLM collaboratifs et concurrents a exploré plus de 30 000 solutions candidates pour construire des têtes de prédiction, battant une sonde linéaire simple sur 16 des 20 tâches de classification et 12 des 15 tâches de régression. Intégré à un Personal Health Agent, SensorFM a permis des résumés de santé jugés significativement meilleurs que la baseline sur cinq dimensions par un panel de cliniciens, sans différence statistiquement significative avec l'utilisation de mesures de référence réelles.
Motif de la recommandation :L'article détaille un modèle de fondation entraîné sur plus de mille milliards de minutes de données de capteurs, avec des gains mesurés sur 35 tâches de santé.
Google Research présente TabFM, un modèle de fondation pour la classification et la régression sur données tabulaires qui élimine l'entraînement manuel。
Motif de la recommandation :L'article détaille l'architecture hybride et l'entraînement sur données synthétiques de TabFM, ce qui permet de comprendre comment le zero-shot s'applique aux données tabulaires.
Des chercheurs ont utilisé un modèle de raisonnement d'OpenAI pour aider au diagnostic de maladies rares, identifiant 18 nouveaux diagnostics dans des cas auparavant non résolus.
Motif de la recommandation :Les benchmarks comparatifs de la bibliothèque PEFT montrent que LoRA n'est pas toujours le meilleur compromis, avec des chiffres et des configurations transférables.
Motif de la recommandation :L'essai contrôlé randomisé pré-enregistré en Sierra Leone fournit des chiffres d'effet et des données d'interaction, utiles pour évaluer l'usage pédagogique de l'IA.
Google Research présente PHRM, un système de recherche qui utilise la caméra frontale du smartphone pour capturer des vidéos du visage après le déverrouillage et estime la fréquence cardiaque par photopléthysmographie à distance et apprentissage profond, avec une MAPE inférieure à 10 % par rapport à l'électrocardiogramme. Le système agrège les mesures de la journée pour estimer la fréquence cardiaque au repos quotidienne, avec une MAE inférieure à 5 bpm par rapport aux objets portables. L'étude s'appuie sur plus de 350 000 clips vidéo de près de 700 participants, en veillant à la représentation des différents tons de peau, et publie le plus grand ensemble de données vidéo de smartphone disponible pour la recherche ainsi qu'un modèle pré-entraîné PHRM-mini.
Motif de la recommandation :Le système PHRM utilise la caméra frontale du téléphone pour surveiller en arrière-plan la fréquence cardiaque et la fréquence cardiaque au repos, avec une précision proche de celle des objets portables, et publie le plus grand ensemble de données diversifié à ce jour.
OpenAI annonce de nouvelles capacités pour GPT-Rosalind, destinées à la recherche en sciences de la vie. Le modèle renforce le raisonnement biologique。
Motif de la recommandation :L'annonce présente les capacités de GPT-Rosalind en raisonnement biologique et analyse génomique, utile pour situer les outils IA dédiés à la recherche en sciences de la vie.
Motif de la recommandation :Mistral acquiert Emmi AI pour intégrer la physique dans ses modèles et ses agents d'ingénierie, un signal sur la convergence entre IA et industrie.
Motif de la recommandation :L'article détaille les performances d'ERA sur plusieurs benchmarks et huit cas d'application scientifique, permettant de juger de l'apport de l'outil à la recherche computationnelle.
Google DeepMind présente l'utilisation de Co-Scientist par les biologistes Omar Abudayyeh et Jonathan Gootenberg pour accélérer la recherche sur le vieillissement cellulaire. L'outil a analysé des dizaines de milliers d'articles et proposé plus de 20 facteurs génétiques nouveaux et plausibles à tester ; des tests en laboratoire ont validé quelques hypothèses, les facteurs recommandés ayant conduit les cellules vers un état plus jeune avec une fonction globale améliorée. Co-Scientist réduit aussi le temps d'analyse des données de criblage, qui pouvait prendre jusqu'à six mois, à quelques jours seulement.
Motif de la recommandation :L'original montre comment Co-Scientist propose des cibles génétiques et réduit de six mois à quelques jours l'analyse de criblage, une méthode transférable à d'autres équipes.
Motif de la recommandation :Un cas concret montre comment un système d'IA propose des médicaments candidats et comment deux d'entre eux bloquent la fibrose sur cellules hépatiques humaines.
Motif de la recommandation :Quatre cas scientifiques concrets montrent comment ERA s'articule avec Gemini Deep Think et les données d'observation existantes, offrant un aperçu des modes de collaboration entre LLM et recherche.
Motif de la recommandation :L'article détaille le pipeline de pré-entraînement en cinq phases et la recette RL de Granite 4.1, utile pour comprendre comment un dense 8B rivalise avec un MoE 32B.
Google DeepMind publie un article sur Decoupled DiLoCo, une architecture distribuée qui divise les entraînements LLM en îlots de calcul découplés avec flux de données asynchrone。
Motif de la recommandation :L'article détaille l'architecture Decoupled DiLoCo et ses résultats sur Gemma 4, permettant de comprendre comment l'entraînement distribué gagne en résilience et en efficacité.