Hugging Face + Dask : mise à l'échelle du traitement de données IA

Hugging Face et Dask permettent de traiter le dataset FineWeb à l'échelle de 211 millions de lignes en parallélisant l'inférence du classifieur FineWeb-Edu sur plusieurs GPU dans le cloud. Le dataset FineWeb contient 15 000 milliards de tokens issus de Common Crawl, soit 432 Go sur disque et environ 715 Go en mémoire répartis sur 250 fichiers Parquet. Dask DataFrame reproduit l'API pandas et gère le calcul out-of-core en découpant les données en chunks, avec écriture distribuée au format Parquet et squash de l'historique des commits via HfApi.