Framework d'Apprentissage Profond Durable et d'IA Frugale
Réduction des émissions de CO₂ de 42,6 % sans aucune perte de précision, et accélération de l'entraînement de 33,7 %.
Co-conçu une architecture parallèle distribuée pour le pipeline Introvert en utilisant PyTorch RPC et Docker, réduisant les émissions de CO₂ de 42,6 % sans aucune dégradation de la précision. Implémenté un pipeline d'optimisation avancé comprenant l'entraînement en précision mixte (AMP), torch.compile et le chargement asynchrone des données, accélérant le temps d'entraînement de 33,7 %. Formulé une nouvelle métrique composite de frugalité basée sur le Processus de Hiérarchie Analytique (AHP) pour évaluer de manière complète les déploiements d'IA en termes d'énergie, mémoire, FLOPs et précision prédictive.
En clair
Entraîner de grands modèles d'IA consomme beaucoup d'électricité. Ce travail répartit l'entraînement sur plusieurs machines et optimise son exécution, pour obtenir un modèle aussi précis en consommant bien moins d'énergie.
