FedZero macht moderne KI-Modelle energiesparsam

Die Verfügbarkeit von überschüssiger erneuerbarer Energie variiert je nach Zeit und Ort stark. FedZero ermöglicht faires, schnelles und energieeffizientes FL unter solchen stark schwankenden Ressourcenbeschränkungen.
(c) Philipp Wiesner, Ramin Khalili, Dennis Grinwald, Pratik Agrawal, Lauritz Thamsen, Odej Kao

BIFOLD-Forscher demonstrieren FedZero: ein neues System des verteilten Lernens (Förderales Lernen /Federated Learning), das ausschließlich mit grüner Energie betrieben werden kann. Beispielsweise könnte es in der Medizin eingesetzt werden, wenn mehrere Parteien ein medizinisches Vorhersage-Modell mit sensiblen Gesundheitsdaten trainieren möchten. Mit Hilfe des föderalen Lernens bleiben die Datensätze lokal bei dem jeweiligen Partner, ohne dass sie mit anderen Teilnehmern ausgetauscht werden. Der Nachteil: Federated Learning verbraucht enorm viel Energie. FedZero ist so angelegt, dass alle Trainingsprozesse fair verteilt werden und ablaufen, wenn ausreichend grüne Energie zur Verfügung steht.

FedZero passt seinen Energieverbrauch an die Verfügbarkeit von überschüssiger erneuerbarer Energie an.

Die meisten Anwendungen maschinellen Lernens laufen heutzutage zentralisiert, was bedeutet, dass alle erforderlichen Trainingsdaten in einem einzigen Datenzentrum vorliegen. In der Praxis möchten verschiedene Parteien jedoch oft gemeinsam ein Modell trainieren, ohne den anderen Parteien ihre Daten zur Verfügung stellen zu müssen. „Zum Beispiel können Gesundheitseinrichtungen keine sensiblen Patientendaten teilen, wollen aber gemeinsam trotzdem Vorhersagemodelle für Diagnosen und Behandlungsempfehlungen entwickeln“, sagt Prof. Dr. Odej Kao, Lehrstuhlinhaber für Verteilte Systeme und Betriebssysteme an der TU Berlin und BIFOLD Fellow. Für solche Anwendungsfälle wurde das sogenannte Federated Learning (verteiltes Lernen) als Alternative zum zentralisierten Training von KI-Systemen entwickelt. Beim Federated Learning werden Modelle dezentral von verschiedenen Partnern trainiert, ohne dass Daten zwischen unterschiedlichen Institutionen übertragen werden müssen.

Wissenschaftler gehen allerdings davon aus, dass die wachsende Nutzung von Federated-Learning-Anwendungen den weltweiten Energieverbrauch des maschinellen Lernens drastisch erhöht. Bereits heute gilt maschinelles Lernen als eine der energieintensivsten Rechenanwendungen. Gerade das Konzept des verteilten Trainings von KI-Modellen in örtlich getrennten Datenzentren bietet neue Chancen, die Ausführung der Rechenanwendungen an die Verfügbarkeit von grüner Energie zu koppeln.

Maschinelles Lernen ohne operative CO2-Emissionen?

BIFOLD-Forscher Philipp Wiesner, Dennis Grinwald, Pratik Agrawal, Lauritz Thamsen, Odej Kao sowie Ramin Khalili vom Huawei Munich Research Center haben genau diese Forschungsfrage untersucht, und demonstrieren, wie Federated Learning ausschließlich mit grüner Energie durchgeführt werden könnte – also ohne zusätzliche CO2-Emissionen zu verursachen. Dafür schlagen sie ein neues System vor, genannt FedZero, das Federated Learning basierend auf der Verfügbarkeit von sogenannter überschüssiger erneuerbarer Energie plant. Überschüssige Energie tritt auf, wenn erneuerbare Quellen wie Sonne oder Wind mehr Strom produzieren als aktuell benötigt wird. FedZero nutzt die überschüssige Energie und koppelt sie an ungenutzte Rechenressourcen. So können die CO2-Emissionen des Trainings effektiv auf null reduziert werden.

Federated-Learning-Projekte, die sich auf die Verwendung von überschüssiger erneuerbarer Energie fokussieren, bringen im Gegenzug jedoch neue Herausforderungen mit sich – ein Thema, das von BIFOLD-Forschenden bereits im Kontext von Cloud-Datenzentren untersucht wurde (siehe auch: https://www.bifold.berlin/news-events/news/view/news-detail/scheduling-computing…). „Beim Federated Learning stoßen wir zusätzlich auf das Problem von Fairness: Partner mit sehr wenig Zugang zu überschüssiger grüner Energie könnten im finalen Modell unterrepräsentiert sein, da ihnen auch entsprechend wenig Trainingszeit zur Verfügung steht“, erklärt Philipp Wiesner. Um genau diese Verzerrung zu verhindern, passt FedZero das Tempo des Trainings dynamisch an die aktuellen Umstände an und optimiert den Trainingsprozess so, dass alle beteiligten Parteien Trainingszeiten in einem angemessenen Umfang erhalten.
Das Paper wird am 5. Juni 2024 auf der „15. ACM International Conference on Future and Sustainable Energy Systems (e-Energy ‘24)“ in Singapur vorgestellt.

Weitere Publikationen:
• Philipp Wiesner, Dominik Scheinert, Thorsten Wittkopp, Lauritz Thamsen, Odej Kao: Proceedings of the 28th International European Conference on Parallel and Distributed Computing (Euro-Par): „Cucumber: Renewable-Aware Admission Control for Delay-Tolerant Cloud and Edge Workloads”; Euro-Par 2022: Parallel Processing, pp 218–232, https://doi.org/10.1007/978-3-031-12597-3_14
• Philipp Wiesner, Ilja Behnke, Dominik Scheinert, Kordian Gontarska, Lauritz Thamsen: Let’s Wait Awhile: How Temporal Workload Shifting Can Reduce Carbon Emissions in the Cloud. Middleware ’21: Proceedings of the 22nd International Middleware ConferenceDecember 2021, DOI: https://doi.org/10.1145/3464298.3493399

Wissenschaftliche Ansprechpartner:

Technische Universität Berlin
Fachgebiet Verteilte Systeme und Betriebssysteme (DOS)
Wiesner, Philipp
wiesner@tu-berlin.de
+49 30 314-19003941

Originalpublikation:

Philipp Wiesner, Ramin Khalili, Dennis Grinwald, Pratik Agrawal, Lauritz Thamsen, and Odej Kao. „FedZero: Leveraging Renewable Excess Energy in Federated Learning“ In the Proceedings of the 15th ACM International Conference on Future and Sustainable Energy Systems (e-Energy).2024. https://dl.acm.org/doi/10.1145/3632775.3639589

Weitere Informationen:

https://www.bifold.berlin/news-events/news/view/news-detail/sustainable-federate… BIFOLD News

Media Contact

Jean-Paul Olivier Communications
Berlin Institute for the Foundations of Learning and Data – BIFOLD

Alle Nachrichten aus der Kategorie: Informationstechnologie

Neuerungen und Entwicklungen auf den Gebieten der Informations- und Datenverarbeitung sowie der dafür benötigten Hardware finden Sie hier zusammengefasst.

Unter anderem erhalten Sie Informationen aus den Teilbereichen: IT-Dienstleistungen, IT-Architektur, IT-Management und Telekommunikation.

Zurück zur Startseite

Kommentare (0)

Schreiben Sie einen Kommentar

Neueste Beiträge

Neue Industrie-4.0-Lösung für niedrigschwelligen Zugang zu Datenräumen

»Energizing a Sustainable Industry« – das Motto der Hannover Messe 2024 zeigt klar, wie wichtig eine gleichermaßen leistungsstarke und nachhaltige Industrie für den Fertigungsstandort Deutschland ist. Auf der Weltleitmesse der…

Quantenpräzision: Eine neue Art von Widerstand

Physikforschende der Universität Würzburg haben eine Methode entwickelt, die die Leistung von Quantenwiderstands-Normalen verbessern kann. Sie basiert auf einem Quantenphänomen namens anomaler Quanten-Hall-Effekt. In der industriellen Produktion oder in der…

Sicherheitslücke in Browser-Schnittstelle erlaubt Rechnerzugriff über Grafikkarte

Forschende der TU Graz waren über die Browser-Schnittstelle WebGPU mit drei verschiedenen Seitenkanal-Angriffen auf Grafikkarten erfolgreich. Die Angriffe gingen schnell genug, um bei normalem Surfverhalten zu gelingen. Moderne Websites stellen…

Partner & Förderer