Fernwärme, Reinforcement Learning, Optimierung

Optimierung der Fernwärmeerzeugung durch Reinforcement Learning

18. Mai 2022

Bei der Fernwärmeerzeugung liegt erhebliches Optimierungspotential brach. Die Digitalisierung in Form IoT-basierter Wärmeverbrauchsmessung und Anwendung Künstlicher Intelligenz sowie Reinforcement Learning kann dies ändern.

Das Steuern der Fernwärmeerzeugung ist bislang mit erheblichen Ungenauigkeiten verknüpft. Dies liegt insbesondere daran, dass bislang nicht kurzzyklisch gemessen wird, an welchen Entnahmepunkten wie viel Wärme verbraucht wird, wobei Großabnehmer davon ausgenommen sind. Bislang basieren die Fahrpläne der Wärmeerzeugungsanlagen in der Regel auf den Erzeugungswerten der Vergangenheit, Ergebnissen von Schlechtpunktmessungen und den Temperaturprognosen für die kommenden Tage. Das bisherige Verfahren hat den Nachteil, dass der effektive aktuelle Wärmebedarf der Kunden nicht bekannt ist und die Wärmeerzeugung nur näherungsweise gesteuert werden kann. Nachjustiert wird auf Basis der Rücklauftemperatur des Heizwassers beim Eintreffen im Heizwerk. So hinkt die Erzeugung dem realen Wärmebedarf der Kunden oft hinterher und es entsteht ein Pendeleffekt: Die Wärmeerzeugung wird verzögert gedrosselt oder gesteigert, weil das Transportmedium eine gewisse Zeit braucht, bis es beim Kunden heiß ankommt bzw. abgekühlt wieder im Heizwerk eintrifft. Je länger die Fernwärmeleitung, desto größer die zeitliche Entkopplung. Noch komplexer und unübersichtlicher ist die Situation in großen Fernwärmenetzen mit mehreren dezentralen und verschiedenartigen Erzeugungseinheiten.

In diesem Blogbeitrag sprechen wir über aktuelle Steuerungsverfahren von Fernwärmenetzen und deren Erzeugungsanlagen und über Optimierungspotenziale, die sich durch IoT-basierter Wärmeverbrauchsmessung und Anwendung Künstlicher Intelligenz umsetzen lässt.

Primärenergieeinsatz höher als eigentlich notwendig

Dass dieses Steuerungsverfahren Effizienz bei der Wärmeproduktion verschenkt, liegt auf der Hand. Damit Fernwärmekunden keinesfalls frieren müssen, wird die Vorlauftemperatur mit einem Sicherheitspuffer eingestellt. Die Fernwärmeversorgung erfordert somit einen tendenziell höheren Primärenergieeinsatz als eigentlich notwendig. Das schmerzt nicht nur beim Klimaschutz, sondern auch in der Kasse. Fernwärme wird vielfach noch mit fossilen Brennstoffen wie Erdgas, Öl und Kohle erzeugt, die beim Verbrennen CO2 freisetzen. Da sich zudem die Brennstoffbeschaffungspreise in jüngster Zeit exorbitant erhöht haben, ist eine intelligentere, sprich am unmittelbaren Bedarf orientierte und damit sparsamere Fernwärmeerzeugung hochwillkommen.

Den Schlüssel dazu liefert die Fernwärme- oder Fernkälte-Verbrauchserfassungs- und -Abrechnungsverordnung, kurz FFVAV. Ihr eigentliches Ziel besteht darin, den Endkunden transparent zu machen, wie viel Wärmeenergie sie wann exakt verbrauchen. Auf Basis dieser Kenntnis können sie ihren Wärmekonsum durch ein bewussteres Heizverhalten senken und damit zum Klimaschutz beitragen. Fernwärmeversorger verpflichtet die FFVAV u.a. dazu, bis 2026 alle Wärmemengenzähler (WMZ) in Deutschland zu digitalisieren und damit fernauslesbar zu machen. Bereits heute haben Fernwärmeversorger die Pflicht, allen Kunden, die schon mit digitalen WMZ ausgerüstet sind, eine monatliche Verbrauchsinformation zur Verfügung zu stellen. Immer mehr Stadtwerke bauen deshalb Internet of Things (IoT)-Infrastrukturen auf, um Wärmemengenzähler, aber auch Verbrauchszähler anderer Versorgungssparten, zu digitalisieren und damit fernauslesbar zu machen.

Genauere Prognosen für die Erzeugungssteuerung

Die erstmalig verfügbaren Live-Verbrauchsdaten lassen sich auch für eine genauere Wärmeerzeugungsprognose nutzen. Die Live-Daten der Ausspeisestellen stammen aus elektronischen WMZ, die z.B. über LoRaWAN-Narrowband IoT oder via Smart Meter Gateways fernausgelesen werden können. Über die obligatorische monatliche Ablesung hinaus ist dadurch ein feingranulares Fernwärmeverbrauchs-Monitoring möglich. So können Werte auch täglich, stündlich oder in noch kürzeren Intervallen abgerufen werden. Dadurch stehen plötzlich große Datenmengen zur Verfügung, die allerdings ausgewertet werden müssen, was in dem komplexen hydraulischen Konstrukt Fernwärmenetz allerdings besondere Fähigkeiten erfordert – in diesem Fall KI in Form neuronaler Netze und Reinforcement Learning.

Zunächst werden die Daten der WMZ in das cloudbasierte System eingespielt und mit den Erzeugungsdaten in Korrelation gesetzt. Dabei ist es sinnvoll, Cluster mit mehreren Zählern zu bilden, die gemeinsam betrachtet werden. Das neuronale Netz erlernt auf Basis der eingespeisten Verbrauchsdaten das Netzverhalten. Danach wird unter Zuhilfenahme von Reinforcement Learning, also verstärkendem Lernen, die optimale Strategie für das erlernte Netzverhalten ermittelt. Für gut funktionierende Strategien – z.B. Lastspitze vermieden – erhalten die digitalen Agenten Belohnungen, für weniger gute Lösungen – z.B. definierte Rücklauftemperatur unterschritten – Strafen, wie bei einer klassischen Konditionierung. Dank der vielen IoT-Daten unter anderem aus den Wärmeübergabestationen erlernt das neuronale Netz das Verhalten des Wärmenetzes, ohne dass detaillierte netztechnische Daten erforderlich sind. Nach welcher Zielstellung optimiert werden soll, z.B. nach CO2-Vermeidung oder Wärmeproduktionskostenoptimierung, kann vorab im System priorisiert werden.

Vereinfachte Darstellung des Reinforcement Learning:

  • Solarpflicht in Deutschland: Vom Überblick bis zu den regionalen Unterschieden

    Solarpflicht in Deutschland: Vom Überblick bis zu den regionalen Unterschieden

    Was ist die Solarpflicht und welchen Beitrag sollen die Solaranlagen leisten? Der Ausbau von Solar- und Windenergieanlagen gilt aus Sicht der Politik als die beiden tragenden Säulen für den Umbau des Energiesektors hin zu einer dekarbonisierten Wirtschaft. Bereits im Jahr 2030 sollen 80 Prozent des Stroms aus regenerativen Erzeugungsanlagen stammen. Um dieses Ziel zu erreichen,…


  • Provisionierungsprozess 2.0: Automatisierung und Optimierung im Energievertrieb 

    Provisionierungsprozess 2.0: Automatisierung und Optimierung im Energievertrieb 

    In diesem Beitrag geht es um das Projekt ‘Provisionierungsprozess 2.0’, das im vergangenen Jahr umgesetzt wurde. Das Projekt nutzt nicht nur klassische Methoden des Data Warehousings, sondern zeigt auch innovative Einsatzmöglichkeiten eines SAP BW/4HANA auf, die über die üblichen Anwendungen in Reportingprojekten hinausgehen.  Unser Fokus liegt auf einem speziellen Fall eines Stadtwerks, das im Energievertrieb…


  • Teil 2 – § 14a EnWG: Wie sehen die Leitplanken der Niederspannungsnetzführung aus

    Teil 2 – § 14a EnWG: Wie sehen die Leitplanken der Niederspannungsnetzführung aus

    Im ersten Teil dieses Beitrags haben bereits festgestellt, dass die neue Verordnung zu § 14a von der BNetzA Ende November veröffentlicht wurde. Sie stellt die Leitplanken für den zukünftigen Betrieb des Niederspannungsnetzes dar. In einem mehrstufigen Konsultationsprozess im Jahr 2023 wurden verschiedene Aspekte der Integration von steuerbaren Verbrauchseinrichtungen (SteuVE) diskutiert. Die Verordnung teilt sich grob…


Brennstoffeinsparungen bis 15 % sind möglich

Das Rechenmodell ermittelt täglich automatisiert einen Produktionsfahrplan, der bei Bedarf auch in kürzeren Abständen optimiert und zur Verfügung gestellt werden kann. Aktuell erhalten die in das Projekt involvierten Fernwärmeversorger über die Grid Insight: Heat Cloud-Lösung tägliche Produktionsvorschläge, die sie bei ihrer Fahrplangestaltung berücksichtigen können. Ein Live-Test der Erzeugungsoptimierung ist in Vorbereitung. Dieser wird Aufschlüsse darüber bringen, ob die technischen Regeln für den Betrieb von Fernwärmenetzen bei KI-basierter Steuerungsunterstützung eingehalten werden. Die mittlerweile bei mehreren Energieversorgern durchgeführten Proof of Concept lassen Brennstoffeinsparungen vom 9-15 % erwarten.

Wenn ihr den Ansatz in eurem Netz testen wollt, meldet euch gerne bei uns. Wenn euch der Artikel gefallen hat, könnt ihr hier unseren Blog abonnieren.

Dr. Mark Feldmann

Data-Scientist
Mark Feldmann ist Data-Scientist und Product Owner für das Produkt Grid Insight: Heat. Sein Schwerpunkt liegt in der Entwicklung und Verwendung von künstlicher Intelligenz sowie dem maschinellen Lernen. Auf Basis seines umfangreichen mathematischen Hintergrundwissens erstellt und optimiert er die zugrunde liegenden Logiken der Softwareprodukte, um bestmögliche Ergebnisse unter Verwendung der aktuellsten Methoden zu kreieren. In Zusammenarbeit mit dem Entwicklungsteam erarbeitet er Darstellungsmöglichkeiten und Datenstrukturen, um das erzeugte Wissen dem Kunden möglichst verständlich und übersichtlich darzustellen.

Thorsten Rademaker

Data Engineer
Thorsten Rademaker ist Data Engineer bei der items. Er kümmert sich um die Prozesse rund um die Generierung, Speicherung, Pflege, Aufbereitung und Anreicherung von Daten. Eine wichtige Aufgabe dabei ist beispielsweise die Überwachung der Software-Infrastruktur. Weiterhin entwickelt er das items Machine Learning Framework mit. In seiner Freizeit spielt er gerne Roundnet, Beachvolleyball oder auch mal eine Runde Schach.