Fernwärme, Reinforcement Learning, Optimierung
Bildnachweis: © items GmbH

Optimierung der Fernwärmeerzeugung durch Reinforcement Learning

18. Mai 2022

Bei der Fernwärmeerzeugung liegt erhebliches Optimierungspotential brach. Die Digitalisierung in Form IoT-basierter Wärmeverbrauchsmessung und Anwendung Künstlicher Intelligenz sowie Reinforcement Learning kann dies ändern.

Das Steuern der Fernwärmeerzeugung ist bislang mit erheblichen Ungenauigkeiten verknüpft. Dies liegt insbesondere daran, dass bislang nicht kurzzyklisch gemessen wird, an welchen Entnahmepunkten wie viel Wärme verbraucht wird, wobei Großabnehmer davon ausgenommen sind. Bislang basieren die Fahrpläne der Wärmeerzeugungsanlagen in der Regel auf den Erzeugungswerten der Vergangenheit, Ergebnissen von Schlechtpunktmessungen und den Temperaturprognosen für die kommenden Tage. Das bisherige Verfahren hat den Nachteil, dass der effektive aktuelle Wärmebedarf der Kunden nicht bekannt ist und die Wärmeerzeugung nur näherungsweise gesteuert werden kann. Nachjustiert wird auf Basis der Rücklauftemperatur des Heizwassers beim Eintreffen im Heizwerk. So hinkt die Erzeugung dem realen Wärmebedarf der Kunden oft hinterher und es entsteht ein Pendeleffekt: Die Wärmeerzeugung wird verzögert gedrosselt oder gesteigert, weil das Transportmedium eine gewisse Zeit braucht, bis es beim Kunden heiß ankommt bzw. abgekühlt wieder im Heizwerk eintrifft. Je länger die Fernwärmeleitung, desto größer die zeitliche Entkopplung. Noch komplexer und unübersichtlicher ist die Situation in großen Fernwärmenetzen mit mehreren dezentralen und verschiedenartigen Erzeugungseinheiten.

In diesem Blogbeitrag sprechen wir über aktuelle Steuerungsverfahren von Fernwärmenetzen und deren Erzeugungsanlagen und über Optimierungspotenziale, die sich durch IoT-basierter Wärmeverbrauchsmessung und Anwendung Künstlicher Intelligenz umsetzen lässt.

Primärenergieeinsatz höher als eigentlich notwendig

Dass dieses Steuerungsverfahren Effizienz bei der Wärmeproduktion verschenkt, liegt auf der Hand. Damit Fernwärmekunden keinesfalls frieren müssen, wird die Vorlauftemperatur mit einem Sicherheitspuffer eingestellt. Die Fernwärmeversorgung erfordert somit einen tendenziell höheren Primärenergieeinsatz als eigentlich notwendig. Das schmerzt nicht nur beim Klimaschutz, sondern auch in der Kasse. Fernwärme wird vielfach noch mit fossilen Brennstoffen wie Erdgas, Öl und Kohle erzeugt, die beim Verbrennen CO2 freisetzen. Da sich zudem die Brennstoffbeschaffungspreise in jüngster Zeit exorbitant erhöht haben, ist eine intelligentere, sprich am unmittelbaren Bedarf orientierte und damit sparsamere Fernwärmeerzeugung hochwillkommen.

Den Schlüssel dazu liefert die Fernwärme- oder Fernkälte-Verbrauchserfassungs- und -Abrechnungsverordnung, kurz FFVAV. Ihr eigentliches Ziel besteht darin, den Endkunden transparent zu machen, wie viel Wärmeenergie sie wann exakt verbrauchen. Auf Basis dieser Kenntnis können sie ihren Wärmekonsum durch ein bewussteres Heizverhalten senken und damit zum Klimaschutz beitragen. Fernwärmeversorger verpflichtet die FFVAV u.a. dazu, bis 2026 alle Wärmemengenzähler (WMZ) in Deutschland zu digitalisieren und damit fernauslesbar zu machen. Bereits heute haben Fernwärmeversorger die Pflicht, allen Kunden, die schon mit digitalen WMZ ausgerüstet sind, eine monatliche Verbrauchsinformation zur Verfügung zu stellen. Immer mehr Stadtwerke bauen deshalb Internet of Things (IoT)-Infrastrukturen auf, um Wärmemengenzähler, aber auch Verbrauchszähler anderer Versorgungssparten, zu digitalisieren und damit fernauslesbar zu machen.

Genauere Prognosen für die Erzeugungssteuerung

Die erstmalig verfügbaren Live-Verbrauchsdaten lassen sich auch für eine genauere Wärmeerzeugungsprognose nutzen. Die Live-Daten der Ausspeisestellen stammen aus elektronischen WMZ, die z.B. über LoRaWAN-Narrowband IoT oder via Smart Meter Gateways fernausgelesen werden können. Über die obligatorische monatliche Ablesung hinaus ist dadurch ein feingranulares Fernwärmeverbrauchs-Monitoring möglich. So können Werte auch täglich, stündlich oder in noch kürzeren Intervallen abgerufen werden. Dadurch stehen plötzlich große Datenmengen zur Verfügung, die allerdings ausgewertet werden müssen, was in dem komplexen hydraulischen Konstrukt Fernwärmenetz allerdings besondere Fähigkeiten erfordert – in diesem Fall KI in Form neuronaler Netze und Reinforcement Learning.

Zunächst werden die Daten der WMZ in das cloudbasierte System eingespielt und mit den Erzeugungsdaten in Korrelation gesetzt. Dabei ist es sinnvoll, Cluster mit mehreren Zählern zu bilden, die gemeinsam betrachtet werden. Das neuronale Netz erlernt auf Basis der eingespeisten Verbrauchsdaten das Netzverhalten. Danach wird unter Zuhilfenahme von Reinforcement Learning, also verstärkendem Lernen, die optimale Strategie für das erlernte Netzverhalten ermittelt. Für gut funktionierende Strategien – z.B. Lastspitze vermieden – erhalten die digitalen Agenten Belohnungen, für weniger gute Lösungen – z.B. definierte Rücklauftemperatur unterschritten – Strafen, wie bei einer klassischen Konditionierung. Dank der vielen IoT-Daten unter anderem aus den Wärmeübergabestationen erlernt das neuronale Netz das Verhalten des Wärmenetzes, ohne dass detaillierte netztechnische Daten erforderlich sind. Nach welcher Zielstellung optimiert werden soll, z.B. nach CO2-Vermeidung oder Wärmeproduktionskostenoptimierung, kann vorab im System priorisiert werden.

Vereinfachte Darstellung des Reinforcement Learning:

  • Industrieemissionsrichtlinie: Bremse für den Wasserstoffhochlauf?

    Industrieemissions-Richtlinie: der nächste Baustein des Green Deals Mit klarem Kurs für ein klimaneutrales Europa bis 2050 treibt die EU-Kommission die Vielzahl an Richtlinien- und Verordnungsvorgaben des Green Deal weiter voran, welche auch den Wasserstoffhochlauf betreffen. Hierzu plant die Kommission eine Novellierung der Industrieemissions-Richtlinie, um die Umweltvorschriften innerhalb der EU zu verschärfen. Dadurch soll eine geringere […]


  • Unbundling Wasserstoff: Die neuen EU-Vorschriften

    Unbundling Wasserstoff: Die neue Gasbinnenmarktrichtlinie und-verordnung Die Transformation der Energiewirtschaft in Europa zur Erreichung der gemeinsamen EU-Klimaziele ist eines der obersten Ziele der EU-Kommission. Hierfür wird seit einigen Monaten fleißig an einer neuen europäischen Gesetzesgrundlage gearbeitet. Eine wesentliche Aufgabe zur Erreichung klimaneutralen, europäischen Kontinents stellt die Umstellung der Gaswirtschaft dar. Hierfür arbeitet die EU-Kommission an […]


  • Energiewende automatisieren – PV-Boom mit RPA meistern

    In naher Zukunft sind auf Seiten der Netzbetreiber massive Mehraufwände durch erhöhte PV-Bebauung zu erwarten. Wir zeigen, wie diese Mehraufwände mithilfe von Robotic Process Automation (RPA) aufgefangen werden können. Massiver Mehraufwand durch erwarteten PV-Boom Photovoltaikanlagen werden in einer nachhaltigen Energiezukunft eine zentrale Rolle bei der Erreichung der Klimaziele einnehmen. Dafür ist ein massiver Ausbau der […]


Brennstoffeinsparungen bis 15 % sind möglich

Das Rechenmodell ermittelt täglich automatisiert einen Produktionsfahrplan, der bei Bedarf auch in kürzeren Abständen optimiert und zur Verfügung gestellt werden kann. Aktuell erhalten die in das Projekt involvierten Fernwärmeversorger über die Grid Insight: Heat Cloud-Lösung tägliche Produktionsvorschläge, die sie bei ihrer Fahrplangestaltung berücksichtigen können. Ein Live-Test der Erzeugungsoptimierung ist in Vorbereitung. Dieser wird Aufschlüsse darüber bringen, ob die technischen Regeln für den Betrieb von Fernwärmenetzen bei KI-basierter Steuerungsunterstützung eingehalten werden. Die mittlerweile bei mehreren Energieversorgern durchgeführten Proof of Concept lassen Brennstoffeinsparungen vom 9-15 % erwarten.

Wenn ihr den Ansatz in eurem Netz testen wollt, meldet euch gerne bei uns. Wenn euch der Artikel gefallen hat, könnt ihr hier unseren Blog abonnieren.

Dr. Mark Feldmann

Data-Scientist
Mark Feldmann ist Data-Scientist. Sein Schwerpunkt liegt in der Entwicklung und Verwendung von künstlicher Intelligenz sowie dem maschinellen Lernen. Auf Basis seines umfangreichen mathematischen Hintergrundwissens erstellt und optimiert er die zugrunde liegenden Logiken der Softwareprodukte, um bestmögliche Ergebnisse unter Verwendung der aktuellsten Methoden zu kreieren. Futebol de salão oder auch Futsal, die portugiesische, technisch anspruchsvolle und schnelle Variante des Hallenfußballs, ist sein Hobby.

Thorsten Rademaker

Data Engineer
Thorsten Rademaker ist Data Engineer bei der items. Er kümmert sich um die Prozesse rund um die Generierung, Speicherung, Pflege, Aufbereitung und Anreicherung von Daten. Eine wichtige Aufgabe dabei ist beispielsweise die Überwachung der Software-Infrastruktur. Weiterhin entwickelt er das items Machine Learning Framework mit. In seiner Freizeit spielt er gerne Roundnet, Beachvolleyball oder auch mal eine Runde Schach.

Aktuelle Beiträge