Fernwärme, Reinforcement Learning, Optimierung

Optimierung der Fernwärmeerzeugung durch Reinforcement Learning

18. Mai 2022

Bei der Fernwärmeerzeugung liegt erhebliches Optimierungspotential brach. Die Digitalisierung in Form IoT-basierter Wärmeverbrauchsmessung und Anwendung Künstlicher Intelligenz sowie Reinforcement Learning kann dies ändern.

Das Steuern der Fernwärmeerzeugung ist bislang mit erheblichen Ungenauigkeiten verknüpft. Dies liegt insbesondere daran, dass bislang nicht kurzzyklisch gemessen wird, an welchen Entnahmepunkten wie viel Wärme verbraucht wird, wobei Großabnehmer davon ausgenommen sind. Bislang basieren die Fahrpläne der Wärmeerzeugungsanlagen in der Regel auf den Erzeugungswerten der Vergangenheit, Ergebnissen von Schlechtpunktmessungen und den Temperaturprognosen für die kommenden Tage. Das bisherige Verfahren hat den Nachteil, dass der effektive aktuelle Wärmebedarf der Kunden nicht bekannt ist und die Wärmeerzeugung nur näherungsweise gesteuert werden kann. Nachjustiert wird auf Basis der Rücklauftemperatur des Heizwassers beim Eintreffen im Heizwerk. So hinkt die Erzeugung dem realen Wärmebedarf der Kunden oft hinterher und es entsteht ein Pendeleffekt: Die Wärmeerzeugung wird verzögert gedrosselt oder gesteigert, weil das Transportmedium eine gewisse Zeit braucht, bis es beim Kunden heiß ankommt bzw. abgekühlt wieder im Heizwerk eintrifft. Je länger die Fernwärmeleitung, desto größer die zeitliche Entkopplung. Noch komplexer und unübersichtlicher ist die Situation in großen Fernwärmenetzen mit mehreren dezentralen und verschiedenartigen Erzeugungseinheiten.

In diesem Blogbeitrag sprechen wir über aktuelle Steuerungsverfahren von Fernwärmenetzen und deren Erzeugungsanlagen und über Optimierungspotenziale, die sich durch IoT-basierter Wärmeverbrauchsmessung und Anwendung Künstlicher Intelligenz umsetzen lässt.

Primärenergieeinsatz höher als eigentlich notwendig

Dass dieses Steuerungsverfahren Effizienz bei der Wärmeproduktion verschenkt, liegt auf der Hand. Damit Fernwärmekunden keinesfalls frieren müssen, wird die Vorlauftemperatur mit einem Sicherheitspuffer eingestellt. Die Fernwärmeversorgung erfordert somit einen tendenziell höheren Primärenergieeinsatz als eigentlich notwendig. Das schmerzt nicht nur beim Klimaschutz, sondern auch in der Kasse. Fernwärme wird vielfach noch mit fossilen Brennstoffen wie Erdgas, Öl und Kohle erzeugt, die beim Verbrennen CO2 freisetzen. Da sich zudem die Brennstoffbeschaffungspreise in jüngster Zeit exorbitant erhöht haben, ist eine intelligentere, sprich am unmittelbaren Bedarf orientierte und damit sparsamere Fernwärmeerzeugung hochwillkommen.

Den Schlüssel dazu liefert die Fernwärme- oder Fernkälte-Verbrauchserfassungs- und -Abrechnungsverordnung, kurz FFVAV. Ihr eigentliches Ziel besteht darin, den Endkunden transparent zu machen, wie viel Wärmeenergie sie wann exakt verbrauchen. Auf Basis dieser Kenntnis können sie ihren Wärmekonsum durch ein bewussteres Heizverhalten senken und damit zum Klimaschutz beitragen. Fernwärmeversorger verpflichtet die FFVAV u.a. dazu, bis 2026 alle Wärmemengenzähler (WMZ) in Deutschland zu digitalisieren und damit fernauslesbar zu machen. Bereits heute haben Fernwärmeversorger die Pflicht, allen Kunden, die schon mit digitalen WMZ ausgerüstet sind, eine monatliche Verbrauchsinformation zur Verfügung zu stellen. Immer mehr Stadtwerke bauen deshalb Internet of Things (IoT)-Infrastrukturen auf, um Wärmemengenzähler, aber auch Verbrauchszähler anderer Versorgungssparten, zu digitalisieren und damit fernauslesbar zu machen.

Genauere Prognosen für die Erzeugungssteuerung

Die erstmalig verfügbaren Live-Verbrauchsdaten lassen sich auch für eine genauere Wärmeerzeugungsprognose nutzen. Die Live-Daten der Ausspeisestellen stammen aus elektronischen WMZ, die z.B. über LoRaWAN-Narrowband IoT oder via Smart Meter Gateways fernausgelesen werden können. Über die obligatorische monatliche Ablesung hinaus ist dadurch ein feingranulares Fernwärmeverbrauchs-Monitoring möglich. So können Werte auch täglich, stündlich oder in noch kürzeren Intervallen abgerufen werden. Dadurch stehen plötzlich große Datenmengen zur Verfügung, die allerdings ausgewertet werden müssen, was in dem komplexen hydraulischen Konstrukt Fernwärmenetz allerdings besondere Fähigkeiten erfordert – in diesem Fall KI in Form neuronaler Netze und Reinforcement Learning.

Zunächst werden die Daten der WMZ in das cloudbasierte System eingespielt und mit den Erzeugungsdaten in Korrelation gesetzt. Dabei ist es sinnvoll, Cluster mit mehreren Zählern zu bilden, die gemeinsam betrachtet werden. Das neuronale Netz erlernt auf Basis der eingespeisten Verbrauchsdaten das Netzverhalten. Danach wird unter Zuhilfenahme von Reinforcement Learning, also verstärkendem Lernen, die optimale Strategie für das erlernte Netzverhalten ermittelt. Für gut funktionierende Strategien – z.B. Lastspitze vermieden – erhalten die digitalen Agenten Belohnungen, für weniger gute Lösungen – z.B. definierte Rücklauftemperatur unterschritten – Strafen, wie bei einer klassischen Konditionierung. Dank der vielen IoT-Daten unter anderem aus den Wärmeübergabestationen erlernt das neuronale Netz das Verhalten des Wärmenetzes, ohne dass detaillierte netztechnische Daten erforderlich sind. Nach welcher Zielstellung optimiert werden soll, z.B. nach CO2-Vermeidung oder Wärmeproduktionskostenoptimierung, kann vorab im System priorisiert werden.

Vereinfachte Darstellung des Reinforcement Learning:

  • 8. Münsterhack: Siegerteam baut Lösung für Transparenz in der Kommunalpolitik

    8. Münsterhack: Siegerteam baut Lösung für Transparenz in der Kommunalpolitik

    Wie mache ich meine Stadt durch digitale Lösungen lebenswerter? Über 100 Software-Entwickler und Stadt-Visionäre erarbeiteten dazu am 27. und 28. September wieder Prototypen beim achten MÜNSTERHACK. Den ersten Platz belegte ein KI-generierter Info-Podcast, der Politikniedrigschwellig zugänglich macht. Mit seiner achten Auflage ist der Hackathon mittlerweile eine Institution in der deutschen „CivicTech“-Szene. Mit über 200 Hackerinnen…


  • Die neuen Pflichten um den Netzanschluss: Was die neue EnWG-Novelle vorsieht

    Die neuen Pflichten um den Netzanschluss: Was die neue EnWG-Novelle vorsieht

    Das Bottleneck der Energiewende: der Netzanschluss Keine Energiewende ohne einen Zugang zum Energienetz! Eigentlich keine Neuigkeit und vermutlich, trotzdem ist das Thema aktueller denn je. Durch die Elektrifizierung nehmen die Ausbauanfragen bei den Netzbetreibern stetig zu und führen in der Praxis oft zu Verdruss. Zum Vergleich: Mittlerweile sind bei vielen Netzbetreibern die Anfragen pro Monat…


  • Energiespeicher und ihr Platz im zukünftigen Strommarktdesign

    Energiespeicher und ihr Platz im zukünftigen Strommarktdesign

    Ein großes Problem bei der Diskussion um ein dekarbonisiertes Energiesystem, in dem über 90 Prozent der Energie aus erneuerbaren Quellen stammen soll, ist die fluktuierende Erzeugung: Wind und Solar sind keine konstanten Energiequellen, sondern abhängig von Wetter, Jahreszeit und Standort. Speicher sind daher für viele ein großer Hoffnungsträger, um dieses Problem zu lösen. Ende letzten…


Brennstoffeinsparungen bis 15 % sind möglich

Das Rechenmodell ermittelt täglich automatisiert einen Produktionsfahrplan, der bei Bedarf auch in kürzeren Abständen optimiert und zur Verfügung gestellt werden kann. Aktuell erhalten die in das Projekt involvierten Fernwärmeversorger über die Grid Insight: Heat Cloud-Lösung tägliche Produktionsvorschläge, die sie bei ihrer Fahrplangestaltung berücksichtigen können. Ein Live-Test der Erzeugungsoptimierung ist in Vorbereitung. Dieser wird Aufschlüsse darüber bringen, ob die technischen Regeln für den Betrieb von Fernwärmenetzen bei KI-basierter Steuerungsunterstützung eingehalten werden. Die mittlerweile bei mehreren Energieversorgern durchgeführten Proof of Concept lassen Brennstoffeinsparungen vom 9-15 % erwarten.

Wenn ihr den Ansatz in eurem Netz testen wollt, meldet euch gerne bei uns. Wenn euch der Artikel gefallen hat, könnt ihr hier unseren Blog abonnieren.

Dr. Mark Feldmann

Data-Scientist
Mark Feldmann ist Data-Scientist und Product Owner für das Produkt Grid Insight: Heat. Sein Schwerpunkt liegt in der Entwicklung und Verwendung von künstlicher Intelligenz sowie dem maschinellen Lernen. Auf Basis seines umfangreichen mathematischen Hintergrundwissens erstellt und optimiert er die zugrunde liegenden Logiken der Softwareprodukte, um bestmögliche Ergebnisse unter Verwendung der aktuellsten Methoden zu kreieren. In Zusammenarbeit mit dem Entwicklungsteam erarbeitet er Darstellungsmöglichkeiten und Datenstrukturen, um das erzeugte Wissen dem Kunden möglichst verständlich und übersichtlich darzustellen.

Thorsten Rademaker

Data Engineer
Thorsten Rademaker ist Data Engineer bei der items. Er kümmert sich um die Prozesse rund um die Generierung, Speicherung, Pflege, Aufbereitung und Anreicherung von Daten. Eine wichtige Aufgabe dabei ist beispielsweise die Überwachung der Software-Infrastruktur. Weiterhin entwickelt er das items Machine Learning Framework mit. In seiner Freizeit spielt er gerne Roundnet, Beachvolleyball oder auch mal eine Runde Schach.