Wer ins Universum hören will, braucht weit mehr als Antennen. Das Square Kilometre Array Observatory (SKAO) baut derzeit zwei Radioastronomie-Anlagen: SKA-Mid in Südafrika und SKA-Low in Australien [1]. Tausende über weite Distanzen verteilte Antennen empfangen schwache Radiosignale aus dem All. Ihre Signale werden rechnerisch kombiniert. Mit der sogenannten Apertursynthese entsteht so die Wirkung eines einzelnen, gewaltigen Radioteleskops – mit hoher Empfindlichkeit und hoher räumlicher Auflösung.
Die Anlagen sollen unter anderem helfen, die Entwicklung von Galaxien, kosmische Magnetfelder, Dunkle Materie und Dunkle Energie sowie die Frühzeit des Universums besser zu verstehen. Gerade diese wissenschaftliche Reichweite macht das SKAO zu einer Datenmaschine von aussergewöhnlicher Dimension: Beobachtungen müssen in sehr kurzer Zeit verarbeitet, aufbereitet und wissenschaftlich auswertbar gemacht werden.
Die Schweiz beteiligt sich seit 2022 über das SKA Switzerland Consortium, kurz SKACH, an diesem internationalen Vorhaben [2]. Das Konsortium bündelt Kompetenzen aus Hochschulen und Forschungszentren in Bereichen wie Wissenschaft, Data Science, Recheninfrastruktur, Instrumentierung sowie Aus- und Weiterbildung. Die Universität Basel ist Gründungsmitglied von SKACH.
Beobachten ist nicht gleich Verstehen
Die Radioteleskope liefern Messdaten – doch sie erklären nicht von selbst, welche physikalischen Prozesse hinter beobachteten Strukturen und Signalen stehen. Dafür braucht es Modelle, die mögliche Entwicklungen im Kosmos nachbilden. An dieser Stelle kommt das Basler Team um Prof. Florina Ciorba, Dr. Rubén Cabezón und Dr. Osman Seckin Simsek ins Spiel.
Das Team verbindet das Center for Scientific Computing (sciCORE) und das Departement Mathematik und Informatik der Universität Basel. Es entwickelt das Simulationsframework SPHEXA [3, 4, 5]. Sein Beitrag im SKACH-Kontext besteht nicht primär darin, Rohdaten der SKA-Antennen direkt vorzufiltern. Vielmehr entwickeln die Forschenden Methoden und Softwaremodule, mit denen astrophysikalische und kosmologische Prozesse auf sehr grossen Supercomputern detailreich simuliert werden können [5].
«SKAO wird uns einen neuen Blick auf das Universum eröffnen. Um diesen mit theoretischen Modellen abzugleichen, braucht es Simulationen, die weit über das heute Übliche hinausgehen», sagt Prof. Florina Ciorba und erklärt: «Unser Beitrag liegt auf der Rechenseite: Wir sorgen dafür, dass Simulationsmethoden wie SPH-EXA effizient über Tausende GPU-Knoten skalieren. So können die von unseren astrophysikalischen Kollegen entwickelten physikalischen Modelle mit der erforderlichen Auflösung überhaupt ausgeführt werden.»
Der Weltraum als Rechenmodell
SPH steht für Smoothed Particle Hydrodynamics, auf Deutsch etwa «geglättete Teilchenhydrodynamik». Das Verfahren bildet nicht einfach sichtbare Sterne oder Planeten als fertige Objekte im Computer ab. Es beschreibt Materie wie Gas, Plasma oder Staub durch eine sehr grosse Zahl digitaler Fluidelemente, die als «Teilchen» bezeichnet werden. Jedes SPH-Teilchen trägt Eigenschaften wie Masse, Position, Geschwindigkeit, Dichte, Temperatur und Druck. Die Software berechnet in vielen kleinen Zeitschritten und parallel, wie diese Teilchen miteinander wechselwirken, sich bewegen und unter dem Einfluss der Gravitation sowie weiterer physikalischer Kräfte entwickeln
Es handelt sich um eine komplexe hydrodynamische Simulation, in der Materie als Fluid modelliert wird. «Fluid» bedeutet dabei nicht nur Flüssigkeit im alltäglichen Sinn: Auch Gase und ionisierte Plasmen im Weltraum können sich wie Fluide verhalten. Ihre Bewegung wird durch Kräfte wie die Gravitation und – in magnetisierten Systemen – durch die Wechselwirkung mit Magnetfeldern geprägt.
«Wir berechnen, wie sich Materie bewegt, verdichtet, erwärmt und unter dem Einfluss der Gravitation strukturiert – und wie aus diesen Prozessen beobachtbare kosmische Strukturen entstehen können», erklärt Dr. Rubén Cabezón.
Mit solchen Simulationen lassen sich Phänomene von der Entstehung und Entwicklung von Planeten über Supernova-Explosionen bis zur Gasdynamik bei der Bildung und Verschmelzung supermassereicher Schwarzer Löcher untersuchen.
Die Herausforderung: Eine Billion Teilchen
Der Ansatz ist wissenschaftlich leistungsfähig, aber rechnerisch anspruchsvoll. In einer Simulation bewegt sich Materie nicht gleichmässig: Wo sich Gas verdichtet, Sterne entstehen oder Gravitationszentren wirken, nimmt die Zahl relevanter Wechselwirkungen stark zu. Die Rechenlast verschiebt sich laufend. Ein Programm muss daher nicht nur schnell rechnen, sondern die Arbeit während der Simulation immer wieder intelligent auf verfügbare Rechenressourcen verteilen.
Das SPH-EXA-Team entwickelt dafür Verfahren für Parallelisierung, dynamisches Load Balancing, Fehlertoleranz und energieeffizientes Rechnen. Parallelisierung bedeutet: Eine grosse Aufgabe wird in viele Teilaufgaben zerlegt, die gleichzeitig auf zahlreichen Rechenknoten abgearbeitet werden. Beim dynamischen Load Balancing verteilt die Software Arbeit neu, wenn einzelne Knoten überlastet sind, während andere noch Kapazität haben. So lässt sich vermeiden, dass Teile eines Supercomputers aufgrund von rechnerischen Engpässen warten oder unnötig Energie verbrauchen.
Das Team zielt auf Simulationen mit bis zu einer Billion digitaler Fluidelemente auf hybriden Tier-0-Supercomputern. Diese höchste Leistungsklasse im Hochleistungsrechnen kombiniert typischerweise sehr viele Prozessoren und Beschleuniger wie Grafikprozessoren (GPUs). Neben Rechenleistung werden damit auch Datenbewegung, Kommunikation zwischen Knoten, Energieverbrauch und die Fähigkeit wichtig, bei Störungen zuverlässig weiterzuarbeiten.
SPH-EXA wurde für grosse Simulationen auf dem LUMI-Supercomputer im finnischen Kajaani sowie auf dem Alps-Supercomputer in Lugano eingesetzt. Den Zugang zur GPU-Partition von LUMI erhielt das Team kompetitiv über einen Euro HPC JU-Aufruf; zugeteilt wurden 5.5 Millionen Node-Stunden (22 Millionen GPU-Stunden). Nach Angaben des Teams handelt es sich weiterhin um die grösste Supercomputing-Zuteilung dieser Art [6].
SPH-EXA wurde in Skalierungstests mit Turbulenz und Selbstgravitation bis zu rund einer Billion SPH-Teilchen betrieben. Einzelne Komponenten, insbesondere der Gravitationssolver, wurden mit noch grösseren Teilchenzahlen getestet. Im Regelbetrieb reichen die Rechnungen von Hunderten bis zu Tausenden Rechenknoten, die jeweils mehrere CPUs und GPUs enthalten. Die bislang grösste Simulation nutzte gleichzeitig 16 000 GPU-Recheneinheiten (GCDs).
«Bei extrem grossen Simulationen ist Leistung nicht einfach eine Frage der Anzahl Prozessoren», so Dr. Osman Seckin Simsek, «entscheidend ist, wie gut sich die Arbeit verteilt, wie viele Daten bewegt werden müssen und wie effizient wir die verfügbare Energie einsetzen.»
Simulationen als Gegenprobe
Die Verbindung zum SKAO entsteht in der wissenschaftlichen Interpretation. Die Teleskope liefern Beobachtungen; Simulationen erzeugen physikalisch begründete Szenarien, die sich mit solchen Beobachtungen vergleichen lassen. Stimmen bestimmte Strukturen, Bewegungen oder statistische Eigenschaften überein, stärkt dies ein Modell. Weichen sie ab, müssen Annahmen über die zugrunde liegende Physik überprüft werden.
Damit sind die Basler Simulationen kein Ersatz für Beobachtungen und keine reine Vorstufe der SKAO-Datenverarbeitung. Sie sind eine komplementäre Rechenbasis: Sie machen Hypothesen über die Entwicklung kosmischer Systeme quantitativ prüfbar.
Ein Beispiel für dieses Zusammenspiel ist die Bestimmung der Schallskala in turbulenten Strömungen. Sie bezeichnet die Skala, auf der Überschallturbulenz in einen Unterschallbereich übergeht. Erst wenn der turbulente Druck genügend nachgelassen hat, können kohärente Strukturen entstehen, aus denen sich Sterne bilden.
Die Schallskala ist mit SKA nicht direkt beobachtbar. Um Gaskarten, Geschwindigkeitsfelder, Absorptionsspektren und künftige synthetische Beobachtungen mit Sternentstehung in Beziehung zu setzen, braucht es deshalb Simulationen, die den Übergang von Überschallzu Unterschallturbulenz korrekt erfassen und die Interpretation der SKA-Daten unterstützen. Die SPH-EXA-Software ist als Open-Source-Forschungssoftware verfügbar. Das SKACH-Projekt verbindet Fachwissen aus Astrophysik, Informatik und Hochleistungsrechnen.
SPH-EXA entwickelt sich fortlaufend von einem hochskalierbaren Framework für Magnetohydrodynamik und Gravitation zu einem Multiphysik- Code für Astrophysik und Kosmologie weiter. Dazu integriert und validiert das Team zusätzliche physikalische Prozesse und verbessert zugleich Leistung, Lastverteilung, Portabilität und Energieeffizienz auf aktuellen GPU-basierten Supercomputern.
Vorgesehen sind unter anderem Kernreaktionsnetzwerke, Strahlungstransport und allgemeine Relativitätstheorie. Diese Erweiterungen sind relevant für die Simulation von Supernovae, die Entstehung und das Wachstum supermassereicher Schwarzer Löcher sowie Strahlungsprozesse.
Im Vordergrund steht somit nicht allein eine bestimmte Teilchenzahl. Das Team will zeigen, dass komplexe, physikalisch realistische Simulationen in Astrophysik und Kosmologie auch im Extremmassstab zuverlässig und effizient durchgeführt werden können. SPH-EXA soll nicht nur für SKAO-Anwendungen nutzbar sein, sondern auch seine Anwendergemeinschaft erweitern und Teil eines breiteren Ökosystems weltraumbezogener Simulationscodes werden.
Was davon für die Industrie interessant ist
Die SPH-EXA-Forschung richtet sich an Astrophysik und Kosmologie. Die zugrunde liegenden Kompetenzen sind jedoch auch für andere rechenintensive Felder relevant. Dazu gehören hochparallele Algorithmen, effiziente Nutzung von CPU- und GPU-Clustern, dynamische Lastverteilung, energieoptimiertes Rechnen sowie Auswertung während der laufenden Simulation. Der direkteste Technologietransfer liegt nach Einschätzung des Teams in der numerischen Strömungsmechanik Computational Fluid Dynamics, CFD) mit vergleichbaren zugrundeliegenden Gleichungen und numerischen Herausforderungen; die im Projekt entwickelte Expertise kann in anwendungsnahe Produkte und Verfahren einfliessen. Das HPC-Know-how selbst – insbesondere Leistungsoptimierung, Reproduzierbarkeit und ein nachhaltiger Umgang mit Rechenressourcen – ist darüber hinaus auf jedes rechenintensive Wissenschafts- und Anwendungsfeld übertragbar. Denn jeder wissenschaftliche Code, der auf Supercomputern läuft, steht unabhängig vom modellierten Fachgebiet vor vergleichbaren Infrastrukturfragen.
Datenaufkommen und Datenprodukte
Eine SKAO-Designstudie veranschlagt für die Science-Data-Processor-Produkte im Vollausbau insgesamt rund 34 Gigabit pro Sekunde. Das entspricht etwa 370 Terabyte pro Tag beziehungsweise rund 130 Petabyte pro Jahr. Davon entfallen ungefähr 3 Gb/s auf SKA-Low ohne Beobachtungen der Epoch of Reionization, rund 22 Gb/s auf SKA-Low für diese Beobachtungen und rund 9 Gb/s auf SKA-Mid [7]. Zu den spezifizierten wissenschaftlichen Datenprodukten zählen Bildprodukte und Spektralwürfel, kalibrierte Visibilitäten, UV-Gitter, Kataloge lokaler Himmelsmodelle sowie Produkte für die Transienten- und Pulsarforschung [8].
Literatur
[1] SKAO, www.skao.int/en
[2] SKACH, skach.org
[3] Universität Basel, sciCORE, scicore.unibas.ch
[4] Universität Basel, HPC Group/SKACH, hpc.dmi.unibas.ch/research/skach/
[5] SPH-EXA, github.com/sphexa-org/sphexa
[6] EuroHPC JU, LUMI-Zuteilung, www.eurohpc-ju.europa.eu/tgsf-role-turbulence-and-gravity-stellar-formation-unveiling-sonic-scale-smoothed-particle_en
[7] SKAO, Data Flow and Analysis Plan, www.skao.int/sites/default/files/documents/d45-DFAP_Report_0.pdf
[8] SKAO, Science Data Products Specification, www.skao.int/sites/default/files/documents/SKA-TEL-SKO-0001818-02_ScienceDataProducts.pdf