Die Schweiz bekommt den weltweit modernsten Supercomputer für künstliche Intelligenz – so funktioniert er
Der Computer namens Alps wird die Wettervorhersage genauer machen, kann aber auch KI trainieren. Auf dem Rechner soll ein Schweizer Sprachmodell entstehen, das Unternehmen nutzen können.
Mehr als zehntausend modernste KI-Chips sind in dem neuen Rechner zusammengebaut.
Der stärkste Supercomputer für künstliche Intelligenz (KI) der Welt wird in der Schweiz stehen. So kündigte ihn 2021 Nvidia an, die führende Chip-Firma, die dafür die Hardware liefert. GPT-3, das KI-Sprachmodell von Open AI, könne der Computer innerhalb von zwei Tagen trainieren. Open AI brauchte 2019 dafür noch 34 Tage.
Im Frühjahr 2024 soll der Supercomputer fertig sein. Möglich ist die hohe Leistung, weil 10 000 modernste Chips in dem Supercomputer namens Alps stecken werden. Es war mehr Glück als Strategie, dass das Nationale Hochleistungsrechenzentrum der Schweiz (CSCS) es schaffte, sich diese inmitten des KI-Hypes zu sichern.
Alps könnte der stärkste Supercomputer in Europa werden
Zuerst aber zu den harten Fakten. Kommt die Schweiz mit dem neuen Computer im März wirklich an die Spitze der Weltbesten? Die kurze Antwort ist: nein. Ganz oben auf der etablierten Top-500-Liste der besten Supercomputer wird weiterhin der amerikanische Supercomputer Frontier stehen.
Zur langen Antwort holt Torsten Hoefler aus, Professor an der ETH Zürich und Spezialist für maschinelles Lernen am CSCS in Lugano, wo der Supercomputer stehen wird. Er sagt: «Die Methode, mit der die Top-500-Liste erstellt wird, ist uralt – und eigentlich nicht mehr zeitgemäss.»
Die Liste misst Computer daran, wie schnell sie ein bestimmtes Gleichungssystem lösen, und zwar sehr präzise. Heute nutzt man Supercomputer aber für andere Zwecke, etwa für komplexe Simulationen des Wetters – oder eben zum Training von KI. Das erfordert weniger Präzision, dafür andere Stärken. Diese misst die Top-500-Liste nicht besonders gut.
Trotz allem wird auch der Alps-Computer nach der Installation ein bestimmtes Gleichungssystem lösen, um sich in die Liste einzureihen. «Die Top 500 bleiben eine wichtige Referenz», sagt Hoefler. Der neue Computer hat Chancen auf den ersten Platz in Europa, vor dem finnischen Lumi.
Allerdings erscheinen nicht alle Supercomputer auf der Liste. Manche Besitzer halten ihre Rechen-Power lieber geheim, etwa die grossen Cloud-Firmen oder China, seit die USA es mit Sanktionen belegt haben.
Durch Grace-Hopper-Chips eignet sich Alps ideal für KI
Alps wird zwar nicht der Schnellste, Weltspitze jedoch trotzdem. Denn kaum jemand sonst besitzt so viele KI-Chips der allerneuesten Generation. Es geht um den GH200-Grace-Hopper-Chip, die jüngste Innovation der Firma Nvidia, die im Bereich KI-Chips den Ton angibt.
Ein einziger Chip – benannt nach der Computer-Pionierin Grace Hopper – rechnet etwa so schnell wie 4000 Smartphones zusammen. Im Alps werden mehr als 10 000 davon stecken.
Das Spezielle an «Grace Hopper» ist, dass Nvidia hier zwei Arten von Prozessoren in einem Chip eng miteinander verknüpft: Den Grace genannten Hauptprozessor (CPU), der in dieser Form auch in einem Arbeits-Laptop steckt, und den Grafikprozessor (GPU) namens Hopper. Grafikprozessoren wurden ursprünglich für Videospiele entwickelt: Bis heute stecken sie in Gaming-Laptops. Doch auch für maschinelles Lernen, also KI, eignen sie sich besonders gut.
Die Entwicklung von Grafikprozessoren und KI ging Hand in Hand: Maschinelles Lernen wird so optimiert, dass es auf existierenden Chips besonders gut klappt. Und umgekehrt passen Hersteller ihre Chips an die Anforderungen der KI-Firmen an. So entstand auch «Grace Hopper».
Die Grafikprozessoren darin gehören zu den mächtigsten Chips im KI-Bereich. Sie lösen in rasender Geschwindigkeit die Rechnungen, auf denen KI basiert. Hoefler sagt: «Diese Hopper-GPU haben eine unglaubliche Leistung, aber können nur eine Sache. Wie der Motor eines Schnellboots, das 200 Kilometer in der Stunde fährt, aber nur geradeaus.» Für das Lenken der Maschine brauche es aber die CPU, den Hauptprozessor.
Während Motor und Lenkung bisher getrennt verbaut waren, schaltet sie Nvidia im Grace-Hopper-Chip eng zusammen, so dass die beiden Teile schnell und effizient kommunizieren können.
«Grace Hopper» ist durch die enge Verbindung seiner Prozessoren besonders tauglich für KI
Das ist der Hauptvorteil des Chips. Die neue Bauweise soll es möglich machen, Simulationen laufen zu lassen und an den Resultaten gleich KI-Modelle zu trainieren. Dadurch müssen weniger Daten langfristig gespeichert werden, was gewisse komplexe Berechnungen erst möglich macht.
Die Schweiz kam durch Zufall zu den modernen Chips
Wie gut die Leistung des Chips genau sein wird, könne man erst feststellen, wenn der Supercomputer eingerichtet sei, sagt Hoefler: «Bisher hatten wir erst Zugriff auf Testexemplare.» Wie schnell diese rechnen, wenn man zehntausend zusammenschaltet, weiss noch keiner. Das hängt auch vom Netzwerk ab.
Im Moment kommt Nvidia mit der Produktion von KI-Chips gar nicht mehr nach, und die Cloud-Firmen reissen sich um die neuesten Chips. Zu heutigen Preisen wäre eine so grosse Bestellung nicht mehr im Budget des Supercomputer-Zentrums CSCS gelegen.
Die Schweiz sicherte sich früher eine grosse Menge Grace-Hopper-Chips als jeder andere. Das liegt daran, dass das CSCS bestellt hat, bevor der KI-Hype ausgebrochen ist. Hat das CSCS weiter vorausgedacht als alle anderen – die KI-Welle besser vorhergesehen? Nein. Es handelt sich eher um einen glücklichen Zufall.
Interessiert war die Schweiz vor allem an neuen Grafikprozessoren für wissenschaftliche Berechnungen. Supercomputer veralten schnell, und am CSCS ist man stolz darauf, immer die neuesten Chips auf dem Markt zu kaufen – solche, die bei der Bestellung erst entwickelt werden.
Eine der wichtigsten Aufgaben des CSCS sind Simulationen in den Bereichen Wetter, Klima und Umwelt. Der Anteil für diese Rechnungen, einschliesslich KI-Anwendungen, wird bei Alps wahrscheinlich bis zu fünfzig Prozent betragen. In der restlichen Zeit können andere Forscher den Supercomputer nutzen. Schon seit 2016 verwendet Meteo Schweiz Grafikprozessoren für seine Modelle. Laut Oliver Fuhrer, dem Leiter der Vorhersageabteilung von Meteo Schweiz, als erster Wetterdienst der Welt.
In den Schränken des Alps wird bald Klima simuliert und Sprach-KI entwickelt.
Den «Grace Hopper» bestellte man, weil er versprach, sich für die Klimaforschung besonders gut zu eignen. Als der KI-Hype ins Rollen kam, passte Nvidia seinen neuen Chip auch für jene Kunden an, die vor allem maschinelles Lernen optimieren wollten. So profitiert die Schweiz jetzt von Chips, die sich ideal für die Wettervorhersage und die Klimawissenschaft eignen, aber eben auch für das KI-Training.
Computer bringt präzisere Wetterberichte
Meteo Schweiz wird den Wechsel zu Alps nutzen, um sein Prognosemodell auszutauschen. Damit ändert sich zwar nicht die räumliche Auflösung, die rund einen Kilometer in der Horizontalen beträgt. Doch das neue Modell mit dem Namen Icon ist rechenintensiver und liefert darum bei gleicher Auflösung laut Fuhrer eine höhere Vorhersagequalität.
Mithilfe von Alps sollen aber nicht nur die Wettervorhersagen besser werden. Der Supercomputer soll auch dazu dienen, mithilfe der schnellen KI-Modelle den Klimaprojektionen mehr räumliche Detailtiefe zu geben, als sie die bisherigen Rechenmodelle liefern können.
Viele Klimamodelle haben noch Gitternetze, bei denen der Abstand zwischen den Gitterpunkten 50 oder 100 Kilometer beträgt. In Zukunft will man mit den Modellen in die Zwischenräume gehen und so auch einzelne Täler und Berge oder Gewitterzellen sichtbar machen. Dabei soll die KI helfen – und zwar, indem sie die Simulationssoftware so umschreibt, dass sie den Computer effizienter nutzt.
Alps zeichnet sich durch eine sehr flexible Architektur aus
Im Vergleich zu seinen Vorgängern ist der Alps nicht nur wegen der neuen Chips speziell. Er hat auch eine besonders anpassungsfähige Struktur. Die Rechen-Chips lassen sich dynamisch neu gruppieren und bestimmten Aufgaben zuteilen.
Daher komme auch der Name «Alps», erklärt Hoefler. Früher hat man seine Programme auf einem einzelnen, fest definierten Rechner laufen lassen. Die bisherigen Supercomputer tragen die Namen von Berggipfeln.
Künftig steht mit Alps ein ganzes Computer-Gebirge zur Verfügung, in das alle Computer integriert sind. Eine massgeschneiderte Software steuert die flexiblen Chip-Gruppen darin so, dass verschiedene Aufgaben zugleich erledigt werden können, etwa die Wettervorhersage oder das Training von KI-Modellen.
Öffentliches Sprachmodell soll entstehen
Fuhrer von Meteo Schweiz äussert sich begeistert über das Potenzial des neuen Supercomputers, über die Wetter- und Klimaanwendungen hinaus: «Alps ist eine geniale Infrastruktur, um KI zu trainieren», sagt er. Die Schweiz sei dadurch im internationalen Umfeld unglaublich gut positioniert. «Das ist eine Riesenchance.»
Eine Chance ist Alps nicht nur für die Wissenschaft, sondern auch für die Wirtschaft. Das Training von grossen KI-Modellen auf hochmodernen Computern ist aufwendig und teuer. Nur sehr gut finanzierte Tech-Firmen können sich das leisten.
Das Beispiel Chat-GPT zeigt die Folgen: KMU, die Sprach-KI nutzen wollen, sind abhängig von der Technologie von Open AI, dessen Preissetzung und auch davon, wo die Macher ethische und politische Grenzen ins Sprachmodell einbauen. Ausserdem ist unklar, welche Daten ins Modell eingeflossen sind. Deshalb soll auf dem Alps-Rechner ein offenes Schweizer Sprachmodell entstehen, das Unternehmen für sich nutzen können.
Zum ersten Mal wird der Supercomputer politisch relevant
Unternehmen sollen den Alps auch für eigene Projekte nutzen können – zu günstigeren Konditionen, als wenn sie die Rechenleistung von Cloud-Anbietern einkaufen müssten. Es ist eine Art indirekter Subvention, die der Schweiz einen Wettbewerbsvorteil verschaffen kann.
Wie genau sich Unternehmen qualifizieren müssen und wie die Rechenzeit fair zwischen wissenschaftlichen und kommerziellen Projekten verteilt wird, darüber laufen gerade grosse Diskussionen. Die Entscheidung darüber liegt letztlich beim CSCS, das seine Supercomputer beim Bund beantragt und dann eigenständig verwaltet. Lange haben sich nur Wissenschafter für die Schweizer Supercomputer interessiert. «Jetzt wird zum ersten Mal allen klar, was für eine Ressource das ist», sagt Hoefler.
Noch sind die KI-Projekte von Schweizer Unternehmen im Vergleich zu denen der Wissenschaft wenig aufwendig. Das könnte sich in den nächsten Jahren ändern. Dann wird die Konkurrenz um die öffentliche Rechenleistung immer mehr zur politischen Frage.
