Maschinelles Lernen beruht auf Daten. Je umfangreicher, vielfältiger und aussagekräftiger diese Daten sind, desto besser kann ein Modell im Regelfall relevante Strukturen erkennen. In vielen Forschungs- und Anwendungsbereichen liegen die benötigten Daten jedoch nicht an einem gemeinsamen Ort. Sie befinden sich in Unternehmen, Forschungseinrichtungen, Kliniken, Rechenzentren, Sensornetzwerken oder auf spezialisierten technischen Plattformen. Eine zentrale Zusammenführung ist häufig unerwünscht, rechtlich eingeschränkt, wirtschaftlich riskant oder technisch ineffizient.
Dieses Problem betrifft auch die Quantentechnologie. Quantencomputer, Quantensensoren und Quantennetzwerke entstehen nicht als einheitliche globale Infrastruktur. Sie werden von unterschiedlichen Herstellern, Forschungslaboren und Cloud-Anbietern betrieben. Die Systeme verwenden verschiedene Hardwarearchitekturen, Qubit-Technologien, Steuerungsverfahren und Fehlerminderungsstrategien. Gleichzeitig erzeugen sie Daten, die für das Training gemeinsamer Modelle wertvoll sein können. Dazu gehören Messergebnisse, Kalibrierungsdaten, Schaltungsparameter, Fehlermuster, Simulationsergebnisse und anwendungsspezifische Datensätze.
Eine zentrale Speicherung aller Daten wäre zwar konzeptionell einfach, sie widerspricht jedoch häufig den Interessen der beteiligten Institutionen. Forschungsdaten können unveröffentlicht sein. Industrielle Daten können Geschäftsgeheimnisse enthalten. Medizinische Daten unterliegen hohen Schutzanforderungen. Informationen über Quantenhardware können Rückschlüsse auf technische Stärken und Schwächen eines Systems erlauben. Selbst wenn die Übertragung rechtlich möglich wäre, könnten Datenmengen, Latenzen und Netzwerkgrenzen gegen eine zentrale Verarbeitung sprechen.
Federated Learning bietet hierfür einen grundlegenden Lösungsansatz. Die Daten verbleiben bei ihren jeweiligen Eigentümern. Statt die Rohdaten an einen zentralen Trainingsort zu senden, trainieren die Teilnehmer lokale Modellkopien. Ausgetauscht werden Modellparameter, Gradienten, Messstatistiken oder andere verdichtete Lerninformationen. Das gemeinsame Modell entsteht aus der wiederholten Zusammenführung dieser lokalen Beiträge.
Beim klassischen Federated Learning übernimmt meist ein zentraler Server die Koordination. Er verteilt das Ausgangsmodell, empfängt lokale Aktualisierungen, aggregiert sie und sendet das neue Modell zurück. Dieses Verfahren reduziert den direkten Austausch von Rohdaten, schafft aber eine zentrale Abhängigkeit. Fällt der Server aus, wird manipuliert oder verweigert er bestimmten Teilnehmern den Zugang, kann der gesamte Lernprozess beeinträchtigt werden.
Decentralized Federated Learning, abgekürzt DFL, entfernt diese zentrale Koordinationsinstanz. Die Teilnehmer kommunizieren direkt oder über ausgewählte Nachbarknoten miteinander. Sie trainieren lokal, tauschen Modellinformationen aus und bilden durch dezentrale Aggregation einen gemeinsamen oder zumindest abgestimmten Modellzustand. Das Netzwerk soll damit ohne dauerhaft kontrollierenden Zentralserver lernen können.
Definition von Decentralized Federated Learning
DFL ist ein verteiltes Lernverfahren, bei dem mehrere autonome Teilnehmer auf ihren lokalen Daten trainieren und ihre Lerninformationen über eine dezentrale Kommunikationsstruktur austauschen. Die Rohdaten verbleiben im Normalfall an ihrem Ursprungsort. Die Koordination, Validierung und Aggregation der Modellaktualisierungen werden nicht von einer einzigen zentralen Instanz durchgeführt, sondern auf mehrere Teilnehmer verteilt.
Entscheidend ist nicht allein, dass die Daten dezentral gespeichert sind. Auch ein klassisches Federated-Learning-System kann Daten an verschiedenen Orten verarbeiten. DFL beginnt dort, wo zusätzlich die Modellkoordination dezentralisiert wird. Die Teilnehmer müssen sich deshalb nicht nur über ein Modell, sondern auch über Kommunikationswege, Aktualisierungsregeln, Vertrauensmechanismen und den Umgang mit fehlerhaften oder manipulierten Beiträgen verständigen.
Ein DFL-System kann vollständig ohne zentrale Infrastruktur arbeiten. Es kann aber auch einzelne zentrale Hilfsdienste verwenden, etwa für die einmalige Registrierung, die Bereitstellung einer Ausgangskonfiguration oder die Verteilung öffentlicher Schlüssel. Entscheidend ist, dass die eigentliche Modellbildung nicht dauerhaft von einem einzelnen Aggregationsserver kontrolliert wird.
Leitfrage und zentrale These
Die zentrale Frage lautet: Unter welchen technischen, sicherheitsbezogenen und organisatorischen Bedingungen kann Decentralized Federated Learning einen belastbaren Beitrag zur Quantentechnologie leisten?
Dabei sind mehrere Ebenen zu unterscheiden. Erstens muss geklärt werden, wie dezentrales Lernen grundsätzlich funktioniert. Zweitens ist zu untersuchen, welche Besonderheiten entstehen, wenn die lokalen Modelle Quantenschaltungen, hybride quantenklassische Systeme oder quantenmechanische Daten verarbeiten. Drittens muss bewertet werden, ob der Einsatz von Quantenhardware tatsächlich einen messbaren Vorteil erzeugt oder lediglich zusätzliche Komplexität verursacht.
Die zentrale These dieser Abhandlung lautet: DFL kann zu einer wichtigen Koordinationsform für verteilte Quanteninfrastrukturen werden, wenn lokale Datenhoheit, institutionelle Unabhängigkeit und gemeinsame Modellbildung gleichzeitig erforderlich sind. Sein Erfolg hängt jedoch nicht allein von der Dezentralisierung ab. Er setzt geeignete Netzwerkstrukturen, robuste Aggregationsverfahren, sichere Identitäten, nachvollziehbare Governance und realistisch einsetzbare Quantenhardware voraus.
Grundlagen und begriffliche Abgrenzung
Zentrales maschinelles Lernen
Beim zentralen maschinellen Lernen werden Trainingsdaten in einem gemeinsamen System gesammelt oder zumindest durch eine zentrale Instanz kontrolliert. Das Modell greift während des Trainings auf den gesamten verfügbaren Datenbestand zu. Dadurch lassen sich Trainingsabläufe vergleichsweise einfach planen, überwachen und wiederholen.
Das zentrale Vorgehen hat klare Vorteile. Datenformate können vereinheitlicht, Qualitätsprüfungen an einer Stelle durchgeführt und Rechenressourcen gezielt zugeteilt werden. Auch die Modellversionen und Trainingsparameter sind leichter kontrollierbar. Gleichzeitig entsteht jedoch eine Konzentration von Daten, Verantwortung und Angriffsmöglichkeiten.
Ein zentraler Datenspeicher kann ein attraktives Ziel für Angriffe sein. Darüber hinaus müssen die beteiligten Institutionen bereit sein, ihre Daten einer zentralen Stelle anzuvertrauen. Dies ist besonders problematisch, wenn die Teilnehmer miteinander konkurrieren, unterschiedlichen Rechtsräumen unterliegen oder ihre Daten nicht aus der Hand geben dürfen.
Distributed Learning
Distributed Learning verteilt die Berechnungen eines Trainingsprozesses auf mehrere Rechenknoten. Dabei kann ein großer Datensatz in Teilmengen zerlegt werden. Mehrere Prozessoren oder Server bearbeiten diese Teilmengen parallel und führen ihre Ergebnisse anschließend zusammen.
Die Verteilung der Berechnung bedeutet jedoch nicht automatisch, dass die Datenhoheit ebenfalls verteilt ist. Ein Unternehmen kann einen zentral kontrollierten Datensatz auf mehrere interne Server verteilen. Das Training ist dann technisch verteilt, organisatorisch aber weiterhin zentralisiert.
Distributed Learning beantwortet vor allem die Frage, wie Rechenarbeit effizient aufgeteilt werden kann. Federated Learning beantwortet dagegen zusätzlich die Frage, wie mehrere Dateneigentümer gemeinsam lernen können, ohne ihre lokalen Rohdaten regulär zusammenzuführen.
Federated Learning
Federated Learning organisiert ein gemeinsames Modelltraining über mehrere Teilnehmer. Jeder Teilnehmer erhält eine Modellkopie und trainiert sie mit lokalen Daten. Anschließend werden Aktualisierungen an eine Aggregationsinstanz übertragen. Diese bildet daraus einen neuen globalen Modellzustand.
Ein typisches vereinfachtes Aggregationsschema kann als gewichtete Mittelung dargestellt werden:
\(\theta^{(t+1)} = \sum_{i=1}^{N} \frac{n_i}{\sum_{j=1}^{N} n_j} \theta_i^{(t+1)}\)
Dabei bezeichnet \(\theta_i^{(t+1)}\) den lokal trainierten Parametersatz des Teilnehmers \(i\), \(n_i\) die Zahl seiner lokalen Trainingsbeispiele und \(N\) die Zahl der beteiligten Teilnehmer. Das neue globale Modell wird stärker von Teilnehmern beeinflusst, die über mehr lokale Daten verfügen.
Diese einfache Gewichtung ist nicht in jeder Situation sinnvoll. Große Datenmengen können von geringer Qualität sein. Kleine Datensätze können seltene, aber entscheidende Informationen enthalten. Zudem können lokale Daten systematisch voneinander abweichen. Federated Learning benötigt deshalb häufig angepasste Aggregations- und Personalisierungsverfahren.
Decentralized Federated Learning
DFL übernimmt die Grundidee des lokalen Trainings, verzichtet aber auf den dauerhaft zentralen Aggregator. Jeder Knoten kommuniziert mit einer definierten Gruppe anderer Knoten. Die Modellinformationen verbreiten sich schrittweise im Netzwerk.
Ein Knoten kann seinen neuen Modellzustand aus dem eigenen Modell und den Modellen seiner Nachbarn berechnen:
\(\theta_i^{(t+1)} = \sum_{j \in \mathcal{N}_i \cup \{i\}} w_{ij} \theta_j^{(t)} - \eta \nabla F_i(\theta_i^{(t)})\)
Hier bezeichnet \(\mathcal{N}_i\) die Menge der Nachbarknoten von Teilnehmer \(i\). Die Gewichte \(w_{ij}\) bestimmen, wie stark die eingehenden Modellzustände berücksichtigt werden. Der Ausdruck \(\nabla F_i(\theta_i^{(t)})\) beschreibt den lokalen Gradienten, während \(\eta\) die Lernrate darstellt.
Dieses Schema verdeutlicht zwei Prozesse. Der Knoten lernt aus seinen lokalen Daten und gleicht sein Modell gleichzeitig mit den Modellen seiner Kommunikationspartner ab. Über mehrere Runden kann sich dadurch ein gemeinsamer Modellzustand herausbilden.
Wichtige Abgrenzungen
Dezentrale Daten
Dezentrale Daten liegen an mehreren Orten. Daraus folgt noch nicht, dass ein gemeinsames Lernverfahren existiert. Ebenso wenig folgt daraus, dass die beteiligten Institutionen gleichberechtigt handeln.
Verteiltes Training
Verteiltes Training bedeutet, dass mehrere Systeme Rechenaufgaben übernehmen. Es kann vollständig unter zentraler Kontrolle erfolgen und benötigt nicht zwingend getrennte Dateneigentümer.
Federiertes Lernen
Federiertes Lernen verbindet lokale Datenhaltung mit gemeinsamer Modellbildung. Die Koordination kann zentral oder dezentral erfolgen.
Quantum Federated Learning
Quantum Federated Learning bezeichnet föderierte Lernverfahren, bei denen Quantenmodelle, Quantenprozessoren, quantenmechanische Daten oder Quantenkommunikation eine funktionale Rolle übernehmen. Ein System ist nicht allein deshalb Quantum Federated Learning, weil es später auf einem Quantencomputer eingesetzt werden könnte.
Post-Quantum Federated Learning
Post-Quantum Federated Learning verwendet kryptografische Verfahren, die auch gegen zukünftige leistungsfähige Quantencomputer widerstandsfähig sein sollen. Dies ist von Quantum Machine Learning zu unterscheiden. Ein postquantenresistentes DFL-System kann vollständig auf klassischer Hardware arbeiten.
Blockchain-basiertes Federated Learning
Eine Blockchain kann zur Registrierung von Teilnehmern, Protokollierung von Aktualisierungen oder Abstimmung über Modellversionen verwendet werden. Sie ist jedoch kein notwendiger Bestandteil von DFL. Ein Peer-to-Peer-Netzwerk kann auch ohne Blockchain dezentral lernen.
Technische Funktionsweise von DFL
Teilnehmer, Daten und Modellkopien
Ein DFL-System besteht aus mehreren Knoten. Ein Knoten kann ein Unternehmen, eine Klinik, ein Forschungslabor, ein Edge-Gerät, ein Quantencomputer oder ein hybrides Rechensystem sein. Jeder Knoten besitzt mindestens einen lokalen Datensatz, eine Modellkopie, Rechenkapazität und eine Kommunikationsschnittstelle.
Die Daten können stark unterschiedlich sein. Ein Forschungslabor kann hochpräzise Messergebnisse besitzen, während ein anderer Teilnehmer über eine große Menge verrauschter Betriebsdaten verfügt. Ein Quanten-Cloud-Anbieter kann Kalibrierungsdaten aus mehreren Prozessoren einbringen. Ein Sensorknoten kann kontinuierlich lokale Messungen erzeugen.
Die Teilnehmer müssen nicht identische Hardware verwenden. Sie benötigen aber eine ausreichend kompatible Modellbeschreibung. Wenn alle Knoten dieselbe Modellarchitektur trainieren, ist die Aggregation vergleichsweise einfach. Verwenden sie unterschiedliche Modelle, müssen gemeinsame Repräsentationen, übertragbare Teilmodelle oder Verfahren zur Wissensübertragung definiert werden.
Initialisierung
Vor dem Training muss das Netzwerk festlegen, welches Problem gelöst werden soll. Dazu gehören die Zielvariable, die Modellarchitektur, die Verlustfunktion, die zulässigen Datenformate und die Bewertungsmetriken.
Ein Ausgangsmodell kann zufällig erzeugt, von einem Teilnehmer bereitgestellt oder aus einem vortrainierten Modell abgeleitet werden. Die Initialisierung muss nicht vollständig zentral erfolgen. Denkbar ist, dass mehrere Teilnehmer über einen Startzustand abstimmen oder dass jeder Knoten denselben öffentlich dokumentierten Initialisierungsalgorithmus ausführt.
Zusätzlich müssen Kommunikationspartner, Identitäten und Berechtigungen festgelegt werden. Ein offenes Netzwerk benötigt andere Regeln als ein Konsortium aus bekannten Forschungseinrichtungen. In einem geschlossenen Netzwerk können Zertifikate, institutionelle Verträge und festgelegte Teilnehmerlisten ausreichen. In einem offenen Netzwerk sind stärkere Mechanismen gegen falsche Identitäten und massenhaft erzeugte Scheinteilnehmer erforderlich.
Lokales Training
Jeder Teilnehmer optimiert seine Modellkopie auf Basis seines lokalen Datensatzes. Eine lokale Zielfunktion kann allgemein als
\(F_i(\theta) = \frac{1}{n_i} \sum_{k=1}^{n_i} \ell(f_{\theta}(x_{ik}), y_{ik})\)
geschrieben werden. Dabei ist \(f_{\theta}\) das Modell mit den Parametern \(\theta\), \(\ell\) die Verlustfunktion und \((x_{ik}, y_{ik})\) ein lokales Trainingsbeispiel.
Ein lokaler Optimierungsschritt kann beispielsweise folgendermaßen erfolgen:
\(\theta_i^{(t,e+1)} = \theta_i^{(t,e)} - \eta \nabla F_i(\theta_i^{(t,e)})\)
Der Index \(e\) bezeichnet einen lokalen Trainingsschritt innerhalb der globalen Kommunikationsrunde \(t\). Nach einer festgelegten Zahl lokaler Schritte sendet der Teilnehmer seinen aktualisierten Modellzustand oder eine daraus abgeleitete Information an seine Nachbarn.
Mehr lokale Trainingsschritte reduzieren die Häufigkeit der Kommunikation. Sie können jedoch dazu führen, dass sich die Modelle stärker in Richtung ihrer jeweiligen lokalen Datenverteilungen bewegen. Bei stark unterschiedlichen Daten kann eine zu lange lokale Optimierung die spätere Angleichung erschweren.
Austausch zwischen Nachbarknoten
Die Kommunikation kann regelmäßig oder ereignisgesteuert erfolgen. Bei einer regelmäßigen Kommunikation tauschen die Teilnehmer nach einer festgelegten Zahl lokaler Schritte ihre Modellinformationen aus. Bei einer ereignisgesteuerten Kommunikation sendet ein Knoten nur dann eine Aktualisierung, wenn sich sein Modell ausreichend verändert hat oder eine bestimmte Qualitätsverbesserung erreicht wurde.
Ausgetauscht werden können vollständige Parametervektoren, Gradienten, Parameterdifferenzen, komprimierte Modellaktualisierungen, Messstatistiken oder ausgewählte Schichten eines Modells. Die Wahl beeinflusst Kommunikationskosten, Datenschutzrisiken und Aggregationsmöglichkeiten.
Ein vollständiger Parametervektor enthält viel Information, kann aber groß sein. Eine Parameterdifferenz beschreibt nur die Veränderung gegenüber einem früheren Zustand. Kompression reduziert das Datenvolumen, kann jedoch Genauigkeit kosten. Bei Quantenmodellen können zusätzlich Messunsicherheiten oder Angaben zum Hardwarezustand übertragen werden.
Dezentrale Aggregation
Nach dem Empfang fremder Aktualisierungen entscheidet jeder Knoten, welche Beiträge er akzeptiert und wie er sie zusammenführt. Eine einfache nachbarschaftsbasierte Mittelung lautet:
\(\bar{\theta}_i^{(t)} = \sum_{j \in \mathcal{N}_i \cup \{i\}} w_{ij} \theta_j^{(t)}\)
Die Gewichte müssen so gewählt werden, dass sie zusammen eins ergeben:
\(\sum_{j \in \mathcal{N}_i \cup \{i\}} w_{ij} = 1\)
Die Gewichte können gleich verteilt, an Datenmengen angepasst oder von Vertrauenswerten abhängig gemacht werden. Auch die gemessene Qualität eines lokalen Modells kann berücksichtigt werden. Eine solche Gewichtung darf jedoch nicht dazu führen, dass einzelne Teilnehmer das Netzwerk dauerhaft dominieren.
Robuste Aggregationsverfahren versuchen, extreme oder manipulierte Aktualisierungen zu begrenzen. Statt eines einfachen Mittelwerts können koordinatenweise Medianwerte, beschnittene Mittelwerte oder geometrische Verfahren verwendet werden. Diese Methoden erhöhen die Widerstandsfähigkeit, können aber bei stark heterogenen, dennoch legitimen Daten auch wertvolle Beiträge verwerfen.
Synchrones und asynchrones Lernen
Beim synchronen DFL arbeiten die Teilnehmer in gemeinsamen Runden. Eine neue Runde beginnt erst, wenn die vorgesehenen Aktualisierungen eingetroffen sind. Dieses Vorgehen erleichtert die Analyse, führt aber zu Wartezeiten. Langsame Knoten, instabile Verbindungen oder ausgelastete Quanten-Cloud-Systeme können das gesamte Netzwerk verzögern.
Beim asynchronen DFL verarbeitet ein Knoten neue Aktualisierungen, sobald sie eintreffen. Schnelle Teilnehmer müssen nicht auf langsame Systeme warten. Dafür können Aktualisierungen auf veralteten Modellständen beruhen.
Der Einfluss einer veralteten Aktualisierung kann durch einen Faktor abgeschwächt werden:
\(\alpha(\tau) = \frac{1}{1 + \tau}\)
Dabei bezeichnet \(\tau\) das Alter der Aktualisierung in Kommunikationsrunden. Je älter der Beitrag ist, desto geringer wird er gewichtet. Andere Funktionen sind ebenfalls möglich.
Abschluss und Bewertung
Ein DFL-System benötigt klare Abbruchkriterien. Das Training kann beendet werden, wenn die Modellqualität über mehrere Runden nicht mehr wesentlich steigt, die lokalen Modelle ausreichend ähnlich sind oder eine maximale Zahl von Trainingsrunden erreicht wurde.
Die Übereinstimmung der lokalen Modelle kann beispielsweise über die durchschnittliche Abweichung vom Netzwerkmittel bewertet werden:
\(D^{(t)} = \frac{1}{N} \sum_{i=1}^{N} ||\theta_i^{(t)} - \bar{\theta}^{(t)}||_2\)
Ein kleiner Wert bedeutet, dass die Modelle nah beieinanderliegen. Eine geringe Parameterabweichung garantiert jedoch noch keine gute Vorhersagequalität. Deshalb müssen zusätzlich anwendungsspezifische Leistungsmetriken, Robustheit und Fairness untersucht werden.
Netzwerkarchitekturen und Koordinationsmodelle
Ringtopologie
In einer Ringtopologie ist jeder Knoten mit zwei Nachbarn verbunden. Modellinformationen bewegen sich schrittweise durch den Ring. Die Architektur benötigt nur wenige direkte Verbindungen und ist deshalb leicht zu verwalten.
Der Nachteil liegt in der langsamen Informationsausbreitung. Eine Aktualisierung muss mehrere Stationen durchlaufen, bevor sie das gesamte Netzwerk beeinflussen kann. Fällt eine Verbindung aus, kann der Ring unterbrochen werden. Redundante Verbindungen oder alternative Kommunikationswege sind deshalb sinnvoll.
Eine Ringtopologie eignet sich vor allem für kleine, stabile Konsortien mit klarer Teilnehmerstruktur. Für dynamische Netze mit häufig wechselnden Knoten ist sie weniger geeignet.
Vollständig vermaschtes Netzwerk
In einem vollständig vermaschten Netzwerk kann jeder Knoten direkt mit jedem anderen Knoten kommunizieren. Neue Modellinformationen verbreiten sich schnell. Ein Teilnehmer kann Aktualisierungen aus vielen unabhängigen Quellen vergleichen und manipulierte Beiträge leichter erkennen.
Die Zahl der Kommunikationsbeziehungen steigt jedoch stark mit der Teilnehmerzahl. Für \(N\) Teilnehmer beträgt die Zahl der möglichen direkten Verbindungen:
\(\frac{N(N-1)}{2}\)
Diese Struktur skaliert schlecht. Sie erhöht den Verwaltungsaufwand, die Bandbreitennutzung und die Zahl kryptografischer Beziehungen. Für kleine Hochsicherheitsnetzwerke kann sie dennoch sinnvoll sein.
Teilvermaschte Peer-to-Peer-Struktur
In einer teilvermaschten Struktur kommuniziert jeder Teilnehmer nur mit einer begrenzten Auswahl anderer Knoten. Die Nachbarschaften werden so gewählt, dass das Gesamtnetz verbunden bleibt. Dieses Modell bietet einen Kompromiss zwischen Ausfallsicherheit, Kommunikationskosten und Geschwindigkeit.
Die Auswahl der Nachbarn kann statisch oder dynamisch erfolgen. Statische Nachbarschaften erleichtern die Kontrolle. Dynamische Nachbarschaften können die Informationsverteilung verbessern und lokale Kommunikationsengpässe umgehen.
Gossip-basierte Kommunikation
Gossip-Verfahren orientieren sich an der schrittweisen Verbreitung von Informationen. Jeder Knoten wählt regelmäßig einige Kommunikationspartner aus und tauscht mit ihnen Modellzustände aus. Mit jeder Runde erreicht die Information weitere Teile des Netzwerks.
Gossip-Verfahren sind robust gegenüber einzelnen Ausfällen und benötigen keine vollständige Kenntnis aller Teilnehmer. Sie eignen sich für große, dynamische Netze. Der Nachteil liegt in der verzögerten globalen Angleichung. Verschiedene Regionen des Netzwerks können zeitweise deutlich unterschiedliche Modellstände besitzen.
Für Quanteninfrastrukturen kann Gossip-Kommunikation interessant sein, wenn Quantenprozessoren nur zeitweise verfügbar sind oder mehrere Cloud-Anbieter mit schwankenden Zugriffszeiten beteiligt sind.
Dynamische Topologien
In einer dynamischen Topologie ändern sich die Kommunikationsbeziehungen während des Trainings. Ein Knoten kann Partner anhand von Verfügbarkeit, Bandbreite, Vertrauensniveau, Hardwareähnlichkeit oder Datenkomplementarität auswählen.
Ein Quantenprozessor mit hoher Messfehlerquote könnte vorübergehend weniger Gewicht erhalten. Ein Knoten mit besonders aktuellen Kalibrierungsdaten könnte häufiger eingebunden werden. Ebenso kann ein Netzwerk vermeiden, dass immer dieselben Gruppen miteinander kommunizieren und dadurch voneinander getrennte Modellcluster entstehen.
Dynamische Topologien erhöhen die Anpassungsfähigkeit, erschweren aber die Analyse. Es muss sichergestellt werden, dass Informationen langfristig das gesamte Netzwerk erreichen. Andernfalls können isolierte Gruppen entstehen, die unterschiedliche Modelle trainieren.
Sequenzielles und paralleles DFL
Sequenzielles Verfahren
Beim sequenziellen DFL wird ein Modell nacheinander von mehreren Teilnehmern trainiert. Jeder Teilnehmer erhält den aktuellen Modellzustand, führt lokale Trainingsschritte aus und übergibt ihn weiter.
Dieses Vorgehen reduziert die Zahl gleichzeitiger Übertragungen. Es eignet sich für kleine Netzwerke und kann bei beschränkter Bandbreite nützlich sein. Die Reihenfolge der Teilnehmer beeinflusst jedoch das Ergebnis. Späte Teilnehmer können frühere Modellanpassungen teilweise überschreiben.
Paralleles Verfahren
Beim parallelen DFL trainieren mehrere Knoten gleichzeitig. Ihre Aktualisierungen werden danach dezentral zusammengeführt. Dadurch werden Rechenressourcen besser genutzt. Gleichzeitig steigt der Abstimmungsbedarf.
Für Quantensysteme ist paralleles Training besonders naheliegend, wenn mehrere Quantenprozessoren gleichzeitig verfügbar sind. Die Hardwareunterschiede müssen dann in der Aggregation berücksichtigt werden.
Konsensmechanismen
Ein DFL-Netzwerk benötigt keinen Konsens im Sinne einer vollständigen Identität aller internen Zustände zu jedem Zeitpunkt. Es benötigt jedoch Regeln, nach denen Teilnehmer Modellinformationen akzeptieren und schrittweise angleichen.
Ein Average-Consensus-Verfahren versucht, die lokalen Werte an einen gemeinsamen Mittelwert anzunähern. Reputationsbasierte Verfahren gewichten Teilnehmer nach bisheriger Zuverlässigkeit. Quorum-Verfahren akzeptieren eine Modellversion nur, wenn eine Mindestzahl unabhängiger Knoten zustimmt.
Bei byzantinischen Fehlern können einzelne Teilnehmer beliebige oder absichtlich schädliche Nachrichten senden. Ein robustes Netzwerk muss solche Beiträge tolerieren, solange ihre Zahl bestimmte Grenzen nicht überschreitet. Die genaue Belastbarkeit hängt vom Kommunikationsmodell, den Annahmen über die Angreifer und dem Aggregationsverfahren ab.
Blockchain als optionale Koordinationsschicht
Eine Blockchain kann Modellversionen, Teilnehmerbeiträge und Abstimmungen protokollieren. Dadurch entsteht eine nachvollziehbare Reihenfolge von Ereignissen. Smart Contracts können festlegen, wann eine Aktualisierung angenommen oder eine Belohnung vergeben wird.
Diese Vorteile haben Kosten. Eine Blockchain erzeugt zusätzliche Kommunikation, Speicherbedarf und Verzögerungen. Werden große Modellparameter direkt gespeichert, wird das System schnell unpraktisch. Sinnvoller ist meist die Speicherung kryptografischer Prüfsummen, während die eigentlichen Modelldaten außerhalb der Blockchain übertragen werden.
Eine Blockchain prüft zudem nicht automatisch, ob eine Modellaktualisierung fachlich korrekt ist. Sie kann nachweisen, wer einen Beitrag wann eingereicht hat. Ob dieser Beitrag das Modell verbessert, muss durch zusätzliche Validierung entschieden werden.
Verbindung von DFL und Quantentechnologie
Quantum Machine Learning
Quantum Machine Learning verbindet Methoden des maschinellen Lernens mit Quantenberechnungen. Dabei können klassische Daten durch Quantenschaltungen verarbeitet, quantenmechanische Daten analysiert oder klassische Optimierungsprobleme durch Quantenalgorithmen unterstützt werden.
Viele gegenwärtige Ansätze sind hybrid. Ein klassischer Rechner steuert den Ablauf, bereitet Daten auf und aktualisiert Parameter. Ein Quantenprozessor führt parametrisierte Schaltungen aus und liefert Messwerte zurück. Der Optimierungsprozess wechselt wiederholt zwischen beiden Systemen.
Ein Quantum-Machine-Learning-Modell ist nicht automatisch schneller oder besser als ein klassisches Modell. Sein Nutzen muss für eine konkrete Aufgabe nachgewiesen werden. Entscheidend sind Datenkodierung, Schaltungsarchitektur, Hardwarequalität, Messaufwand und der Vergleich mit starken klassischen Verfahren.
Parametrisierte Quantenschaltungen
Parametrisierte Quantenschaltungen bestehen aus Quantengattern, deren Winkel oder andere Steuergrößen trainierbar sind. Ein vereinfachter Quantenzustand nach Anwendung einer solchen Schaltung kann geschrieben werden als
\(|\psi(\theta)\rangle = U(\theta)|\psi_0\rangle\)
Dabei ist \(|\psi_0\rangle\) der Ausgangszustand und \(U(\theta)\) die parametrisierte Quantenschaltung. Nach der Ausführung wird eine Observable \(O\) gemessen. Der Erwartungswert lautet
\(\langle O \rangle_{\theta} = \langle \psi(\theta)|O|\psi(\theta)\rangle\)
Dieser Messwert kann als Modellausgabe oder als Teil einer Verlustfunktion verwendet werden. Ein klassischer Optimierer verändert die Parameter, bis die Verlustfunktion ausreichend klein ist.
Für DFL sind die trainierbaren Schaltungsparameter besonders relevant. Sie können lokal optimiert und anschließend mit anderen Teilnehmern ausgetauscht werden. Die Rohdaten müssen den lokalen Standort nicht verlassen.
Hybrides Quantum-DFL
In einem hybriden Quantum-DFL-System besitzt jeder Teilnehmer einen klassischen Datenbestand und Zugriff auf einen Quantenprozessor oder Quantensimulator. Die Daten werden lokal vorverarbeitet und in eine Quantenschaltung eingebettet. Anschließend wird die Schaltung ausgeführt, gemessen und durch einen klassischen Optimierer angepasst.
Der lokale Ablauf besteht aus mehreren Schritten. Zunächst werden Merkmale ausgewählt oder reduziert. Danach werden sie durch Winkelkodierung, Amplitudenkodierung oder andere Einbettungsverfahren in eine Quantenschaltung übertragen. Die Schaltung erzeugt Messwerte, aus denen eine Vorhersage und eine Verlustfunktion berechnet werden. Der klassische Optimierer aktualisiert die Schaltungsparameter.
Nach mehreren lokalen Schritten tauscht der Teilnehmer die Parameter oder Gradienten mit seinen Nachbarn aus. Das Netzwerk führt eine dezentrale Aggregation durch. Danach beginnt eine neue lokale Trainingsphase.
Ein solches System ist praktisch, weil die Kommunikation weiterhin über klassische Netzwerke erfolgen kann. Die Quantenhardware wird nur für die Modellberechnung eingesetzt. Eine vollständige Quantenverbindung zwischen allen Teilnehmern ist nicht erforderlich.
Federiertes Training von Quantum Neural Networks
Quantum Neural Networks sind parametrisierte Quantenschaltungen, deren Struktur an trainierbare neuronale Modelle erinnert. Sie bestehen typischerweise aus wiederholten Schichten zur Datenkodierung, Verschränkung und Parameterrotation.
Mehrere Teilnehmer können dieselbe Schaltungsarchitektur verwenden und ihre lokalen Parameter dezentral abstimmen. Dabei müssen die Parameter dieselbe Bedeutung besitzen. Verwendet ein Knoten eine andere Qubit-Anordnung oder eine andere Gatterreihenfolge, ist eine direkte Mittelung nicht ohne Weiteres möglich.
Ein gemeinsamer Parametervektor kann als
\(\theta = (\theta_1, \theta_2, \ldots, \theta_m)\)
dargestellt werden. Jeder Eintrag steuert ein parametriertes Quantengatter. Die Aggregation dieser Werte ist mathematisch einfach, aber physikalisch nicht immer eindeutig. Winkel sind periodisch. Die Werte \(0\) und \(2\pi\) beschreiben dieselbe Rotation. Eine naive Mittelung von Werten nahe dieser Grenze kann deshalb einen ungeeigneten Zwischenwert erzeugen.
Für periodische Parameter kann eine kreisförmige Mittelung verwendet werden:
\(\bar{\theta} = \mathrm{atan2}\left(\sum_i w_i \sin(\theta_i), \sum_i w_i \cos(\theta_i)\right)\)
Diese Methode berücksichtigt die Periodizität der Winkel und verhindert bestimmte Aggregationsfehler.
DFL mit Quantendaten
Quantendaten liegen als Quantenzustände vor. Anders als klassische Daten können unbekannte Quantenzustände nicht beliebig kopiert werden. Dieses No-Cloning-Prinzip verändert die Voraussetzungen des verteilten Lernens.
Ein klassischer Datensatz kann vollständig dupliziert, archiviert und an mehrere Rechensysteme verteilt werden. Ein unbekannter Quantenzustand kann nicht identisch kopiert werden. Messungen verändern zudem den Zustand und liefern nur probabilistische Informationen.
Ein DFL-System mit Quantendaten kann deshalb nicht einfach vollständige lokale Quantenzustände an alle Teilnehmer senden. Stattdessen können lokale Messstatistiken, trainierte Schaltungsparameter, reduzierte Beschreibungen oder quantenmechanisch übertragene Zustände verwendet werden.
Die Art der Quantendaten muss genau definiert sein. Es kann sich um Zustände aus Quantensensoren, Ausgaben von Quantensimulationen oder Zustände innerhalb eines Quantennetzwerks handeln. In allen Fällen ist zu klären, welche Information lokal verarbeitet werden darf und welche Form der Weitergabe physikalisch möglich ist.
Distributed Quantum Computing
Distributed Quantum Computing verbindet mehrere Quantenprozessoren zu einem gemeinsamen Rechensystem. Ziel ist es, Aufgaben zu bearbeiten, die ein einzelner Prozessor aufgrund begrenzter Qubit-Zahl oder Hardwareeinschränkungen nicht bewältigen kann.
Die Prozessoren können über klassische Kanäle koordiniert oder durch Quantenverbindungen gekoppelt werden. Quantenkommunikation kann Verschränkung zwischen entfernten Knoten bereitstellen. Quantenteleportation kann einen Quantenzustand unter Nutzung gemeinsamer Verschränkung und klassischer Kommunikation übertragen.
DFL und Distributed Quantum Computing sind nicht identisch. Distributed Quantum Computing verteilt eine Quantenberechnung. DFL verteilt einen Lernprozess über getrennte Dateneigentümer. Beide Konzepte können jedoch kombiniert werden. Ein Teilnehmer kann selbst aus mehreren gekoppelten Quantenprozessoren bestehen, während das übergeordnete Lernen dezentral zwischen Institutionen erfolgt.
Quantum Federated Learning über Quantennetzwerke
Ein Quantennetzwerk kann Quantenknoten, klassische Steuerkanäle, Quantenkanäle und Verschränkungsressourcen verbinden. In einem solchen Netzwerk könnte ein federierter Lernprozess klassische Parameter austauschen und für ausgewählte Sicherheits- oder Rechenschritte Quantenkommunikation verwenden.
Beispielsweise kann Quantum Key Distribution zur Erzeugung gemeinsamer kryptografischer Schlüssel dienen. Verschränkte Zustände könnten für bestimmte verteilte Messungen oder Mehrparteienprotokolle genutzt werden. Das Modelltraining selbst kann dennoch überwiegend klassisch koordiniert bleiben.
Eine vollständig quantenmechanische Lernkoordination ist wesentlich anspruchsvoller. Sie benötigt stabile Quantenspeicher, zuverlässige Verschränkungsverteilung, geringe Verluste und präzise Synchronisierung. Diese Voraussetzungen sind bislang nur in begrenzten experimentellen Umgebungen verfügbar.
Wann liegt ein echter Quantenvorteil vor?
Ein DFL-System besitzt nicht allein deshalb einen Quantenvorteil, weil einzelne Modellteile auf einem Quantenprozessor ausgeführt werden. Ein Vorteil muss gegenüber geeigneten klassischen Vergleichsverfahren gemessen werden.
Dabei sind nicht nur die reine Rechenzeit oder Modellgenauigkeit zu berücksichtigen. Auch Datenkodierung, Zahl der Schaltungsausführungen, Wartezeiten beim Cloud-Zugriff, Fehlerminderung, Kommunikation und Energieaufwand gehören zur Gesamtbewertung.
Ein sinnvoller Vergleich betrachtet mindestens drei Systeme: ein lokales klassisches Modell, ein klassisches DFL-Modell und ein Quantum-DFL-Modell. Nur wenn die Quantenvariante unter vergleichbaren Bedingungen einen relevanten Vorteil erzielt, ist ihr zusätzlicher Aufwand gerechtfertigt.
Aggregation quantenbasierter Modelle
Aggregation von Schaltungsparametern
Die direkte Mittelung von Schaltungsparametern ist das naheliegendste Verfahren. Alle Teilnehmer verwenden dieselbe Schaltungsarchitektur und senden ihre lokal optimierten Winkel. Jeder Knoten bildet daraus einen neuen Parametersatz.
Dieses Verfahren ist effizient, setzt aber funktional vergleichbare Hardware voraus. Derselbe Parametersatz kann auf zwei Quantenprozessoren unterschiedliche Messergebnisse erzeugen. Ursachen sind abweichende Gatterfehler, Kopplungsstrukturen, Kalibrierungen und Kohärenzzeiten.
Die Aggregation sollte deshalb nicht nur die Datenmenge berücksichtigen, sondern auch die Unsicherheit der lokalen Schätzung. Ein Gewicht kann beispielsweise umgekehrt proportional zur gemessenen Varianz gewählt werden:
\(w_i = \frac{1/\sigma_i^2}{\sum_{j=1}^{N} 1/\sigma_j^2}\)
Dabei bezeichnet \(\sigma_i^2\) die Varianz der lokalen Parameterschätzung oder Modellausgabe. Ein Teilnehmer mit hoher Unsicherheit erhält ein geringeres Gewicht.
Aggregation von Gradienten
Statt vollständiger Parameter können lokale Gradienten ausgetauscht werden. Dies erlaubt eine engere Abstimmung des Optimierungsprozesses. Bei Quantenschaltungen werden Gradienten häufig aus mehreren Schaltungsausführungen geschätzt.
Für bestimmte parametrisierte Gatter kann die Parameter-Shift-Regel verwendet werden:
\(\frac{\partial f(\theta)}{\partial \theta} = \frac{1}{2}\left[f\left(\theta + \frac{\pi}{2}\right) - f\left(\theta - \frac{\pi}{2}\right)\right]\)
Jede Gradientenschätzung benötigt zusätzliche Messungen. Das Messrauschen kann dadurch den ausgetauschten Gradienten stark beeinflussen. Werden verrauschte Gradienten im Netzwerk weitergegeben, kann sich ihre Wirkung über mehrere Knoten ausbreiten.
Eine robuste Gradientenaggregation muss zwischen zufälligem Messrauschen, hardwarebedingten Abweichungen und absichtlicher Manipulation unterscheiden. Diese Ursachen können ähnliche statistische Muster erzeugen.
Aggregation von Messergebnissen
Einige Systeme tauschen keine Modellparameter, sondern Messwerte oder Erwartungswerte aus. Daraus kann eine gemeinsame Zielfunktion berechnet werden. Dieses Vorgehen ist sinnvoll, wenn die lokalen Quantenschaltungen nicht identisch aufgebaut sind, aber vergleichbare Ausgaben erzeugen.
Der Nachteil besteht darin, dass Messergebnisse nur begrenzt Information über das zugrunde liegende Modell enthalten. Außerdem hängt ihre Genauigkeit von der Zahl der Messwiederholungen ab. Bei \(S\) unabhängigen Messungen nimmt der statistische Fehler typischerweise ungefähr mit
\(\frac{1}{\sqrt{S}}\)
ab. Eine Halbierung des Fehlers erfordert daher ungefähr die vierfache Zahl an Messungen.
Hardwareheterogenität
Quantenhardware unterscheidet sich erheblich. Supraleitende Qubits, gefangene Ionen, photonische Systeme und neutrale Atome besitzen unterschiedliche Stärken und Einschränkungen. Selbst Geräte desselben Herstellers können verschiedene Kopplungsgraphen und Fehlerraten aufweisen.
Eine gemeinsame abstrakte Schaltung muss auf die jeweilige Hardware übersetzt werden. Dieser Transpilationsprozess kann zusätzliche Gatter erzeugen. Eine tiefe Schaltung auf einem Gerät kann auf einem anderen Gerät deutlich kürzer umgesetzt werden.
DFL benötigt deshalb hardwarebewusste Aggregation. Ein Knoten sollte nicht automatisch schlechter bewertet werden, nur weil seine Hardware ein bestimmtes Modell ungünstig ausführt. Umgekehrt darf ein systematischer Hardwarefehler nicht als wertvolle lokale Dateninformation interpretiert werden.
Modellheterogenität
Nicht alle Teilnehmer müssen dieselbe Modellarchitektur verwenden. Ein leistungsfähiger Quantenprozessor kann eine tiefere Schaltung trainieren als ein kleiner Edge-Quantenknoten. Ein Simulator kann mehr Qubits abbilden, während reale Hardware authentische Rauschinformationen liefert.
Bei heterogenen Modellen kann nur ein gemeinsamer Modellteil aggregiert werden. Alternativ können die Teilnehmer Vorhersagen auf einem öffentlichen Referenzdatensatz austauschen. Ein kleineres lokales Modell kann dann das Verhalten eines größeren Modells nachahmen. Dieses Verfahren wird als Wissensdestillation bezeichnet.
Auch modulare Modelle sind möglich. Ein gemeinsamer klassischer Merkmalsextraktor kann mit verschiedenen lokalen Quantenschaltungen kombiniert werden. Aggregiert wird nur der gemeinsame klassische Teil oder eine definierte Schnittstelle.
Personalisierte Modelle
Ein vollständig identisches globales Modell ist nicht immer das beste Ziel. Lokale Datenverteilungen können dauerhaft unterschiedlich bleiben. Ein Quantenprozessor kann zudem eine individuelle Fehlerstruktur besitzen, die eine lokale Anpassung erfordert.
Ein personalisiertes Modell kann aus gemeinsamen und lokalen Parametern bestehen:
\(\theta_i = (\theta_{\mathrm{global}}, \theta_{\mathrm{lokal},i})\)
Der globale Teil wird dezentral ausgetauscht. Der lokale Teil bleibt beim Teilnehmer und wird an seine Daten oder Hardware angepasst. Dadurch verbindet das System gemeinsames Lernen mit lokaler Spezialisierung.
Erfolgskriterien
Eine erfolgreiche Aggregation muss mehr leisten als eine formale Mittelung. Sie sollte die Modellqualität erhöhen, die Unterschiede zwischen den Knoten begrenzen und gegenüber Rauschen stabil bleiben.
Wichtige Kriterien sind Vorhersagequalität, Konvergenzgeschwindigkeit, Kommunikationsvolumen, Messaufwand, Robustheit gegen fehlerhafte Teilnehmer und Reproduzierbarkeit. Bei quantenbasierten Modellen kommen Hardwareauslastung, Schaltungstiefe, Zahl der Messwiederholungen und Fehlerminderung hinzu.
Datenschutz, Sicherheit und Vertrauen
Lokale Datenhaltung ist kein vollständiger Datenschutz
DFL überträgt im Normalfall keine vollständigen Rohdaten. Daraus folgt jedoch nicht, dass die Trainingsdaten unsichtbar bleiben. Modellparameter und Gradienten können Informationen über einzelne Trainingsbeispiele enthalten.
Besonders frühe Trainingsrunden können empfindlich sein. Wenn ein Teilnehmer eine Aktualisierung aus sehr wenigen Datenpunkten berechnet, kann ein Angreifer charakteristische Merkmale rekonstruieren. Auch wiederholte Beobachtungen desselben Knotens können Rückschlüsse auf lokale Datenveränderungen erlauben.
Datenschutz muss deshalb als eigenständiges Ziel behandelt werden. Lokale Datenhaltung reduziert bestimmte Risiken, beseitigt sie aber nicht.
Data Poisoning und Model Poisoning
Beim Data Poisoning manipuliert ein Teilnehmer seine lokalen Trainingsdaten. Er kann falsche Beschriftungen, gezielt erzeugte Beispiele oder verzerrte Messwerte einfügen. Das lokale Modell lernt dadurch ein unerwünschtes Verhalten.
Beim Model Poisoning verändert der Teilnehmer direkt seine Modellaktualisierung. Er muss dafür nicht einmal ein echtes lokales Training durchführen. Das Ziel kann eine allgemeine Verschlechterung, eine gezielte Fehlklassifikation oder der Einbau einer Hintertür sein.
Eine Hintertür sorgt dafür, dass das Modell bei einem bestimmten Muster ein vom Angreifer gewünschtes Ergebnis erzeugt, während es bei normalen Eingaben unauffällig funktioniert. Solche Angriffe sind schwer zu erkennen, weil die globale Modellqualität zunächst hoch bleiben kann.
Sybil-Angriffe
Bei einem Sybil-Angriff erzeugt ein Angreifer mehrere scheinbar unabhängige Identitäten. Wenn das Netzwerk nach Stimmen oder Teilnehmerzahl gewichtet, kann er dadurch einen überproportionalen Einfluss gewinnen.
Geschlossene Forschungsverbünde können dieses Risiko durch geprüfte institutionelle Identitäten begrenzen. Offene Netzwerke benötigen stärkere Aufnahmebedingungen, kryptografische Nachweise oder ressourcenbasierte Begrenzungen.
Eine Blockchain allein löst das Sybil-Problem nicht. Sie dokumentiert Identitäten, kann aber nicht automatisch feststellen, ob mehrere Identitäten von derselben Organisation kontrolliert werden.
Privacy-Angriffe
Membership-Inference-Angriffe versuchen festzustellen, ob ein bestimmter Datensatz am Training beteiligt war. Model-Inversion-Angriffe versuchen, typische Merkmale der Trainingsdaten zu rekonstruieren. Gradient-Leakage-Angriffe nutzen lokale Gradienten, um Eingabedaten näherungsweise wiederherzustellen.
Die Gefahr hängt von Modellarchitektur, Batch-Größe, Datenart und übertragenen Informationen ab. Kleine lokale Batches und hochdimensionale Gradienten können besonders viele Details offenbaren.
Sichere Aggregation
Sichere Aggregationsverfahren ermöglichen die Berechnung einer Summe oder eines Mittelwerts, ohne dass einzelne Modellaktualisierungen offenliegen. Die Teilnehmer verschleiern ihre Beiträge so, dass nur das Gesamtergebnis rekonstruiert werden kann.
In einem dezentralen Netzwerk ist dies schwieriger als bei einem zentralen Aggregator. Es muss festgelegt werden, welche Gruppe gemeinsam aggregiert, wie mit ausfallenden Teilnehmern umgegangen wird und wer das Ergebnis entschlüsseln darf.
Sichere Aggregation schützt vor dem direkten Einblick in einzelne Updates. Sie erschwert jedoch gleichzeitig die Erkennung manipulierter Beiträge. Datenschutz und Angriffserkennung stehen daher teilweise in einem Spannungsverhältnis.
Differential Privacy
Differential Privacy begrenzt, wie stark sich die Ausgabe eines Verfahrens durch einen einzelnen Datensatz verändern kann. Dazu wird häufig Rauschen zu Gradienten oder Modellparametern hinzugefügt.
Eine vereinfachte verrauschte Aktualisierung lautet:
\(\tilde{g}_i = \mathrm{clip}(g_i, C) + \mathcal{N}(0, \sigma^2 C^2 I)\)
Der Gradient \(g_i\) wird zunächst auf eine maximale Norm \(C\) begrenzt. Danach wird gaußsches Rauschen mit der Stärke \(\sigma\) hinzugefügt.
Mehr Rauschen erhöht den Datenschutz, kann aber die Modellqualität verschlechtern. Bei Quantenmodellen kommt bereits physikalisches Messrauschen hinzu. Dieses natürliche Rauschen ist nicht automatisch gleichbedeutend mit formal nachweisbarer Differential Privacy.
Robuste Aggregation
Robuste Aggregationsverfahren begrenzen den Einfluss extremer Aktualisierungen. Ein koordinatenweiser Median ist gegenüber einzelnen Ausreißern weniger empfindlich als ein Mittelwert. Ein beschnittener Mittelwert entfernt für jede Parameterkomponente die größten und kleinsten Werte.
Diese Verfahren setzen voraus, dass legitime Beiträge ausreichend ähnlich sind. Bei stark nicht identisch verteilten Daten können ehrliche Teilnehmer jedoch deutlich verschiedene Aktualisierungen erzeugen. Ein robustes Verfahren könnte solche Beiträge fälschlich als Angriff behandeln.
Für Quantum-DFL ist die Unterscheidung besonders schwierig, weil Hardwarefehler ebenfalls ungewöhnliche Aktualisierungen verursachen können. Die Sicherheitsanalyse muss deshalb Hardwarediagnostik und Modellstatistik verbinden.
Post-Quantum Security
DFL-Netzwerke verwenden digitale Signaturen, Schlüsselaustausch und verschlüsselte Kommunikationskanäle. Viele heute verbreitete Public-Key-Verfahren könnten durch ausreichend leistungsfähige Quantencomputer gefährdet werden.
Postquantenresistente Kryptografie verwendet mathematische Probleme, für die keine effizienten Quantenangriffe bekannt sind. Dazu gehören gitterbasierte, hashbasierte und codebasierte Verfahren.
Ein langfristig angelegtes DFL-System sollte kryptografisch agil sein. Algorithmen und Schlüsselgrößen müssen austauschbar bleiben. Dies ist besonders wichtig, wenn aufgezeichnete Modellkommunikation auch Jahre später noch vertraulich sein soll.
Quantenkommunikation
Quantum Key Distribution kann zwei Parteien bei geeigneter Infrastruktur ermöglichen, Schlüssel mit quantenphysikalisch abgesicherten Eigenschaften zu erzeugen. Ein Abhörversuch kann bestimmte messbare Störungen verursachen.
Die Methode ersetzt jedoch nicht alle klassischen Sicherheitsmechanismen. Teilnehmer müssen weiterhin authentifiziert werden. Endgeräte, Implementierungen und klassische Steuerkanäle bleiben angreifbar.
Quantenkommunikation kann DFL ergänzen, ist aber kein vollständiger Ersatz für Post-Quanten-Kryptografie, Zugriffskontrolle und sichere Software.
Governance und Verantwortung
Technische Sicherheit reicht nicht aus. Die Teilnehmer müssen festlegen, wem das gemeinsam trainierte Modell gehört, wer es nutzen darf und wer für fehlerhafte Entscheidungen verantwortlich ist.
Weitere Fragen betreffen die Aufnahme neuer Teilnehmer, den Ausschluss schädlicher Knoten, die Bewertung von Beiträgen und die Verteilung möglicher wirtschaftlicher Erträge. Ein Netzwerk ohne zentrale Instanz benötigt dennoch verbindliche Regeln.
Dezentralisierung bedeutet nicht Regellosigkeit. Sie verteilt Entscheidungen auf mehrere Parteien. Je größer und heterogener das Netzwerk ist, desto wichtiger werden dokumentierte Verfahren, unabhängige Prüfungen und nachvollziehbare Zuständigkeiten.
Leistungsfähigkeit, Skalierbarkeit und praktische Grenzen
Kommunikationsaufwand
DFL kann mehr Kommunikation erzeugen als zentralisiertes Federated Learning. In einem zentralen System sendet jeder Teilnehmer seine Aktualisierung an einen Server und erhält ein neues Modell zurück. In einem dezentralen Netzwerk können mehrere Peer-to-Peer-Übertragungen erforderlich sein, bevor eine Information das gesamte Netzwerk erreicht.
Große Modelle verschärfen dieses Problem. Werden Millionen Parameter mehrfach übertragen, entstehen hohe Bandbreitenkosten. Kompression, Quantisierung und dünn besetzte Aktualisierungen können das Datenvolumen reduzieren.
Bei der sparsamen Übertragung werden nur Parameter gesendet, deren Änderung einen Schwellenwert überschreitet. Eine solche Regel kann geschrieben werden als
\(\text{Sende } \Delta\theta_k \text{ nur, wenn } |\Delta\theta_k| > \delta\)
Der Schwellenwert \(\delta\) reduziert die Kommunikation, kann aber kleine, langfristig wichtige Änderungen unterdrücken.
Datenheterogenität
Lokale Daten sind häufig nicht identisch verteilt. Eine Klinik behandelt andere Patientengruppen als eine andere. Ein Quantenlabor verwendet andere Geräte und Messprotokolle. Ein industrieller Teilnehmer beobachtet andere Betriebszustände als ein Forschungssystem.
Diese Unterschiede können erwünscht sein, weil sie das gemeinsame Modell breiter machen. Sie können aber auch die Konvergenz verlangsamen. Lokale Gradienten zeigen dann in unterschiedliche Richtungen.
Die globale Zielfunktion kann als gewichtete Summe lokaler Funktionen geschrieben werden:
\(F(\theta) = \sum_{i=1}^{N} p_i F_i(\theta)\)
Wenn die lokalen Minima stark voneinander abweichen, existiert möglicherweise kein einzelner Parametersatz, der für alle Teilnehmer optimal ist. Personalisierte Modelle oder gruppenspezifische Aggregation sind dann sinnvoller.
Systemheterogenität
Teilnehmer unterscheiden sich in Rechenleistung, Speicher, Netzwerkverbindung und Verfügbarkeit. Bei Quantum-DFL kommen Qubit-Zahl, Fehlerraten, Schaltungstiefe und Zugriffszeiten hinzu.
Ein synchrones Verfahren richtet seine Geschwindigkeit oft nach dem langsamsten Teilnehmer. Ein asynchrones Verfahren ist flexibler, muss aber veraltete Beiträge behandeln. Eine weitere Möglichkeit besteht darin, Teilnehmer nach Leistungsgruppen zu organisieren und Ergebnisse zwischen diesen Gruppen auszutauschen.
NISQ-Beschränkungen
Gegenwärtige Quantenprozessoren werden häufig als Noisy Intermediate-Scale Quantum-Systeme bezeichnet. Sie besitzen eine begrenzte Zahl nutzbarer Qubits und sind von Rauschen, kurzen Kohärenzzeiten sowie Gatter- und Messfehlern betroffen.
Variationsalgorithmen sollen mit relativ kurzen Schaltungen arbeiten. Dennoch kann die Optimierung instabil sein. Flache Verlustlandschaften, sogenannte Barren Plateaus, können dazu führen, dass Gradienten sehr klein werden.
Vereinfacht kann die Varianz eines Gradienten mit wachsender Systemgröße stark abnehmen:
\(\mathrm{Var}\left(\frac{\partial C}{\partial \theta}\right) \rightarrow 0\)
Wenn die Gradienten kaum noch von null unterscheidbar sind, benötigt das Training sehr viele Messungen. In einem dezentralen Netzwerk vervielfacht sich dieser Aufwand über mehrere Teilnehmer.
Warteschlangen und Cloud-Zugriff
Viele Nutzer greifen über Cloud-Plattformen auf Quantenhardware zu. Schaltungen werden in Warteschlangen eingereiht. Die tatsächliche Ausführungszeit kann wesentlich kürzer sein als die Wartezeit.
Ein DFL-System, das mehrere Cloud-Anbieter einbindet, muss mit schwankenden Antwortzeiten umgehen. Ein rein synchrones Verfahren wäre in einer solchen Umgebung häufig ineffizient. Asynchrone Aktualisierung oder lokale Simulationen zwischen realen Hardwareläufen können die Wartezeiten reduzieren.
Konvergenz
Konvergenz bedeutet, dass sich der Lernprozess einem stabilen Modellzustand nähert. In DFL hängt sie nicht nur vom Optimierungsverfahren, sondern auch von der Netzwerkstruktur ab.
Ein gut verbundenes Netzwerk verbreitet Informationen schneller. Ein schwach verbundenes Netzwerk kann lokale Gruppen bilden. Die mathematischen Eigenschaften der Kommunikationsmatrix beeinflussen, wie schnell sich die Modelle angleichen.
Häufigere Kommunikation verbessert die Angleichung, erhöht aber die Netzwerkkosten. Mehr lokale Trainingsschritte reduzieren die Kommunikation, verstärken aber lokale Abweichungen. Die optimale Balance hängt von Daten, Modell und Hardware ab.
Bewertung eines möglichen Quantenvorteils
Eine faire Bewertung muss den gesamten Prozess erfassen. Dazu gehören klassische Vorverarbeitung, Quantenschaltung, Messwiederholungen, Fehlerminderung, Kommunikation, Aggregation und Wartezeiten.
Ein Quantum-DFL-System kann in einer einzelnen Schaltungsoperation theoretisch effizient sein, aber durch aufwendige Datenkodierung oder viele Messungen insgesamt schlechter abschneiden. Ebenso kann ein kleines Experiment auf einem vereinfachten Datensatz gute Ergebnisse zeigen, ohne auf reale Anwendungen übertragbar zu sein.
Die entscheidenden Größen sind nicht nur Genauigkeit und Trainingszeit. Auch Energieverbrauch, Hardwarekosten, Skalierbarkeit, Robustheit und Wartbarkeit müssen berücksichtigt werden.
Reproduzierbarkeit
Quantenexperimente sind empfindlich gegenüber Kalibrierungszuständen und Hardwareänderungen. Ein Ergebnis kann an einem anderen Tag oder auf einem anderen Gerät abweichen. DFL fügt weitere Variablen hinzu, darunter Netzwerktopologie, Teilnehmerauswahl und Kommunikationsreihenfolge.
Reproduzierbare Forschung benötigt deshalb genaue Angaben zu Datensätzen, Schaltungen, Hardware, Messzahlen, Kalibrierungszeitpunkten, Aggregationsregeln und Zufallsinitialisierung. Ohne diese Angaben ist ein Vergleich kaum belastbar.
Anwendungsfelder in der Quantentechnologie
Zusammenarbeit verteilter Forschungseinrichtungen
Forschungslabore können ähnliche Fragestellungen bearbeiten, ihre Rohdaten aber nicht vollständig austauschen. DFL ermöglicht ein gemeinsames Modelltraining, während unveröffentlichte Messergebnisse lokal verbleiben.
Ein mögliches Beispiel ist die Fehlerdiagnose von Quantenprozessoren. Mehrere Labore trainieren gemeinsam ein Modell zur Erkennung instabiler Qubits oder fehlerhafter Gatter. Jedes Labor bringt lokale Betriebsdaten ein, ohne vollständige Hardwareprotokolle offenzulegen.
Der Nutzen liegt nicht nur im Datenschutz. Ein dezentrales Netzwerk verhindert, dass eine einzelne Institution dauerhaft alle Modellentscheidungen kontrolliert.
Quantenchemie und Materialforschung
Quantenchemische Berechnungen und Materialsimulationen erzeugen umfangreiche Daten. Unternehmen und Universitäten können an ähnlichen Molekülklassen oder Materialeigenschaften arbeiten, ihre vollständigen Datensätze aber aus Wettbewerbsgründen nicht teilen.
Ein DFL-System könnte Vorhersagemodelle für Energien, Reaktionspfade oder Materialeigenschaften gemeinsam trainieren. Quantenalgorithmen könnten ausgewählte molekulare Zustände oder Optimierungsaufgaben bearbeiten. Die Ergebnisse würden in ein verteiltes Lernmodell einfließen.
Entscheidend ist, dass die Quantenkomponente einen nachweisbaren Beitrag liefert. Bei vielen Aufgaben bleiben klassische Methoden leistungsfähig und wirtschaftlicher.
Medizin und Pharmaforschung
Kliniken und Pharmaunternehmen verfügen über sensible und wirtschaftlich wertvolle Daten. Federiertes Lernen wird bereits als Konzept für institutionenübergreifende Modelle untersucht. Quantum-DFL könnte langfristig zusätzliche Modellklassen oder Optimierungsverfahren einbringen.
Mögliche Ziele sind diagnostische Klassifikation, Wirkstoffsuche oder die Analyse komplexer molekularer Wechselwirkungen. Die regulatorischen Anforderungen sind jedoch hoch. Ein Modell muss nachvollziehbar, validierbar und gegen Datenlecks geschützt sein.
Der Einsatz eines Quantenmodells entbindet nicht von medizinischer Evidenz. Ein experimenteller Leistungsvorteil auf einem kleinen Datensatz genügt nicht für einen klinischen Einsatz.
Cybersicherheit
Unternehmen und Behörden beobachten unterschiedliche Angriffsmuster. Ein gemeinsames Modell könnte neue Bedrohungen schneller erkennen, ohne vollständige Netzwerkprotokolle auszutauschen.
DFL reduziert die Abhängigkeit von einer zentralen Erkennungsplattform. Gleichzeitig ist das Lernnetzwerk selbst ein Angriffsziel. Ein Angreifer könnte versuchen, Erkennungsmodelle gezielt zu schwächen.
Postquantenresistente Signaturen und Schlüsselaustauschverfahren sind in diesem Bereich besonders relevant. Quantenmodelle können zusätzlich für spezielle Klassifikations- oder Optimierungsaufgaben erforscht werden.
Verteilte Quantensensorik
Quantensensoren messen beispielsweise Magnetfelder, Zeit, Gravitation oder Beschleunigung mit hoher Empfindlichkeit. Mehrere räumlich getrennte Sensoren können gemeinsam Muster erkennen.
Ein DFL-System kann lokale Sensordaten verarbeiten und nur Modellaktualisierungen austauschen. Dadurch lassen sich Datenmengen reduzieren und sensible Standortinformationen schützen.
Die Sensoren können unterschiedliche Umgebungsbedingungen und Rauschprofile besitzen. Personalisierte lokale Modelle sind deshalb häufig sinnvoller als ein vollständig identisches globales Modell.
Quantum Cloud und Multi-Provider-Systeme
Organisationen können Quantenressourcen verschiedener Cloud-Anbieter nutzen. Ein DFL-System könnte Modelle über diese Plattformen hinweg trainieren, ohne alle Daten einem Anbieter anzuvertrauen.
Der Ansatz reduziert die Abhängigkeit von einer einzelnen Plattform. Gleichzeitig entstehen Herausforderungen durch unterschiedliche Programmierschnittstellen, Schaltungsformate, Abrechnungssysteme und Hardwareeigenschaften.
Eine gemeinsame Zwischendarstellung für Quantenschaltungen und Modellparameter ist deshalb eine wichtige Voraussetzung.
Kalibrierung und Fehlerminderung
Quantenprozessoren müssen regelmäßig kalibriert werden. Lokale Modelle können lernen, welche Korrekturen für bestimmte Hardwarezustände geeignet sind. DFL könnte Erfahrungen mehrerer Geräte zusammenführen.
Ein gemeinsamer Modellteil könnte allgemeine Fehlermuster erkennen. Lokale Komponenten würden gerätespezifische Anpassungen vornehmen. Auf diese Weise ließen sich gemeinsame Erkenntnisse nutzen, ohne vollständige Kalibrierungsdaten offenzulegen.
Forschungsfragen und zukünftige Entwicklung
Einheitliche Referenzarchitekturen
Die Forschung benötigt klar beschriebene Referenzarchitekturen. Ohne gemeinsame Definitionen lassen sich Ergebnisse verschiedener Arbeiten kaum vergleichen.
Eine Referenzarchitektur sollte Rollen, Kommunikationswege, Datenformate, Sicherheitsannahmen und Ausfallmodelle festlegen. Sie sollte unterscheiden, ob Quantenhardware nur lokal rechnet, ob Quantendaten verarbeitet werden oder ob Quantenkommunikation beteiligt ist.
Standardisierte Schnittstellen
Heterogene Quantenplattformen benötigen gemeinsame Schnittstellen für Schaltungsbeschreibungen, Parameter, Messwerte und Unsicherheiten. Ein DFL-Protokoll sollte nicht vollständig an einen einzelnen Hardwareanbieter gebunden sein.
Auch Angaben zur Hardwarequalität sollten standardisiert werden. Dazu gehören Gatterfehler, Messfehler, Schaltungstiefe, Zahl der Messwiederholungen und Zeitpunkte der Kalibrierung.
Hardwareübergreifendes Lernen
Ein zentrales Forschungsproblem ist die Übertragbarkeit von Modellen zwischen verschiedenen Qubit-Technologien. Ein Parametersatz kann auf supraleitender Hardware anders wirken als auf Ionenfallen oder photonischen Systemen.
Zukünftige Verfahren müssen zwischen abstraktem Modellwissen und hardwareabhängiger Umsetzung unterscheiden. Gemeinsame latente Repräsentationen oder hardwareadaptive Schichten sind mögliche Ansätze.
Robuste dezentrale Aggregation
DFL benötigt Aggregationsverfahren, die gleichzeitig mit heterogenen Daten, Hardwarefehlern und bösartigen Teilnehmern umgehen können. Gegenwärtige robuste Methoden betrachten häufig nur einen Teil dieser Probleme.
Für Quantum-DFL müssen physikalische Diagnosewerte in die Sicherheitsbewertung einbezogen werden. Eine ungewöhnliche Aktualisierung kann durch einen Angriff, eine seltene lokale Datenverteilung oder einen instabilen Quantenprozessor verursacht worden sein.
Datenschutz für Quantendaten
Der Schutz klassischer Trainingsdaten ist bereits anspruchsvoll. Quantendaten bringen zusätzliche Fragen mit sich. Es muss geklärt werden, welche Informationen durch Messungen, Zustandsbeschreibungen oder trainierte Schaltungsparameter offengelegt werden.
Auch die Kombination aus klassischer Differential Privacy und quantenmechanischem Messrauschen benötigt eine saubere theoretische Analyse. Natürliches Rauschen darf nicht ohne formalen Nachweis als Datenschutzgarantie behandelt werden.
Nachweis eines praktischen Quantenvorteils
Die wichtigste offene Frage ist nicht, ob Quantum-DFL mathematisch formulierbar ist. Entscheidend ist, ob es reale Aufgaben besser löst als klassische Alternativen.
Dafür werden größere Datensätze, reale Quantenhardware, transparente Vergleichsmodelle und unabhängige Reproduktionen benötigt. Ergebnisse aus kleinen Simulationen sind wertvoll für die Grundlagenforschung, reichen aber nicht für allgemeine Leistungsversprechen.
Energie- und Ressourceneffizienz
Dezentralisierung kann zentrale Datenübertragungen reduzieren, aber zusätzliche Peer-to-Peer-Kommunikation erzeugen. Quantenhardware benötigt aufwendige Kühlung, Steuerung und Kalibrierung. Eine Gesamtbewertung muss deshalb den vollständigen Ressourcenverbrauch berücksichtigen.
Ein Verfahren ist nur dann effizient, wenn der Nutzen der gemeinsamen Modellbildung die Kosten von Hardware, Kommunikation und Sicherheitsmechanismen rechtfertigt.
Governance und wirtschaftliche Anreize
Teilnehmer tragen unterschiedlich viel zum Modell bei. Manche stellen große Datensätze bereit, andere liefern seltene Daten oder hochwertige Quantenressourcen. Ein gerechtes Anreizsystem muss Qualität statt bloßer Datenmenge berücksichtigen.
Gleichzeitig darf eine Vergütung nicht dazu führen, dass Teilnehmer künstlich viele Aktualisierungen senden oder Datenbeiträge aufteilen. Bewertungsverfahren müssen gegen strategisches Verhalten robust sein.
Verbindung mit zukünftigen Quantennetzwerken
Langfristig könnten stabile Quantennetzwerke neue Formen verteilter Lernprozesse ermöglichen. Verschränkte Ressourcen, Quantenspeicher und verteilte Quantenberechnungen könnten über institutionelle Grenzen hinweg genutzt werden.
Bis dahin bleibt die klassische Kommunikation der praktisch wichtigste Übertragungsweg für Modellparameter. Die Entwicklung sollte deshalb hybride Architekturen bevorzugen, die schrittweise um Quantenfunktionen erweitert werden können.
Schlussbetrachtung
Decentralized Federated Learning verbindet lokale Datenhoheit mit gemeinsamer Modellbildung und dezentraler Koordination. Es beseitigt den dauerhaft zentralen Aggregationsserver und verteilt Kommunikation, Modellabgleich und Verantwortung auf mehrere Teilnehmer.
Dieser Wegfall eines zentralen Kontrollpunkts kann die Ausfallsicherheit erhöhen und institutionelle Abhängigkeiten verringern. Gleichzeitig verlagert er Probleme in das Netzwerk. Die Teilnehmer müssen Identitäten prüfen, Kommunikationspartner auswählen, Aktualisierungen validieren und gemeinsame Modellzustände ohne zentrale Entscheidung bilden.
In der Quantentechnologie besitzt DFL mehrere mögliche Rollen. Es kann klassische Daten mit lokalen Quantenschaltungen verarbeiten. Es kann Quantum Neural Networks über getrennte Quantenprozessoren trainieren. Es kann lokale Quantendaten indirekt durch Parameter oder Messstatistiken nutzbar machen. Es kann außerdem mit Quantennetzwerken, Quantenkommunikation und postquantenresistenter Kryptografie kombiniert werden.
Diese Möglichkeiten dürfen nicht miteinander verwechselt werden. Ein postquantenresistentes DFL-System ist nicht automatisch ein Quantum-Machine-Learning-System. Ein Modell auf einem Quantenprozessor verwendet nicht automatisch Quantendaten. Eine Blockchain macht ein Lernverfahren nicht automatisch sicher. Quantenkommunikation ersetzt keine sichere Software und keine verlässliche Governance.
Die größten technischen Herausforderungen liegen in der Aggregation heterogener Modelle, der Behandlung von Hardwarefehlern, der Konvergenz über dynamische Netzwerke und dem Schutz vor manipulierten Teilnehmern. Bei Quantum-DFL kommen begrenzte Qubit-Zahlen, Messrauschen, Schaltungsfehler, Warteschlangen und hohe Messkosten hinzu.
Ein belastbares System muss deshalb mehrere Ebenen gleichzeitig beherrschen. Die lokale Optimierung muss fachlich sinnvoll sein. Die Netzwerkarchitektur muss Informationen zuverlässig verbreiten. Die Aggregation muss legitime Unterschiede von Fehlern und Angriffen unterscheiden. Sicherheitsmechanismen müssen Daten und Identitäten schützen. Governance-Regeln müssen Verantwortlichkeiten und Nutzungsrechte klären.
DFL ist nicht grundsätzlich besser als zentralisiertes Federated Learning. Ein zentraler Server kann in einem vertrauenswürdigen, stabilen Umfeld effizienter und leichter kontrollierbar sein. Dezentralisierung ist besonders dann sinnvoll, wenn keine einzelne Partei die Kontrolle übernehmen soll, zentrale Ausfälle vermieden werden müssen oder mehrere unabhängige Institutionen gleichberechtigt zusammenarbeiten.
Auch der Einsatz von Quantenhardware muss an einem konkreten Nutzen gemessen werden. Ein Quantum-DFL-System ist nur dann überzeugend, wenn es gegenüber starken klassischen Verfahren einen nachweisbaren Vorteil erreicht. Dieser Vorteil kann in der Modellqualität, Rechengeschwindigkeit, Repräsentationsfähigkeit, Sicherheit oder einer speziellen Verarbeitung von Quantendaten liegen. Reine technische Neuheit genügt nicht.
Langfristig kann DFL zu einer wichtigen Koordinationsschicht verteilter Quanteninfrastrukturen werden. Forschungslabore, Quanten-Cloud-Anbieter, Sensornetzwerke und industrielle Nutzer könnten gemeinsam Modelle trainieren, ohne ihre vollständigen Datenbestände oder technischen Geheimnisse zentral offenzulegen.
Der entscheidende Fortschritt liegt jedoch nicht in der bloßen Verbindung der Begriffe dezentral, federiert und quantum. Er liegt in einem nachvollziehbaren Gesamtsystem, das verteiltes Lernen sicherer, unabhängiger oder leistungsfähiger macht. Erst wenn dieser Mehrwert unter realen Bedingungen gemessen und reproduziert werden kann, wird Decentralized Federated Learning zu einem tragfähigen Werkzeug der Quantentechnologie.
Mit freundlichen Grüßen
Anhang
Wissenschaftliche Zeitschriften und Artikel
Die folgenden wissenschaftlichen Veröffentlichungen bilden die fachliche Grundlage für die Untersuchung von Decentralized Federated Learning. Sie decken die Entstehung des Federated Learning, dezentrale Optimierungsverfahren, Peer-to-Peer-Architekturen, Sicherheitsfragen und die Verbindung mit Quantum Machine Learning ab. Primärliteratur sollte für die Beschreibung konkreter Algorithmen und Experimente verwendet werden. Übersichtsarbeiten eignen sich dagegen zur Einordnung des Forschungsstands, zur Begriffsabgrenzung und zur Identifikation offener Forschungsfragen.
Grundlegende Primärliteratur zu Federated Learning
- H. Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson und Blaise Agüera y Arcas: Communication-Efficient Learning of Deep Networks from Decentralized Data, Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, PMLR 54, 2017.
- Diese grundlegende Arbeit führt Federated Averaging als praktisch einsetzbares Verfahren für das Training neuronaler Netze auf verteilten, nicht identisch zusammengesetzten Datenbeständen ein. Sie eignet sich zur Erklärung des klassischen serverbasierten Federated Learning und bildet den wichtigsten Ausgangspunkt für die spätere Abgrenzung zu vollständig dezentralen DFL-Architekturen.
- Qiang Yang, Yang Liu, Tianjian Chen und Yongxin Tong: Federated Machine Learning: Concept and Applications, ACM Transactions on Intelligent Systems and Technology, Band 10, Ausgabe 2, 2019.
- Der Artikel entwickelt eine systematische Einteilung in horizontales, vertikales und transferbasiertes Federated Learning. Er ist besonders für die begriffliche Grundlegung geeignet und hilft dabei, DFL von anderen föderierten Lernformen sowie von klassischem Distributed Learning abzugrenzen.
- URL: https://dl.acm.org/...
- DOI: https://doi.org/...
- Der Artikel entwickelt eine systematische Einteilung in horizontales, vertikales und transferbasiertes Federated Learning. Er ist besonders für die begriffliche Grundlegung geeignet und hilft dabei, DFL von anderen föderierten Lernformen sowie von klassischem Distributed Learning abzugrenzen.
- Peter Kairouz et al.: Advances and Open Problems in Federated Learning, Foundations and Trends in Machine Learning, Band 14, Ausgaben 1–2, 2021.
- Diese umfangreiche Überblicksarbeit behandelt Optimierung, Datenschutz, Sicherheit, Kommunikation, Fairness, Personalisierung und Systemheterogenität. Sie eignet sich als zentrale Hintergrundquelle für die Herausforderungen, die von klassischem Federated Learning auf dezentrale und quantenbasierte Architekturen übertragen werden.
- URL: https://www.nowpublishers.com/...
- arXiv: https://arxiv.org/...
- DOI: https://doi.org/...
- Diese umfangreiche Überblicksarbeit behandelt Optimierung, Datenschutz, Sicherheit, Kommunikation, Fairness, Personalisierung und Systemheterogenität. Sie eignet sich als zentrale Hintergrundquelle für die Herausforderungen, die von klassischem Federated Learning auf dezentrale und quantenbasierte Architekturen übertragen werden.
Primärliteratur zu dezentraler Optimierung und Peer-to-Peer-Lernen
- Xiangru Lian, Ce Zhang, Huan Zhang, Cho-Jui Hsieh, Wei Zhang und Ji Liu: Can Decentralized Algorithms Outperform Centralized Algorithms? A Case Study for Decentralized Parallel Stochastic Gradient Descent, Advances in Neural Information Processing Systems 30, 2017.
- Die Arbeit analysiert dezentrales paralleles stochastisches Gradientenverfahren ohne zentralen Parameter-Server. Sie ist für die mathematische und technische Begründung relevant, warum dezentrale Lernverfahren bei geeigneten Netzwerk- und Rechenbedingungen konkurrenzfähig sein können und zentrale Kommunikationsengpässe vermeiden.
- Mahmoud Assran, Nicolas Loizou, Nicolas Ballas und Mike Rabbat: Stochastic Gradient Push for Distributed Deep Learning, Proceedings of the 36th International Conference on Machine Learning, PMLR 97, 2019.
- Diese Primärarbeit verbindet stochastische Gradientenverfahren mit einem Gossip- beziehungsweise Push-Sum-Protokoll. Sie eignet sich zur Darstellung asynchroner Kommunikation, gerichteter Netzwerke, verzögerter Aktualisierungen und der Frage, wie verteilte Knoten ohne zentrale Aggregation einen gemeinsamen Modellzustand erreichen.
Spezialisierte Arbeiten zu Decentralized Federated Learning
- Liangqi Yuan, Ziran Wang, Lichao Sun, Philip S. Yu und Christopher G. Brinton: Decentralized Federated Learning: A Survey and Perspective, IEEE Internet of Things Journal, Band 11, Ausgabe 21, 2024.
- Die Arbeit bietet eine gezielte Systematisierung dezentraler föderierter Lernverfahren. Sie behandelt Iterationsreihenfolgen, Kommunikationsprotokolle, Netzwerktopologien, zeitlich veränderliche Strukturen und unterschiedliche DFL-Paradigmen. Für eine wissenschaftliche Abhandlung ist sie besonders zur Strukturierung der DFL-Architektur und zur Darstellung offener Forschungsfragen geeignet.
- arXiv: https://arxiv.org/...
- DOI: https://doi.org/...
- Die Arbeit bietet eine gezielte Systematisierung dezentraler föderierter Lernverfahren. Sie behandelt Iterationsreihenfolgen, Kommunikationsprotokolle, Netzwerktopologien, zeitlich veränderliche Strukturen und unterschiedliche DFL-Paradigmen. Für eine wissenschaftliche Abhandlung ist sie besonders zur Strukturierung der DFL-Architektur und zur Darstellung offener Forschungsfragen geeignet.
- Ehsan Hallaji, Roozbeh Razavi-Far, Mehrdad Saif, Boyu Wang und Qiang Yang: Decentralized Federated Learning: A Survey on Security and Privacy, IEEE Transactions on Big Data, Band 10, Ausgabe 2, 2024.
- Diese spezialisierte Überblicksarbeit untersucht Bedrohungsmodelle, Datenschutzangriffe, Manipulationen, Vertrauensprobleme und Verteidigungsmechanismen in DFL-Netzen. Sie sollte für die Abschnitte über Model Poisoning, Sybil-Angriffe, Verifizierbarkeit, sichere Aggregation und dezentrale Vertrauensbildung herangezogen werden.
- arXiv: https://arxiv.org/...
- DOI: https://doi.org/...
- Diese spezialisierte Überblicksarbeit untersucht Bedrohungsmodelle, Datenschutzangriffe, Manipulationen, Vertrauensprobleme und Verteidigungsmechanismen in DFL-Netzen. Sie sollte für die Abschnitte über Model Poisoning, Sybil-Angriffe, Verifizierbarkeit, sichere Aggregation und dezentrale Vertrauensbildung herangezogen werden.
Grundlegende Primärliteratur zu Quantum Federated Learning
- Samuel Yen-Chi Chen und Shinjae Yoo: Federated Quantum Machine Learning, Entropy, Band 23, Ausgabe 4, Artikel 460, 2021.
- Die Arbeit gehört zu den frühen konkreten Untersuchungen föderierten Trainings hybrider quantenklassischer Modelle. Sie demonstriert die Verbindung eines klassischen Merkmalsextraktors mit einem Quantum Neural Network und eignet sich als Primärquelle für die Entstehung und grundlegende Funktionsweise von Quantum Federated Learning.
- URL: https://www.mdpi.com/...
- arXiv: https://arxiv.org/...
- DOI: https://doi.org/...
- Die Arbeit gehört zu den frühen konkreten Untersuchungen föderierten Trainings hybrider quantenklassischer Modelle. Sie demonstriert die Verbindung eines klassischen Merkmalsextraktors mit einem Quantum Neural Network und eignet sich als Primärquelle für die Entstehung und grundlegende Funktionsweise von Quantum Federated Learning.
- Rui Huang, Xiaoqing Tan und Qun Xu: Quantum Federated Learning With Decentralized Data, IEEE Journal of Selected Topics in Quantum Electronics, Band 28, Ausgabe 4, Artikel 6500110, 2022.
- Der Artikel untersucht das kommunikationseffiziente föderierte Training variationeller Quantenalgorithmen auf dezentral gehaltenen Daten. Er ist für die Darstellung parametrisierter Quantenschaltungen, lokaler Quantenoptimierung und der Aggregation trainierbarer Quantenschaltungsparameter besonders relevant.
- DOI: https://doi.org/...
- Der Artikel untersucht das kommunikationseffiziente föderierte Training variationeller Quantenalgorithmen auf dezentral gehaltenen Daten. Er ist für die Darstellung parametrisierter Quantenschaltungen, lokaler Quantenoptimierung und der Aggregation trainierbarer Quantenschaltungsparameter besonders relevant.
- Qi Xia und Qun Li: QuantumFed: A Federated Learning Framework for Collaborative Quantum Training, IEEE Global Communications Conference, 2021.
- QuantumFed ist ein frühes Rahmenwerk für das kollaborative Training eines globalen Quantum Neural Network über mehrere Quantenknoten. Die Arbeit kann zur Beschreibung konkreter Trainingsabläufe, lokaler Quantendaten, gemeinsamer Modellparameter und der Robustheit gegenüber verrauschten Daten verwendet werden.
- arXiv: https://arxiv.org/...
- DOI: https://doi.org/...
- QuantumFed ist ein frühes Rahmenwerk für das kollaborative Training eines globalen Quantum Neural Network über mehrere Quantenknoten. Die Arbeit kann zur Beschreibung konkreter Trainingsabläufe, lokaler Quantendaten, gemeinsamer Modellparameter und der Robustheit gegenüber verrauschten Daten verwendet werden.
- Mahdi Chehimi und Walid Saad: Quantum Federated Learning with Quantum Data, IEEE International Conference on Acoustics, Speech and Signal Processing, 2022.
- Diese Primärarbeit richtet den Blick nicht nur auf Quantenmodelle, sondern ausdrücklich auf verteilte quantenmechanische Daten. Sie eignet sich für die Erläuterung der besonderen Anforderungen, die aus dem No-Cloning-Prinzip, der Messabhängigkeit von Quantenzuständen und der schwierigen Übertragung von Quantendaten entstehen.
- arXiv: https://arxiv.org/...
- DOI: https://doi.org/...
- Diese Primärarbeit richtet den Blick nicht nur auf Quantenmodelle, sondern ausdrücklich auf verteilte quantenmechanische Daten. Sie eignet sich für die Erläuterung der besonderen Anforderungen, die aus dem No-Cloning-Prinzip, der Messabhängigkeit von Quantenzuständen und der schwierigen Übertragung von Quantendaten entstehen.
Spezialisierte Arbeiten zu verteilten Quantenmodellen und Quantennetzwerken
- Mahdi Chehimi, Samuel Yen-Chi Chen, Walid Saad, Don Towsley und Mérouane Debbah: Foundations of Quantum Federated Learning Over Classical and Quantum Networks, IEEE Network, Band 38, Ausgabe 1, 2024.
- Die Veröffentlichung verbindet Quantum Federated Learning mit klassischen und quantenmechanischen Kommunikationsnetzen. Sie eignet sich zur Analyse hybrider Netzwerkarchitekturen, quantengestützter Sicherheit, verteilter Quantenressourcen und der technischen Voraussetzungen zukünftiger Quantenkommunikationsnetze.
- arXiv: https://arxiv.org/...
- DOI: https://doi.org/...
- Die Veröffentlichung verbindet Quantum Federated Learning mit klassischen und quantenmechanischen Kommunikationsnetzen. Sie eignet sich zur Analyse hybrider Netzwerkarchitekturen, quantengestützter Sicherheit, verteilter Quantenressourcen und der technischen Voraussetzungen zukünftiger Quantenkommunikationsnetze.
- Lirandë Pira und Chris Ferrie: An Invitation to Distributed Quantum Neural Networks, Quantum Machine Intelligence, Band 5, Artikel 23, 2023.
- Der Beitrag überträgt Konzepte des verteilten Deep Learning auf Quantum Neural Networks. Er ist besonders nützlich, um die Verteilung von Quantendaten von der Verteilung eines Quantenmodells zu unterscheiden und DFL in den größeren Zusammenhang verteilter Quantenlernarchitekturen einzuordnen.
- arXiv: https://arxiv.org/...
- DOI: https://doi.org/...
- Der Beitrag überträgt Konzepte des verteilten Deep Learning auf Quantum Neural Networks. Er ist besonders nützlich, um die Verteilung von Quantendaten von der Verteilung eines Quantenmodells zu unterscheiden und DFL in den größeren Zusammenhang verteilter Quantenlernarchitekturen einzuordnen.
- Yichi Zhang, Chao Zhang, Cai Zhang, Lixin Fan, Bei Zeng und Qiang Yang: Federated Learning with Quantum Secure Aggregation, arXiv-Preprint, 2022.
- Die Arbeit untersucht eine quantengestützte sichere Aggregation für lokale Modellparameter. Sie ist als Spezialliteratur für die Frage geeignet, wie Quantenzustände und Verschränkungsressourcen zum Schutz föderierter Aggregationsprozesse eingesetzt werden könnten. Da es sich um einen Preprint handelt, sollten die Ergebnisse als Forschungsansatz und nicht als allgemein etablierter Standard dargestellt werden.
- arXiv: https://arxiv.org/...
- Die Arbeit untersucht eine quantengestützte sichere Aggregation für lokale Modellparameter. Sie ist als Spezialliteratur für die Frage geeignet, wie Quantenzustände und Verschränkungsressourcen zum Schutz föderierter Aggregationsprozesse eingesetzt werden könnten. Da es sich um einen Preprint handelt, sollten die Ergebnisse als Forschungsansatz und nicht als allgemein etablierter Standard dargestellt werden.
Hintergrundliteratur zu Datenschutz und sicherer Aggregation
- Keith Bonawitz, Vladimir Ivanov, Ben Kreuter, Antonio Marcedone, H. Brendan McMahan, Sarvar Patel, Daniel Ramage, Aaron Segal und Karn Seth: Practical Secure Aggregation for Privacy-Preserving Machine Learning, Proceedings of the ACM SIGSAC Conference on Computer and Communications Security, 2017.
- Die Arbeit stellt ein praktisch ausgelegtes Protokoll vor, mit dem Modellaktualisierungen mehrerer Teilnehmer aggregiert werden können, ohne die einzelnen Beiträge offenzulegen. Sie bildet wichtige Hintergrundliteratur für sichere Aggregation, Teilnehmerausfälle und das Spannungsverhältnis zwischen Vertraulichkeit und der Erkennung manipulierter Updates.
- arXiv: https://arxiv.org/...
- DOI: https://doi.org/...
- Die Arbeit stellt ein praktisch ausgelegtes Protokoll vor, mit dem Modellaktualisierungen mehrerer Teilnehmer aggregiert werden können, ohne die einzelnen Beiträge offenzulegen. Sie bildet wichtige Hintergrundliteratur für sichere Aggregation, Teilnehmerausfälle und das Spannungsverhältnis zwischen Vertraulichkeit und der Erkennung manipulierter Updates.
Bücher und Monographien
Bücher und wissenschaftliche Monographien sind vor allem für die konsistente Darstellung der theoretischen Grundlagen geeignet. Sie sollten ergänzend zur Primärliteratur eingesetzt werden, wenn Begriffe, mathematische Modelle, Quantenoperationen, Datenschutzdefinitionen oder Verfahren der verteilten Optimierung ausführlicher erklärt werden müssen.
Standardwerke zur Quanteninformation
- Michael A. Nielsen und Isaac L. Chuang: Quantum Computation and Quantum Information, 10th Anniversary Edition, Cambridge University Press, 2010.
- Dieses Standardwerk vermittelt die Grundlagen von Qubits, Quantengattern, Messungen, Verschränkung, Quantenkanälen, Quantenkommunikation und Quantenfehlerkorrektur. Für die Abhandlung ist es die zentrale Grundlagenquelle zur korrekten Erklärung quantenmechanischer Daten, des No-Cloning-Prinzips und verteilter Quantenoperationen.
- John Watrous: The Theory of Quantum Information, Cambridge University Press, 2018.
- Watrous bietet eine mathematisch präzise Darstellung von Quantenzuständen, Quantenkanälen, Messungen und informationstheoretischen Grenzen. Das Buch eignet sich besonders für anspruchsvollere Abschnitte über Quantendaten, verteilte Quanteninformation und die formalen Eigenschaften quantenmechanischer Kommunikationsprozesse.
Standardwerke zu Quantum Machine Learning
- Maria Schuld und Francesco Petruccione: Machine Learning with Quantum Computers, 2. Auflage, Springer, 2021.
- Das Buch behandelt Datenkodierung, Quantum Machine Learning, Quantenkernel, variationelle Schaltungen und hybride quantenklassische Optimierung. Es sollte für die Darstellung parametrisierter Quantenschaltungen, trainierbarer Quantengatter und der Grenzen gegenwärtiger Quantum-Machine-Learning-Verfahren verwendet werden.
Monographien zu Federated Learning und verteilter Optimierung
- Qiang Yang, Yang Liu, Yong Cheng, Yan Kang, Tianjian Chen und Han Yu: Federated Learning, Synthesis Lectures on Artificial Intelligence and Machine Learning, Morgan & Claypool Publishers, 2020.
- Die Monographie führt technische, kryptografische und organisatorische Aspekte des Federated Learning zusammen. Sie ist als Grundlagenliteratur für horizontales und vertikales Federated Learning, sichere Mehrparteienverfahren, Anreizmechanismen und praktische Anwendungsszenarien geeignet.
- Stephen Boyd, Neal Parikh, Eric Chu, Borja Peleato und Jonathan Eckstein: Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers, Foundations and Trends in Machine Learning, Band 3, Ausgabe 1, 2011.
- Diese Monographie ist grundlegende Hintergrundliteratur für verteilte Optimierung. Sie eignet sich zur theoretischen Einordnung von Konsensbildung, lokaler Zielfunktion, Nebenbedingungen und koordinierter Optimierung über mehrere Rechenknoten, auch wenn DFL in der heutigen Form nicht ihr unmittelbarer Gegenstand ist.
Monographien zu Datenschutz und Differential Privacy
- Cynthia Dwork und Aaron Roth: The Algorithmic Foundations of Differential Privacy, Foundations and Trends in Theoretical Computer Science, Band 9, Ausgaben 3–4, 2014.
- Das Werk liefert die formale und algorithmische Grundlage der Differential Privacy. Es sollte verwendet werden, um Datenschutzgarantien, Sensitivität, Rauschmechanismen und Privacy Budgets korrekt von bloßem Systemrauschen oder lokaler Datenhaltung abzugrenzen.
Vorlesungsnotizen und Monographie-nahe Ressourcen
- John Preskill: Lecture Notes for Quantum Computation and Quantum Information, California Institute of Technology, fortlaufend aktualisierte Lehrmaterialien.
- Preskills Vorlesungsunterlagen bieten eine wissenschaftlich fundierte Einführung in Quanteninformation, Quantenalgorithmen, Verschränkung, Quantenfehlerkorrektur und physikalische Realisierungen. Sie sind besonders als ergänzende Lernquelle geeignet, wenn einzelne quantentechnologische Grundlagen verständlicher oder ausführlicher dargestellt werden sollen.
- Ronald de Wolf: Quantum Computing: Lecture Notes, arXiv, fortlaufend überarbeitete Fassung.
- Die Notizen behandeln Quantenalgorithmen, Komplexität, verteilte Kommunikationssituationen, Quantum Machine Learning und Quantenfehlerkorrektur. Sie eignen sich zur Vertiefung algorithmischer Zusammenhänge und zur Einordnung theoretischer Aussagen über mögliche Quantenbeschleunigungen.
- arXiv: https://arxiv.org/...
- Die Notizen behandeln Quantenalgorithmen, Komplexität, verteilte Kommunikationssituationen, Quantum Machine Learning und Quantenfehlerkorrektur. Sie eignen sich zur Vertiefung algorithmischer Zusammenhänge und zur Einordnung theoretischer Aussagen über mögliche Quantenbeschleunigungen.
Online-Ressourcen und Datenbanken
Online-Datenbanken und Forschungsplattformen dienen der gezielten Suche nach Primärliteratur, aktuellen Preprints, technischen Dokumentationen und reproduzierbaren Implementierungen. Für eine wissenschaftliche Abhandlung sollten Veröffentlichungen bevorzugt über DOI, Journal, Konferenzband oder institutionelles Repositorium nachgewiesen werden. Preprints sind klar als solche zu kennzeichnen und nach Möglichkeit mit einer später erschienenen begutachteten Fassung abzugleichen.
Fachjournale und Verlage
- IEEE Xplore Digital Library.
- IEEE Xplore ist eine zentrale Rechercheplattform für Arbeiten zu Federated Learning, dezentralen Netzwerken, Quantenkommunikation, Quantum Machine Learning und technischer Cybersicherheit. Die Datenbank eignet sich besonders zur Prüfung von Konferenzfassungen, Journalversionen, Seitenangaben und DOI-Daten.
- ACM Digital Library.
- Die ACM Digital Library enthält maßgebliche Publikationen aus maschinellem Lernen, Distributed Computing, Peer-to-Peer-Systemen, Datenschutz und Computersicherheit. Sie ist besonders für technische Primärliteratur und begutachtete Konferenzbeiträge geeignet.
- Proceedings of Machine Learning Research.
- PMLR stellt frei zugängliche Konferenzbeiträge aus dem maschinellen Lernen bereit. Die Plattform ist insbesondere für grundlegende Arbeiten zu Federated Learning, Optimierung, verteiltem Training und statistischen Lernverfahren relevant.
- SpringerLink.
- SpringerLink bietet Bücher und Fachartikel zu Quantum Machine Learning, Quanteninformation, verteilten Systemen und Quantum Machine Intelligence. Die Plattform ist sowohl für Standardwerke als auch für spezialisierte Forschung zu verteilten Quantum Neural Networks relevant.
- arXiv.
- arXiv ermöglicht den frühzeitigen Zugriff auf aktuelle Forschung zu DFL, Quantum Federated Learning, Quantum Machine Learning und Quantennetzwerken. Da Preprints nicht zwingend begutachtet sind, sollten bibliografische Angaben und Aussagen möglichst mit einer veröffentlichten Journal- oder Konferenzfassung verglichen werden.
Lern- und Forschungsplattformen
- IBM Quantum und Qiskit Documentation.
- Die Dokumentation stellt Werkzeuge für Quantenschaltungen, Simulatoren, reale Quantenprozessoren und hybride Quantum-Machine-Learning-Experimente bereit. Sie eignet sich als technische Referenz für prototypische Implementierungen, ersetzt jedoch keine unabhängige wissenschaftliche Bewertung eines behaupteten Quantenvorteils.
- PennyLane Documentation.
- PennyLane ist eine plattformübergreifende Softwareumgebung für parametrisierte Quantenschaltungen, automatische Differentiation und hybride quantenklassische Optimierung. Sie eignet sich für die prototypische Verbindung lokaler Quantenmodelle mit klassischen Machine-Learning- und Federated-Learning-Komponenten.
- Flower Framework Documentation.
- Flower ist ein flexibles Framework für föderierte Lernexperimente mit unterschiedlichen Machine-Learning-Systemen und Gerätetypen. Es eignet sich als Ausgangspunkt für praktische Versuche, wobei vollständig dezentrale DFL-Kommunikation und spezielle Quantum-Workflows gegebenenfalls zusätzlich implementiert werden müssen.
- National Institute of Standards and Technology: Post-Quantum Cryptography Project.
- Die offizielle NIST-Projektseite dokumentiert die Standardisierung postquantenresistenter kryptografischer Verfahren. Sie ist für die Abhandlung wichtig, wenn digitale Signaturen, Schlüsselaustausch, langfristige Vertraulichkeit oder die kryptografische Migration zukünftiger DFL-Netze behandelt werden.