Quantum Partially Observable Markov Decision Processes, kurz QOMDPs, beschreiben sequentielle Entscheidungsprobleme, bei denen ein Agent ein Quantensystem durch auswählbare Operationen beeinflusst, Messergebnisse erhält und seine weiteren Handlungen an diese Ergebnisse anpasst. Das Modell verbindet damit drei Gebiete: stochastische Entscheidungsprozesse, Quanteninformation und adaptive Kontrolle.
Der entscheidende Unterschied zu einem klassischen Partially Observable Markov Decision Process liegt nicht lediglich in einer anderen Wahrscheinlichkeitsrechnung. In einem klassischen POMDP befindet sich die Umwelt zu jedem Zeitpunkt in einem bestimmten, wenn auch für den Agenten unbekannten Zustand. Der Agent arbeitet deshalb mit einer Wahrscheinlichkeitsverteilung über mögliche Zustände. In einem QOMDP wird der relevante Informationszustand dagegen durch eine Dichtematrix beschrieben. Diese kann neben klassischer statistischer Unsicherheit auch echte quantenmechanische Kohärenzen enthalten.
Eine weitere Besonderheit ist die Rolle der Beobachtung. Eine klassische Beobachtung liefert Informationen über einen bereits vorhandenen Zustand. Eine Quantenmessung liefert ebenfalls Informationen, verändert aber in der Regel zugleich den Zustand des untersuchten Systems. Messen und Handeln lassen sich deshalb nicht sauber voneinander trennen. Eine Aktion kann gleichzeitig eine Kontrolloperation, eine Messung und eine irreversible Zustandsänderung darstellen.
QOMDPs liefern einen präzisen mathematischen Rahmen für solche Situationen. Ihre Ausdrucksstärke hat jedoch einen Preis: Schon klassische POMDPs sind rechnerisch schwierig. Im quantenmechanischen Fall kommen komplexwertige Zustandsräume, nichtkommutierende Operationen, Messrückwirkungen und teilweise unentscheidbare Zielprobleme hinzu. QOMDPs sind deshalb nicht einfach eine quantenbeschleunigte Variante klassischer Entscheidungsmodelle, sondern eine eigenständige Theorie kontrollierter Quantendynamik unter informationsabhängigen Entscheidungen.
Entscheidungsprozesse unter unvollständiger Information
Sequentielle Entscheidungen
Ein sequentielles Entscheidungsproblem besteht aus einer Folge miteinander verbundener Entscheidungen. Der Nutzen einer Handlung hängt nicht nur von ihrer unmittelbaren Wirkung ab, sondern auch davon, welche zukünftigen Zustände, Beobachtungen und Handlungsmöglichkeiten sie erzeugt. Eine kurzfristig ungünstige Aktion kann langfristig optimal sein, wenn sie wertvolle Informationen liefert oder den Zugang zu einem besseren Zustand ermöglicht.
Diese Struktur tritt in der Quantentechnologie regelmäßig auf. Ein Kontrollsystem kann beispielsweise entscheiden, welcher Puls auf ein Qubit angewendet, welche Messbasis gewählt oder wann ein Experiment beendet werden soll. Nach jedem Schritt erhält es ein Ergebnis, aktualisiert sein Wissen über den Quantenzustand und wählt die nächste Operation. Die einzelnen Entscheidungen bilden keinen unabhängigen Ablauf. Jede Operation verändert die Ausgangslage für alle späteren Schritte.
Die Qualität einer Strategie wird deshalb gewöhnlich durch die erwartete kumulierte Belohnung bewertet. Für eine Folge von Zuständen und Aktionen kann eine diskontierte Gesamtbelohnung in der Form
\(G = \sum_{t=0}^{\infty} \gamma^t r_t\)
verwendet werden. Dabei bezeichnet \(r_t\) die Belohnung zum Zeitpunkt \(t\) und \(\gamma\) einen Diskontierungsfaktor mit
\(0 \leq \gamma < 1\).
Ein kleiner Diskontierungsfaktor gewichtet unmittelbare Ergebnisse stark. Ein Wert nahe eins misst langfristigen Wirkungen größere Bedeutung bei. Alternativ können ein endlicher Zeithorizont, durchschnittliche Langzeitkosten oder die Wahrscheinlichkeit des Erreichens eines Zielzustands verwendet werden.
Partielle Beobachtbarkeit
Vollständige Beobachtbarkeit bedeutet, dass der entscheidende Agent den aktuellen Zustand des Systems kennt. Partielle Beobachtbarkeit bedeutet dagegen, dass ihm nur indirekte, verrauschte oder unvollständige Informationen zur Verfügung stehen. Er muss aus seiner bisherigen Handlungsgeschichte und den empfangenen Beobachtungen ableiten, in welchem Zustand sich das System wahrscheinlich befindet.
In Quantensystemen ist eine solche Einschränkung grundlegend. Der Zustand eines einzelnen unbekannten Quantensystems kann nicht durch eine einzige Messung vollständig bestimmt werden. Außerdem sind nicht alle Observablen gleichzeitig scharf messbar. Nichtkommutierende Messungen können unterschiedliche und miteinander unvereinbare Informationen liefern. Eine Messung kann zudem Kohärenzen zerstören, Populationen verändern oder das System auf einen bestimmten Unterraum projizieren.
Partielle Beobachtbarkeit ist daher nicht nur ein technisches Problem unvollkommener Sensoren. Sie ist Bestandteil der physikalischen Struktur des Systems. Der Agent muss entscheiden, welche Information er gewinnen will, welchen Eingriff dieser Informationsgewinn verursacht und ob die erwartete Verbesserung späterer Entscheidungen die verursachte Störung rechtfertigt.
Kontrolle und Information als gemeinsames Problem
In klassischen Regelungsproblemen wird häufig zwischen Beobachtung und Steuerung unterschieden. Ein Sensor erfasst den Zustand, während ein Aktuator ihn verändert. In der Quantenmechanik ist diese Trennung nur eingeschränkt möglich. Eine Operation kann sowohl Information erzeugen als auch Dynamik auslösen. Das Ergebnis einer Messung bestimmt den posterioren Zustand, von dem die weitere Kontrolle ausgeht.
Dadurch entsteht ein Zielkonflikt. Eine starke Messung kann schnell eindeutige Information liefern, zugleich aber eine empfindliche Superposition zerstören. Eine schwache Messung erhält mehr Kohärenz, liefert jedoch weniger Information pro Schritt. Eine Steuerstrategie muss diesen Konflikt über den gesamten Entscheidungshorizont lösen.
QOMDPs formalisieren genau diese Verbindung. Sie behandeln den quantenmechanischen Informationszustand als Grundlage jeder Entscheidung und modellieren Aktionen als Quantenoperationen mit möglichen Beobachtungsausgängen. Damit wird die Messrückwirkung nicht als nachträgliche Korrektur, sondern als zentraler Bestandteil der Zustandsdynamik erfasst.
Klassische Grundlagen: MDPs und POMDPs
Markov Decision Processes
Ein Markov Decision Process, kurz MDP, beschreibt Entscheidungen in einer stochastischen, aber vollständig beobachtbaren Umgebung. Ein diskreter MDP kann als Tupel
\(\mathcal{M} = (S,A,T,R,\gamma)\)
angegeben werden. Dabei ist \(S\) die Zustandsmenge, \(A\) die Aktionsmenge, \(T\) das Übergangsmodell, \(R\) die Belohnungsfunktion und \(\gamma\) der Diskontierungsfaktor.
Die Übergangswahrscheinlichkeit
\(T(s,a,s') = \Pr(s'|s,a)\)
gibt an, mit welcher Wahrscheinlichkeit das System nach der Aktion \(a\) vom Zustand \(s\) in den Zustand \(s'\) übergeht. Für jedes Paar aus Zustand und Aktion gilt die Normierungsbedingung
\(\sum_{s' \in S} T(s,a,s') = 1\).
Die Markov-Eigenschaft besagt, dass die Verteilung des nächsten Zustands bei bekanntem aktuellem Zustand und bekannter Aktion nicht zusätzlich von der weiter zurückliegenden Vergangenheit abhängt:
\(\Pr(s_{t+1}|s_t,a_t,s_{t-1},a_{t-1},\ldots) = \Pr(s_{t+1}|s_t,a_t)\).
Eine Policy legt fest, welche Aktion in welchem Zustand gewählt wird. Eine deterministische stationäre Policy kann durch
\(\pi:S \rightarrow A\)
beschrieben werden. Eine stochastische Policy ordnet jedem Zustand eine Wahrscheinlichkeitsverteilung über Aktionen zu.
Für einen unendlichen diskontierten Horizont erfüllt die optimale Wertfunktion die Bellman-Gleichung
\(V^*(s) = \max_{a \in A}\left[R(s,a) + \gamma \sum_{s' \in S}T(s,a,s')V^*(s')\right]\).
Diese Gleichung zerlegt das Gesamtproblem in eine unmittelbare Belohnung und den optimalen erwarteten Wert der Folgezustände. Das Prinzip ist grundlegend für dynamische Programmierung, Value Iteration, Policy Iteration und viele Verfahren des Reinforcement Learning.
Partially Observable Markov Decision Processes
Ein POMDP erweitert den MDP um verborgene Zustände und Beobachtungen. Das Modell kann als
\(\mathcal{P} = (S,A,\Omega,T,O,R,b_0,\gamma)\)
geschrieben werden. Zusätzlich zu den Bestandteilen eines MDP enthält es die Beobachtungsmenge \(\Omega\), ein Beobachtungsmodell \(O\) und einen anfänglichen Belief State \(b_0\).
Das Beobachtungsmodell
\(O(o|s',a) = \Pr(o|s',a)\)
gibt an, mit welcher Wahrscheinlichkeit nach der Aktion \(a\) und dem Übergang in den Zustand \(s'\) die Beobachtung \(o\) auftritt.
Der Agent kennt den tatsächlichen Zustand nicht. Er führt stattdessen eine Wahrscheinlichkeitsverteilung über alle möglichen Zustände:
\(b(s) = \Pr(s|\text{verfügbare Information})\).
Für einen endlichen Zustandsraum erfüllt der Belief State
\(b(s) \geq 0\)
und
\(\sum_{s \in S}b(s)=1\).
Der Belief State ist ein hinreichender Informationszustand. Kennt der Agent den aktuellen Belief State, muss er für die Vorhersage zukünftiger Entwicklungen nicht die vollständige Vergangenheit speichern. Die frühere Beobachtungs- und Aktionsgeschichte ist bereits in der Verteilung zusammengefasst.
Bayessche Aktualisierung des Belief States
Nach einer Aktion und einer neuen Beobachtung wird der Belief State aktualisiert. Für den Folgezustand \(s'\) lautet die Aktualisierung
\(b'(s') = \frac{O(o|s',a)\sum_{s \in S}T(s,a,s')b(s)}{\sum_{\tilde{s} \in S}O(o|\tilde{s},a)\sum_{s \in S}T(s,a,\tilde{s})b(s)}\).
Der Zähler verbindet zwei Schritte. Zuerst wird anhand des Übergangsmodells vorhergesagt, mit welcher Wahrscheinlichkeit der Folgezustand erreicht wird. Danach wird diese Vorhersage mit der Wahrscheinlichkeit der tatsächlich eingetretenen Beobachtung gewichtet. Der Nenner normiert die Verteilung.
Die Wahrscheinlichkeit der Beobachtung ergibt sich aus
\(\Pr(o|b,a) = \sum_{s' \in S}O(o|s',a)\sum_{s \in S}T(s,a,s')b(s)\).
Damit wird ein POMDP in einen vollständig beobachtbaren MDP über dem Raum der Belief States überführt. Der Agent kennt zwar den physischen Zustand nicht, kennt aber seinen eigenen Informationszustand. Dieser Belief-State-Raum ist allerdings kontinuierlich, selbst wenn die ursprüngliche Zustandsmenge endlich ist. Darin liegt eine wesentliche Ursache der hohen Komplexität von POMDPs.
Belief States und Dichtematrizen
Die Verbindung zu QOMDPs wird sichtbar, wenn eine klassische Wahrscheinlichkeitsverteilung als diagonale Dichtematrix geschrieben wird:
\(\rho_b = \sum_i b_i |i\rangle\langle i|\).
Die Diagonalelemente enthalten die klassischen Wahrscheinlichkeiten. Alle Elemente außerhalb der Diagonalen sind null. Ein solcher Zustand besitzt keine Kohärenz zwischen den Basiszuständen.
Eine allgemeine Dichtematrix kann dagegen nichtverschwindende Nebendiagonalelemente enthalten. Diese kodieren Phasenbeziehungen und Interferenzfähigkeit. Der Raum quantenmechanischer Informationszustände umfasst den klassischen Belief-State-Raum deshalb als Spezialfall, geht aber über ihn hinaus.
Diese Einbettung erklärt, warum QOMDPs klassische POMDPs simulieren können. Sie zeigt zugleich, weshalb nicht alle Eigenschaften klassischer Modelle erhalten bleiben. Klassische Übergangsmatrizen arbeiten mit nichtnegativen Wahrscheinlichkeiten. Quantenoperationen wirken dagegen auf komplexe Amplituden und Dichtematrizen. Interferenz kann Beiträge verstärken oder auslöschen, bevor eine beobachtbare Wahrscheinlichkeit entsteht.
Quantenmechanische Grundlagen
Reine und gemischte Quantenzustände
Der Zustand eines abgeschlossenen Quantensystems wird im einfachsten Fall durch einen normierten Vektor in einem komplexen Hilbertraum beschrieben. Für einen reinen Zustand gilt
\(|\psi\rangle \in \mathcal{H}\)
mit
\(\langle\psi|\psi\rangle = 1\).
Ein Qubit kann beispielsweise als
\(|\psi\rangle = \alpha|0\rangle + \beta|1\rangle\)
geschrieben werden, wobei
\(|\alpha|^2 + |\beta|^2 = 1\)
gilt. Die komplexen Koeffizienten enthalten nicht nur Wahrscheinlichkeitsgewichte, sondern auch relative Phasen. Diese Phasen können in späteren Operationen zu Interferenz führen.
Für Entscheidungs- und Kontrollprobleme reicht die Darstellung durch Zustandsvektoren nicht aus. Ein System kann mit einer Umgebung verschränkt, nur teilweise bekannt oder Bestandteil eines statistischen Ensembles sein. Solche Situationen werden durch eine Dichtematrix \(\rho\) beschrieben. Sie erfüllt
\(\rho = \rho^\dagger\),
\(\rho \geq 0\)
und
\(\mathrm{Tr}(\rho)=1\).
Ein reiner Zustand besitzt die Dichtematrix
\(\rho = |\psi\rangle\langle\psi|\).
Für einen reinen Zustand gilt außerdem
\(\mathrm{Tr}(\rho^2)=1\).
Bei einem gemischten Zustand ist im Allgemeinen
\(\mathrm{Tr}(\rho^2)<1\).
Unitäre Dynamik und offene Systeme
Ein abgeschlossenes Quantensystem entwickelt sich unitär. Für einen Operator \(U\) mit
\(U^\dagger U = UU^\dagger = I\)
wird der Zustand gemäß
\(\rho' = U\rho U^\dagger\)
transformiert. Diese Entwicklung ist reversibel und erhält die Reinheit des Zustands.
Reale Quantentechnologien arbeiten jedoch mit offenen Systemen. Qubits koppeln an elektromagnetische Felder, thermische Umgebungen, Messgeräte und klassische Kontrollhardware. Dadurch entstehen Dekohärenz, Relaxation und statistische Zustandsänderungen. Eine allgemeine physikalisch zulässige Entwicklung wird durch eine vollständig positive, spurerhaltende Abbildung beschrieben.
Eine solche Quantenoperation kann in Kraus-Darstellung geschrieben werden:
\(\mathcal{E}(\rho) = \sum_{i=1}^{K}K_i\rho K_i^\dagger\).
Damit die Spur des Zustands erhalten bleibt, müssen die Kraus-Operatoren die Vollständigkeitsbedingung
\(\sum_{i=1}^{K}K_i^\dagger K_i = I\)
erfüllen. Ein unitärer Prozess ist der Spezialfall mit nur einem Kraus-Operator.
Quantenmessungen
Eine Messung mit möglichen Ergebnissen \(i\) kann durch Messoperatoren \(M_i\) beschrieben werden. Für den Zustand \(\rho\) tritt das Ergebnis \(i\) mit der Wahrscheinlichkeit
\(p(i) = \mathrm{Tr}(M_i\rho M_i^\dagger)\)
auf. Nach diesem Ergebnis lautet der bedingte Zustand
\(\rho_i' = \frac{M_i\rho M_i^\dagger}{\mathrm{Tr}(M_i\rho M_i^\dagger)}\).
Die Messoperatoren erfüllen
\(\sum_i M_i^\dagger M_i = I\).
Definiert man
\(E_i = M_i^\dagger M_i\),
so bilden die positiven Operatoren \(E_i\) eine Positive Operator-Valued Measure. Für ihre Summe gilt
\(\sum_i E_i = I\).
Die Ergebniswahrscheinlichkeit kann dann als
\(p(i)=\mathrm{Tr}(E_i\rho)\)
geschrieben werden. Die POVM-Elemente bestimmen die Statistik der Messung. Die Messoperatoren enthalten zusätzlich die Information darüber, wie das Ergebnis den Zustand verändert.
Messinstrumente
Für ein Entscheidungsmodell genügt es nicht, nur die Wahrscheinlichkeit eines Messresultats zu kennen. Der Agent muss auch wissen, welcher Folgezustand nach diesem Resultat vorliegt. Deshalb ist der Begriff des Quanteninstruments besonders passend.
Ein Instrument zerlegt eine Quantenoperation in ergebnisabhängige Teiloperationen:
\(\mathcal{E} = \sum_i \mathcal{E}_i\).
Die Teiloperation \(\mathcal{E}_i\) ist vollständig positiv, muss einzeln aber nicht spurerhaltend sein. Die Spur
\(\mathrm{Tr}(\mathcal{E}_i(\rho))\)
liefert die Wahrscheinlichkeit des Ergebnisses \(i\). Der normierte Folgezustand ist
\(\rho_i' = \frac{\mathcal{E}_i(\rho)}{\mathrm{Tr}(\mathcal{E}_i(\rho))}\).
Genau diese Struktur wird in einem QOMDP verwendet. Eine auswählbare Aktion entspricht einem Instrument. Das beobachtete Ergebnis legt fest, welcher Zweig der Operation realisiert wurde und welcher Zustand als Grundlage der nächsten Entscheidung dient.
Erwartungswerte als Belohnungen
Viele physikalische Zielgrößen lassen sich als Erwartungswert eines hermiteschen Operators ausdrücken. Für eine Observable \(R_a\) und einen Zustand \(\rho\) lautet der Erwartungswert
\(\langle R_a\rangle_\rho = \mathrm{Tr}(\rho R_a)\).
Diese Form eignet sich als zustandsabhängige Belohnungsfunktion. Ein Operator kann beispielsweise eine hohe Belohnung für die Nähe zu einem Zielzustand, eine niedrige Energie, einen gewünschten Unterraum oder eine erfolgreiche Fehlerkorrektur vergeben.
Für einen reinen Zielzustand \(|\psi_g\rangle\) kann der Belohnungsoperator
\(R_g = |\psi_g\rangle\langle\psi_g|\)
gewählt werden. Die Belohnung
\(\mathrm{Tr}(\rho R_g)=\langle\psi_g|\rho|\psi_g\rangle\)
entspricht dann der Überlappung mit dem Zielzustand.
Formale Struktur eines QOMDP
Definition
Ein QOMDP kann in der ursprünglichen endlichen Form als Tupel
\(\mathcal{Q} = (\mathcal{H},\Omega,\mathcal{A},\mathcal{R},\gamma,\rho_0)\)
beschrieben werden. Der Hilbertraum \(\mathcal{H}\) legt die Dimension des Quantensystems fest. Die Menge \(\Omega\) enthält die möglichen Beobachtungen. Die Menge \(\mathcal{A}\) enthält die auswählbaren Aktionen. Die Menge \(\mathcal{R}\) umfasst die Belohnungsoperatoren. Hinzu kommen der Diskontierungsfaktor \(\gamma\) und der Anfangszustand \(\rho_0\).
Eine Aktion \(a\) besteht aus einer Sammlung von Kraus-Operatoren:
\(\mathcal{A}^a = \{A_1^a,A_2^a,\ldots,A_{|\Omega|}^a\}\).
Für jede Aktion gilt
\(\sum_{i=1}^{|\Omega|}A_i^{a\dagger}A_i^a = I\).
Jeder Kraus-Operator ist einem möglichen Beobachtungsergebnis zugeordnet. Sind bestimmte Ergebnisse für eine Aktion unmöglich, kann der entsprechende Operator gleich null sein.
Ablauf eines Entscheidungsschritts
Zu Beginn eines Schritts kennt der Agent den aktuellen Informationszustand \(\rho\). Er wählt eine Aktion \(a\). Das zugehörige Quanteninstrument wirkt auf das System. Anschließend erhält der Agent ein Ergebnis \(o_i\).
Die Wahrscheinlichkeit dieses Ergebnisses beträgt
\(\Pr(o_i|\rho,a)=\mathrm{Tr}(A_i^a\rho A_i^{a\dagger})\).
Der bedingte Folgezustand ist
\(N(\rho,a,o_i)=\frac{A_i^a\rho A_i^{a\dagger}}{\mathrm{Tr}(A_i^a\rho A_i^{a\dagger})}\).
Die Belohnung für die Aktion wird mit einem hermiteschen Operator \(R_a\) definiert:
\(R(\rho,a)=\mathrm{Tr}(\rho R_a)\).
Danach beginnt der nächste Entscheidungsschritt mit dem aktualisierten Zustand. Die beobachtete Folge von Ergebnissen erzeugt somit einen stochastischen Pfad durch den Raum der Dichtematrizen.
Der Quantenzustand als Informationszustand
Die Bezeichnung „partially observable“ kann missverstanden werden. In der ursprünglichen QOMDP-Formulierung kennt der Agent die Dichtematrix mathematisch, sofern Anfangszustand, gewählte Aktionen und beobachtete Ergebnisse bekannt sind. In diesem Sinn ist das Modell auf der Ebene des Informationszustands vollständig beobachtbar.
Das entspricht der Belief-State-Darstellung eines klassischen POMDP. Auch dort kennt der Agent den wirklichen Zustand nicht, kann seinen Belief State aber exakt verfolgen, wenn das Modell bekannt ist. Das QOMDP ist daher strukturell eher das quantenmechanische Gegenstück zum Belief-State-MDP als zum verborgenen klassischen Zustandsprozess selbst.
Der Unterschied bleibt dennoch grundlegend. Ein klassischer Belief State drückt Unwissen über einen tatsächlich vorhandenen Zustand aus. Eine allgemeine Dichtematrix kann dagegen einen physikalischen Superpositionszustand beschreiben, der sich nicht als bloße Unkenntnis über einen der Basiszustände auffassen lässt.
Ein einzelnes Quantensystem trägt außerdem keine zugängliche klassische Liste seiner Dichtematrixelemente. Die Annahme, der Agent kenne \(\rho\), bedeutet daher nicht, dass er die Matrix aus einer einzigen Messung ausliest. Sie bedeutet, dass er sie aus dem bekannten Modell, dem vorbereiteten Anfangszustand und der beobachteten Historie berechnet. Bei Modellfehlern oder unbekannter Präparation entsteht zusätzlich ein Zustandsschätzungsproblem.
Aktionen als kontrollierte Quanteninstrumente
Eine QOMDP-Aktion ist allgemeiner als ein einzelner unitärer Steuerpuls. Sie kann eine unitäre Transformation, eine dissipative Entwicklung, eine Messung oder eine Kombination dieser Prozesse darstellen. Entscheidend ist, dass die Aktion durch eine physikalisch zulässige Quantenoperation mit gekennzeichneten Ausgängen beschrieben wird.
Ein unitärer Puls ohne informative Beobachtung kann durch einen einzigen Kraus-Operator
\(A_1^a=U_a\)
modelliert werden. Das einzige Ergebnis tritt mit Wahrscheinlichkeit eins ein, und der Folgezustand ist
\(\rho'=U_a\rho U_a^\dagger\).
Eine projektive Messung mit Projektoren \(P_i\) entspricht dagegen den Kraus-Operatoren
\(A_i^a=P_i\).
Eine verrauschte Messung kann durch nichtprojektive Operatoren beschrieben werden. Auch ein kontrollierter Prozess mit anschließender Messung lässt sich zusammenfassen, beispielsweise durch
\(A_i^a=M_iU_a\).
Damit kann das Modell unterschiedliche physikalische Protokolle in einer einheitlichen mathematischen Sprache darstellen.
Beobachtungen und Zustandsverzweigungen
Nach einer Aktion existiert nicht einfach ein einzelner deterministischer Folgezustand. Für jedes mögliche Ergebnis entsteht ein eigener bedingter Zustand. Die Aktion erzeugt somit einen Entscheidungsbaum. Die Kanten des Baums tragen Ergebniswahrscheinlichkeiten, und die Knoten entsprechen posterioren Dichtematrizen.
Wird das Ergebnis nicht gespeichert oder dem Agenten nicht mitgeteilt, ergibt sich der unbedingte Zustand
\(\rho' = \sum_i A_i^a\rho A_i^{a\dagger}\).
Wird das Ergebnis beobachtet, arbeitet der Agent dagegen mit einem einzelnen normierten Zweig. Dieser Unterschied ist wesentlich. Das Vergessen eines Messergebnisses kann Kohärenz und verfügbare Information vernichten. Eine Policy, die Ergebnisse auswertet, kann deshalb bessere Entscheidungen treffen als eine offene Steuersequenz ohne Rückkopplung.
Klassische POMDPs als Spezialfall
Ein klassischer Belief State kann als diagonale Dichtematrix eingebettet werden. Klassische Übergänge und Beobachtungen lassen sich durch Kraus-Operatoren realisieren, die Diagonalzustände wieder auf Diagonalzustände abbilden. Solange keine Kohärenzen erzeugt werden, entspricht die Quantendynamik einer klassischen stochastischen Aktualisierung.
Der klassische Bereich ist damit eine kommutative Teilstruktur des QOMDP. Alle relevanten Zustände sind in derselben Basis diagonal, und die beteiligten Operatoren erzeugen keine beobachtbare Interferenz. Der eigentliche quantenmechanische Anteil beginnt dort, wo Kohärenzen, Phasen und nichtkommutierende Operationen für die Dynamik oder die Belohnung relevant werden.
Diese Einbettung hat direkte theoretische Folgen. Jedes allgemeine Lösungsverfahren für QOMDPs müsste zumindest alle klassischen POMDPs lösen können. Die bekannten Schwierigkeiten der klassischen Modelle verschwinden daher nicht durch die Quantendarstellung.
Terminologische Abgrenzung
In der Literatur werden mehrere verwandte Begriffe verwendet. Die ursprüngliche Arbeit bezeichnet das Modell als Quantum Observable Markov Decision Process, während ihr Titel von Quantum Partially Observable Markov Decision Processes spricht. Beide Formulierungen beziehen sich auf dasselbe Grundmodell, betonen aber unterschiedliche Ebenen.
„Partially observable“ verweist auf die Verbindung zu klassischen POMDPs und auf die Tatsache, dass Entscheidungen aus Messinformationen statt aus einem direkt ausgelesenen vollständigen physischen Zustand entstehen. „Observable“ verweist darauf, dass der aktualisierte Dichteoperator als Informationszustand verfolgt werden kann.
Daneben existieren andere Quantum Markov Decision Processes. Manche Modelle untersuchen nichtdeterministische Quantenprogramme und Scheduler, andere erlauben allgemeinere quantenmechanische Aktionsräume oder unterscheiden offene und geschlossene Regelkreise. Ergebnisse aus einem solchen Modell lassen sich nicht automatisch auf jedes andere übertragen. Vor einer theoretischen Aussage muss daher geklärt werden, welche Definition von Zustand, Aktion, Beobachtung und Policy verwendet wird.
Policies und Wertfunktionen
Deterministische und stochastische Policies
Eine Policy bestimmt, welche Aktion der Agent auswählt. Für einen endlichen Horizont kann eine deterministische Policy als
\(\pi_t:\mathcal{S}(\mathcal{H}) \rightarrow \mathcal{A}\)
geschrieben werden, wobei \(\mathcal{S}(\mathcal{H})\) die Menge der Dichtematrizen auf dem Hilbertraum bezeichnet. Die Policy darf vom Zeitpunkt abhängen, weil die optimale Handlung bei verbleibenden zehn Schritten anders sein kann als beim letzten Schritt.
Eine stochastische Policy ordnet jedem Zustand eine Verteilung über Aktionen zu:
\(\pi_t(a|\rho) \geq 0\)
und
\(\sum_{a \in \mathcal{A}}\pi_t(a|\rho)=1\).
Bei vollständig bekanntem Modell und linearer Erwartungswertoptimierung ist Randomisierung nicht in jeder Modellklasse notwendig. Sie kann jedoch bei eingeschränkten Policy-Klassen, robusten Kriterien, mehreren Zielgrößen oder lernbasierten Verfahren nützlich sein.
Verlaufsabhängige Policies
Eine Policy kann auch direkt von der gesamten Aktions- und Beobachtungshistorie abhängen:
\(\pi_t(a_t|a_0,o_1,a_1,o_2,\ldots,o_t)\).
Wenn der aktuelle Dichteoperator exakt aus der Historie berechnet werden kann, enthält er die für die zukünftige Dynamik relevante Information. Dann kann eine Markov-Policy auf dem Raum der Dichtematrizen ausreichen. Dies setzt jedoch ein korrektes Modell und eine vollständige Erfassung aller relevanten Messergebnisse voraus.
In experimentellen Situationen können unbekannte Parameter, Drift oder nichtmarkovsche Umgebungseffekte auftreten. Dann ist die aktuelle geschätzte Dichtematrix möglicherweise kein hinreichender Informationszustand. Eine Policy benötigt zusätzliche Gedächtnisvariablen, einen Parameterschätzer oder eine erweiterte Zustandsbeschreibung.
Endlicher Horizont
Für eine Policy \(\pi\) und einen Horizont \(h\) kann der erwartete Wert vom Anfangszustand \(\rho_0\) aus als
\(V_h^\pi(\rho_0)=\mathbb{E}_\pi\left[\sum_{t=0}^{h-1}\gamma^t R(\rho_t,a_t)\right]\)
definiert werden. Der Erwartungswert umfasst alle möglichen Folgen von Messergebnissen und die dadurch erzeugten Zustände.
Für den optimalen Wert gilt eine Bellman-Rekursion. Mit
\(V_0^*(\rho)=0\)
lautet sie
\(V_h^*(\rho)=\max_{a \in \mathcal{A}}\left[R(\rho,a)+\gamma\sum_{i=1}^{|\Omega|}\Pr(o_i|\rho,a)V_{h-1}^*(N(\rho,a,o_i))\right]\).
Diese Gleichung zeigt die gesamte Struktur eines QOMDP in kompakter Form. Der Agent bewertet jede Aktion anhand ihrer unmittelbaren Belohnung und aller möglichen posterioren Zustände. Jeder Folgezustand wird mit der Wahrscheinlichkeit des zugehörigen Beobachtungsergebnisses gewichtet.
Unendlicher Horizont
Für einen unendlichen diskontierten Horizont lautet der Wert einer Policy
\(V^\pi(\rho)=\mathbb{E}_\pi\left[\sum_{t=0}^{\infty}\gamma^t R(\rho_t,a_t)\right]\).
Ist die Belohnung beschränkt und gilt \(\gamma<1\), bleibt die Summe endlich. Formal ergibt sich die optimale Bellman-Gleichung
\(V^*(\rho)=\max_{a \in \mathcal{A}}\left[R(\rho,a)+\gamma\sum_i\Pr(o_i|\rho,a)V^*(N(\rho,a,o_i))\right]\).
Die Gleichung ähnelt der klassischen Form, wird jedoch auf einem kontinuierlichen Raum positiver Matrizen ausgewertet. Außerdem ist die Zustandsabbildung nach einem beobachteten Ergebnis wegen der Normierung nichtlinear in \(\rho\). Diese Faktoren erschweren eine direkte numerische Lösung.
Information besitzt einen Handlungswert
Eine optimale Aktion muss nicht die höchste unmittelbare Belohnung liefern. Sie kann gewählt werden, weil sie zukünftige Unsicherheit reduziert. Der Nutzen der gewonnenen Information zeigt sich erst in späteren Schritten.
Angenommen, zwei mögliche Zustände erfordern unterschiedliche Kontrollpulse. Eine direkte starke Korrektur kann bei einem Zustand helfen und beim anderen schaden. Eine vorgeschaltete Messung erzeugt möglicherweise keine unmittelbare Belohnung, erlaubt danach aber die Auswahl des passenden Pulses. Der Wert dieser Messung besteht in der Verbesserung der zukünftigen Policy.
Im Quantenfall ist dieser Informationswert mit einer physikalischen Störung verbunden. Das Problem besteht nicht nur darin, ob gemessen werden soll, sondern auch, wie stark, in welcher Basis und zu welchem Zeitpunkt. Eine Messung kann relevante Information gewinnen und gleichzeitig den Teil des Zustands zerstören, der für das endgültige Ziel benötigt wird.
Offene und geschlossene Regelkreise
Eine offene Steuerung legt eine Aktionsfolge im Voraus fest. Sie reagiert nicht auf Messergebnisse. Eine solche Policy kann als
\(\pi_{\mathrm{open}}=(a_0,a_1,\ldots,a_{h-1})\)
beschrieben werden.
Eine geschlossene Regelung verwendet Rückkopplung. Die Aktion hängt vom aktuellen Informationszustand oder von der Beobachtungshistorie ab:
\(a_t=\pi_t(\rho_t)\).
Geschlossene Policies können zufällige Störungen, Messergebnisse und Fehlerindikatoren ausnutzen. Sie benötigen jedoch Echtzeitschätzung, Entscheidungslogik und ausreichend schnelle Hardware. In Quantensystemen kann die verfügbare Reaktionszeit durch Kohärenzzeiten und Messlatenzen stark begrenzt sein.
Berechenbarkeit und Komplexität
Warum QOMDPs schwierig sind
Die rechnerische Schwierigkeit eines QOMDP entsteht auf mehreren Ebenen. Bereits der Zustandsraum ist kontinuierlich. Eine Dichtematrix eines Systems mit Hilbertraumdimension \(d\) besitzt im Allgemeinen \(d^2-1\) unabhängige reelle Parameter. Für \(n\) Qubits gilt
\(d=2^n\),
sodass die Zahl der Matrixparameter wie
\(4^n-1\)
wächst.
Zusätzlich verzweigt jede Aktion in mögliche Beobachtungen. Bei \(m\) Ergebnissen und einem Horizont \(h\) können bereits unter einer festen Aktionsstruktur bis zu
\(m^h\)
Beobachtungsfolgen auftreten. Eine allgemeine Policy muss an unterschiedlichen Knoten dieses Baums unterschiedliche Aktionen wählen können.
Schließlich sind die Zustandsübergänge nach konditionierten Messungen nichtlinear, weil jeder Zweig durch seine Ergebniswahrscheinlichkeit normiert wird. Die Kombination aus kontinuierlichem Zustandsraum, exponentiellem Verzweigungsbaum und Matrixoperationen macht exakte Lösungen schon für mäßige Dimensionen schwierig.
Policy-Existenz bei polynomialem Horizont
Ein grundlegendes Entscheidungsproblem lautet: Existiert für einen gegebenen Anfangszustand, einen Horizont und einen Schwellenwert eine Policy, deren erwartete Belohnung mindestens diesen Schwellenwert erreicht?
Da QOMDPs klassische POMDPs als Spezialfall enthalten, sind sie mindestens so schwierig wie diese. Für einen polynomial beschränkten Horizont ist das Policy-Existenzproblem PSPACE-hart. Zugleich kann eine mögliche Policy mit polynomialem Speicher schrittweise untersucht werden, wobei Ergebniswahrscheinlichkeiten, Folgezustände und Belohnungen ebenfalls mit polynomialem Speicher berechnet werden können. Damit liegt das Problem in PSPACE und ist für diese Modellklasse PSPACE-vollständig.
Diese Aussage bedeutet nicht, dass jede konkrete Instanz praktisch unlösbar ist. Sie beschreibt die Schwierigkeit des allgemeinen Problems im schlechtesten Fall. Modelle mit wenigen Aktionen, kurzen Horizonten, besonderer Symmetrie oder niedrigrangigen Zuständen können deutlich einfacher sein.
Unendlicher Horizont
Bei einem unendlichen Horizont wird die Lage grundsätzlicher. Bereits für klassische POMDPs sind bestimmte Policy-Existenzprobleme unentscheidbar. Da ein QOMDP einen klassischen POMDP simulieren kann, überträgt sich diese Grenze auf das quantenmechanische Modell.
Unentscheidbarkeit bedeutet, dass kein Algorithmus existiert, der für jede zulässige Instanz nach endlicher Zeit garantiert die richtige Ja-oder-Nein-Antwort liefert. Sie bedeutet nicht, dass keine einzelne Instanz gelöst werden kann. Sie begrenzt vielmehr die Möglichkeit eines universellen Verfahrens.
Für praktische Systeme arbeitet man deshalb mit endlichen Horizonten, Diskontierung, eingeschränkten Policy-Klassen oder numerischen Näherungen. Diese Einschränkungen verwandeln das theoretisch unbeschränkte Problem in ein berechenbares Optimierungsproblem, ohne die Komplexität vollständig zu beseitigen.
Ziel-QOMDPs
Ein Ziel-QOMDP enthält einen ausgezeichneten Zielzustand \(\rho_g\). Dieser soll absorbierend sein. Ist der Zielzustand erreicht, darf keine zulässige Aktion ihn wieder verlassen. Für jedes Ergebnis mit positiver Wahrscheinlichkeit gilt dann
\(N(\rho_g,a,o_i)=\rho_g\).
Das Zielerreichbarkeitsproblem fragt, ob eine Policy existiert, die den Zielzustand nach endlich vielen Schritten mit Wahrscheinlichkeit eins erreicht.
Diese Fragestellung unterscheidet sich von der Maximierung einer diskontierten Belohnung. Eine Policy kann eine Erfolgswahrscheinlichkeit beliebig nahe an eins erreichen, ohne den Zielzustand jemals mit Sicherheit in endlicher Zeit zu erreichen. Ebenso kann eine hohe erwartete Belohnung durch häufige Beinahe-Erfolge entstehen, obwohl perfekte Zielerreichbarkeit unmöglich bleibt.
Unentscheidbarkeit der perfekten Zielerreichbarkeit
Für klassische Ziel-POMDPs ist die perfekte Zielerreichbarkeit entscheidbar. Für Ziel-QOMDPs ist sie im allgemeinen Fall unentscheidbar. Dieser Unterschied ist eines der wichtigsten theoretischen Ergebnisse der QOMDP-Theorie.
Der Nachweis erfolgt über eine Reduktion des Quantum Measurement Occurrence Problem. Dieses fragt vereinfacht, ob es eine endliche Folge von Kraus-Operatoren gibt, deren Produkt gleich null ist:
\(K_{i_n}K_{i_{n-1}}\cdots K_{i_1}=0\).
Ist ein solches Produkt null, kann die entsprechende Folge von Messergebnissen nicht auftreten. Das Problem steht mit dem Matrix-Mortality-Problem in Verbindung und ist unentscheidbar.
Aus einer solchen Instanz lässt sich ein Ziel-QOMDP konstruieren, dessen perfekte Zielerreichbarkeit genau davon abhängt, ob eine bestimmte unmögliche Messfolge existiert. Könnte man die Zielerreichbarkeit für jedes QOMDP entscheiden, könnte man damit auch das unentscheidbare Messauftretensproblem entscheiden. Ein universeller Zielerreichbarkeitsalgorithmus kann daher nicht existieren.
Warum sich der klassische und der quantenmechanische Fall trennen
Im klassischen Fall bestehen Übergangsmatrizen aus nichtnegativen Wahrscheinlichkeiten. Eine Wahrscheinlichkeit kann nur dann null werden, wenn alle beitragenden nichtnegativen Terme null sind. Dadurch lässt sich die Frage, welche Zustände noch erreichbar sind, auf endliche Trägerstrukturen und kombinatorische Übergänge reduzieren.
Quantenmechanische Matrizen enthalten dagegen komplexe Einträge. Amplituden können sich durch Interferenz gegenseitig auslöschen. Ein Produkt von Matrizen kann verschwinden, obwohl seine einzelnen Faktoren nicht null sind. Die möglichen Auslöschungen hängen von Reihenfolge, Phase und nichtkommutativer Multiplikation ab.
Die stärkere Ausdrucksfähigkeit der Quantendynamik erzeugt somit nicht nur größere numerische Probleme. Sie verändert die logische Struktur bestimmter Entscheidungsfragen. Genau darin liegt die Trennung zwischen entscheidbarer klassischer und unentscheidbarer quantenmechanischer Zielerreichbarkeit.
Praktische Bedeutung der Unentscheidbarkeit
Die Unentscheidbarkeit betrifft das vollständig allgemeine Modell. Ein realer Quantencontroller arbeitet jedoch mit begrenzter Dimension, begrenzter Laufzeit, endlicher numerischer Genauigkeit und einer konkreten Menge physikalischer Operationen. Viele praktische Optimierungsprobleme bleiben daher numerisch behandelbar.
Trotzdem ist das Ergebnis nicht bloß theoretisch. Es warnt davor, von einem allgemeinen QOMDP-Formalismus automatisch vollständige algorithmische Garantien zu erwarten. Für belastbare Verfahren müssen Modellklassen eingeschränkt werden. Mögliche Einschränkungen sind ein endlicher Horizont, kommutierende Operationen, eine feste maximale Policy-Tiefe, robuste Näherungskriterien oder spezielle Formen der Dynamik.
Lösungs- und Approximationsverfahren
Exakte dynamische Programmierung
Für einen kurzen endlichen Horizont kann die Bellman-Rekursion direkt ausgewertet werden. Man beginnt beim letzten Entscheidungsschritt, berechnet für jeden relevanten Zustand die beste Aktion und arbeitet rückwärts bis zum Anfangszustand.
Der Ansatz ist konzeptionell klar, stößt aber schnell an Grenzen. Schon nach einer Aktion entstehen mehrere mögliche Folgezustände. Für jeden dieser Zustände müssen erneut alle Aktionen und Beobachtungszweige betrachtet werden. Außerdem ist die Menge möglicher Dichtematrizen kontinuierlich. Eine vollständige tabellarische Speicherung der Wertfunktion ist daher nicht möglich.
Exakte Verfahren eignen sich vor allem für kleine Hilberträume, wenige Aktionen, wenige Beobachtungen und kurze Horizonte. Sie sind dennoch wichtig, weil sie Referenzlösungen für Näherungsverfahren liefern und die Struktur optimaler Policies sichtbar machen.
Enumeration von Policy-Bäumen
Eine endliche Policy kann als Baum dargestellt werden. Jeder innere Knoten enthält eine Aktion, jede ausgehende Kante ein Beobachtungsergebnis. Nach einem Ergebnis folgt der entsprechende Teilbaum.
Bei \(|\mathcal{A}|\) Aktionen und \(|\Omega|\) Beobachtungen wächst die Zahl möglicher Bäume extrem schnell. Eine grobe Rekursion für die Anzahl deterministischer Policy-Bäume lautet
\(N_h = |\mathcal{A}|(N_{h-1})^{|\Omega|}\)
mit
\(N_1=|\mathcal{A}|\).
Die vollständige Enumeration ist daher nur für sehr kleine Probleme sinnvoll. Sie kann jedoch mit Schranken, Symmetrien und dem Entfernen dominierter Teilbäume kombiniert werden.
Diskretisierung des Zustandsraums
Ein naheliegender Ansatz ersetzt den kontinuierlichen Raum der Dichtematrizen durch eine endliche Menge repräsentativer Zustände. Die Wertfunktion wird nur an diesen Punkten berechnet und zwischen ihnen approximiert.
Die Qualität hängt stark von der Auswahl der Punkte ab. Eine gleichmäßige Diskretisierung wird bereits bei wenigen Qubits unpraktisch. Sinnvoller ist eine adaptive Auswahl in Bereichen, die vom Anfangszustand unter plausiblen Policies tatsächlich erreicht werden.
Als Abstand zwischen zwei Zuständen kann beispielsweise die Spurdistanz
\(D(\rho,\sigma)=\frac{1}{2}\mathrm{Tr}|\rho-\sigma|\)
verwendet werden. Nahe Zustände können gemeinsam approximiert werden, sofern die Belohnungs- und Übergangsfunktionen ausreichend regelmäßig reagieren.
Eine Diskretisierung benötigt Fehlerabschätzungen. Ohne solche Schranken ist unklar, ob eine numerisch gute Policy tatsächlich nahe am Optimum liegt oder lediglich auf dem gewählten Gitter gut erscheint.
Punktbasierte Planung
Klassische punktbasierte POMDP-Verfahren konzentrieren sich auf eine Stichprobe erreichbarer Belief States. Ein entsprechender QOMDP-Ansatz würde eine Menge erreichbarer Dichtematrizen erzeugen, dort lokale Bellman-Aktualisierungen durchführen und die Policy schrittweise verbessern.
Die Zustände können durch Simulation zufälliger oder heuristischer Policies gewonnen werden. Besonders informative Bereiche lassen sich häufiger abtasten. Dadurch wird Rechenleistung auf den Teil des Zustandsraums konzentriert, der für den gegebenen Anfangszustand tatsächlich relevant ist.
Die direkte Übertragung klassischer Verfahren ist jedoch nicht automatisch. Klassische POMDP-Wertfunktionen besitzen bei endlichem Horizont eine besondere stückweise lineare und konvexe Struktur über dem Belief Simplex. Im QOMDP muss geprüft werden, welche analogen Operator- oder Konvexitätseigenschaften erhalten bleiben und wie sie numerisch genutzt werden können.
Semidefinite Optimierung
Dichtematrizen und positive Operatoren erfüllen semidefinite Nebenbedingungen. Daher liegt der Einsatz semidefiniter Programme nahe. Ein typisches Problem optimiert eine lineare Funktion einer Matrix unter Bedingungen wie
\(X \geq 0\)
und
\(\mathrm{Tr}(X)=1\).
Semidefinite Optimierung kann bei der Bestimmung zulässiger Operationen, bei robusten Schranken, bei Zustandstrennung und in bestimmten quantum-MDP-Erweiterungen eingesetzt werden. Neuere allgemeine qMDP-Formulierungen verbinden dynamische Programmierung mit semidefiniten Optimierungsproblemen für offene und geschlossene Policy-Klassen.
Damit ist das allgemeine ursprüngliche QOMDP-Problem jedoch nicht vollständig gelöst. Nichtlineare Normierungen, diskrete Aktionsauswahl und verzweigte Beobachtungsfolgen können zu nichtkonvexen Gesamtproblemen führen. Semidefinite Relaxationen liefern dann Schranken oder Teilproblemlösungen statt einer universellen exakten Policy.
Monte-Carlo-Simulation
Eine feste Policy kann durch simulierte Quantentrajektorien bewertet werden. In jedem Schritt wird eine Aktion gewählt, ein Messergebnis gemäß seiner Wahrscheinlichkeit gezogen und der Zustand konditioniert aktualisiert. Der empirische Mittelwert der Rückgaben schätzt den Policy-Wert:
\(\hat{V}^{\pi}(\rho_0)=\frac{1}{N}\sum_{k=1}^{N}G_k\).
Monte-Carlo-Verfahren vermeiden eine vollständige Enumeration aller Zweige. Ihr Fehler sinkt jedoch nur mit wachsender Stichprobenzahl. Seltene, aber wichtige Ereignisse können schlecht erfasst werden. Das ist besonders problematisch, wenn eine Policy anhand sehr kleiner Fehlerwahrscheinlichkeiten oder nahezu perfekter Zielerreichung bewertet wird.
Varianzreduktion, Importance Sampling und gezielte Simulation kritischer Pfade können die Effizienz verbessern. Für formale Aussagen mit Wahrscheinlichkeit eins reichen endliche Stichproben grundsätzlich nicht aus.
Policy-Gradient-Verfahren
Eine Policy kann durch Parameter \(\theta\) beschrieben werden. Das Optimierungsziel lautet dann
\(J(\theta)=\mathbb{E}_{\pi_\theta}\left[\sum_{t=0}^{h-1}\gamma^t r_t\right]\).
Die Parameter werden in Richtung des geschätzten Gradienten angepasst:
\(\theta_{k+1}=\theta_k+\eta_k\nabla_\theta J(\theta_k)\).
Die Policy kann ein klassisches neuronales Netz, ein endlicher Controller oder eine parametrisierte Quantenschaltung sein. Eingaben können Dichtematrixmerkmale, Messhistorien oder komprimierte Zustandsschätzungen sein.
Gradientenverfahren skalieren oft besser als vollständige Planung, liefern aber im Allgemeinen keine globale Optimalitätsgarantie. Sie können in lokalen Optima enden, empfindlich auf Parametrisierung und Stichprobenrauschen reagieren und seltene Ereignisse übersehen.
Reinforcement Learning
Ist das vollständige QOMDP-Modell unbekannt, kann eine Policy aus Experimenten oder Simulationen lernen. Der Agent beobachtet Ergebnisse, erhält Belohnungen und passt seine Strategie an. Damit entsteht ein teilweise beobachtbares Reinforcement-Learning-Problem mit quantenmechanischer Umgebung.
Es müssen zwei unterschiedliche Bedeutungen von Quantum Reinforcement Learning getrennt werden. Erstens kann eine klassische Lernmethode eine Quantenumgebung steuern. Zweitens kann der Lernalgorithmus selbst quantenmechanische Rechenbausteine verwenden. Ein QOMDP setzt nur voraus, dass der kontrollierte Informationszustand und seine Operationen quantenmechanisch beschrieben werden. Es verlangt keinen Quantencomputer als Optimierer.
Modellfreies Lernen ist attraktiv, wenn eine präzise Systemidentifikation schwierig ist. Es benötigt jedoch viele Interaktionen. Bei teuren Experimenten, kurzen Kohärenzzeiten oder empfindlicher Hardware kann eine reine Versuch-und-Irrtum-Strategie unpraktisch sein. Häufig ist eine Kombination aus physikalischem Modell, Simulation, Transferlernen und begrenzter experimenteller Nachoptimierung sinnvoller.
Modellprädiktive Kontrolle
Die modellprädiktive Kontrolle löst in jedem Schritt ein endliches Planungsproblem über einen kurzen Horizont. Nur die erste Aktion wird ausgeführt. Nach dem neuen Messergebnis wird der Zustand aktualisiert und das Problem erneut gelöst.
Dieses Vorgehen verbindet Rückkopplung mit begrenztem Rechenaufwand. Es kann Modellfehler und unerwartete Ergebnisse laufend berücksichtigen. Der Planungshorizont muss jedoch lang genug sein, um den Wert informationsgewinnender Aktionen zu erfassen. Ist er zu kurz, bevorzugt das Verfahren unmittelbare Belohnungen und übersieht langfristige Vorteile.
Für Echtzeitanwendungen muss die Optimierung schneller abgeschlossen sein als die relevante Systemdynamik. Vorberechnete Policies, Näherungsmodelle und spezialisierte Hardware können die erforderliche Latenz reduzieren.
Hybride Verfahren
Praktische QOMDP-Steuerungen werden voraussichtlich überwiegend hybrid sein. Das Quantensystem erzeugt Zustände und Messergebnisse. Klassische Elektronik verarbeitet die Daten, aktualisiert einen Zustandsschätzer und wählt die nächste Aktion. Die Steuerimpulse werden anschließend wieder auf das Quantensystem angewendet.
Ein solcher Regelkreis besteht aus Quantendynamik, Messhardware, digitaler Signalverarbeitung, Optimierungssoftware und Aktuatorik. Die theoretisch optimale Policy kann wertlos sein, wenn ihre Berechnung oder Ausführung länger dauert als die Kohärenzzeit des Systems.
Deshalb müssen Lösungsverfahren nicht nur mathematisch genau, sondern auch hardwaregerecht sein. Rechenlatenz, Kalibrierungsaufwand, Messdauer, Pulsbeschränkungen und numerische Stabilität gehören zur realen Problemdefinition.
Anwendungen in der Quantentechnologie
Adaptive Quantenzustandspräparation
Bei der Zustandspräparation soll ein System aus einem bekannten oder teilweise bekannten Anfangszustand in einen Zielzustand überführt werden. Eine feste Pulsfolge kann genügen, wenn das Modell genau bekannt und die Dynamik zuverlässig ist. Bei Rauschen oder stochastischen Messresultaten kann eine adaptive Strategie überlegen sein.
Der Controller wählt eine Operation, beobachtet ein Ergebnis und entscheidet, ob eine weitere Korrektur, eine erneute Messung oder der Abschluss des Protokolls sinnvoll ist. Die Belohnung kann die Zielzustandsfidelität, die benötigte Zeit und den Ressourcenverbrauch kombinieren.
Für einen reinen Zielzustand kann die Fidelität als
\(F(\rho,|\psi_g\rangle)=\langle\psi_g|\rho|\psi_g\rangle\)
bewertet werden. Eine Policy muss dann nicht nur die erwartete Endfidelität maximieren, sondern möglicherweise auch Messkosten und Dekohärenz während eines längeren Protokolls berücksichtigen.
Adaptive Quantenmessung
Bei adaptiven Messungen wird die nächste Messbasis anhand früherer Ergebnisse gewählt. Ziel kann sein, einen unbekannten Zustand zu unterscheiden, einen Parameter zu schätzen oder mit möglichst wenigen Messungen eine Entscheidung zu treffen.
Eine frühe Messung kann den Raum plausibler Hypothesen verkleinern. Spätere Messungen werden gezielt dort empfindlich, wo noch Unsicherheit besteht. In einem QOMDP wird dieser Prozess als Folge von Instrumenten modelliert. Die Belohnung kann Informationsgewinn, Fehlerrate, Messzeit und Zustandsstörung einbeziehen.
Der Ansatz ist besonders relevant, wenn verschiedene Messungen nicht miteinander kompatibel sind. Die Wahl einer Basis bestimmt dann nicht nur die Qualität der aktuellen Information, sondern auch, welche Eigenschaften des Zustands danach noch verfügbar sind.
Quantenfeedbackkontrolle
Quantenfeedback verwendet laufende Messergebnisse, um ein System zu stabilisieren oder einer gewünschten Trajektorie folgen zu lassen. Beispiele sind die Stabilisierung eines Qubitzustands, die Kühlung eines Modus oder die Unterdrückung bestimmter Fehler.
Ein Controller muss zwischen Messstärke und Rückwirkung abwägen. Eine starke Messung lokalisiert den Zustand schnell, kann aber unerwünschte Sprünge oder Dekohärenz verursachen. Eine schwache kontinuierliche Messung liefert einen verrauschten Datenstrom, der durch einen Quantenfilter ausgewertet werden muss.
Diskrete QOMDPs modellieren solche Prozesse in Zeitschritten. Kontinuierliche Rückkopplung erfordert verwandte stochastische Kontrollmodelle, kann aber durch ausreichend kleine Zeitschritte angenähert werden.
Quantenfehlerkorrektur
Bei der Quantenfehlerkorrektur geben Syndrommessungen indirekte Hinweise auf aufgetretene Fehler. Das logische Quantenbit darf dabei nicht direkt gemessen werden. Die Beobachtung ist daher grundsätzlich partiell.
Ein einfacher Decoder wählt anhand des aktuellen Syndroms eine Korrektur. Ein adaptiver Controller kann zusätzlich frühere Syndrome, Fehlermodelle, Messfehler und den verbleibenden Rechenablauf berücksichtigen. Er entscheidet möglicherweise, ob eine Messung wiederholt, eine Korrektur sofort angewendet oder zunächst weitere Information gesammelt werden soll.
Ein QOMDP kann den verborgenen Fehlerzustand, die Messrückwirkung und die Auswahl von Korrekturoperationen gemeinsam modellieren. Für große Fehlerkorrekturcodes wird eine vollständige Dichtematrixdarstellung jedoch unpraktisch. Strukturierte Zustandsrepräsentationen und problemspezifische Decoder sind deshalb unverzichtbar.
Quantensensorik und Metrologie
Quantensensoren schätzen Größen wie Magnetfelder, Frequenzen, Phasen oder Beschleunigungen. Die Empfindlichkeit hängt von Präparation, Wechselwirkungszeit, Messbasis und Wiederholungsstrategie ab.
Eine adaptive Policy kann nach jeder Messung entscheiden, wie lange das System weiter evolvieren, welcher Kontrollpuls angewendet oder welche Basis gemessen werden soll. Kurze Wechselwirkungszeiten vermeiden Phasenmehrdeutigkeiten, während längere Zeiten höhere Empfindlichkeit liefern können. Eine optimale Strategie verbindet beide Bereiche.
Wird der unbekannte Parameter in den Informationszustand aufgenommen, entsteht ein erweitertes Bayes- oder QOMDP-Modell. Die Policy maximiert dann nicht nur eine physikalische Zustandsgröße, sondern den erwarteten Nutzen der Parameterschätzung.
Quantenkommunikation
In der Quantenkommunikation können adaptive Entscheidungen bei der Zustandsdiskriminierung, der Entanglement-Verteilung und der Auswahl von Wiederholungsstrategien auftreten. Ein Empfänger kann eine Folge schwacher oder bedingter Messungen durchführen, um nichtorthogonale Signalzustände möglichst zuverlässig zu unterscheiden.
In Quantennetzen müssen außerdem probabilistische Operationen wie Verschränkungserzeugung, Speicherung und Entanglement Swapping koordiniert werden. Knoten besitzen oft nur unvollständige Information über Speicherzustände, Kanalqualität und entfernte Operationen.
Ein vollständiges Netzmodell überschreitet häufig die einfache QOMDP-Struktur und führt zu verteilten oder multiagentischen Entscheidungsproblemen. Das Grundprinzip bleibt jedoch gleich: Aktionen verändern Quantenzustände, Beobachtungen liefern unvollständige Information, und die Policy optimiert den langfristigen Erfolg.
Autonome Quantenexperimente
Ein autonomes Experiment wählt selbstständig die nächste Präparation, Steuerung oder Messung. Ziel kann die Identifikation eines unbekannten Hamiltonoperators, die Kalibrierung eines Prozessors oder die Suche nach einer robusten Pulssequenz sein.
Das System muss entscheiden, welche Messung den größten erwarteten Erkenntnisgewinn besitzt. Gleichzeitig können Messzeit, Gerätestabilität und verfügbare Proben begrenzt sein. Ein QOMDP-artiger Ansatz bewertet Experimente nicht isoliert, sondern anhand ihrer Wirkung auf alle späteren Entscheidungen.
Damit wird aus einer statischen Parameterschätzung ein aktives Lernproblem. Das Experiment sammelt nicht wahllos Daten, sondern wählt gezielt jene Operationen, die für das aktuelle Wissen am wertvollsten sind.
Grenzen des QOMDP-Modells
Exponentielle Zustandsdimension
Die größte praktische Hürde ist die Dimension zusammengesetzter Quantensysteme. Eine allgemeine Dichtematrix für \(n\) Qubits besitzt \(2^n \times 2^n\) komplexe Matrixelemente. Selbst die Simulation einer einzelnen Policy kann dadurch aufwendig werden.
Große Systeme benötigen strukturierte Darstellungen. Dazu gehören Stabilisatorformalismen, Tensor-Netzwerke, Matrixproduktoperatoren, Niedrigrangapproximationen und problemspezifische Zustandsmodelle. Diese Verfahren nutzen besondere Eigenschaften des Systems, können aber nicht jede beliebige Dynamik effizient darstellen.
Modellwissen
Die formale QOMDP-Definition setzt voraus, dass Anfangszustand, Aktionen, Kraus-Operatoren und Belohnungen bekannt sind. Reale Hardware erfüllt diese Voraussetzung nur näherungsweise. Kontrollpulse weichen von ihrer Sollform ab, Messungen besitzen Drift, und Umgebungsrauschen kann zeitabhängig sein.
Eine Policy, die auf einem falschen Modell optimiert wurde, kann systematisch schlechte Entscheidungen treffen. Robuste Verfahren müssen deshalb Unsicherheitsmengen, Parameterschätzungen oder Online-Anpassungen einbeziehen.
Wird ein unbekannter Modellparameter \(\theta\) berücksichtigt, kann der Informationszustand als gemeinsame Beschreibung von Quantenzustand und Parameterwissen erweitert werden. Dies vergrößert den Zustandsraum erneut und kann das Problem wesentlich schwieriger machen.
Markov-Annahme
Ein QOMDP nimmt an, dass der aktuelle Informationszustand alle relevanten Einflüsse der Vergangenheit zusammenfasst. Offene Quantensysteme können jedoch nichtmarkovsche Dynamik besitzen. Eine Umgebung kann Information speichern und später an das System zurückgeben.
In solchen Fällen hängt die nächste Entwicklung nicht allein von der reduzierten Dichtematrix des Systems ab. Eine mögliche Lösung besteht darin, relevante Umgebungsfreiheitsgrade oder Gedächtnisvariablen in den Zustand aufzunehmen. Dadurch wird das erweiterte Modell wieder markovsch, aber größer.
Kenntnis des Quantenzustands
Die mathematische Zustandsverfolgung setzt voraus, dass alle relevanten Operationen und Beobachtungen bekannt sind. Bei ineffizienten Detektoren, verlorenen Messdaten oder unbekannten Störungen besitzt der Agent keine exakte Dichtematrix, sondern eine Schätzung.
Ein geschätzter Quantenzustand ist selbst mit Unsicherheit behaftet. Streng genommen kann daher eine Verteilung über mögliche Dichtematrizen erforderlich sein. Das führt zu einer zweiten Ebene partieller Beobachtbarkeit und entfernt sich vom einfachen QOMDP.
Physikalische Realisierbarkeit
Eine mathematisch zulässige vollständig positive Abbildung ist nicht automatisch auf einer gegebenen Plattform realisierbar. Hardware stellt nur bestimmte Pulse, Messungen, Kopplungen und Zeitauflösungen bereit. Hinzu kommen Energiegrenzen, Bandbreiten, Kalibrierungsfehler und Sicherheitsbeschränkungen.
Die Aktionsmenge muss daher aus tatsächlich ausführbaren Instrumenten bestehen. Eine theoretisch optimale Policy, die unrealistische Operationen voraussetzt, besitzt keinen praktischen Wert.
Fehlende Standardprobleme
Für klassische POMDPs existieren etablierte Benchmarks und Solver. Für QOMDPs fehlt eine vergleichbar breite Sammlung standardisierter Aufgaben. Dadurch sind Algorithmen schwer miteinander zu vergleichen.
Nützliche Benchmarks müssten Hilbertraumdimension, Aktionsmenge, Messstruktur, Rauschmodell, Zeithorizont und Zielkriterium eindeutig festlegen. Neben dem Policy-Wert sollten Rechenzeit, Speicherbedarf, Stichprobenzahl, Robustheit und Hardwarelatenz gemessen werden.
Kein automatischer Quantenvorteil
Die Bezeichnung QOMDP bedeutet nicht, dass die Lösung automatisch schneller auf einem Quantencomputer gefunden wird. Das Modell beschreibt zunächst das Entscheidungsproblem, nicht den Rechner, der es löst.
Ein klassischer Computer kann kleine QOMDPs simulieren und optimieren. Umgekehrt garantiert die Verwendung eines Quantenprozessors keinen Vorteil bei der Policy-Berechnung. Ein echter Quantenvorteil müsste für ein klar definiertes Problem, eine konkrete Eingabekodierung und einen realistischen Ressourcenvergleich nachgewiesen werden.
Forschungsperspektiven
Entscheidbare Teilklassen
Da allgemeine QOMDP-Probleme unentscheidbar sein können, ist die Identifikation beherrschbarer Teilklassen zentral. Mögliche Einschränkungen sind endliche Horizonte, kommutierende Kraus-Operatoren, fest begrenzte Policy-Tiefen oder Dynamiken, die einen endlich beschreibbaren Zustandsraum erhalten.
Besonders interessant sind Klassen, die echte quantenmechanische Effekte enthalten, aber dennoch berechenbare Garantien erlauben. Eine zu starke Einschränkung könnte das Modell auf einen klassischen Prozess reduzieren. Die Forschung muss daher zwischen mathematischer Handhabbarkeit und quantenmechanischer Ausdruckskraft abwägen.
Kompakte Zustandsrepräsentationen
Skalierbare QOMDP-Verfahren benötigen Darstellungen, deren Aufwand nicht mit der vollständigen Dichtematrix wächst. Niedrigrangige Zustände können durch wenige Eigenvektoren angenähert werden. Schwach verschränkte Vielteilchensysteme können sich für Tensor-Netzwerke eignen. Fehlerkorrekturprobleme können durch Syndrome und logische Zustandsvariablen komprimiert werden.
Eine Kompression ist nur dann brauchbar, wenn sie unter den relevanten Aktionen stabil bleibt. Erzeugt eine Operation starke Verschränkung oder erhöht den Rang schnell, kann eine zuvor effiziente Darstellung zusammenbrechen.
Robuste QOMDPs
Robuste Modelle berücksichtigen, dass Quantenkanäle und Messoperatoren nicht exakt bekannt sind. Statt einer einzelnen Operation wird eine Menge möglicher Operationen betrachtet. Eine konservative Policy kann den schlechtesten Fall optimieren:
\(\max_\pi \min_{\mathcal{Q} \in \mathfrak{Q}}V^\pi_{\mathcal{Q}}(\rho_0)\).
Alternativ kann eine Wahrscheinlichkeitsverteilung über Modelle verwendet werden. Die Policy maximiert dann den Bayes-Erwartungswert und sammelt zugleich Information über das tatsächliche Modell.
Robustheit ist besonders wichtig für langfristige Steuerungen. Kleine systematische Modellfehler können sich über viele Schritte verstärken und eine nominell optimale Policy unbrauchbar machen.
Sichere Quantenkontrolle
In vielen Anwendungen reicht die Maximierung einer mittleren Belohnung nicht aus. Bestimmte Zustände oder Operationen müssen mit hoher Sicherheit vermieden werden. Eine Policy kann beispielsweise eine hohe durchschnittliche Fidelität erreichen, zugleich aber eine kleine Wahrscheinlichkeit katastrophaler Zustände besitzen.
Ein beschränktes Optimierungsproblem kann die Form
\(\max_\pi V^\pi(\rho_0)\)
unter der Bedingung
\(\Pr_\pi(\text{unerlaubtes Ereignis}) \leq \delta\)
besitzen. Solche Chance Constraints verbinden QOMDPs mit formaler Verifikation und risikosensitiver Kontrolle.
Verbindung zum Quantum Reinforcement Learning
QOMDPs können als theoretische Grundlage für Reinforcement Learning in kontrollierten Quantensystemen dienen. Sie präzisieren, was der Zustand, eine Beobachtung und eine Aktion physikalisch bedeuten. Dadurch lassen sich Lernalgorithmen besser von bloßen Black-Box-Optimierungen unterscheiden.
Ein wichtiges Forschungsthema ist die Frage, welche Struktur einer Dichtematrix eine Policy tatsächlich benötigt. Statt alle Matrixelemente als Eingabe zu verwenden, könnten physikalisch relevante Erwartungswerte, Syndrome oder latente Merkmale genügen.
Ebenso offen ist, wann parametrisierte Quantenschaltungen als Policy oder Wertfunktionsapproximator einen nachweisbaren Vorteil bieten. Ohne einen solchen Nachweis bleibt ihre Verwendung eine alternative Parametrisierung, nicht automatisch eine effizientere Lösung.
Multiagentische und verteilte Modelle
Quantennetzwerke bestehen aus räumlich getrennten Knoten mit lokalen Messmöglichkeiten. Kein einzelner Agent besitzt sofort alle Informationen. Entscheidungen müssen mit begrenzter klassischer Kommunikation koordiniert werden.
Ein verteiltes QOMDP müsste lokale Beobachtungen, gemeinsame Quantenzustände, Verschränkung und Kommunikationsverzögerungen erfassen. Dadurch entsteht eine Verbindung zu Decentralized POMDPs, nichtlokalen Korrelationen und verteilter Quantenkontrolle.
Die Komplexität solcher Modelle dürfte erheblich über der eines zentralisierten QOMDP liegen. Zugleich sind sie für Quantenrepeater, modulare Prozessoren und verteilte Sensoren besonders relevant.
Experimentelle Validierung
Der Wert eines QOMDP-Verfahrens muss letztlich an realer Hardware gezeigt werden. Eine überzeugende Demonstration benötigt mehr als eine hohe simulierte Belohnung. Sie muss gegenüber sinnvollen Baselines Vorteile bei Fidelität, Zeit, Energie, Messzahl oder Robustheit nachweisen.
Außerdem muss der gesamte Regelkreis berücksichtigt werden. Dazu gehören Zustandsschätzung, Kommunikation, Rechenzeit, Signalwandlung und Aktionsausführung. Ein theoretischer Vorteil kann durch zusätzliche Latenz oder Kalibrierungsaufwand vollständig aufgehoben werden.
Standardisierung und Software
Eine reife QOMDP-Forschung benötigt einheitliche Datenformate für Zustände, Instrumente, Belohnungsoperatoren und Policies. Referenzimplementierungen sollten kleine exakte Solver, Simulatoren für Quantentrajektorien und Schnittstellen zu Optimierungsbibliotheken bereitstellen.
Ebenso wichtig sind nachvollziehbare Tests. Ergebnisse sollten mit festen Zufallskeimen, dokumentierten numerischen Toleranzen und eindeutig definierten Hardwaremodellen reproduzierbar sein.
Standardisierung würde nicht nur den Vergleich von Algorithmen erleichtern. Sie würde auch sichtbar machen, welche Probleme tatsächlich QOMDP-Struktur benötigen und welche mit einfacheren Kontrollmodellen ausreichend beschrieben werden können.
Schlussfolgerung
Quantum Partially Observable Markov Decision Processes liefern einen präzisen Rahmen für adaptive Entscheidungen in Quantensystemen. Ihr Zustand ist eine Dichtematrix, ihre Aktionen sind Quanteninstrumente, ihre Beobachtungen entsprechen möglichen Operationsausgängen, und ihre Belohnungen können als Erwartungswerte hermitescher Operatoren formuliert werden.
Die zentrale Dynamik eines QOMDP besteht aus drei Schritten: Der Agent wählt eine Aktion, erhält ein quantenmechanisch verteiltes Ergebnis und aktualisiert den Zustand auf den entsprechenden posterioren Zweig. Die nächste Entscheidung hängt von diesem aktualisierten Informationszustand ab. Kontrolle, Messung und Informationsgewinn bilden dadurch ein einziges Optimierungsproblem.
QOMDPs erweitern klassische POMDPs, indem sie klassische Wahrscheinlichkeitsverteilungen durch allgemeine Dichtematrizen und stochastische Übergänge durch Quantenoperationen ersetzen. Diagonale Zustände und kohärenzfreie Operationen bilden den klassischen Spezialfall. Nichtkommutativität und Interferenz führen jedoch zu Eigenschaften, die kein gewöhnlicher Belief State besitzt.
Die Theorie zeigt zugleich klare Grenzen. Das Policy-Existenzproblem bei polynomialem Horizont ist bereits PSPACE-vollständig. Bei unendlichem Horizont treten unentscheidbare Probleme auf. Besonders deutlich ist die perfekte Zielerreichbarkeit: Sie ist für klassische Ziel-POMDPs entscheidbar, für allgemeine Ziel-QOMDPs jedoch unentscheidbar.
Für praktische Anwendungen folgt daraus keine Nutzlosigkeit, sondern die Notwendigkeit klarer Einschränkungen. Kurze Horizonte, strukturierte Zustände, begrenzte Aktionsmengen, Näherungsverfahren und hybride Regelkreise machen konkrete Probleme behandelbar. Dynamische Programmierung, Sampling, semidefinite Optimierung, modellprädiktive Kontrolle und Reinforcement Learning liefern unterschiedliche Werkzeuge, aber kein einzelnes Verfahren löst alle QOMDPs.
Besonders relevant ist das Modell für adaptive Messungen, Zustandspräparation, Quantenfeedback, Fehlerkorrektur, Quantensensorik, Kommunikation und autonome Experimente. In all diesen Bereichen beeinflussen Entscheidungen nicht nur den Zustand, sondern auch die Qualität der zukünftigen Information.
Der langfristige Nutzen von QOMDPs hängt von drei Fortschritten ab: skalierbaren Zustandsrepräsentationen, robusten Algorithmen für unvollständige Modelle und experimentellen Nachweisen eines tatsächlichen Vorteils. QOMDPs sind damit weniger ein fertiges Standardwerkzeug als ein grundlegender theoretischer Rahmen. Sie zeigen präzise, wie adaptive Entscheidungen formuliert werden müssen, wenn die kontrollierte Umwelt selbst quantenmechanisch ist.
Mit freundlichen Grüßen
Anhang
Wissenschaftliche Zeitschriften und Artikel
Die nachfolgende Auswahl verbindet die grundlegende Primärliteratur zu Quantum Partially Observable Markov Decision Processes mit Arbeiten über klassische POMDPs, Quantum Markov Decision Processes, Quantenmessungen, Erreichbarkeitsanalysen und Quantenfeedback. Die Quellen eignen sich sowohl zur Absicherung der formalen Definitionen als auch zur Einordnung der algorithmischen und komplexitätstheoretischen Grenzen von QOMDPs.
Grundlegende Primärliteratur zu Quantum Partially Observable Markov Decision Processes
- Jennifer Barry, Daniel T. Barry und Scott Aaronson: Quantum Partially Observable Markov Decision Processes, Physical Review A, Band 90, Artikel 032311, 2014.
- Diese Arbeit führt QOMDPs als quantenmechanische Entsprechung klassischer POMDPs ein. Sie definiert Quantenzustände als Informationszustände, Aktionen als auswählbare Superoperatoren und Beobachtungen als Ergebnisse quantenmechanischer Operationen. Für eine wissenschaftliche Abhandlung ist sie die zentrale Primärquelle für die Definition des Modells, die Policy-Struktur, die Wertberechnung und den Vergleich zwischen klassischen und quantenmechanischen Zielerreichbarkeitsproblemen.
- URL: https://journals.aps.org/...
- arXiv: https://arxiv.org/...
- DOI: https://doi.org/...
- Diese Arbeit führt QOMDPs als quantenmechanische Entsprechung klassischer POMDPs ein. Sie definiert Quantenzustände als Informationszustände, Aktionen als auswählbare Superoperatoren und Beobachtungen als Ergebnisse quantenmechanischer Operationen. Für eine wissenschaftliche Abhandlung ist sie die zentrale Primärquelle für die Definition des Modells, die Policy-Struktur, die Wertberechnung und den Vergleich zwischen klassischen und quantenmechanischen Zielerreichbarkeitsproblemen.
- Naci Saldi, Sina Sanjari und Serdar Yüksel: Quantum Markov Decision Processes: General Theory, Approximations, and Classes of Policies, SIAM Journal on Control and Optimization, Band 63, Ausgabe 2, Seiten 1156–1183, 2025.
- Die Autoren entwickeln einen allgemeinen Rahmen für Quantum Markov Decision Processes und vergleichen ihn ausdrücklich mit früheren QOMDP-Modellen. Die Arbeit behandelt quantenmechanische Zustands- und Aktionsräume, dynamische Programmierung, Markov-Policies, offene Steuerungen, rückgekoppelte Strategien und endliche Approximationen. Sie ist besonders wichtig, um QOMDPs in die breitere Entwicklung quantenmechanischer Entscheidungsmodelle einzuordnen und terminologische Unterschiede zwischen verschiedenen qMDP-Definitionen korrekt darzustellen.
- URL: https://epubs.siam.org/...
- arXiv: https://arxiv.org/...
- DOI: https://doi.org/...
- Die Autoren entwickeln einen allgemeinen Rahmen für Quantum Markov Decision Processes und vergleichen ihn ausdrücklich mit früheren QOMDP-Modellen. Die Arbeit behandelt quantenmechanische Zustands- und Aktionsräume, dynamische Programmierung, Markov-Policies, offene Steuerungen, rückgekoppelte Strategien und endliche Approximationen. Sie ist besonders wichtig, um QOMDPs in die breitere Entwicklung quantenmechanischer Entscheidungsmodelle einzuordnen und terminologische Unterschiede zwischen verschiedenen qMDP-Definitionen korrekt darzustellen.
- Naci Saldi, Sina Sanjari und Serdar Yüksel: Quantum Markov Decision Processes: Dynamic and Semi-Definite Programs for Optimal Solutions, Applied Mathematics & Optimization, Band 93, Artikel 39, 2026.
- Diese Fortsetzung konzentriert sich auf die Berechnung optimaler Wertfunktionen und Policies. Sie verbindet dynamische Programmierung mit semidefiniter Optimierung und untersucht offene sowie klassisch zustandserhaltende geschlossene Policies. Die Quelle eignet sich für Abschnitte über moderne Lösungsverfahren, stationäre Strategien, Optimierungsdualität und die algorithmische Weiterentwicklung über das ursprüngliche QOMDP-Modell hinaus.
- URL: https://link.springer.com/...
- arXiv: https://arxiv.org/...
- DOI: https://doi.org/...
- Diese Fortsetzung konzentriert sich auf die Berechnung optimaler Wertfunktionen und Policies. Sie verbindet dynamische Programmierung mit semidefiniter Optimierung und untersucht offene sowie klassisch zustandserhaltende geschlossene Policies. Die Quelle eignet sich für Abschnitte über moderne Lösungsverfahren, stationäre Strategien, Optimierungsdualität und die algorithmische Weiterentwicklung über das ursprüngliche QOMDP-Modell hinaus.
Spezialisierte Arbeiten zu Quantum Markov Decision Processes und optimalen Policies
- Shenggang Ying und Mingsheng Ying: Reachability Analysis of Quantum Markov Decision Processes, Information and Computation, Band 263, Seiten 31–51, 2018.
- Die Arbeit führt ein qMDP-Modell zur Analyse nichtdeterministischer und nebenläufiger Quantenprogramme ein. Im Mittelpunkt stehen Erreichbarkeitsprobleme für endliche und unendliche Horizonte, ihre Entscheidbarkeit und ihre Komplexität. Die Quelle sollte zur Abgrenzung des QOMDP-Ansatzes von verifikationsorientierten qMDPs sowie zur Vertiefung von Zielzuständen, Schedulern und optimalen Erreichbarkeitswahrscheinlichkeiten verwendet werden.
- URL: https://www.sciencedirect.com/...
- arXiv: https://arxiv.org/...
- DOI: https://doi.org/...
- Die Arbeit führt ein qMDP-Modell zur Analyse nichtdeterministischer und nebenläufiger Quantenprogramme ein. Im Mittelpunkt stehen Erreichbarkeitsprobleme für endliche und unendliche Horizonte, ihre Entscheidbarkeit und ihre Komplexität. Die Quelle sollte zur Abgrenzung des QOMDP-Ansatzes von verifikationsorientierten qMDPs sowie zur Vertiefung von Zielzuständen, Schedulern und optimalen Erreichbarkeitswahrscheinlichkeiten verwendet werden.
- Mingsheng Ying, Yuan Feng und Shenggang Ying: Optimal Policies for Quantum Markov Decision Processes, International Journal of Automation and Computing, Band 18, Seiten 410–421, 2021.
- Diese Arbeit untersucht die Konstruktion optimaler Policies in einem Quantum-Markov-Decision-Process-Modell mit unterschiedlichen Klassen quantenmechanischer Operationen. Sie ist hilfreich, um die Begriffe Policy, Aktionsauswahl und Optimalität über die ursprüngliche QOMDP-Definition hinaus zu vergleichen und die Unterschiede zwischen offenen Aktionsfolgen, Schedulern und zustandsabhängigen Strategien herauszuarbeiten.
- Christino Tamon: A Note on Quantum Markov Models, arXiv, 2019.
- Die Notiz diskutiert die Beziehung zwischen klassischen Markov-Modellen, Belief-State-MDPs und den von Barry, Barry und Aaronson eingeführten QOMDPs. Sie eignet sich als ergänzende Spezialliteratur für eine begriffliche Einordnung des quantenmechanischen Informationszustands und für die Frage, in welchem Sinn ein QOMDP als strikte Erweiterung eines klassischen Belief-State-Prozesses verstanden werden kann.
- arXiv: https://arxiv.org/...
- Die Notiz diskutiert die Beziehung zwischen klassischen Markov-Modellen, Belief-State-MDPs und den von Barry, Barry und Aaronson eingeführten QOMDPs. Sie eignet sich als ergänzende Spezialliteratur für eine begriffliche Einordnung des quantenmechanischen Informationszustands und für die Frage, in welchem Sinn ein QOMDP als strikte Erweiterung eines klassischen Belief-State-Prozesses verstanden werden kann.
Spezialisierte Arbeiten zu Unentscheidbarkeit und Komplexität
- Jens Eisert, Martin P. Müller und Christian Gogolin: Quantum Measurement Occurrence Is Undecidable, Physical Review Letters, Band 108, Artikel 260501, 2012.
- Die Arbeit beweist die Unentscheidbarkeit des Quantum Measurement Occurrence Problem. Dieses Ergebnis bildet die zentrale theoretische Grundlage für den späteren Nachweis, dass die perfekte Zielerreichbarkeit in allgemeinen Ziel-QOMDPs unentscheidbar ist. Die Quelle ist unverzichtbar, wenn die Abhandlung erklären soll, warum Interferenz und Produkte von Kraus-Operatoren zu einer fundamentalen Trennung zwischen klassischen und quantenmechanischen Entscheidungsproblemen führen.
- URL: https://journals.aps.org/...
- arXiv: https://arxiv.org/...
- DOI: https://doi.org/...
- Die Arbeit beweist die Unentscheidbarkeit des Quantum Measurement Occurrence Problem. Dieses Ergebnis bildet die zentrale theoretische Grundlage für den späteren Nachweis, dass die perfekte Zielerreichbarkeit in allgemeinen Ziel-QOMDPs unentscheidbar ist. Die Quelle ist unverzichtbar, wenn die Abhandlung erklären soll, warum Interferenz und Produkte von Kraus-Operatoren zu einer fundamentalen Trennung zwischen klassischen und quantenmechanischen Entscheidungsproblemen führen.
- Christos H. Papadimitriou und John N. Tsitsiklis: The Complexity of Markov Decision Processes, Mathematics of Operations Research, Band 12, Ausgabe 3, Seiten 441–450, 1987.
- Diese grundlegende Komplexitätsarbeit zeigt unter anderem, dass die betrachtete endliche Planung mit partiell beobachtbaren Zuständen PSPACE-vollständig ist. Sie liefert den klassischen Ausgangspunkt für die Komplexitätsaussagen zu QOMDPs. In der Abhandlung kann sie zur präzisen Begründung verwendet werden, weshalb die Quantenerweiterung bereits die vollständige Schwierigkeit klassischer POMDPs enthält.
- Omid Madani, Steve Hanks und Anne Condon: On the Undecidability of Probabilistic Planning and Infinite-Horizon Partially Observable Markov Decision Problems, Proceedings of the Sixteenth National Conference on Artificial Intelligence, AAAI Press, 1999.
- Die Autoren untersuchen die Berechenbarkeit probabilistischer Planung und unendlicher POMDPs. Die Arbeit ist als klassische Hintergrundquelle für Unentscheidbarkeitsaussagen bei unendlichem Horizont wichtig. Sie ermöglicht eine saubere Trennung zwischen der bereits im klassischen Modell auftretenden Unentscheidbarkeit bestimmter Wertprobleme und der spezifisch quantenmechanischen Unentscheidbarkeit perfekter Zielerreichbarkeit.
- URL: https://aaai.org/...
- Die Autoren untersuchen die Berechenbarkeit probabilistischer Planung und unendlicher POMDPs. Die Arbeit ist als klassische Hintergrundquelle für Unentscheidbarkeitsaussagen bei unendlichem Horizont wichtig. Sie ermöglicht eine saubere Trennung zwischen der bereits im klassischen Modell auftretenden Unentscheidbarkeit bestimmter Wertprobleme und der spezifisch quantenmechanischen Unentscheidbarkeit perfekter Zielerreichbarkeit.
Hintergrundliteratur zu klassischen POMDPs
- Leslie Pack Kaelbling, Michael L. Littman und Anthony R. Cassandra: Planning and Acting in Partially Observable Stochastic Domains, Artificial Intelligence, Band 101, Ausgaben 1–2, Seiten 99–134, 1998.
- Der Artikel bietet eine systematische Einführung in klassische MDPs und POMDPs, Belief States, Beobachtungsmodelle, Wertfunktionen und endliche Controller. Für eine QOMDP-Abhandlung ist er die wichtigste Hintergrundquelle, um das klassische Referenzmodell zu erklären, bevor Dichtematrizen und Quantenoperationen eingeführt werden.
- Edward J. Sondik: The Optimal Control of Partially Observable Markov Processes over the Infinite Horizon: Discounted Costs, Operations Research, Band 26, Ausgabe 2, Seiten 282–304, 1978.
- Diese klassische Arbeit behandelt die optimale Steuerung partiell beobachtbarer Markov-Prozesse über einen unendlichen diskontierten Horizont. Sie ist besonders relevant für Wertfunktionen über Belief States, stückweise lineare Kostenfunktionen, Policy-Approximationen und die Verbindung zwischen POMDPs und dynamischer Programmierung.
Hintergrundliteratur zu Quantenfilterung und Feedbackkontrolle
- Luc Bouten, Ramon van Handel und Matthew R. James: An Introduction to Quantum Filtering, SIAM Journal on Control and Optimization, Band 46, Ausgabe 6, Seiten 2199–2241, 2007.
- Der Artikel führt in die Theorie der Quantenfilterung ein und erklärt, wie aus fortlaufenden, unvollständigen Messergebnissen ein konditionierter Quantenzustand bestimmt wird. Für die Abhandlung ist die Quelle besonders wertvoll, um den Informationszustand eines QOMDP mit realen Problemen der Zustandsschätzung, kontinuierlichen Messung und rückgekoppelten Quantenkontrolle zu verbinden.
- Ramon van Handel: Stabilizing Feedback Controls for Quantum Systems, SIAM Journal on Control and Optimization, Band 47, Ausgabe 5, Seiten 2477–2505, 2009.
- Die Arbeit untersucht die Stabilisierung von Quantensystemen unter partieller Beobachtung und macht deutlich, weshalb Quantenfeedback auf einem geeigneten konditionierten Zustand beziehungsweise Quantenfilter aufbauen muss. Sie kann zur fachlichen Vertiefung der QOMDP-Anwendungen in Feedbackregelung, Zustandsstabilisierung und adaptiver Kontrolle herangezogen werden.
Bücher und Monographien
Die folgenden Standardwerke decken die mathematischen und physikalischen Grundlagen ab, die zum Verständnis von QOMDPs erforderlich sind. Dazu gehören Dichtematrizen, Quantenkanäle, verallgemeinerte Messungen, offene Quantensysteme, stochastische Kontrolle, dynamische Programmierung, POMDPs und lernbasierte Policy-Optimierung.
Standardwerke zur Quanteninformation
- Michael A. Nielsen und Isaac L. Chuang: Quantum Computation and Quantum Information, 10th Anniversary Edition, Cambridge University Press, 2010.
- Das Werk ist die grundlegende Referenz für Dichtematrizen, Quantenoperationen, Kraus-Darstellungen, POVMs, Quantenkanäle und Messprozesse. Diese Begriffe bilden das mathematische Vokabular eines QOMDP. Das Buch sollte vor allem zur Absicherung der quanteninformationstheoretischen Definitionen und der physikalischen Zulässigkeitsbedingungen von Aktionen verwendet werden.
- John Watrous: The Theory of Quantum Information, Cambridge University Press, 2018.
- Watrous bietet eine besonders präzise mathematische Darstellung von Quantenzuständen, Kanälen, Messungen, vollständig positiven Abbildungen und semidefiniter Optimierung. Das Werk eignet sich für formale Definitionen und Beweise sowie für die mathematische Einordnung von QOMDP-Aktionen als Quanteninstrumente.
Standardwerke zu Quantenmessung und Quantenkontrolle
- Howard M. Wiseman und Gerard J. Milburn: Quantum Measurement and Control, Cambridge University Press, 2010.
- Das Buch verbindet Quantenmessungen, stochastische Zustandstrajektorien, adaptive Messverfahren und Feedbackkontrolle. Es ist besonders geeignet, um die Messrückwirkung und den Konflikt zwischen Informationsgewinn und Zustandsstörung zu erklären, der QOMDPs von klassischen POMDPs unterscheidet.
- Kurt Jacobs: Quantum Measurement Theory and Its Applications, Cambridge University Press, 2014.
- Jacobs behandelt die Theorie verallgemeinerter Quantenmessungen und ihre Anwendungen in Informationsgewinn, kontinuierlicher Beobachtung und Feedbacksteuerung. Die Monographie kann genutzt werden, um QOMDP-Beobachtungen physikalisch zu interpretieren und adaptive Messstrategien als konkrete Anwendungsfälle des Modells darzustellen.
- Heinz-Peter Breuer und Francesco Petruccione: The Theory of Open Quantum Systems, Oxford University Press, 2002.
- Das Standardwerk behandelt die Dynamik offener Quantensysteme, Mastergleichungen, Dekohärenz, Quantenoperationen und stochastische Methoden. Es liefert den physikalischen Hintergrund für nichtunitäre QOMDP-Aktionen und für Modelle, in denen Rauschen, Dissipation und Umweltkopplungen berücksichtigt werden.
Standardwerke zu Markov-Entscheidungsprozessen und stochastischer Kontrolle
- Martin L. Puterman: Markov Decision Processes: Discrete Stochastic Dynamic Programming, Wiley, 1994.
- Puterman bietet eine umfassende Darstellung klassischer Markov-Entscheidungsprozesse, Bellman-Gleichungen, stationärer Policies, endlicher und unendlicher Horizonte sowie dynamischer Programmierung. Das Werk sollte als Referenz für die klassischen MDP-Grundlagen dienen, auf denen POMDPs und QOMDPs aufbauen.
- Dimitri P. Bertsekas und Steven E. Shreve: Stochastic Optimal Control: The Discrete-Time Case, Athena Scientific, 1996; Erstausgabe Academic Press, 1978.
- Diese Monographie behandelt die mathematischen Grundlagen diskreter stochastischer Kontrolle, Informationszustände, Optimalitätsgleichungen und messbare Policies. Sie ist besonders hilfreich, wenn die QOMDP-Darstellung über eine rein anschauliche Erklärung hinaus mathematisch in die allgemeine Kontrolltheorie eingeordnet werden soll.
Standardwerke zu Reinforcement Learning und Policy-Optimierung
- Richard S. Sutton und Andrew G. Barto: Reinforcement Learning: An Introduction, 2. Auflage, MIT Press, 2018.
- Das Buch vermittelt Wertfunktionen, dynamische Programmierung, Monte-Carlo-Verfahren, Temporal-Difference-Lernen, Policy-Gradienten und Exploration. Es dient als Hintergrundliteratur für Abschnitte über lernbasierte QOMDP-Policies. Dabei sollte deutlich bleiben, dass ein QOMDP eine quantenmechanische Umgebung beschreibt, während der verwendete Lernalgorithmus klassisch oder quantenmechanisch implementiert sein kann.
Vorlesungsnotizen und Monographie-nahe Ressourcen
- John Preskill: Quantum Computation and Quantum Information, Vorlesungsnotizen zu Ph/CS 219, California Institute of Technology, fortlaufend aktualisiert.
- Preskills Lehrmaterial bietet eine forschungsnahe Einführung in Quantenzustände, Quantenkanäle, Messungen, Quantenfehlerkorrektur und Quanteninformation. Die Notizen eignen sich zur begrifflichen Vertiefung und als ergänzende Quelle für Beispiele, sollten bei zentralen Aussagen jedoch gemeinsam mit begutachteter Primärliteratur oder etablierten Monographien verwendet werden.
- John Watrous: Understanding Quantum Information and Computation, Vorlesungskurs und schriftliche Lehrmaterialien, 2025.
- Der Kurs führt systematisch in Dichtematrizen, Quantenkanäle, allgemeine Messungen, Quantenalgorithmen und Fehlerkorrektur ein. Die Ressource ist besonders hilfreich, um mathematisch anspruchsvolle Begriffe aus der Quanteninformation nachvollziehbar vorzubereiten, bevor sie im QOMDP-Kontext verwendet werden.
- arXiv: https://arxiv.org/...
- Der Kurs führt systematisch in Dichtematrizen, Quantenkanäle, allgemeine Messungen, Quantenalgorithmen und Fehlerkorrektur ein. Die Ressource ist besonders hilfreich, um mathematisch anspruchsvolle Begriffe aus der Quanteninformation nachvollziehbar vorzubereiten, bevor sie im QOMDP-Kontext verwendet werden.
Online-Ressourcen und Datenbanken
Online-Ressourcen erfüllen im Rahmen einer wissenschaftlichen Abhandlung unterschiedliche Aufgaben. Fachjournalarchive liefern begutachtete Originalarbeiten, Preprint-Server ermöglichen den Zugang zu Manuskriptversionen, bibliografische Datenbanken helfen bei der Quellenprüfung, und Forschungssoftware unterstützt Simulationen und numerische Experimente. Online-Inhalte sollten nach ihrem wissenschaftlichen Status unterschieden und nicht pauschal wie peer-reviewte Literatur behandelt werden.
Fachjournale und Verlage
- American Physical Society: Physical Review A und Physical Review Letters, Fachjournalarchive, fortlaufend aktualisiert.
- Die APS-Archive enthalten die zentrale QOMDP-Primärarbeit sowie die grundlegende Veröffentlichung zur Unentscheidbarkeit des Quantum Measurement Occurrence Problem. Sie sollten für bibliografische Angaben, Veröffentlichungsdaten, DOI-Prüfung und die verbindliche Journalfassung verwendet werden.
- Society for Industrial and Applied Mathematics: SIAM Journals, Fachjournalarchiv für angewandte Mathematik, Optimierung und Kontrolltheorie, fortlaufend aktualisiert.
- Das Archiv enthält wichtige Arbeiten zu Quantum Markov Decision Processes, Quantenfilterung, Feedbackkontrolle, dynamischer Programmierung und semidefiniter Optimierung. Es eignet sich besonders für die mathematische und kontrolltheoretische Vertiefung des QOMDP-Themas.
- Springer Nature: SpringerLink, Fachliteratur- und Journalplattform, fortlaufend aktualisiert.
- SpringerLink bietet Zugriff auf Arbeiten zu optimalen qMDP-Policies, semidefiniter Optimierung, Quantenkontrolle und angewandter Mathematik. Die Plattform eignet sich zur Recherche veröffentlichter Journalfassungen und zur Überprüfung von Band-, Artikel- und DOI-Angaben.
- Elsevier: ScienceDirect, Fachjournal- und Literaturplattform, fortlaufend aktualisiert.
- ScienceDirect enthält wesentliche Literatur zu klassischen POMDPs, Reachability Analysis für qMDPs, Information and Computation sowie Artificial Intelligence. Die Plattform sollte zur Kontrolle der veröffentlichten Fassungen und bibliografischen Metadaten verwendet werden.
Wissenschaftliche Such- und Nachweisdatenbanken
- arXiv: Quantum Physics und Artificial Intelligence, Preprint-Archiv, fortlaufend aktualisiert.
- arXiv enthält frei zugängliche Manuskriptfassungen der grundlegenden QOMDP-Arbeit, des Quantum Measurement Occurrence Problem sowie zahlreicher qMDP- und Quantenkontrollarbeiten. Die Plattform ist für die Recherche und den Volltextzugang wertvoll. Bei bibliografischen Angaben sollte nach Möglichkeit geprüft werden, ob zusätzlich eine begutachtete Journalfassung existiert.
- Crossref: Metadata Search und DOI-Nachweisdienst, fortlaufend aktualisiert.
- Crossref eignet sich zur Überprüfung von DOI, Autorennamen, Titeln, Journalen und Veröffentlichungsjahren. Die Datenbank ist besonders nützlich, um Übertragungsfehler in einem Literaturverzeichnis zu vermeiden und Preprints von veröffentlichten Fassungen zu unterscheiden.
- zbMATH Open: Mathematische Literatur- und Referenzdatenbank, fortlaufend aktualisiert.
- zbMATH Open ist besonders für die Recherche zu dynamischer Programmierung, Matrixproblemen, Entscheidbarkeit, semidefiniter Optimierung und stochastischer Kontrolle geeignet. Die Datenbank ergänzt physikalische Literaturquellen um eine mathematische Perspektive und hilft bei der Suche nach verwandten Theoremen und Übersichtsarbeiten.
Lern- und Forschungsplattformen
- QuTiP Project: QuTiP – Quantum Toolbox in Python, Open-Source-Forschungssoftware, fortlaufend aktualisiert.
- QuTiP unterstützt die Simulation geschlossener und offener Quantensysteme, Dichtematrizen, Quantenkanäle, Mastergleichungen und stochastischer Quantentrajektorien. Für QOMDPs kann die Software verwendet werden, um zustandsabhängige Aktionen, Messzweige und verrauschte Dynamiken numerisch zu untersuchen. Sie ist ein Simulationswerkzeug und ersetzt keine theoretische Quelle.
- JuliaPOMDP Community: POMDPs.jl, Softwareframework für MDPs und POMDPs, fortlaufend aktualisiert.
- POMDPs.jl stellt Schnittstellen für klassische MDP- und POMDP-Modelle, Solver und Simulationen bereit. Das Framework kann als Ausgangspunkt für experimentelle QOMDP-Implementierungen dienen, wenn Dichtematrizen und Quanteninstrumente in eine angepasste Zustands- und Übergangslogik eingebettet werden. Eine native vollständige QOMDP-Unterstützung sollte nicht ohne eigene Prüfung vorausgesetzt werden.
- CVXPY Project: CVXPY, Modellierungsumgebung für konvexe und semidefinite Optimierung, fortlaufend aktualisiert.
- CVXPY ermöglicht die Formulierung konvexer Optimierungsprobleme mit positiv semidefiniten Matrizen. Die Plattform ist für numerische QOMDP- und qMDP-Experimente relevant, wenn Belohnungsoperatoren, Dichtematrizen, semidefinite Relaxationen oder optimierungsbasierte Schranken untersucht werden. Nichtkonvexe Aktionsauswahl und verzweigte Policies erfordern jedoch zusätzliche Modellierung.
