Partially Observable Markov Decision Process (POMDP)

Ein Partially Observable Markov Decision Process, kurz POMDP, beschreibt ein sequenzielles Entscheidungsproblem, bei dem ein handelndes System den tatsächlichen Zustand seiner Umgebung nicht vollständig beobachten kann. Entscheidungen müssen deshalb auf unvollständigen, verrauschten oder mehrdeutigen Informationen beruhen. Genau diese Eigenschaft macht POMDPs für zahlreiche Bereiche der Quantentechnologie interessant. Quantensysteme sind grundsätzlich nicht auf dieselbe Weise beobachtbar wie klassische technische Systeme. Messungen liefern probabilistische Resultate, können durch Rauschen verfälscht werden und verändern häufig den Zustand des untersuchten Systems.

Bei einem vollständig beobachtbaren Entscheidungsprozess kann eine Steuerung davon ausgehen, dass der aktuelle Zustand bekannt ist. Bei einem POMDP ist diese Voraussetzung aufgehoben. Der Agent kennt stattdessen nur Beobachtungen, Messwerte und ein mathematisches Modell darüber, welche verborgenen Zustände diese Beobachtungen verursacht haben könnten. Daraus wird eine Wahrscheinlichkeitsverteilung über mögliche Zustände berechnet.

Diese Verteilung wird als Belief State bezeichnet. Sie bildet die zentrale Informationsgrundlage des POMDP. Nach jeder neuen Aktion und jeder neuen Beobachtung wird der Belief State aktualisiert. Der Agent entscheidet somit nicht ausschließlich auf Grundlage eines unmittelbar gemessenen Zustands, sondern auf Grundlage seines aktuellen Wissens über das System.

Bedeutung von POMDPs

POMDPs verbinden drei Aufgaben, die in komplexen technischen Systemen häufig nicht voneinander getrennt werden können: Zustandsschätzung, Informationsgewinnung und Entscheidungsfindung. Eine Aktion kann den physikalischen Zustand eines Systems verändern, gleichzeitig aber auch dazu dienen, zusätzliche Informationen zu gewinnen.

Das Ziel besteht nicht darin, in jedem einzelnen Schritt die unmittelbar höchste Belohnung zu erzielen. Vielmehr wird eine Strategie gesucht, die über einen längeren Zeitraum einen möglichst hohen erwarteten Gesamtnutzen erzeugt. Eine kurzfristig weniger attraktive Aktion kann deshalb sinnvoll sein, wenn sie Informationen liefert, mit denen spätere Entscheidungen deutlich verbessert werden können.

Bezug zur Quantentechnologie

In der Quantentechnologie tritt partielle Beobachtbarkeit auf natürliche Weise auf. Der vollständige Quantenzustand eines unbekannten Systems kann nicht aus einer einzelnen Messung bestimmt werden. Messergebnisse entstehen probabilistisch gemäß den Regeln der Quantenmechanik. Gleichzeitig kann eine Messung eine Zustandsänderung verursachen.

Dadurch entstehen Entscheidungsprobleme, bei denen Steuerung und Beobachtung eng miteinander verbunden sind. Beispiele sind adaptive Quantenmessungen, Quantenkontrolle, Quantensensorik, Kalibrierung von Qubits, Quantenkommunikation und bestimmte Aufgaben innerhalb von Quantennetzwerken.

Wichtig ist allerdings eine klare begriffliche Trennung. Ein klassischer POMDP, der zur Steuerung eines Quantensystems verwendet wird, ist nicht automatisch ein Quantenalgorithmus. Der klassische POMDP kann auf einem konventionellen Rechner ausgeführt werden, während das zu kontrollierende physikalische System quantenmechanischer Natur ist. Daneben existieren Forschungsansätze, in denen die POMDP-Struktur selbst mit quantenmechanischen Zuständen und Operationen formuliert wird.

Grundlagen des Markov Decision Process

Markov-Prozesse

Die mathematische Grundlage eines POMDP bildet der Markov-Prozess. Ein Markov-Prozess beschreibt ein dynamisches System, dessen zukünftige Entwicklung vom aktuellen Zustand abhängt. Frühere Zustände müssen nicht zusätzlich berücksichtigt werden, sofern der gegenwärtige Zustand vollständig bekannt ist.

Diese Eigenschaft wird als Markov-Eigenschaft bezeichnet. Für Zustände \(s_t\) gilt idealisiert:

\(P(s_{t+1}|s_t,s_{t-1},\ldots,s_0)=P(s_{t+1}|s_t)\)

Der aktuelle Zustand enthält damit alle für die Vorhersage des nächsten Zustands relevanten Informationen. Diese Annahme bedeutet nicht, dass die Entwicklung deterministisch sein muss. Ein Zustand kann mit verschiedenen Wahrscheinlichkeiten in mehrere mögliche Folgezustände übergehen.

Markov Decision Process

Ein Markov Decision Process erweitert den Markov-Prozess um Entscheidungen. Ein Agent kann Aktionen auswählen und dadurch die weitere Entwicklung des Systems beeinflussen. Typischerweise wird ein MDP durch Zustände, Aktionen, Übergangswahrscheinlichkeiten, Belohnungen und einen Diskontierungsfaktor beschrieben.

Eine kompakte Darstellung lautet:

\(\mathcal{M}=(S,A,T,R,\gamma)\)

Dabei bezeichnet \(S\) den Zustandsraum, \(A\) den Aktionsraum, \(T\) das Übergangsmodell, \(R\) die Belohnungsfunktion und \(\gamma\) den Diskontierungsfaktor.

Das Übergangsmodell beschreibt beispielsweise die Wahrscheinlichkeit

\(T(s'|s,a)=P(s_{t+1}=s'|s_t=s,a_t=a)\)

dafür, dass das System nach Aktion \(a\) vom Zustand \(s\) in den Zustand \(s'\) übergeht.

Belohnung und Optimierungsziel

Die Belohnungsfunktion bewertet die Konsequenzen einer Aktion. Eine hohe positive Belohnung kann einen gewünschten Zustand kennzeichnen, während Fehler, Kosten oder unerwünschte Zustände mit negativen Werten versehen werden können.

Das Ziel einer Strategie \(\pi\) ist typischerweise die Maximierung der erwarteten diskontierten kumulierten Belohnung:

\(V^\pi(s)=\mathrm{E}_\pi\left[\sum_{t=0}^{\infty}\gamma^t R(s_t,a_t)|s_0=s\right]\)

Der Faktor \(\gamma\) liegt normalerweise zwischen null und eins. Je näher er an eins liegt, desto stärker werden langfristige Auswirkungen heutiger Entscheidungen berücksichtigt.

Grenze des klassischen MDP

Die entscheidende Voraussetzung des klassischen MDP ist die vollständige Kenntnis des aktuellen Zustands. Genau diese Voraussetzung ist in realen Anwendungen häufig nicht erfüllt. Ein Sensor kann nur indirekte Daten liefern. Ein Messgerät besitzt begrenzte Genauigkeit. Interne Komponenten eines Systems können nicht unmittelbar beobachtbar sein.

Bei einem Quantensystem ist diese Einschränkung noch grundlegender. Ein unbekannter Quantenzustand kann nicht einfach vollständig ausgelesen werden. Deshalb muss das Modell um Beobachtungen und Unsicherheiten erweitert werden. Daraus entsteht der POMDP.

Vom MDP zum Partially Observable Markov Decision Process

Grundidee

Ein POMDP unterscheidet zwischen dem tatsächlichen Zustand eines Systems und der Information, die einem Agenten über diesen Zustand zur Verfügung steht. Der physikalische Zustand kann verborgen sein, während nur indirekte Beobachtungen zugänglich sind.

Formal lässt sich ein POMDP beispielsweise schreiben als:

\(\mathcal{P}=(S,A,T,R,\Omega,O,\gamma)\)

Zusätzlich zum klassischen MDP treten der Beobachtungsraum \(\Omega\) und das Beobachtungsmodell \(O\) auf.

Zustände und Aktionen

Der Zustand \(s\) beschreibt die tatsächliche Konfiguration des modellierten Systems. In einer quantentechnologischen Anwendung könnte ein klassisches Zustandsmodell beispielsweise unterschiedliche Fehlerzustände einer Hardware, unterschiedliche Umweltbedingungen oder diskretisierte Konfigurationen eines Quantensystems repräsentieren.

Aktionen sind Eingriffe, die vom Agenten ausgewählt werden können. Das können Kontrollpulse, Messverfahren, Kalibrierungsschritte, Wartezeiten, Kommunikationsoperationen oder andere technische Maßnahmen sein.

Beobachtungen

Nach einer Aktion erhält der Agent eine Beobachtung \(o\). Diese Beobachtung muss den tatsächlichen Zustand nicht eindeutig bestimmen. Das Beobachtungsmodell beschreibt die bedingte Wahrscheinlichkeit:

\(O(o|s',a)=P(o_{t+1}=o|s_{t+1}=s',a_t=a)\)

Damit wird angegeben, wie wahrscheinlich eine bestimmte Beobachtung ist, wenn das System nach einer Aktion einen bestimmten Zustand erreicht hat.

Diese Unterscheidung zwischen Zustand und Beobachtung ist zentral. Ein Detektorwert ist nicht automatisch der physikalische Zustand. Ein Messsignal kann durch Rauschen, begrenzte Auflösung oder andere Unsicherheiten beeinflusst werden.

Dynamischer Ablauf

Ein typischer POMDP-Zyklus beginnt mit einer Wahrscheinlichkeitsverteilung über mögliche Zustände. Der Agent wählt daraufhin eine Aktion. Das System verändert seinen tatsächlichen Zustand gemäß dem Übergangsmodell. Anschließend erzeugt dieser neue Zustand eine Beobachtung gemäß dem Beobachtungsmodell. Der Agent aktualisiert daraufhin seine Einschätzung des Zustands und wählt die nächste Aktion.

Dieser Vorgang wiederholt sich fortlaufend. Dadurch entsteht ein geschlossener Kreislauf aus Schätzung, Entscheidung, Aktion, Beobachtung und erneuter Schätzung.

Belief States als zentrale Grundlage

Definition des Belief State

Da der tatsächliche Zustand unbekannt ist, benötigt der Agent eine andere Entscheidungsgrundlage. Diese Rolle übernimmt der Belief State. Ein Belief State ist eine Wahrscheinlichkeitsverteilung über alle möglichen Zustände.

Für einen diskreten Zustandsraum gilt:

\(b(s)=P(s|\mathrm{verfuegbare\ Information})\)

mit der Normierungsbedingung

\(\sum_{s\in S} b(s)=1\)

Der Belief State repräsentiert damit nicht unbedingt eine physikalische Eigenschaft des Systems. Er beschreibt den Informationsstand des Agenten.

Bayessche Aktualisierung

Nach einer Aktion wird zunächst vorhergesagt, mit welcher Wahrscheinlichkeit die verschiedenen Folgezustände auftreten können. Anschließend wird die tatsächlich erhaltene Beobachtung berücksichtigt.

Eine typische Aktualisierung lautet:

\(b'(s')=\eta O(o|s',a)\sum_{s\in S}T(s'|s,a)b(s)\)

Dabei ist \(\eta\) ein Normierungsfaktor. Er stellt sicher, dass die aktualisierten Wahrscheinlichkeiten wieder die Summe eins ergeben.

Der Ausdruck

\(\sum_{s\in S}T(s'|s,a)b(s)\)

ist die vorhergesagte Wahrscheinlichkeit des neuen Zustands. Die Beobachtungswahrscheinlichkeit \(O(o|s',a)\) gewichtet anschließend, wie gut der mögliche Zustand zur tatsächlich erhaltenen Beobachtung passt.

Belief Space

Der Belief State macht ein teilweise beobachtbares Problem mathematisch wieder vollständig beobachtbar, allerdings zu einem Preis. Der neue Zustandsraum besteht nicht mehr nur aus einzelnen physikalischen Zuständen, sondern aus sämtlichen möglichen Wahrscheinlichkeitsverteilungen über diese Zustände.

Bei \(n\) diskreten Zuständen liegt der Belief State in einem Simplex mit \(n-1\) unabhängigen Dimensionen. Bereits bei großen diskreten Zustandsräumen wird dieser Raum umfangreich. Bei kontinuierlichen Zuständen wird das Problem noch schwieriger.

Bedeutung für die Entscheidungsfindung

Eine POMDP-Policy ordnet deshalb nicht direkt einem Zustand eine Aktion zu, sondern einem Belief State:

\(\pi:b\rightarrow a\)

Der Agent handelt somit auf Basis seiner bestmöglichen aktuellen Einschätzung. Diese Eigenschaft ist besonders wichtig, wenn zwei identische Beobachtungen je nach vorherigem Verlauf unterschiedliche Bedeutungen haben können.

Entscheidungsstrategien innerhalb eines POMDP

Policy und Value Function

Eine Policy definiert, welche Aktion bei einem bestimmten Informationszustand ausgewählt werden soll. Die zugehörige Value Function bewertet, welcher langfristige Nutzen aus einem Belief State zu erwarten ist.

Für eine Policy \(\pi\) kann geschrieben werden:

\(V^\pi(b)=\mathrm{E}_\pi\left[\sum_{t=0}^{\infty}\gamma^t R(s_t,a_t)|b_0=b\right]\)

Eine optimale Policy erfüllt:

\(\pi^*=\mathrm{arg\,max}_\pi V^\pi(b)\)

Bellman-Prinzip

Wie beim klassischen MDP kann auch ein POMDP rekursiv formuliert werden. Der Wert einer Entscheidung ergibt sich aus der unmittelbaren erwarteten Belohnung und dem erwarteten zukünftigen Nutzen.

Vereinfacht lautet die Bellman-Struktur:

\(V^*(b)=\max_a\left[R(b,a)+\gamma\sum_o P(o|b,a)V^*(b_{a,o}')\right]\)

Dabei bezeichnet \(R(b,a)\) die erwartete Belohnung einer Aktion unter dem aktuellen Belief State und \(b_{a,o}'\) den nach Aktion und Beobachtung aktualisierten Belief State.

Informationsgewinn als Bestandteil einer Aktion

Eine Besonderheit des POMDP besteht darin, dass Aktionen nicht nur den physikalischen Zustand verändern. Sie können auch den Informationszustand verbessern. Eine Aktion kann deshalb selbst dann sinnvoll sein, wenn sie unmittelbar keinen hohen Reward erzeugt.

Ein einfaches Beispiel ist eine zusätzliche Messung. Sie kostet Zeit oder Energie und liefert möglicherweise keine direkte Belohnung. Sie kann jedoch die Unsicherheit über den Zustand reduzieren und dadurch spätere Entscheidungen erheblich verbessern.

Exploration und Exploitation

Dieses Spannungsfeld wird häufig als Verhältnis zwischen Exploration und Exploitation beschrieben. Exploitation nutzt bereits vorhandenes Wissen, um einen bekannten Vorteil zu erzielen. Exploration gewinnt neue Informationen.

Bei Quantentechnologien besitzt diese Abwägung besondere Bedeutung, weil Messungen selbst Ressourcen benötigen und den Quantenzustand verändern können. Eine optimale Strategie muss daher nicht nur entscheiden, was gemessen werden soll, sondern auch wann und mit welcher Messmethode.

Lösungsmethoden für POMDPs

Exakte Lösungsverfahren

Kleine diskrete POMDPs können mit Methoden der dynamischen Programmierung gelöst werden. Dazu gehören Varianten von Value Iteration und Policy Iteration. Für endliche Horizonte besitzt die optimale Value Function im diskreten POMDP eine besondere Struktur: Sie ist stückweise linear und konvex.

Sie kann mithilfe sogenannter Alpha-Vektoren dargestellt werden:

\(V(b)=\max_{\alpha\in\Gamma}\sum_s \alpha(s)b(s)\)

Die Menge \(\Gamma\) enthält dabei die relevanten Alpha-Vektoren. Jeder Vektor repräsentiert den Wert einer bestimmten bedingten Strategie in einem Teil des Belief Space.

Das Problem besteht darin, dass die Anzahl relevanter Strategien und Alpha-Vektoren mit zunehmendem Planungshorizont sehr stark wachsen kann.

Point-Based-Verfahren

Für größere Probleme werden deshalb approximative Verfahren verwendet. Point-Based-POMDP-Verfahren betrachten nicht den gesamten kontinuierlichen Belief Space, sondern eine ausgewählte Menge repräsentativer Belief States.

Diese Einschränkung reduziert den Rechenaufwand erheblich. Besonders sinnvoll ist sie, wenn nur ein kleiner Teil des theoretisch möglichen Belief Space während realistischer Systemverläufe tatsächlich erreicht wird.

Monte-Carlo-Methoden

Monte-Carlo-Verfahren approximieren zukünftige Systementwicklungen durch Stichproben. Anstatt sämtliche möglichen Aktions-, Zustands- und Beobachtungsfolgen vollständig auszuwerten, werden ausgewählte Verläufe simuliert.

Solche Verfahren sind insbesondere für Online-Planung interessant. Der Agent muss dabei nicht im Voraus eine vollständige Policy für alle denkbaren Situationen berechnen. Stattdessen konzentriert sich die Berechnung auf den aktuell relevanten Bereich des Entscheidungsbaums.

Reinforcement Learning

Ist das Übergangs- oder Beobachtungsmodell nicht vollständig bekannt, kann Reinforcement Learning eingesetzt werden. Der Agent lernt dann aus Interaktionen mit dem System.

Bei partiell beobachtbaren Problemen reicht die aktuelle Beobachtung allerdings meist nicht aus. Lernverfahren müssen deshalb Informationen aus früheren Beobachtungen und Aktionen integrieren. Dafür können explizite Belief States oder interne Gedächtnisrepräsentationen verwendet werden.

Deep Learning

Deep Reinforcement Learning ermöglicht die Approximation komplexer Policies und Value Functions durch neuronale Netze. Rekurrente Netze oder andere sequenzverarbeitende Architekturen können Beobachtungsverläufe aufnehmen und daraus einen internen Informationszustand bilden.

Diese Ansätze vermeiden jedoch nicht grundsätzlich die Schwierigkeiten eines POMDP. Sie verschieben einen Teil der mathematischen Modellierung in einen Lernprozess. Trainingsdaten, Stabilität, Generalisierung und Interpretierbarkeit bleiben zentrale Herausforderungen.

Warum POMDPs für Quantentechnologien relevant sind

Begrenzte Beobachtbarkeit von Quantensystemen

Ein unbekannter Quantenzustand kann nicht mit einer einzelnen Messung vollständig bestimmt werden. Quantenmechanische Observablen liefern Messergebnisse mit Wahrscheinlichkeiten, die vom Zustand und der gewählten Messung abhängen.

Ein Quantenzustand kann allgemein durch eine Dichtematrix \(\rho\) beschrieben werden. Sie erfüllt:

\(\rho\geq 0\)

und

\(\mathrm{Tr}(\rho)=1\)

Die Dichtematrix enthält die für Vorhersagen von Messergebnissen relevante quantenmechanische Zustandsinformation. Sie ist jedoch nicht mit dem klassischen Belief State identisch.

Probabilistische Messungen

Eine allgemeine Quantenmessung kann durch positive Operatoren \(E_m\) beschrieben werden, die die Bedingungen

\(E_m\geq 0\)

und

\(\sum_m E_m=I\)

erfüllen. Die Wahrscheinlichkeit eines Messergebnisses \(m\) ergibt sich nach der Bornschen Regel zu

\(p(m)=\mathrm{Tr}(E_m\rho)\)

Damit ist selbst bei vollständiger Kenntnis von \(\rho\) das Ergebnis einer einzelnen Messung im Allgemeinen nicht deterministisch.

Messrückwirkung

Eine Quantenmessung liefert nicht nur Information über das System, sondern kann den Quantenzustand verändern. Für einen Messoperator \(M_m\) kann die bedingte Zustandsänderung beispielsweise als

\(\rho_m'=\frac{M_m\rho M_m^\dagger}{\mathrm{Tr}(M_m^\dagger M_m\rho)}\)

geschrieben werden.

Diese Rückwirkung unterscheidet Quantensysteme von vielen klassischen Beobachtungsproblemen. Die Messentscheidung ist gleichzeitig eine Steuerungsentscheidung. Welche Information gewonnen wird und welcher Zustand danach vorliegt, hängen gemeinsam von der gewählten Messung ab.

Dekohärenz und offene Systeme

Reale Quantensysteme sind nicht vollständig von ihrer Umgebung isoliert. Wechselwirkungen mit externen Freiheitsgraden können Dekohärenz und Dissipation verursachen. Dadurch verändern sich Zustände auch ohne gezielte Kontrolloperation.

Eine allgemeine quantenmechanische Entwicklung kann durch einen Quantenkanal beschrieben werden:

\(\mathcal{E}(\rho)=\sum_k K_k\rho K_k^\dagger\)

mit

\(\sum_k K_k^\dagger K_k=I\)

Wenn die Umweltparameter oder Rauschprozesse nicht vollständig bekannt sind, entsteht eine zusätzliche Ebene der Unsicherheit, die Entscheidungsmodelle berücksichtigen müssen.

POMDPs in der Quantensteuerung

Aufgabe der Quantensteuerung

Quantensteuerung verfolgt das Ziel, einen Quantenzustand oder eine Quantendynamik gezielt zu beeinflussen. Steuerungsgrößen können elektromagnetische Pulse, Laserfelder, Mikrowellensignale, Frequenzen, Phasen oder zeitliche Pulsfolgen sein.

Ist der Anfangszustand vollständig bekannt und das Systemmodell exakt, kann eine geeignete Kontrollsequenz im Voraus berechnet werden. In realen Experimenten treten jedoch Unsicherheiten auf. Parameter driften, Messungen sind verrauscht und Kopplungen an die Umgebung sind nicht vollständig bekannt.

Adaptive Quantensteuerung

Ein POMDP ermöglicht eine adaptive Steuerung. Der Agent besitzt zunächst einen Belief State über mögliche Systemkonfigurationen. Anschließend wählt er eine Kontrollaktion. Nach einer Messung wird der Belief State aktualisiert. Die nächste Aktion berücksichtigt diese neue Information.

Eine solche Strategie kann robuster sein als eine vollständig vorab festgelegte Pulssequenz, weil sie auf unerwartete Entwicklungen reagieren kann.

Feedback-Kontrolle

Bei quantenmechanischer Feedback-Kontrolle werden Messergebnisse während des Prozesses verwendet, um zukünftige Steuerungsaktionen anzupassen. Der Ablauf besteht aus Messung, Zustandsschätzung, Entscheidung und erneuter Steuerung.

Ein POMDP liefert einen mathematischen Rahmen für Situationen, in denen das Feedback nicht auf einem exakt bekannten Zustand basiert. Das ist besonders relevant, wenn Messungen schwach, verrauscht oder nur indirekt mit dem gesuchten Systemzustand verbunden sind.

Belohnungsfunktion

Die Belohnung kann beispielsweise die Ähnlichkeit zwischen dem erreichten Zustand und einem Zielzustand abbilden. Für zwei reine Zustände kann eine Fidelity der Form

\(F=|\langle\psi_{\mathrm{target}}|\psi\rangle|^2\)

verwendet werden.

Zusätzlich können Kontrollaufwand, Zeit oder Anzahl der Messungen berücksichtigt werden. Eine mögliche Reward-Struktur wäre:

\(R=w_FF-w_EE-w_MM\)

Dabei bezeichnet \(F\) die Zieltreue, \(E\) den Steuerungsaufwand, \(M\) die Messkosten und \(w_F\), \(w_E\) sowie \(w_M\) entsprechende Gewichtungsfaktoren.

POMDPs bei Quantenmessungen und Quantenzustandsschätzung

Quantenzustandsschätzung

Die Bestimmung eines unbekannten Quantenzustands erfordert eine Folge von Messungen an identisch oder ausreichend ähnlich präparierten Systemen. Aus den Messergebnissen wird anschließend eine Zustandsbeschreibung geschätzt.

Ein POMDP kann diese Aufgabe erweitern, indem nicht nur die Auswertung der Messungen betrachtet wird, sondern auch die Entscheidung darüber, welche Messung als Nächstes durchgeführt werden soll.

Adaptive Messstrategien

Bei einer adaptiven Messstrategie hängt die nächste Messbasis von den vorherigen Resultaten ab. Hat eine bestimmte Messung einen Teil der möglichen Hypothesen bereits ausgeschlossen, kann die nächste Messung gezielt auf die verbleibende Unsicherheit ausgerichtet werden.

Damit wird Messplanung zu einem sequenziellen Entscheidungsproblem. Der relevante Zustand des Agenten besteht aus seinem aktuellen Wissen über den unbekannten Quantenzustand oder unbekannte Systemparameter.

Informationsgewinn

Ein möglicher Reward ist die Verringerung einer Unsicherheitsgröße. Für einen klassischen Belief State kann etwa die Shannon-Entropie

\(H(b)=-\sum_s b(s)\log b(s)\)

verwendet werden.

Der erwartete Informationsgewinn einer Messung kann dann durch die erwartete Verringerung der Entropie beschrieben werden:

\(I=H(b)-\sum_o P(o|b,a)H(b_{a,o}')\)

Eine Messaktion mit hohem \(I\) reduziert im Mittel die Unsicherheit stark.

Quantum State Tomography

Bei der Quantenzustandstomographie werden Messdaten verwendet, um eine Dichtematrix zu rekonstruieren. Die Zahl benötigter Parameter wächst mit der Dimension des Hilbertraums stark an. Für ein System aus \(n\) Qubits besitzt die Dichtematrix Dimension

\(2^n\times 2^n\)

und im allgemeinen Fall eine entsprechend große Zahl unabhängiger Parameter.

Adaptive Verfahren können versuchen, Messressourcen auf besonders informative Messungen zu konzentrieren. Ein POMDP liefert dafür einen prinzipiellen Entscheidungsrahmen, löst jedoch nicht automatisch das grundlegende Skalierungsproblem der vollständigen Zustandstomographie.

Anwendung in der Quantensensorik

Grundprinzip

Quantensensoren verwenden quantenmechanische Zustände und Wechselwirkungen zur hochpräzisen Bestimmung physikalischer Größen. Dazu können Magnetfelder, elektrische Felder, Frequenzen, Beschleunigungen, Rotationen, Zeitintervalle oder Phasen gehören.

In vielen Fällen ist die gesuchte Größe selbst nicht direkt beobachtbar. Sie beeinflusst stattdessen die Entwicklung eines Quantensystems, das anschließend gemessen wird.

POMDP-Modellierung

Der verborgene Zustand kann beispielsweise den unbekannten Wert eines Feldes oder einen zeitlich veränderlichen Umweltparameter repräsentieren. Aktionen bestimmen Messdauer, Kontrollpuls, Messbasis oder Sensorkonfiguration. Beobachtungen entsprechen den tatsächlich registrierten Messergebnissen.

Der Belief State beschreibt anschließend die aktuelle Wahrscheinlichkeitsverteilung über den unbekannten Parameter.

Adaptive Sensorstrategien

Nach jeder Messung wird die Parameterschätzung aktualisiert. Die nächste Sensorkonfiguration kann so gewählt werden, dass sie für den verbleibenden Unsicherheitsbereich besonders empfindlich ist.

Dadurch entsteht ein geschlossener Lern- und Messprozess. Statt eine vorab festgelegte Messsequenz unabhängig vom Verlauf abzuarbeiten, reagiert das System auf bereits gewonnene Informationen.

Ressourcenoptimierung

Ein praktischer Vorteil liegt in der gezielten Nutzung begrenzter Ressourcen. In einem Experiment können Messzeit, Kohärenzzeit, Energie, Anzahl verfügbarer Quantenzustände oder zulässige Messzyklen begrenzt sein.

Ein sinnvoll formulierter POMDP kann deshalb nicht nur Messgenauigkeit maximieren, sondern zugleich die Kosten einzelner Messungen berücksichtigen. Das Ergebnis ist eine Strategie, die Information nicht um jeden Preis sammelt, sondern ihren erwarteten Nutzen gegen den benötigten Aufwand abwägt.

Anwendung in Quantenkommunikation und Quantennetzwerken

Unsichere Netzwerkzustände

Quantennetzwerke arbeiten mit physikalischen Ressourcen, deren Zustand nicht jederzeit vollständig bekannt sein muss. Photonen können verloren gehen, Verschränkung kann fehlschlagen, Quantenspeicher besitzen begrenzte Kohärenzzeiten und Kanalparameter können schwanken.

Ein Netzwerkcontroller erhält daher möglicherweise nur partielle Informationen über den tatsächlichen Zustand des Gesamtnetzwerks.

Entanglement Distribution

Ein zentrales Ziel zukünftiger Quantennetzwerke ist die Verteilung von Verschränkung zwischen entfernten Teilnehmern. Viele dafür notwendige Operationen sind probabilistisch. Ein fehlgeschlagener Versuch kann Ressourcen verbrauchen und neue Entscheidungen erforderlich machen.

Ein POMDP kann beispielsweise modellieren, ob bestimmte Netzwerksegmente vermutlich bereits erfolgreich verschränkt sind, welche Speicherzustände noch nutzbar sind und welcher nächste Kommunikationsschritt die höchste erwartete Erfolgswahrscheinlichkeit besitzt.

Quantum Repeater

Quantum Repeater sollen die Reichweite quantenmechanischer Kommunikation erhöhen. Dazu müssen unter anderem Verschränkungszustände erzeugt, zwischengespeichert und durch Entanglement Swapping verbunden werden.

Die Steuerung kann komplex werden, wenn Operationen probabilistisch sind und Informationen über entfernte Netzwerksegmente verzögert eintreffen. In solchen Situationen kann partielle Beobachtbarkeit einen wesentlichen Teil des Entscheidungsproblems bilden.

Zielgrößen

Die Optimierung kann sich auf verschiedene Größen beziehen: Erfolgswahrscheinlichkeit, erwartete Verteilungszeit, Qualität der Verschränkung, Speicherverbrauch oder Kommunikationsaufwand. Ein POMDP bietet die Möglichkeit, mehrere dieser Ziele in einer gemeinsamen Reward-Funktion abzubilden.

POMDPs bei Quantencomputern

Reale Quantenhardware

Reale Quantenprozessoren sind keine idealen abstrakten Schaltkreise. Qubit-Frequenzen können driften, Kontrollpulse besitzen Kalibrierungsfehler, Kopplungen verändern sich und Auslesekanäle weisen Fehler auf.

Ein Teil dieser Eigenschaften kann laufend gemessen werden. Andere Parameter sind nur indirekt aus experimentellen Daten ableitbar. Damit entsteht ein natürliches Problem der Zustandsschätzung unter partieller Beobachtbarkeit.

Adaptive Kalibrierung

Eine Kalibrierungsroutine kann verschiedene Tests oder Kontrollsequenzen ausführen und aus den Ergebnissen auf aktuelle Hardwareparameter schließen. Ein POMDP kann diesen Prozess als Entscheidungsproblem formulieren.

Der verborgene Zustand enthält unbekannte oder driftende Hardwareparameter. Aktionen entsprechen Kalibrierungsexperimenten oder Parameteränderungen. Beobachtungen entstehen aus Messdaten. Die Belohnung berücksichtigt Kalibrierungsqualität, Zeit und Anzahl benötigter Experimente.

Readout- und Gate-Fehler

Auslesefehler führen dazu, dass ein gemessenes klassisches Ergebnis nicht mit Sicherheit dem tatsächlichen Qubit-Zustand vor der Messung entspricht. Ein einfaches Fehlermaß kann beispielsweise durch bedingte Wahrscheinlichkeiten

\(P(\hat{s}=1|s=0)\)

und

\(P(\hat{s}=0|s=1)\)

beschrieben werden. Ein POMDP kann solche Unsicherheiten explizit in sein Beobachtungsmodell aufnehmen.

Quantenfehlerkorrektur

Bei der Quantenfehlerkorrektur werden Fehler nicht durch direkte vollständige Messung des logischen Quantenzustands diagnostiziert. Stattdessen liefern Syndrommessungen Informationen über mögliche Fehler.

Die Auswahl von Korrekturmaßnahmen unter unsicheren oder verrauschten Syndrominformationen besitzt deshalb strukturelle Ähnlichkeiten mit einem POMDP. Allerdings verfügen moderne Fehlerkorrekturverfahren über sehr spezialisierte Decoder und mathematische Modelle. Ein POMDP ist daher nicht automatisch die beste oder effizienteste Darstellung jeder Fehlerkorrekturaufgabe.

Klassischer Belief State und quantenmechanischer Zustand

Zwei unterschiedliche Konzepte

Eine der wichtigsten begrifflichen Unterscheidungen betrifft den klassischen Belief State und die quantenmechanische Dichtematrix. Beide können mathematisch Unsicherheit beziehungsweise Zustandsinformation ausdrücken, sind aber nicht dasselbe.

Ein klassischer Belief State beschreibt epistemische Unsicherheit des Agenten über einen klassischen verborgenen Zustand. Das System befindet sich innerhalb dieses Modells in einem bestimmten Zustand, der Agent weiß lediglich nicht sicher, welcher es ist.

Eine Dichtematrix gehört dagegen zum quantenmechanischen Formalismus. Sie kann sowohl klassische statistische Mischung als auch genuin quantenmechanische Eigenschaften enthalten.

Nichtkommutativität

Im klassischen Wahrscheinlichkeitsmodell können Ereignisse grundsätzlich innerhalb einer gemeinsamen Wahrscheinlichkeitsstruktur formuliert werden. In der Quantenmechanik müssen Observablen jedoch nicht kommutieren.

Für zwei Operatoren \(A\) und \(B\) ist der Kommutator definiert als

\([A,B]=AB-BA\)

Falls

\([A,B]\neq 0\)

gilt, sind die zugehörigen Observablen nicht gleichzeitig auf dieselbe klassische Weise bestimmbar.

Superposition und Interferenz

Ein klassischer Belief State über zwei Zustände bedeutet nicht, dass das System in einer kohärenten Superposition dieser Zustände vorliegt. Eine Superposition

\(|\psi\rangle=\alpha|0\rangle+\beta|1\rangle\)

mit

\(|\alpha|^2+|\beta|^2=1\)

enthält Phaseninformation, die zu Interferenz führen kann. Eine klassische Wahrscheinlichkeitsverteilung über null und eins besitzt diese Eigenschaft nicht.

Konsequenz für POMDP-Modelle

Wer einen klassischen POMDP auf ein Quantensystem anwendet, muss deshalb genau festlegen, welche Größen als klassische verborgene Zustände modelliert werden und welche quantenmechanischen Eigenschaften innerhalb des physikalischen Modells verbleiben.

Eine unkritische Gleichsetzung von Belief State und Quantenzustand würde wichtige Eigenschaften der Quantenmechanik verlieren.

Quantum Partially Observable Decision Processes

Erweiterung des klassischen Formalismus

Neben klassischen POMDPs zur Steuerung von Quantensystemen existieren Forschungsansätze, die Entscheidungsprozesse direkt mit quantenmechanischen Zuständen und Operationen formulieren. Die Terminologie ist dabei nicht vollständig einheitlich.

Ein möglicher Ausgangspunkt besteht darin, den klassischen Wahrscheinlichkeitsvektor durch einen Dichteoperator zu ersetzen und Aktionen durch quantenmechanische Operationen zu repräsentieren.

Quantenoperationen

Eine Aktion kann als Quantenkanal

\(\rho'=\mathcal{E}_a(\rho)\)

modelliert werden. Wird zusätzlich ein Messergebnis \(m\) erzeugt, kann eine Familie messungsabhängiger Operationen verwendet werden.

Die Wahrscheinlichkeit eines Ergebnisses und der daraus folgende Zustand müssen dann gemeinsam quantenmechanisch konsistent beschrieben werden.

Quantum Instruments

Ein geeignetes Konzept ist das Quanteninstrument. Es beschreibt sowohl die Wahrscheinlichkeit verschiedener Messergebnisse als auch die zugehörige Zustandsänderung.

Für Operationen \(\mathcal{I}_m\) kann die Ergebniswahrscheinlichkeit als

\(p(m)=\mathrm{Tr}(\mathcal{I}_m(\rho))\)

geschrieben werden. Der normierte Folgezustand lautet:

\(\rho_m'=\frac{\mathcal{I}_m(\rho)}{p(m)}\)

Unterschiede zum klassischen POMDP

In einem klassischen POMDP ist der Belief State eine Wahrscheinlichkeitsverteilung über klassische Zustände. In einer quantenmechanischen Erweiterung kann der Informationszustand dagegen ein Dichteoperator sein oder eine Kombination aus klassischer Unsicherheit und quantenmechanischer Zustandsbeschreibung enthalten.

Dadurch wird die mathematische Struktur wesentlich anspruchsvoller. Nichtkommutativität, Messrückwirkung und Verschränkung müssen explizit berücksichtigt werden.

Begriffliche Vorsicht

Der Ausdruck Quantum-POMDP sollte deshalb präzise verwendet werden. Ein klassischer POMDP, dessen Aktionen einen Quantenprozessor steuern, ist konzeptionell etwas anderes als ein Entscheidungsprozess, dessen Zustands- und Übergangsstruktur selbst durch Quantenoperationen definiert wird.

Verbindung zu Reinforcement Learning und Quantum Reinforcement Learning

Partially Observable Reinforcement Learning

Reinforcement Learning betrachtet einen Agenten, der durch Interaktion mit einer Umgebung eine Strategie lernt. Im vollständig beobachtbaren Fall erhält der Agent den aktuellen Zustand oder eine ausreichende Zustandsrepräsentation.

Bei partieller Beobachtbarkeit erhält er lediglich Beobachtungen. Die aktuelle Beobachtung allein reicht dann möglicherweise nicht aus, um eine optimale Entscheidung zu treffen.

Gedächtnis und Beobachtungshistorie

Eine Möglichkeit besteht darin, den Belief State explizit zu berechnen. Eine andere besteht darin, ein lernendes Modell zu verwenden, das aus einer Historie

\(h_t=(o_0,a_0,o_1,a_1,\ldots,o_t)\)

eine interne Repräsentation erzeugt.

Diese Repräsentation soll die entscheidungsrelevanten Informationen der Vergangenheit zusammenfassen.

Quantum Reinforcement Learning

Quantum Reinforcement Learning bezeichnet eine Gruppe von Ansätzen, bei denen Quantencomputer, parametrische Quantenschaltungen oder andere quantenmechanische Verfahren innerhalb eines Reinforcement-Learning-Systems eingesetzt werden.

Beispielsweise kann eine parametrische Quantenschaltung eine Policy darstellen:

\(|\psi(\theta)\rangle=U(\theta)|\psi_0\rangle\)

Die Parameter \(\theta\) werden während des Lernens angepasst.

Keine automatische Gleichsetzung

Quantum Reinforcement Learning und Quantum-POMDP sind unterschiedliche Begriffe. Ein Quantum-Reinforcement-Learning-Verfahren kann auf einem vollständig beobachtbaren Problem arbeiten. Umgekehrt kann ein POMDP für ein Quantensystem vollständig mit klassischen Rechnern gelöst werden.

Die Verbindung entsteht erst dann, wenn sowohl partielle Beobachtbarkeit als auch quantenmechanische Lern- oder Entscheidungsmechanismen innerhalb desselben Systems auftreten.

Mathematische und rechnerische Herausforderungen

Curse of Dimensionality

Die Dimension des Zustandsraums ist eines der größten Probleme komplexer POMDPs. Für Quantensysteme verschärft sich diese Schwierigkeit erheblich.

Der Hilbertraum eines Systems aus \(n\) Qubits besitzt die Dimension

\(d=2^n\)

Eine allgemeine Dichtematrix besitzt dementsprechend \(d\times d\) komplexe Matrixelemente. Obwohl Hermitizität und Normierung die Zahl unabhängiger reeller Parameter reduzieren, wächst der Beschreibungsaufwand weiterhin exponentiell mit der Anzahl der Qubits.

Curse of History

Partielle Beobachtbarkeit führt zusätzlich zu einer wachsenden Zahl möglicher Beobachtungsverläufe. Bei \(|A|\) Aktionen und \(|\Omega|\) Beobachtungen kann sich die Zahl möglicher Sequenzen mit dem Planungshorizont exponentiell vergrößern.

Eine vollständig verzweigte Planung über viele Schritte wird dadurch schnell unpraktikabel.

Kontinuierliche Zustände und Aktionen

Viele reale Quantensysteme besitzen kontinuierliche Kontrollparameter. Pulsamplitude, Frequenz, Phase und Dauer sind nicht auf wenige diskrete Werte beschränkt. Auch unbekannte Umweltparameter können kontinuierlich sein.

Der Belief State wird dann zu einer Wahrscheinlichkeitsdichte über einem kontinuierlichen Raum. Exakte Berechnungen werden dadurch noch schwieriger.

Modellunsicherheit

Ein POMDP setzt voraus, dass zumindest ein brauchbares Übergangs- und Beobachtungsmodell vorhanden ist. In realer Quantenhardware können jedoch genau diese Modelle unsicher sein.

Unbekannte Kopplungen, Drift, nichtstationäres Rauschen oder unzureichend modellierte Wechselwirkungen können dazu führen, dass die berechnete Policy zwar für das Modell optimal, für die reale Hardware aber suboptimal ist.

Echtzeitanforderungen

Adaptive Quantensteuerung kann Entscheidungen innerhalb sehr kurzer Zeitfenster erfordern. Eine theoretisch hochwertige POMDP-Lösung ist praktisch wenig hilfreich, wenn ihre Berechnung länger dauert als die relevante Kohärenz- oder Reaktionszeit des Systems.

Deshalb sind approximative, vortrainierte oder hardwarebeschleunigte Verfahren für reale Anwendungen häufig wichtiger als mathematisch exakte Lösungen.

Vereinfachtes Beispiel eines POMDP für ein Quantensystem

Ausgangssituation

Betrachtet wird ein stark vereinfachtes Zweizustandssystem. Der tatsächliche Zustand ist entweder \(s_0\) oder \(s_1\), kann aber aufgrund eines verrauschten Detektors nicht direkt zuverlässig bestimmt werden.

Der Agent besitzt zunächst den Belief State

\(b(s_0)=0.6\)

und

\(b(s_1)=0.4\)

Aktionen

Der Agent kann zwischen drei Aktionen wählen. Er kann messen, einen Kontrollpuls anwenden oder ohne Eingriff warten. Die Messung liefert Information, kann aber den Zustand beeinflussen. Der Kontrollpuls kann den Zustand gezielt verändern, ist jedoch nur dann sinnvoll, wenn die Einschätzung über den Ausgangszustand ausreichend zuverlässig ist.

Beobachtungsmodell

Angenommen, der Detektor meldet bei Zustand \(s_0\) mit Wahrscheinlichkeit \(0.9\) das Ergebnis \(o_0\) und bei Zustand \(s_1\) mit Wahrscheinlichkeit \(0.2\) ebenfalls \(o_0\). Dann gilt:

\(P(o_0|s_0)=0.9\)

\(P(o_0|s_1)=0.2\)

Wird tatsächlich \(o_0\) beobachtet und wird zunächst angenommen, dass die Messung den Zustand nicht verändert, ergibt sich vor der Normierung:

\(\tilde{b}(s_0)=0.9\cdot 0.6=0.54\)

\(\tilde{b}(s_1)=0.2\cdot 0.4=0.08\)

Die Normierungskonstante ist:

\(Z=0.54+0.08=0.62\)

Damit folgt:

\(b'(s_0)=\frac{0.54}{0.62}\approx 0.871\)

und

\(b'(s_1)=\frac{0.08}{0.62}\approx 0.129\)

Interpretation

Vor der Messung lag die Wahrscheinlichkeit für \(s_0\) bei sechzig Prozent. Nach dem Messergebnis \(o_0\) steigt sie auf etwa siebenundachtzig Prozent. Der Agent besitzt nun deutlich mehr Sicherheit.

Eine nachfolgende Kontrollaktion kann deshalb sinnvoll werden, obwohl sie vorher aufgrund der größeren Unsicherheit möglicherweise vermieden worden wäre.

Dieses einfache Beispiel zeigt den Kern eines POMDP: Nicht die Beobachtung allein entscheidet über die nächste Aktion, sondern die aus Vorwissen, Systemmodell und neuer Beobachtung berechnete Zustandswahrscheinlichkeit.

Vorteile von POMDPs in der Quantentechnologie

Explizite Modellierung von Unsicherheit

Der wichtigste Vorteil eines POMDP liegt darin, dass Unsicherheit nicht als störender Sonderfall behandelt wird. Sie ist Bestandteil des Modells. Der Agent weiß ausdrücklich, dass sein Wissen unvollständig ist.

Diese Eigenschaft passt zu vielen quantentechnologischen Situationen, in denen Messdaten probabilistisch, verrauscht oder indirekt sind.

Verbindung von Schätzung und Kontrolle

Traditionell können Zustandsschätzung und Steuerung als getrennte Aufgaben betrachtet werden. Zuerst wird ein Zustand geschätzt, anschließend wird auf Basis dieser Schätzung gehandelt.

Ein POMDP behandelt beide Aufgaben gemeinsam. Die Auswahl einer Aktion berücksichtigt bereits, wie sich diese Aktion auf zukünftige Informationen auswirkt.

Langfristige Optimierung

Ein POMDP bewertet nicht nur den unmittelbaren Nutzen. Dadurch können Messungen oder Kalibrierungsschritte sinnvoll werden, die kurzfristig Ressourcen kosten, langfristig aber bessere Entscheidungen ermöglichen.

Adaptive Reaktion

Da der Belief State nach jeder neuen Beobachtung aktualisiert wird, kann die Policy flexibel auf unerwartete Entwicklungen reagieren. Dies ist bei Hardwaredrift, variabler Kanalqualität oder unvorhersehbaren Messergebnissen besonders wertvoll.

Allgemeine Modellierbarkeit

Das POMDP-Konzept ist nicht auf einen bestimmten Typ von Quantentechnologie beschränkt. Dieselbe Grundstruktur kann für Quantensteuerung, Sensorik, Kommunikationsnetze, Kalibrierung, Zustandsschätzung oder andere adaptive Prozesse verwendet werden.

Der konkrete Nutzen hängt allerdings davon ab, ob Zustandsraum, Übergangsmodell, Beobachtungen und Reward sinnvoll definiert werden können.

Grenzen und kritische Bewertung

Hohe Komplexität

POMDPs gehören bereits im klassischen Bereich zu den rechnerisch anspruchsvollen Entscheidungsmodellen. Die zusätzliche Komplexität quantenmechanischer Zustandsräume kann das Problem weiter verschärfen.

Ein mathematisch elegantes Modell ist deshalb nicht automatisch praktisch lösbar.

Abhängigkeit vom Modell

Die Qualität einer POMDP-Policy hängt direkt von den angenommenen Übergangs- und Beobachtungswahrscheinlichkeiten ab. Sind diese falsch, kann auch eine exakt berechnete Policy systematisch falsche Entscheidungen treffen.

Für reale Quantenhardware ist diese Einschränkung relevant, da Rauschmodelle häufig nur Näherungen darstellen.

Belief-State-Fehler

Ein Belief State ist nur so zuverlässig wie das Modell und die Eingangsdaten, aus denen er berechnet wurde. Modellabweichungen können sich über viele Schritte fortpflanzen.

Bei langer Betriebsdauer kann deshalb eine regelmäßige Modellanpassung oder erneute Kalibrierung erforderlich sein.

Unterschied zwischen klassischer und quantenmechanischer Unsicherheit

Ein besonderes Risiko besteht in der falschen Interpretation quantenmechanischer Zustände als rein klassische Unsicherheit. Superposition, Verschränkung und Nichtkommutativität lassen sich nicht allgemein durch eine klassische Wahrscheinlichkeitsverteilung über vorbestehende Zustände ersetzen.

Ein klassisches POMDP muss deshalb so formuliert werden, dass die quantenmechanische Dynamik nicht durch eine unzulässige klassische Vereinfachung verfälscht wird.

Nicht für jedes Problem erforderlich

Ein POMDP sollte nur eingesetzt werden, wenn partielle Beobachtbarkeit tatsächlich entscheidungsrelevant ist. Ist der Systemzustand ausreichend genau bekannt oder genügt eine einfache Feedback-Regel, kann ein POMDP unnötig komplex sein.

Auch bei Quantenhardware sind spezialisierte Verfahren häufig effizienter als ein universeller POMDP-Ansatz.

Zukünftige Entwicklung

Approximative Verfahren

Ein wesentlicher Forschungsbereich betrifft effizientere Approximationen großer Belief Spaces. Statt sämtliche theoretisch möglichen Zustände und Beobachtungsverläufe zu berücksichtigen, können relevante Regionen gezielt identifiziert werden.

Sampling, komprimierte Zustandsrepräsentationen und hierarchische Planungsverfahren können dazu beitragen, den Rechenaufwand zu reduzieren.

Kombination mit Machine Learning

Maschinelles Lernen kann POMDP-Modelle insbesondere dann ergänzen, wenn Übergangsdynamiken oder Beobachtungsmodelle nicht vollständig bekannt sind. Datengetriebene Modelle können aus Experimenten lernen und kontinuierlich angepasst werden.

Interessant sind hybride Verfahren, bei denen physikalisches Vorwissen mit lernenden Komponenten verbunden wird. Dadurch muss das System nicht sämtliche Zusammenhänge ausschließlich aus Daten lernen.

Automatisierte Quantenexperimente

Ein besonders naheliegendes Anwendungsgebiet sind autonome Laborplattformen. Ein solches System könnte Messparameter auswählen, Ergebnisse auswerten, Hypothesen aktualisieren und anschließend selbstständig das nächste Experiment bestimmen.

Die Abfolge aus Hypothesenbildung, Messung und Anpassung besitzt eine natürliche POMDP-Struktur, wenn der zugrunde liegende physikalische Zustand oder unbekannte Parameter nicht vollständig beobachtbar sind.

Hybride quantenklassische Systeme

In absehbaren Anwendungen dürfte die Entscheidungslogik häufig klassisch bleiben, während das kontrollierte System quantenmechanisch ist. Ein klassischer Rechner analysiert Messwerte und bestimmt neue Parameter für einen Quantenprozessor.

Langfristig können zusätzlich quantenmechanische Lern- oder Optimierungsverfahren Bestandteil dieses Regelkreises werden. Ob dadurch gegenüber leistungsfähigen klassischen Verfahren ein praktischer Vorteil entsteht, muss für jede konkrete Anwendung gesondert untersucht werden.

Quantennetzwerke

Mit zunehmender Größe von Quantennetzwerken steigt die Bedeutung dynamischer Ressourcenverwaltung. Verfügbare Verschränkung, Speicherzustände, Kanalqualität und Kommunikationsverzögerungen müssen gemeinsam berücksichtigt werden.

Teilweise beobachtbare Entscheidungsmodelle können hier eine wichtige Rolle spielen, sofern ihre Komplexität durch geeignete Approximationen beherrscht wird.

Fehlertolerante Quantencomputer

Fehlertolerante Quantencomputer werden umfangreiche klassische Kontrollsysteme benötigen. Diese müssen Fehlerdaten analysieren, Operationen koordinieren und auf sich verändernde Hardwarebedingungen reagieren.

Ob POMDPs dabei direkt eingesetzt werden oder lediglich mathematische Ideen aus POMDPs in spezialisierte Kontrollverfahren einfließen, bleibt von der jeweiligen Architektur abhängig. Besonders relevant bleibt jedoch der Grundgedanke, Entscheidungen nicht auf vermeintlich vollständige Zustandsinformationen zu stützen, sondern Unsicherheit ausdrücklich zu modellieren.

Fazit

Zentrale Aussage

Der Partially Observable Markov Decision Process ist ein mathematischer Rahmen für sequenzielle Entscheidungen unter unvollständiger Zustandsinformation. Sein entscheidendes Merkmal ist der Belief State. Er beschreibt die aktuelle Wahrscheinlichkeit möglicher verborgener Zustände und wird nach jeder Aktion und Beobachtung aktualisiert.

Dadurch verbindet der POMDP Zustandsschätzung, Informationsgewinnung und Steuerung innerhalb eines einzigen Entscheidungsmodells. Eine optimale Strategie bewertet nicht nur den direkten Nutzen einer Aktion, sondern berücksichtigt auch ihren Einfluss auf zukünftige Informationen und spätere Entscheidungen.

Bedeutung für Quantentechnologien

Diese Struktur passt zu zahlreichen Aufgaben der Quantentechnologie. Quantensysteme liefern probabilistische Messergebnisse, sind durch Messungen nur eingeschränkt zugänglich und können durch den Messprozess selbst verändert werden. Reale Geräte weisen zusätzlich Dekohärenz, Drift, Rauschen und Kalibrierungsunsicherheiten auf.

POMDPs können deshalb insbesondere bei adaptiver Quantensteuerung, Quantensensorik, Zustandsschätzung, Kalibrierung und Quantennetzwerken eingesetzt werden. Sie ermöglichen Entscheidungen auf Grundlage eines expliziten Modells der Unsicherheit.

Entscheidende Abgrenzung

Der klassische POMDP darf jedoch nicht mit einem quantenmechanischen Entscheidungsprozess gleichgesetzt werden. Ein Belief State ist eine klassische Wahrscheinlichkeitsverteilung über verborgene Zustände. Ein Quantenzustand wird dagegen durch Vektoren oder Dichteoperatoren beschrieben und besitzt Eigenschaften wie Superposition, Interferenz, Nichtkommutativität und Verschränkung.

Ein klassischer POMDP kann ein Quantensystem steuern, ohne selbst quantenmechanisch zu sein. Genuin quantenmechanische Erweiterungen müssen dagegen Quantenkanäle, Messoperatoren und die quantenmechanische Zustandsaktualisierung direkt in den Entscheidungsformalismus integrieren.

Gesamtbewertung

POMDPs sind für die Quantentechnologie vor allem deshalb interessant, weil sie eine zentrale Realität moderner Quantensysteme mathematisch ernst nehmen: Eine Steuerung kennt den tatsächlichen Zustand häufig nicht vollständig. Sie muss Entscheidungen auf Grundlage begrenzter Messinformationen treffen.

Der POMDP liefert dafür einen klaren formalen Rahmen. Seine Stärke liegt nicht in einer speziellen Quantenbeschleunigung, sondern in der systematischen Behandlung von Unsicherheit, Messinformation und langfristiger Entscheidungsoptimierung.

Die größte praktische Herausforderung ist die Skalierbarkeit. Große Zustandsräume, kontinuierliche Kontrollparameter und komplexe Beobachtungshistorien machen exakte Lösungen häufig unmöglich. Deshalb werden zukünftige Anwendungen voraussichtlich stark auf approximative Verfahren, Machine Learning und hybride physikalisch-datengetriebene Modelle angewiesen sein.

Damit bildet der Partially Observable Markov Decision Process eine wichtige Schnittstelle zwischen Wahrscheinlichkeitstheorie, künstlicher Intelligenz, Regelungstechnik und Quantentechnologie. Er ist kein universeller Ersatz für spezialisierte Quantenalgorithmen oder Kontrollverfahren, bietet aber ein leistungsfähiges Konzept für genau jene Situationen, in denen ein System handeln muss, obwohl es den tatsächlichen Zustand nicht vollständig kennt.

Mit freundlichen Grüßen

---

Anhang

Wissenschaftliche Zeitschriften und Artikel

Die folgenden wissenschaftlichen Arbeiten bilden die fachliche Grundlage für die Einordnung von Partially Observable Markov Decision Processes. Berücksichtigt werden sowohl die historische POMDP-Theorie und zentrale Lösungsverfahren als auch Arbeiten, die den Übergang zu quantenmechanischer Zustandsschätzung, Quantenkontrolle und Quantum Markov Decision Processes herstellen.

Grundlagen des POMDP-Formalismus

• Karl J. Åström: Optimal Control of Markov Processes with Incomplete State Information, Journal of Mathematical Analysis and Applications, 1965.
  • Einordnung: historische Primär- und Grundlagenliteratur. Die Arbeit gehört zu den frühen grundlegenden Formulierungen kontrollierter Markov-Prozesse mit unvollständiger Zustandsinformation. Sie eignet sich insbesondere zur wissenschaftlichen Herleitung des Übergangs von vollständig beobachtbaren Markov-Modellen zu Entscheidungsproblemen unter partieller Beobachtbarkeit.
  • Journal-Version: https://www.sciencedirect.com/...
  • DOI: 10.1016/0022-247X(65)90154-X – https://doi.org/...
• Richard D. Smallwood, Edward J. Sondik: The Optimal Control of Partially Observable Markov Processes over a Finite Horizon, Operations Research, 1973.
  • Einordnung: Primärliteratur zur mathematischen POMDP-Theorie. Die Arbeit behandelt optimale Entscheidungen bei endlichem Planungshorizont und ist besonders wichtig für die Value-Function-Struktur und die Darstellung von Lösungen im Belief Space. Sie kann zur Begründung der stückweise linearen Struktur klassischer diskreter POMDP-Wertfunktionen herangezogen werden.
  • Journal-Version: https://pubsonline.informs.org/...
  • DOI: 10.1287/opre.21.5.1071 – https://doi.org/...
• Edward J. Sondik: The Optimal Control of Partially Observable Markov Processes over the Infinite Horizon: Discounted Costs, Operations Research, 1978.
  • Einordnung: grundlegende Primärliteratur für POMDPs mit unendlichem Planungshorizont. Sondik untersucht optimale Kontrollstrategien bei diskontierten Kosten und verwendet den Raum der Zustandswahrscheinlichkeitsverteilungen als Entscheidungsraum. Die Quelle ist besonders für Belief States, stationäre Policies und langfristige Optimierung relevant.
  • Journal-Version: https://pubsonline.informs.org/...
  • DOI: 10.1287/opre.26.2.282 – https://doi.org/...
• Leslie Pack Kaelbling, Michael L. Littman, Anthony R. Cassandra: Planning and Acting in Partially Observable Stochastic Domains, Artificial Intelligence, 1998.
  • Einordnung: zentrale Grundlagenliteratur an der Schnittstelle zwischen Operations Research und künstlicher Intelligenz. Der Artikel erklärt MDPs und POMDPs systematisch, behandelt Belief States und Policies und zeigt, wie optimale beziehungsweise näherungsweise optimale Entscheidungen in partiell beobachtbaren stochastischen Umgebungen modelliert werden können. Für eine wissenschaftliche Abhandlung eignet sich die Arbeit als eine der wichtigsten Referenzen für die moderne POMDP-Darstellung.
  • Journal-Version: https://www.sciencedirect.com/...
  • DOI: 10.1016/S0004-3702(98)00023-X – https://doi.org/...
• Milos Hauskrecht: Value-Function Approximations for Partially Observable Markov Decision Processes, Journal of Artificial Intelligence Research, 2000.
  • Einordnung: Spezialliteratur zu approximativen POMDP-Lösungsverfahren. Die Arbeit untersucht verschiedene Möglichkeiten, den erheblichen Rechenaufwand exakter POMDP-Verfahren durch Näherungen der Value Function zu reduzieren. Sie ist besonders für Abschnitte über Skalierbarkeit, approximative Planung und den Kompromiss zwischen Rechenaufwand und Lösungsqualität geeignet.
  • Journal-Version: https://jair.org/...
  • arXiv: 1106.0234 – https://arxiv.org/...
  • DOI: 10.1613/jair.678 – https://doi.org/...

Approximative und skalierbare POMDP-Verfahren

• Joelle Pineau, Geoff Gordon, Sebastian Thrun: Point-Based Value Iteration: An Anytime Algorithm for POMDPs, Proceedings of the International Joint Conference on Artificial Intelligence, 2003.
  • Einordnung: Primärliteratur zu Point-Based-Verfahren. Die Arbeit führt Point-Based Value Iteration ein und beschränkt die Berechnung auf ausgewählte relevante Belief States. Sie ist für die Erklärung wichtig, warum moderne POMDP-Verfahren nicht zwingend den gesamten kontinuierlichen Belief Space bearbeiten müssen.
  • Publikation: https://www.ijcai.org/...
• David Silver, Joel Veness: Monte-Carlo Planning in Large POMDPs, Advances in Neural Information Processing Systems 23, 2010.
  • Einordnung: wichtige Primärliteratur zur Online-Planung in großen POMDPs. Die Arbeit führt POMCP ein und verbindet Monte-Carlo Tree Search mit einer stichprobenbasierten Approximation des Belief State. Für quantentechnologische Anwendungen ist dieser Ansatz konzeptionell interessant, wenn sehr große Zustandsräume oder generative Simulationsmodelle vorliegen.
  • Publikation: https://proceedings.neurips.cc/...

Quantentechnologie, Quantenfilterung und Quantum-POMDPs

• Jennifer Barry, Daniel T. Barry, Scott Aaronson: Quantum Partially Observable Markov Decision Processes, Physical Review A, 2014.
  • Einordnung: zentrale Primärliteratur für die direkte Verbindung zwischen POMDP-Theorie und quantenmechanischen Entscheidungsprozessen. Die Autoren führen Quantum Observable Markov Decision Processes ein, bei denen der Zustand quantenmechanisch repräsentiert wird und Aktionen durch Quantenoperationen beschrieben werden. Diese Arbeit sollte für die Abgrenzung zwischen einem klassischen POMDP zur Steuerung eines Quantensystems und einem genuin quantenmechanischen Entscheidungsprozess verwendet werden.
  • Journal-Version: https://link.aps.org/...
  • arXiv: 1406.2858 – https://arxiv.org/...
  • DOI: 10.1103/PhysRevA.90.032311 – https://doi.org/...
• Luc Bouten, Ramon van Handel, Matthew R. James: An Introduction to Quantum Filtering, SIAM Journal on Control and Optimization, 2007.
  • Einordnung: grundlegende Spezialliteratur zur quantenmechanischen Zustandsschätzung. Quantum Filtering ist für POMDP-artige Kontrollprobleme relevant, weil aus fortlaufenden und unvollständigen Messinformationen ein konditionierter Informationszustand des Quantensystems bestimmt werden muss. Die Arbeit eignet sich besonders für die wissenschaftlich saubere Verbindung von Zustandsschätzung, Quantenmessungen und Feedback-Kontrolle.
  • Journal-Version: https://epubs.siam.org/...
  • arXiv: math/0601741 – https://arxiv.org/...
  • DOI: 10.1137/060651239 – https://doi.org/...
• Luc Bouten, Ramon van Handel, Matthew R. James: A Discrete Invitation to Quantum Filtering and Feedback Control, SIAM Review, 2009.
  • Einordnung: Spezial- und Übersichtsliteratur zu Quantenfilterung und Feedback-Kontrolle. Besonders wertvoll ist die diskrete Darstellung, weil sie zentrale Konzepte von Zustandsschätzung, Messung, dynamischer Programmierung und Kontrolle in einem mathematisch überschaubaren Rahmen zusammenführt. Damit eignet sich die Quelle sehr gut für die Brücke zwischen klassischer POMDP-Logik und quantenmechanischer Feedback-Steuerung.
  • Journal-Version: https://epubs.siam.org/...
  • arXiv: math/0606118 – https://arxiv.org/...
  • DOI: 10.1137/060671504 – https://doi.org/...
• Howard M. Wiseman: Quantum Theory of Continuous Feedback, Physical Review A, 1994.
  • Einordnung: Primärliteratur zur kontinuierlichen quantenmechanischen Feedback-Kontrolle. Die Arbeit ist keine POMDP-Publikation im engeren Sinn, liefert aber wesentliche physikalische Grundlagen für adaptive Entscheidungen auf Basis fortlaufender Messinformationen. Sie ist besonders für die Diskussion von Messrückwirkung und geschlossenen Kontrollschleifen geeignet.
  • Journal-Version: https://link.aps.org/...
  • DOI: 10.1103/PhysRevA.49.2133 – https://doi.org/...
• Naci Saldi, Sina Sanjari, Serdar Yüksel: Quantum Markov Decision Processes: General Theory, Approximations, and Classes of Policies, SIAM Journal on Control and Optimization, 2025.
  • Einordnung: aktuelle Spezial- und Primärliteratur zur mathematischen Theorie von Quantum Markov Decision Processes. Die Arbeit entwickelt einen allgemeinen q-MDP-Formalismus mit quantenmechanischen Zuständen, Aktionen und Übergängen und untersucht unter anderem dynamische Programmierung, Approximationen und Policy-Klassen. Für eine moderne Abhandlung eignet sie sich zur Einordnung der Weiterentwicklung von klassischen MDP- und POMDP-Konzepten in den quantenmechanischen Zustandsraum.
  • Journal-Version: https://epubs.siam.org/...
  • arXiv: 2402.14649 – https://arxiv.org/...
  • DOI: 10.1137/24M1643864 – https://doi.org/...

Bücher und Monographien

Die Bücher und Monographien in diesem Abschnitt dienen zur systematischen Vertiefung der mathematischen Entscheidungsmodelle sowie der quantenmechanischen Grundlagen. Für eine Abhandlung über POMDPs in der Quantentechnologie ist die Kombination beider Literaturgruppen entscheidend: Die POMDP-Theorie allein erklärt nicht die Besonderheiten von Quantenmessungen, während reine Quantenliteratur keine vollständige Theorie sequenzieller Entscheidungen unter partieller Beobachtbarkeit bereitstellt.

Entscheidungstheorie, POMDP und Reinforcement Learning

• Mykel J. Kochenderfer: Decision Making Under Uncertainty: Theory and Application, The MIT Press, 2015.
  • Einordnung: moderne Grundlagenliteratur zur algorithmischen Entscheidungsfindung unter Unsicherheit. Das Buch behandelt probabilistische Modelle, Markov Decision Processes, Zustandsunsicherheit, Planung und Reinforcement Learning. Es eignet sich hervorragend, um POMDPs in einen umfassenderen entscheidungstheoretischen Kontext einzuordnen.
  • Verlag: https://mitpress.mit.edu/...
• Mykel J. Kochenderfer, Tim A. Wheeler, Kyle H. Wray: Algorithms for Decision Making, The MIT Press, 2022.
  • Einordnung: aktuelle Grundlagen- und Methodenliteratur für algorithmische Entscheidungsverfahren. Das Werk behandelt sequenzielle Entscheidungen, Zustandsunsicherheit, Planung, Reinforcement Learning und verschiedene algorithmische Lösungsansätze. Für die Abhandlung ist es besonders nützlich zur verständlichen Erklärung moderner Berechnungsverfahren für unsichere und teilweise beobachtbare Systeme.
  • Verlag: https://mitpress.mit.edu/...
• Richard S. Sutton, Andrew G. Barto: Reinforcement Learning: An Introduction, Second Edition, The MIT Press, 2018.
  • Einordnung: Standardwerk des Reinforcement Learning. Obwohl das Buch nicht ausschließlich POMDPs behandelt, liefert es die notwendigen Grundlagen zu Markov Decision Processes, Value Functions, Policies, dynamischer Programmierung, Monte-Carlo-Verfahren und Temporal-Difference Learning. Es ist besonders für die Abgrenzung zwischen einem POMDP als Problemmodell und Reinforcement Learning als Lern- beziehungsweise Lösungsmethodik geeignet.
  • Verlag: https://mitpress.mit.edu/...
• Matthijs T. J. Spaan: Partially Observable Markov Decision Processes, in: Marco Wiering, Martijn van Otterlo (Hrsg.), Reinforcement Learning: State-of-the-Art, Springer, 2012.
  • Einordnung: spezialisierte Überblicksliteratur zu POMDPs. Das Kapitel behandelt Unterschiede zwischen MDP und POMDP, die Repräsentation optimaler Policies sowie modellbasierte und modellfreie Lösungsverfahren. Es eignet sich als kompakte wissenschaftliche Quelle für eine strukturierte Darstellung des POMDP-Formalismus und seiner algorithmischen Umsetzung.
  • Springer-Version: https://link.springer.com/...
  • DOI: 10.1007/978-3-642-27645-3_12 – https://doi.org/...

Quanteninformation, Quantenmessung und Quantenkontrolle

• Michael A. Nielsen, Isaac L. Chuang: Quantum Computation and Quantum Information, 10th Anniversary Edition, Cambridge University Press, 2010.
  • Einordnung: Standardwerk der Quanteninformation und des Quantencomputings. Für die POMDP-Thematik sind insbesondere Zustandsvektoren, Dichtematrizen, Messungen, Quantenoperationen und Quantenkanäle relevant. Das Buch sollte zur physikalischen und mathematischen Absicherung der Unterschiede zwischen klassischem Belief State und quantenmechanischem Zustand verwendet werden.
  • Verlag: https://www.cambridge.org/...
  • DOI: 10.1017/CBO9780511976667 – https://doi.org/...
• Howard M. Wiseman, Gerard J. Milburn: Quantum Measurement and Control, Cambridge University Press, 2010.
  • Einordnung: Standard- und Spezialliteratur zur Quantenmessung und messungsbasierten Kontrolle. Das Werk ist für POMDP-bezogene Quantentechnologie besonders wichtig, weil es die physikalischen Grundlagen von Messrückwirkung, kontinuierlicher Beobachtung und Feedback-Kontrolle behandelt. Es kann zur fundierten Darstellung des Unterschieds zwischen klassischer Beobachtung und quantenmechanischer Messung genutzt werden.
  • Verlag: https://www.cambridge.org/...
• Kurt Jacobs: Quantum Measurement Theory and its Applications, Cambridge University Press, 2014.
  • Einordnung: Spezialliteratur zur Theorie quantenmechanischer Messungen und ihrer Anwendungen. Das Buch behandelt unter anderem generalisierte Messungen, Zustandsschätzung, Informationsgewinn, Feedback und Quantenmetrologie. Für POMDP-Anwendungen in Quantensensorik und adaptiver Quantensteuerung ist diese Quelle besonders wertvoll.
  • Verlag: https://www.cambridge.org/...
• John Watrous: The Theory of Quantum Information, Cambridge University Press, 2018.
  • Einordnung: mathematisch anspruchsvolle Grundlagenliteratur der Quanteninformation. Das Werk bietet eine präzise Behandlung von Dichteoperatoren, Quantenkanälen, Messungen und weiteren Strukturen, die für formale Quantum-MDP- und Quantum-POMDP-Modelle benötigt werden. Es eignet sich insbesondere zur mathematischen Absicherung quantenmechanischer Zustands- und Operationsmodelle.
  • Verlag: https://www.cambridge.org/...
  • DOI: 10.1017/9781316848142 – https://doi.org/...

Online-Ressourcen und Datenbanken

Online-Ressourcen sollten in einer wissenschaftlichen Abhandlung vor allem zur Literaturrecherche, zur Überprüfung bibliografischer Angaben und zum Auffinden neuer Primärliteratur verwendet werden. Bei Preprint-Plattformen ist zu beachten, dass eine dort veröffentlichte Version nicht zwangsläufig bereits ein Peer-Review-Verfahren durchlaufen hat. Wenn zusätzlich eine begutachtete Journal-Version existiert, sollte diese in der wissenschaftlichen Argumentation bevorzugt werden.

POMDP-spezifische Ressourcen

• POMDP.org: The POMDP Page.
  • Einordnung: spezialisierte Recherche- und Arbeitsressource. Die Plattform stellt Informationen zu POMDP-Lösungsverfahren, Beispielmodellen, Software und klassischer POMDP-Literatur bereit. Sie eignet sich besonders für die historische und algorithmische Recherche sowie zum Nachvollziehen klassischer Modellierungsbeispiele.
  • URL: https://www.pomdp.org/...
• POMDP.org: pomdp-solve.
  • Einordnung: spezialisierte Software- und Methodenressource für klassische POMDPs. Die Software implementiert verschiedene auf dynamischer Programmierung basierende Verfahren und ist deshalb hilfreich, wenn die mathematische Theorie anhand konkreter POMDP-Modelle nachvollzogen oder experimentell untersucht werden soll.
  • URL: https://www.pomdp.org/...

Wissenschaftliche Repositorien und Fachdatenbanken

• arXiv.
  • Einordnung: wissenschaftliches Preprint-Repositorium. Für das Thema POMDP und Quantentechnologie sind insbesondere die Bereiche Quantum Physics, Artificial Intelligence, Machine Learning, Optimization and Control sowie Mathematical Physics relevant. arXiv eignet sich sehr gut zur Recherche aktueller Entwicklungen, sollte bei vorhandener Journal-Version aber nicht automatisch als endgültige Publikationsfassung verwendet werden.
  • URL: https://arxiv.org/...
• American Physical Society Journals.
  • Einordnung: zentrale Recherchequelle für begutachtete physikalische Primärliteratur. Physical Review A, Physical Review Letters und PRX Quantum sind besonders relevant für Quanteninformation, Quantenmessung, Quantenkontrolle und quantentechnologische Anwendungen.
  • URL: https://journals.aps.org/...
• INFORMS PubsOnLine.
  • Einordnung: zentrale wissenschaftliche Datenbank für Operations Research und Entscheidungswissenschaften. Zahlreiche historische Schlüsselarbeiten zur POMDP-Theorie wurden in Operations Research und verwandten Fachzeitschriften veröffentlicht. Die Plattform ist daher besonders für die mathematischen Ursprünge des POMDP-Formalismus wichtig.
  • URL: https://pubsonline.informs.org/...
• SIAM Journals.
  • Einordnung: wissenschaftliche Recherchequelle für angewandte Mathematik, Optimierung und Kontrolltheorie. Für POMDP-nahe Quantentechnologie sind insbesondere Veröffentlichungen zu stochastischer Kontrolle, Quantum Filtering, dynamischer Programmierung und Quantum Markov Decision Processes relevant.
  • URL: https://epubs.siam.org/...
• ScienceDirect.
  • Einordnung: multidisziplinäre wissenschaftliche Rechercheplattform mit relevanten Zeitschriften aus künstlicher Intelligenz, angewandter Mathematik, Kontrolltheorie und Quantenphysik. Besonders hilfreich ist die Datenbank zum Auffinden von Originalartikeln und zur Rückverfolgung bibliografischer Referenzen.
  • URL: https://www.sciencedirect.com/...
• SpringerLink.
  • Einordnung: Rechercheplattform für Fachbücher, Monographien, Sammelbände und wissenschaftliche Artikel. Für die POMDP-Thematik ist SpringerLink insbesondere für Literatur über Reinforcement Learning, stochastische Kontrolltheorie, Markov-Prozesse und verwandte mathematische Verfahren relevant.
  • URL: https://link.springer.com/...

Bibliografische Prüfung und DOI-Verifikation

• Crossref Metadata Search.
  • Einordnung: Recherchehilfe zur Verifikation bibliografischer Angaben. Crossref eignet sich zum Prüfen von DOI, Titel, Autoren, Zeitschrift und weiteren Metadaten wissenschaftlicher Publikationen. Für eine wissenschaftliche Abhandlung ist die Datenbank besonders hilfreich, um fehlerhafte oder veraltete Quellenangaben zu vermeiden.
  • URL: https://search.crossref.org/...
• Google Scholar.
  • Einordnung: übergreifende Recherchehilfe für wissenschaftliche Literatur und Zitationsbeziehungen. Die Plattform ist nützlich, um verwandte Arbeiten, spätere Weiterentwicklungen und Zitationen zentraler POMDP- oder Quantum-POMDP-Publikationen aufzuspüren. Bibliografische Angaben sollten anschließend möglichst mit der Originalpublikation oder dem DOI-Datensatz abgeglichen werden.
  • URL: https://scholar.google.com/...