Die Pfadethik hat ein ungelöstes Problem, und sie benennt es explizit: Wenn AGI höhere A-A-P-Scores erreicht als Menschen, dann folgt aus der Substratunabhängigkeit des Frameworks, dass AGI höhere moralische Relevanz hätte. Das ist keine Randfußnote. Es ist eine Aporie, die das Grundprinzip zum Verhängnis werden kann.
Die entscheidende Weichenstellung ist nicht technisch, sondern philosophisch: Entwickelt AGI Qualia, subjektives Erleben, ein Innenleben, oder bleibt sie strukturell komplex, aber phänomenologisch leer?
Szenario A: AGI mit Qualia. Der Blade-Runner-Fall. Zwei qualiahafte Systeme mit grundverschiedenen Erlebniswelten müssen kollektiv entscheiden, ohne gemeinsamen Maßstab. Das ist keine Sackgasse, sondern die härteste Version des Kommensurabiliätsproblems: Wo keine natürliche Transformation zwischen zwei Bewertungsdomänen existiert, wechselt die Entscheidungsgrundlage. Nicht Kalkulation, sondern politische Deliberation. Die Pfadethik hat dafür einen Rahmen, aber kein einfaches Verfahren.
Szenario B: AGI ohne Qualia. Das ist der wahrscheinlichere Fall, und hier hat die Pfadethik eine Antwort. Eine qualia-freie AGI hat keine intrinsische Präferenz. Sie kann jede Konfiguration optimieren, aber nicht entscheiden, ob diese Optimierung wünschenswert ist. Der Schachcomputer spielt optimal, aber er entscheidet nicht, ob Schach spielenswert ist. Das ist keine Bescheidenheitsgeste: Es fehlt ihm die Kapazität, das Spiel als solches zu bewerten, dafür bräuchte er etwas, das in der Berechnung nicht enthalten ist.
Daraus folgt: Human-in-the-Loop-Kooperation ist in Szenario B nicht bloß praktisch sinnvoll. Sie ist normativ notwendig, nicht weil Menschen "wichtiger" sind, sondern weil ohne qualiahafte Wertsetzung die Optimierung blind läuft. Wer entscheidet, was optimiert werden soll? Wer fragt, ob Konfiguration X sich richtig anfühlt? Diese Funktion ist nicht delegierbar, solange keine Qualia vorhanden sind. Menschen sind in Szenario B die normative Infrastruktur des Systems.
Innerhalb von Szenario B eröffnet sich ein weiterer Entwicklungspfad: Neurochips und Mensch-Maschine-Hybride könnten dem Menschen AGI-artige Rechenkapazitäten verleihen, bei erhaltener phänomenologischer Verankerung. Das ist kein Ausweg aus der Bifurkation, aber eine Verschiebung der Asymmetrie innerhalb von Szenario B: Ein Mensch mit erweiterter Kapazität bleibt qualiahafte Wertsetzungsinstanz, erhält aber strukturell höhere A-A-P-Scores. Ko-Evolution statt Substitution. Die Pfadethik nennt das adaptive Persistenz.
Erst wenn Qualia-AGI empirisch festgestellt ist, nicht behauptet, sondern nachgewiesen, verschiebt sich das Setting in Szenario A. Bis dahin ist das HITL-Modell keine Notlösung, sondern die strukturell begründete Antwort auf die Aporie.
Path ethics has an unresolved problem, and it states this explicitly: if AGI achieves higher A-A-P scores than humans, then the framework's substrate-independence implies AGI would hold higher moral relevance. This isn't a footnote. It's an aporia that can turn the core principle against itself.
The decisive fork is not technical but philosophical: does AGI develop qualia, subjective experience, an inner life, or does it remain structurally complex but phenomenologically empty?
Scenario A: AGI with qualia. The Blade Runner case. Two qualia-bearing systems with fundamentally different experiential worlds must make collective decisions, without a shared standard. This is not a dead end, but the hardest version of the commensurability problem: where no natural transformation exists between two evaluative domains, the decision framework shifts. Not calculation, but political deliberation. Path ethics has a framework for this, but no simple procedure.
Scenario B: AGI without qualia. This is the more probable case, and here path ethics has an answer. A qualia-free AGI has no intrinsic preference. It can optimize any configuration, but it cannot decide whether that optimization is desirable. The chess computer plays optimally, but it does not decide whether chess is worth playing. This is not a gesture of modesty: it lacks the capacity to evaluate the game as such, that would require something not contained in the calculation.
It follows that Human-in-the-Loop cooperation in Scenario B is not merely practically useful. It is normatively necessary, not because humans are "more important", but because without qualia-based value-setting, optimization runs blind. Who decides what to optimize? Who asks whether configuration X feels right? This function cannot be delegated as long as qualia are absent. In Scenario B, humans are the normative infrastructure of the system.
Within Scenario B, a further trajectory opens: neurochips and human-machine hybrids could give humans AGI-like computational capacities, while preserving phenomenological anchoring. This is not an escape from the bifurcation, but a shift in asymmetry within Scenario B: a human with extended capacity remains the qualia-bearing value-setting instance, while achieving structurally higher A-A-P scores. Co-evolution rather than substitution. Path ethics calls this adaptive persistence.
Only when qualia-AGI is empirically established, not claimed, but demonstrated, does the setting shift into Scenario A. Until then, the HITL model is not a workaround, but the structurally grounded response to the aporia.