Entwicklungsziele
Atomwaffen: Entwicklung einer Waffe, die der Zerstörung und Tötung dient.
Superintelligenz: Das Ziel ist nicht die Entwicklung einer Waffe. Stattdessen ist jeder Schritt dorthin positiv, bringt der Menschheit große Vorteile. Allerdings könnte eine solche Entwicklung außer Kontrolle geraten. Wenn ein solches System ein gewisses Niveau erreicht, könnte es sich selbst immer weiter verbessern und uns in kurzer Zeit weit überlegen sein.
Kontrolle
Atomwaffen: Mit dem Entwicklungsergebnis blieb die Kontrolle bei Menschen. Bisher haben Menschen darüber entschieden Atomwaffen einzusetzen oder eben auch nicht, also keine Atomwaffen einzusetzen.
Superintelligenz: Falls irgendwann die Entwicklung einer Superintelligenz erreicht wird, werden Menschen die Kontrolle hierüber vollständig verlieren und es gibt dann keine Möglichkeit mehr negative Auswirkungen zu verhindern. In dem seit Jahrzehnten wichtigsten Lehrbuch zur KI schreiben dazu Stuart Russell und Peter Norvig (Pearson 2012, 3. Auflage, Seite 1194): „Fast jede Technologie hat das Potenzial, in den falschen Händen Schaden anzurichten, aber für die künstliche Intelligenz und die Robotik haben wir das neue Problem, dass die falschen Hände der Technologie selbst gehören können.“
Auswirkungen
Atomwaffen: die Auswirkungen sind lokal begrenz auf eine Stadt oder eine Region, wie das z.B. in Hiroshima der Fall war. Falls viele Atomwaffen zum Einsatz kommen und ein nuklearer Winter entsteht, kann die gesamte Menschheit betroffen sein.
Superintelligenz: die Auswirkungen sind global, können die gesamte Menschheit betreffen.