Entwicklungsziele

Atomwaffen: Entwicklung einer Waffe, die der Zerstörung und Tötung dient.

Superintelligenz: Das Ziel ist nicht die Entwicklung einer Waffe. Stattdessen ist jeder Schritt dorthin positiv, bringt der Menschheit große Vorteile. Allerdings könnte eine solche Entwicklung außer Kontrolle geraten. Wenn ein solches System ein gewisses Niveau erreicht, könnte es sich selbst immer weiter verbessern und uns in kurzer Zeit weit überlegen sein.

Kontrolle

Atomwaffen: Mit dem Entwicklungsergebnis blieb die Kontrolle bei Menschen. Bisher haben Menschen darüber entschieden Atomwaffen einzusetzen oder eben auch nicht, also keine Atomwaffen einzusetzen.

Superintelligenz: Falls irgendwann die Entwicklung einer Superintelligenz erreicht wird, werden Menschen die Kontrolle hierüber verlieren und es gibt dann keine Möglichkeit mehr negative Auswirkungen zu verhindern.

Auswirkungen

Atomwaffen: die Auswirkungen sind lokal begrenzt auf eine Stadt oder eine Region, wie das z.B. in Hiroshima der Fall war. Falls viele Atomwaffen zum Einsatz kommen und ein nuklearer Winter entsteht, kann die gesamte Menschheit betroffen sein.

Superintelligenz: die Auswirkungen sind global, können die gesamte Menschheit betreffen.