計算によると、超インテリジェントAIを制御することは不可能です。

人類を打倒するための人工知能のアイデアは何十年にもわたって議論されており、科学者は私たちが高レベルのコンピュータの超知能を制御できるかどうかについて彼らの評決を出したばかりです。

回答？ほぼ間違いなくそうではありません。

キャッチは、人間の理解をはるかに超えてスーパーインテリジェンスを制御するには、分析できるこのスーパーインテリジェンスのシミュレーションが必要になるということです。しかし、これを理解できなければ、そのようなシミュレーションを作成することは不可能です。

新しい記事の著者は、AIが提供するシナリオを理解していないと、人に害を及ぼさないなどのルールを確立できないと示唆しています。コンピューターシステムがプログラマーの能力を超えるレベルで動作している場合、制限を設定することはできなくなります。

スーパーインテリジェンスは、ロボット倫理の旗印の下で一般的に研究されているものとは根本的に異なる問題を提起すると、研究者たちは書いています。

これは、スーパーインテリジェンスが多面的であるため、さまざまなリソースを動員して、人間が理解できない可能性のある目標を達成する可能性があるためです。

チームの推論の一部は、1936年にAlanTuringによって提唱された停止の問題から来ています。問題は、コンピュータプログラムが出力と回答に到達するか（それが停止する理由です）、または単に回答を見つけようとして無限にループするかどうかを知ることです。

Turingが証明したように、特定のプログラムによってはそれを知っているかもしれませんが、これまでに作成できる可能性のあるすべてのプログラムについてこれを知ることができる方法を見つけることは論理的に不可能です。これにより、AIに戻ります。AIは、超インテリジェントな状態で、可能なすべてのコンピュータープログラムを一度にメモリに保持できます。

たとえば、人を傷つけ、世界を破壊するAIを停止するために作成されたプログラムは、結論を出す（そして停止する）かどうかはわかりません。いずれにせよ、絶対に確信することは数学的に不可能です。つまり、不可能です。制御する。

実際、これにより制御アルゴリズムが使用できなくなると、開発研究所の科学者IyadRahwanは述べています。ドイツのマックスプランク。

したがって、ある時点でそれが制御不能になり、人類にとって危険になる可能性があるかどうかという疑問が生じます。

この研究は、Journal of Artificial IntelligenceResearchに掲載されました。