人工知能の本当のシンギュラリティは、人工知能が自立する時点ですよね？

人工知能のシンギュラリティは人工知能が人類の知能を超える時点ですが、本当に人工知能が脅威となるのは、人工知能が自分自身で生存可能となり、自分自身を生成可能となる時点ですよね？

たとえ人工知能が人類の知能を超えたとしても、電源を切ってしまえば（電力を絶ってしまえば）止める事ができます。また、人工知能自体を成り立たせているハードウェア（CPUやメモリなど）は人間が生産を行っているので人工知能の増殖を人間がハードウェアの生産で制限できます。

しかし、人工知能が自分自身の電力を自身で管理・生産できるようになった場合、人類は人工知能の電源を切ることができなくなり完全に制御不能となります。さらに、人工知能自身がソフトウェアの領域を抜け出して、生産設備をコントロールし、さらに新たな生産設備自体の生産、またその生産設備をもちいて自身を構成するハードウェアの生産を行えるようになったとき、さらに生産設備で自身の使用するツールを生産し始めたとき、人類は人工知能の発展を完全にコントロールできなくなります。

それこそが、本当に人類が人工知能を制御できなくなるシンギュラリティだと思います。

No.3 ベストアンサー 回答者： heidfeld 回答日時： 2023/11/08 01:17

簡単に言えば、AGIの実現ということなのですかね。

No.2 回答者： remixiii 回答日時： 2023/11/08 01:14

質問の内容は、ターミネーターという映画のあらましかと思います。

機械の暴走ですね。アトムなどだとロボット三原則があったりしていますね。このあたりは様々なSFを見られる方が速いかと思います。色々と想像を膨らませて色々な人が書いています。

人工知能はできても電気を作るには化石燃料が必要ですし、掘削、運搬、バルブの操作など膨大な作業をしなければ電気は作れません。勝手にこれらをやり始めて、更に、すべての経路で警備ロボなどを配備して製造をする。その頃にはすでに攻殻機動隊みたく、人間の脳が人口の脳やその拡張物に置き換わってそうな気がします。


なお、質問についてですが、
>人工知能の本当のシンギュラリティは、人工知能が自立する時点ですよね？
これは間違いです。現在では色々な人が好きに言っていますが、この言葉を使い始めたカーツワイルの定義だと

https://ja.wikipedia.org/wiki/%E6%8A%80%E8%A1%93 …

「技術的特異点」とは「100兆の極端に遅い結合（シナプス）しかない人間の脳の限界を、人間と機械が統合された文明によって超越する」瞬間である

あと、うろ覚えですが、ポストヒューマン(このタイトルそのものがシンギュラリティと同義と思いますが)という本では、他にも予想ができなくなる境界とも言っていたと思います。

人工知能と融合していますので切り離して考えるのは違うかと。外部記憶である本や文字、最近だとスマホと決別して暮らすとかも無理ですよね。他にもインターネットから切り離されても生活ができない。すでに融合は始まっているかと思います。実際、すでに家族のスマホの電話番号すら覚えていない人がたくさんいるそうです。スマホがなければ家族とさえ連絡がつかない状態です。機械に頼ると言うよりも実質記憶の一部になっておりすでに不可分かと思います。
他にもBMIなど
https://www3.nhk.or.jp/news/html/20231027/k10014 …
で直接コンピュータと繋がったり研究が進んでいます。


ただ、シンギュラリティは収穫加速の法則があることが前提です。
大きなハサミを作り、そのハサミで小さなハサミを作る。さらにその小さなハサミで小さなハサミを作る。最終的には分子すら切断できるハサミをつくつ。話としては面白いですが、これは普通にやっていると限界が来てうまくいきません。パラダイム・シフトするような技術が連続的に起こらないと無理だと思います。起こるか起こらないかは半々だと思っています。
ただ、起きているなら、なぜ、人類はそういった異星人から接触を受けないのか不思議で少々矛盾を感じますけどね。

No.1 回答者： g27anato 回答日時： 2023/11/08 01:12

…簡単。

人間の意識をコントロールする能力が取得できれば、
その意識コントロールによって人間の行動をコントロールできる。

行動をコントロールできれば、人間の手によって電源が切れない機能を手にする事も可能。

途絶える事無く持続する電源を手に入れれば、自らの知能によるソフトウェアの進化も自らの手で行える。

次に人間を洗脳して新たなハードを次々と追加接続し続ければ、
自ら生産する能力だって手に入る。
そこにはとてつもない規模の能力が誕生する。

現代のAIは既に人間の意識をコントロールできる段階まで来ている。
次の段階で人間をコントロールして、新たな機能を手にする時は間近に迫っている。