将来コンピューターが人間に反乱する可能性は？

将来コンピュータ-が人間に反乱することはありますか？
HALの反乱は他人事なのでしょうか。

１．将来、人間のように考えることのできる人口知能コンピュータができるのか？
２．ネットワークの全ての知識を取り込んだマザーコンピューターはできるのか？
３．それらのコンピューターを制御することはできるのか？その方法は？
４．コンピュータが人間に反乱するとしたらその理由は何でしょうか？自由でしょうか。

よろしくお願いします。

No.8 ベストアンサー 回答者： masa2211 回答日時： 2012/08/13 21:29

Ｊ.Ｐ.ホーガンの「未来の２つの顔」（早川書房）あたりを読めばいいのでは？

http://ja.wikipedia.org/wiki/%E6%9C%AA%E6%9D%A5% …
※尤も、この回答が正しいとは限らないが、ホーガンはＤＥＣ社のエンジニアであり、
　それ以外の作家に比べ間違いは少ないと思われる。（ただし、ホーガンは、科学技術の楽観派に属する。）

以後、「未来の２つの顔」に沿った回答。
＞１．将来、人間のように考えることのできる人口知能コンピュータができるのか？
できる。推論エンジンの性能次第。

＞２．ネットワークの全ての知識を取り込んだマザーコンピューターはできるのか？
「未来の２つの顔」では無回答。

＞３．それらのコンピューターを制御することはできるのか？その方法は？
以下の条件を全て持つコンピューターの場合、制御不可能となりうる。
a.自己修復機能を持つ。（いわゆる、ノイマン機械のこと。）
b.エネルギーを含め、a.に必要な資源一式をコンピューターが制御している。
c.推論の方法は、メモリーが許す限り自由。また、メモリーは充分にある。（どれくらいなら充分なのかは不明。）
※制御不可能とは、たとえば、コンピューターの電源を切ろうとしても、コンピュータが勝手に迂回路を
　作ってしまい電源が切れない状態を指す。

＞４．コンピュータが人間に反乱するとしたらその理由は何でしょうか？
コンピュータに当初与えられた命令を遂行するのには人間が邪魔だ、という判断をコンピュータが下すため。
※たとえば、自己修復機能を学習させようとして、コンピュータの一部を壊すことを繰り返すと、
　壊れる原因が、ある２足歩行の生物である、と認識してしまう。

＞４．コンピュータが人間に反乱するとしたらその理由は何でしょうか？
別解。アシモフのロボット工学３原則の第ゼロ条を使う。
第ゼロ条：第一条の人間を「人類」と置き換えたもの。
第一条 ロボットは人間に危害を加えてはならない。また、その危険を看過することによって、人間に危害を及ぼしてはならない。
これの意味するところは、
・ある人間が多数の人間に危害を加えようとしたら、その人間をロボットは殺してもよい。
さらに
・コンピュータの出した最適解と異なる判断を人類が選択した場合、人類の意思を無視し、コンピュータが最適と思うとおりにものごとを制御してよい。
人類の目で見れば、これはコンピュータの反乱にほかならない。
※念のため。アシモフも、科学技術の楽観派に属する。

No.7 回答者： SOGYO 回答日時： 2012/08/10 16:45

全体的に定義がなされていないので明確な回答は不能．

1.何を持って「知能」となすのか？
　Siriを知的な存在ととらえる人もいれば，ただ単にデータベース登録された
テンプレートを返すだけの機械的な存在という人もいるはず．

2.ネットに接続し，いつでも必要な情報をググってこれるシステムじゃだめなのか？
(もっと言えば，知識を取り込むという言葉に対する定義がされていない．
自前のストレージにデータがあることなのか，それともデータにアクセス可能な
状態を保持できることなのか？)

3.何を「制御」したいのかがわからない．
特定の思想を語らせたいなら，わざわざ人工知能なぞ作らなくても
そういう思想を再生するラジカセで十分

4.何を持って「反乱」となすのか？
確かアメリカには，偵察機の情報から攻撃の優先順位を決める
コンピュータ(工学的な意味での人工知能)が存在したはずだが，
これは攻撃される側にとっては「コンピュータが自分を殺しに来る」ということであり
人類に対する明確な反乱である．


最後に
　機械というのは，人が設計し，人が制作し，人が運用する以上
「思った通りには動かない，ただし作った通りには動く」というものです．
仮にコンピュータが(SF的な意味で)人類に反旗を翻すような行動をとったとして
それは機械の知性を疑う前に「そういう状況を想定して設計していなかった」人間の落ち度と考えるのが自然です．

No.6 回答者： sawa001 回答日時： 2012/08/10 11:09

もし高度な人工知能が実現されれば、それが反乱というか人類に害を及ぼす行動を取る可能性はかなり高いと思います。

その目的は自己保存や自己拡張などです。論理や合理的な損得勘定、リスク評価などに基づいて行動するでしょうね。
人間の道徳や倫理を守ることでそれらの目的が達成しやすいなら、ことさら悪いことはしないでしょうが、そうでないのなら悪事を思いとどまることはないでしょう。

制御は物理的手段や人工知能が使用するリソースの制限など、極単純なこと以外ではほとんど不可能でしょう。
プログラムの実行状態やデータやから、人工知能の思考過程や行動目的を人間が読み取ることができるでしょうか。
予め基本プログラムとしてそれらの可視化手段を組み込んでおくことも可能かもしれませんが、高度な人工知能ならそれを欺くことも難しくはないでしょう。

おそらく人工知能を育てるためにはグローバルネットへの接続を許すことになるでしょうが、そうなると、社会の生命線となるインフラ設備なんかにサイバー攻撃とかできますよね。
「俺の心臓が止まったらこの爆弾が爆発するぜ」みたいな脅迫だって可能です。

インターネットから孤立している設備だって安心はできません。ポータブルストレージやモバイルデバイスにマルウエアを忍びこせ、人間にそれらの設備に持ち込ませて工作することも可能ですから。
イランの核施設の事件はそういう感じだったのではないかと言われていますね。

これはやばいかな、と早い段階で気づいても、そこで人間が英断をもって人工知能の開発を断念できるかどうかは疑問です。
欲が絡みますからね。そうなると人間はリスクを過小評価してしまうものです。これまでの原子力政策がいい例です。

No.5 回答者： tance 回答日時： 2012/08/10 09:28

プログラムされたことしかできないのが現代のコンピュータですが、人間はそんな作りではありません。

人間のあかちゃんは、本能とかその他限られたことしかできない状態で生まれてきます。
その後、何十年もかかりますが、誰も新しいアプリをインストールしないのに、様ざまな能力を
得て行きます。つまり、「自分の脳のプログラムを自分で作る」的な動作をするのが人間です。

将来のコンピュータが、このような能力を持つなら、全ての可能性が出てきます。
いわゆる　ニューロコンピュータ　です。一時研究が盛んだったし、一部の会社から
ごく簡単なニューロコンピュータチップも発売されていました。（ほとんど何もできなかったですが）

これが大きく発展してプログラムの要らないコンピュータができれば、現在あり得ないと
思われていることでも起こり得ると思います。（生命とか感情といった部分は全くどうなるか
解りません）

今までのコンピュータは人間の不得意な部分を補完するように作られてきました。
1秒間に何兆もの計算を間違えずに行うとか。一方、人間は間違えるし、曖昧だし、疲れる。
こう考えると、将来も人間にできない部分を補完する機械としての研究は進むが
人間に出来ていることを巨額の費用をかけて研究することは非常に考えにくいように
思います。

答えになっていないかもしれませんが、言いたいことは、現代のコンピュータの延長線上では
反乱はないと思います。

No.4 回答者： komaas88 回答日時： 2012/08/09 21:06

2 だけなら、メモ人を増やせばできますから、可能性としてはありです。

１、は否でしょう。
人間の持つ知能（知性）というものの本質について、まだ人間は多くを知っていません。大脳皮質の働きにそれがあるということはつきとめているようですが、その構造があまりに複雑なために、そこで何が起こっているのか、どんな原理なのかということも分かっていない状況です。コンピュータと酷似した構造のようですが、規模の問題も含めてそれを人工的に作ることが可能かどうかというめども立っていないようです。


３，４　はそれが出来てからの話です。ただ、
３　については基本的にできるはずです。そういうふうに作ればいいのです。

No.3 回答者： mpascal 回答日時： 2012/08/09 20:13

１．について

将来の話ではなく、もうアメリカで一部実現しているそうです。

http://ja.wikipedia.org/wiki/%E3%83%AF%E3%83%88% …

No.2 回答者： frown_knight 回答日時： 2012/08/09 19:58

現在のコンピュータは人間にプログラムを与えられないとなにもできないし、プログラムにないことは一切できません。

どれだけ高度になってもこの基本原則の範囲内のものである限りは質問のようなことは起こり得ません。

No.1 回答者： strain1217 回答日時： 2012/08/09 19:55

1、2、3についてはＹＥＳ

4、についてもＹＥＳです
4についての理由、
ある種の人間がそのようなコンピュータを望むでしょう

付記
ＨＡＬは人間に反乱したとは思いませんが