「続編2: 週刊プレイボーイ "人間は『命に関わるＡＩ』を使いこなせない？" "AIの暴走=ブラックボックス" 」第49回日本医学教育学プレコングレス（その12）--感性的研究生活（76）

（☆「鐘の声 ブログ」記事マップ☆）

（感性的研究生活シリーズの記事一覧）

2017/08/27
「続編2: 週刊プレイボーイ "人間は『命に関わるＡＩ』を使いこなせない？" "AIの暴走=ブラックボックス" 」第49回日本医学教育学プレコングレス（その12）--感性的研究生活（76）

ミニシリーズ:
「SNS中継、映像中継によるプレコングレス【人工知能の発達に対応する医学教育】第49回日本医学教育学--感性的研究生活」--at 2017.08.17
===============================================
1. プレコングレスの開催、これからのAI教育など
2. 飯箸によるトリガースピーチ "始まったAI友の時代"
3. 飯箸による詳細説明書の紹介
4. 事前討議《1》: 中本浩之氏 "処理ロジックについて" など
5. 事前討議《2》: 伊藤昌夫氏 "チャペックの R.U.R. " など
6. ディープラーニングは人工知能の全部か/一部か
7. いわゆるヒラメキをAIが提供してくれるか？
8. AIは空気が読めるか、ジャッジは人間優先か・AI優先か
9. Dr. Akira Naito（精神科医、英国在住）との対話: "ヒトは危うい、ましてやAIは?
10. 『問答』を終えて
11. 続編1: 高橋優三名誉教授 "白い巨塔から"
12. 続編2: 週刊プレイボーイ "人間は『命に関わるＡＩ』を使いこなせない？" "AIの暴走=ブラックボックス"
13. 続編3: 授業におけるFBなどのSNSの可能性
14. 続編4: "共感とAI"、"AI教材は何から始まる"
===============================================

「続編1」に続いて、「月間プレイボーイ」の記事についての『問答』が行われたので、これも「続編2」としてここに収録する。
--------------------------------------------------------------
中本浩之
人工知能が引き起こす問題は人間側に大きな問題があるという論点、非常に分かりやすい話になっています。
---
自動運転車はなぜ事故を起こすのか…人間は「命に関わるＡＩ」を使いこなせない？
[2017年08月27日]
ＡＩ開発を取り巻く現状に警鐘を鳴らす作家・ジャーナリストの小林雅一氏
人工知能（ＡＩ）が脅威として語られる時、その論点は人間の仕事が奪われる「雇用喪失」の問題と、人間の知能を超えるという「シンギュラリティ」の問題のふたつに集約される。
だが、作家・ジャーナリストの小林雅一氏が上梓した『ＡＩが人間を殺す日』（集英社新書）は“ＡＩ問題の核心”がもっと身近なところにあると教えてくれる。それは「自動運転」「医療」「兵器」という、人間の命に関わる３つの分野だ。人間は“命に関わるＡＩ”を本当に使いこなすことができるのだろうか？　小林氏に話を聞いた。
―『ＡＩが人間を殺す日』――かなり刺激的なタイトルですが、最初は人工知能が人類を支配する“２０４５年問題”とかＳＦじみた話が語られているのかなと。でも、小林さんが訴えたいのはもっとリアルな問題で…。
（続きは 週プレNEWS、「自動運転車はなぜ事故を起こすのか…人間は「命に関わるＡＩ」を使いこなせない？」）
--------------------------------------------------------------
YU
事故した時は、メーカー責任❓
--------------------------------------------------------------
中本浩之
メーカー責任になるのなら、発売されないでしょうね。恐らく事故の責任は運転者となるように全てプロテクトしないと販売されないと思います。医療についても医師の責任が問われるような場面で人工知能は使わないでしょう。非常に難しい問題だと思います。
--------------------------------------------------------------
高橋 優三 ＰＬ法があります。製造に過失があれば、自動車製造会社の責任です。
医療の場合もよく似ています。ただし、医療の効能と限界については一般的な知識ではないため、医師派患者にきちんと説明をする義務があります。これを怠りますと、民事上、著しく不利になります。
--------------------------------------------------------------
YU
製造者責任法ですよね。
これを思うとメーカー責任でしょうし、運転手が飲酒でも子供でも誰でも運転が可能になってしまう。
こういった観点から出来ても作らないのが一番良いのでしょうか？
疑問ばかりですね❗️
--------------------------------------------------------------
高橋 優三
今の法体系なら、作っても販売できないでしょうね。
なお、事故を起こすような人に運転免許を出したとして公安委員会が法的責任を問われた例は無いです。人間に甘く、機械に厳しい。
--------------------------------------------------------------
中本浩之
この記事はなかなか良く書かれてました。製造の欠陥は無いという前提で、車の製造元は運転する人間に義務を課していたが、危機的な状況で人間が義務を果たせなかった為の事故としています。人工知能が進歩し過ぎると人間はそれに頼り過ぎ、人間側の義務感が希薄になるという論点は人工知能を開発する立場として肝に命じておきたいと思います。
--------------------------------------------------------------
高橋 優三
えっ？　中本さんは人工知能を作っているのですか？　すみません、存じ上げませんでした。
--------------------------------------------------------------
中本浩之
今は研究者の段階ですが、関わる可能性があります。古くは30年以上前から言語レベルはいじっておりました。飯箸先生がブログで書かれている条件文（CASE文）のレベルでは関わっています。
--------------------------------------------------------------
YU
まあ核爆弾と同じく作れても使わないのが良いのでしょうね。
アシストまでが安心できます。
--------------------------------------------------------------
中本浩之
今、実際にIBMから開発キットなど出てまして、お金を少し出せば人工知能を使う事が出来ます。基本ロジックを提供する開発メーカーが今後は増えるでしょう。それを株の予想屋などがこぞって使い出してますので、お金になれば何でもやってしまう適当な会社が増えるはずです。医療系も中国企業が資金力に物を言わして来る事が予想されますので、そこをどう見極めるか？誘惑に負けてしまう人をどう理解させるか？が問題になりつつあります。
--------------------------------------------------------------
飯箸 泰宏
中本さん、高橋先生。本日は神戸で開かれていた「教育情報学会」に参加していたため『問答』に出遅れて失礼しました。
フレーム型の知識ベース推論システムはCASE文だけではできません。フレーム型の知識のデータベースが必要で、膨大な専門的知識のメンテナンスが容易にできるようになっていなければなりません。知識がプログラムの中に直に書かれている第一次ブーム時代のひ弱な仕組みとは格段に変化を遂げたものです。フレーム型の知識のデータベースはリレーショナル型の通常のデータベースとも思想が全く異なるもので、ヒトの概念構成（のある種の部分）を近似的ななぞっているものになります。フレーム型の知識のデータベースはミンスキーの論文（ヒトの知能に関する仮説メモのようなもの）をヒントに世界で初めて私が設計して実現したものです。
中本さんの発言は、簡単に言い過ぎているので、やや誤解を与えると思われましたので、補足説明させていただきました。
もちろんCASE文も必要なものではありますが、、、。
--------------------------------------------------------------
中本浩之
すみません。私がそれなりにコードを書いたのは「Prolog-KABA」の時なので、全く今とは比較になりません。当時は「CASE文」レベルだと言いたかった訳です。個人的には実際に自分の仕事に使う必要が出てくるとより深く研究するとは思いますが、現在は少々距離を置いて眺めています。コンピュータも登場から現在までその時々の論理では想像できない問題が数年後に発生しては解決するを繰り返しています。過去に何も問題を起こさなかったシステムは動いていないからというのがあって、人工知能が入り込んで更に複雑な問題が発生する可能性があるという事は否定できないと思います。実はこの件は将来を見ないで今議論しても分からない事が多過ぎるとも考えています。今はこの程度の話にして置いた方が良さそうです。
--------------------------------------------------------------
飯箸 泰宏
よくわかります。「個人的には実際に自分の仕事に使う必要が出てくるとより深く研究するとは思います」については、中本さんにいくつもの実績があるので、間違いがありません。
--------------------------------------------------------------
飯箸 泰宏
取り上げられている「週刊プレイボーイ」の記事を批判的にシェアします。
その理由は次に書きます。
--------------------------------------------------------------
飯箸 泰宏
この記事は、一見、正論に見えて、グダグダです。記事の前半は、"人間は「命に関わるＡＩ」を使いこなせない" などとAI危険論を大衆迎合的に煽っているだけのように感じます。
後半に出てくる「AIの暴走=ブラックボックス」についてもニューラルネットワークの問題であって人工知能の問題ではありません。ニューラルネットワークはヒトの脳の一部だけを取り出してまねしたものに過ぎませんから、ヒトの脳全体をマネすることを目指している人工知能そのものではありません。
まずは、前半の"人間は「命に関わるＡＩ」を使いこなせない" についてコメントします。
後半の「AIの暴走=ブラックボックス」については、記入する項目をあらためて書きます。
週刊「プレイボーイ」ですから、目くじらを立てるほうがヘンかもしれませんが、一応まじめに意見を書きます。
自動運転には日本政府や米国運輸省道路交通安全局 (NHTSA) でレベル0からレベル5までの区分が決められています。
実際問題、現状では運転ミスのすべてが運転者責任になるレベル0、レベル1、レベル2、レベル3しかメーカーの実用化の射程距離にはありません。現行法が現実的に許容するのはここまでだからです。ここまでは、普通車の運転と同じように車体の不具合か、運転者のミスかの判断が容易にできるというわけです。YUさんがおっしゃるアシストの範囲に限定されているということにもなります。メーカーにとってPL法のくびきはこれまで通りの範囲ですから、従前以上のリスクになるとは考えにくいです。つまり、PL法を持ち出しても運転者の責任抜きにして自動制御のせい（つまりメーカーの責任）にはできない範囲ということです。
レベル4は、法整備も立ち遅れているので、各メーカーは「やるぞやるぞ」と言っておいて、レベル5に向けたマイルストンに過ぎないと位置付けて実用化するつもりのない実験機制作だけにしているように見えます。路上実験も手控えて様子を見ているのが実情と思われます。
レベル4は、レベル5よりも実用化が易しいという位置づけに見えますが、実は、技術的に容易でも危険性が高すぎると考えられています。航空機の自動制御の経験から緊急時になまじ人間が操作に介入すると動転している人間がより危険な操作をしてしまうため、レベル5の完全自動制御よりも危険性が大きいと予想されています。ここは実験機として作っても実用化はしないメーカーが多いと思われます。アメリカ運輸省の見解も「レベル4では、人工知能がドライバー」、つまり、運転者責任を負うのは人工知能だと宣言しましたので、緊急時には人間の操作に邪魔されてAIだけでは責任が負えないのに責任を負わされる危険性がますます高くなっています。こうなっては、0→3に進んだら、4を飛ばして5に進むという選択を考えているメーカーが多いだろうということです。レベル3に挑戦中のAudiはそれでも、それに続いてレベル4に進むと宣言しています。ヒトの責任範囲と機械制御の責任範囲を法的な場で峻別できると踏んで投入を計画しているようですが私が見るところ心もとないと思います（司法は技術論に疎いので峻別してくれるという保証がない）。日本のホンダはレベル5を作ると世界に先駆けて宣言していますが、その選択の本音はレベル4をスキップしたいということにあると思われます。高橋優三先生がおっしゃるように「今の法体系なら、作っても（事実上）販売できない」からです。
レベル5になれば、事故が起きたら、「天変地異等による不可抗力なのか」「製造者責任なのか」が争われて、運転者責任は（自動制御を故意または過失によって止めたなどの事がない限り）ないということになります。
この問題は、AIだから生ずる問題ではなく、自動制御であればどんな機械でも当てはまる問題であり、ジェット旅客機やジェット戦闘機では解決済みの問題（緊急時はヒトの介入を許さないと決定）とされています。中途半端にヒトが介入する自動制御は危険すぎるということです。
上記の記事は、レベル1か2の実験車をレベル4くらいの基準で批判しているので、混乱も甚だしいと思います。
以下に、WIKIからの引用を示します。
---
レベル0
ドライバーが常にすべての主制御系統（加速・操舵・制動）の操作を行う。前方衝突警告（FCW）などの主制御系統を操作しない運転支援システムもレベル0に含む。
レベル1（運転支援）
加速・操舵・制動のいずれか単一をシステムが支援的に行う状態。自動ブレーキなどの安全運転支援システムによる。
レベル2（部分自動運転）
システムがドライビング環境を観測しながら、加速・操舵・制動のうち同時に複数の操作をシステムが行う状態。アダプティブクルーズコントロール（ステアリングアシスト付き）等がこれに該当する。ドライバーは常時、運転状況を監視操作する必要がある。その為、2016年時点で市販されているシステムはある程度の時間（10～15秒等）、ハンドルから手を離しているとシステムが解除される等の仕様となっている。2016年、自動車専用道及び高速道路走行中且つ同一車線、60km/h以下のみに限定した日産プロ・パイロットを搭載したセレナが8月下旬発売と発表。2017年時点でのテスラ社のオートパイロットもレベル２に該当する。
レベル3（条件付自動運転）
限定的な環境下若しくは交通状況のみ、システムが加速・操舵・制動を行い、システムが要請したときはドライバーが対応しなければならない状態。通常時はドライバーは運転から解放されるが、緊急時やシステムが扱いきれない状況下には、システムからの運転操作切り替え要請にドライバーは適切に応じる必要がある。しかし、人間のドライバーが緊急時にはスムーズに切り替えられない問題が指摘されている。事故時の責任はドライバーとなる。レベル3に該当するシステムは2017年秋時点でAudiが該当機能を搭載した自動車Audi A8の市販を2018年に開始すると発表。
レベル4（高度自動運転）
特定の状況下のみ（例えば高速道路上のみなど、極限環境を除く天候などの条件）、加速・操舵・制動といった操作を全てシステムが行い、その条件が続く限りドライバーが全く関与しない状態。基本的にドライバーが操作をオーバーライドする必要は無いが、前述の特定の状況下を離れると人間の運転が必要になる。日本政府は2020年までにレベル4自動運転車の実用化を目標としている。レベル4に該当するシステムは、上記の鉱山等で運用されている無人ダンプや無人軍事用車両等、特殊環境で運用されているもののみで、一般市民が公道を走れるものは2017年時点では市販されていない。
レベル5（完全自動運転）
無人運転。考え得る全ての状況下及び、極限環境での運転をシステムに任せる状態。ドライバーの乗車も、ドライバーの操作のオーバーライドも必要ない。安全に関わる運転操作と周辺監視をすべてシステムに委ねる。多くの自動車メーカーやその他の企業が、レベル5相当の自動運転車の市販に向けて開発を行っている。
日本政府はレベル5の完全自動運転を2025年を目途に目指すとしている。
アメリカでは、カリフォルニア州でレベル4の自動運転車を規制する法案がカリフォルニア州運輸局から提出されたが、その後、より上位のアメリカ全土の交通規制を管理するアメリカ運輸省は、「自動運転の人工知能はドライバー」であるとレベル4を容認する見解をしめした。
--------------------------------------------------------------
飯箸 泰宏
週刊プレイボーイの記事の「AIの暴走=ブラックボックス」については、以下の記事にも書いたように少し悩ましい問題があることは間違いありません。
「いわゆるヒラメキをAIが提供してくれるか？」第49回日本医学教育学プレコングレス（その7）--感性的研究生活（71）
http://shyosei.cocolog-nifty.com/shyoseilog/2017/08/sns497--71-8837.html
はっきり言えるのは、ニューラルネットワークはヒトの脳の一部だけを取り出してマネしたものに過ぎませんから、ヒトの脳全体をマネ出来ていないことに起因する不完全さがあります。これを面白おかしく指摘しているにすぎないと思います。（飯箸仮説では）ニューラルネットワークは、結果として、主に小脳（および後頭葉）の仕組みの一部をまねたものになっていると考えられます。

人間の脳は小脳だけで働いているわけではありません。小脳は他の脳神経系全体と分散協調しながら働いていると考えられます。特に大脳の働きとは大きなきづなで結ばれていることは間違いありません。小脳で「直観的にヒラメイタ」からと言って人間はそのまますべて実行に移しているわけではありません。すてきな異性に出会ってドキンとしたからと言って、直接行動を起こすようなハシタナイことは普通はしないのが人間です（する人はブタ箱を覚悟してください）。ドキンとしても「まぁ待て」という心の内で声を掛けるのが大脳（特に前頭前野部）です。直観的な手が大外れにならないようにタガをはめているのもおそらく大脳の働きだろうと思います。
この問題、つまり脳神経系の各部位がどのように分散協調動作をしているのかを明らかにして、脳神経系全体のダイナミズムを明らかにするのが人工知能研究者と脳科学者の仕事だろうと私は考えています。「私は」とあえてここでいわなければならないのは、今のところ、この点を指摘して強調しているのは世界で私だけのようだからです。特に、小脳と大脳の間には細い小脳虫部という神経細胞の束が通る部分があります。生身の人間の小脳虫部に障害が起きたり細くなり過ぎていたりすると自閉症などの精神疾患が発症することが知られています。ここの神経細胞がしっかりと大脳と小脳をつないで滞りなく情報が行き来しなければ健常な脳でなくなるということです。人工知能の現在の問題は、この神経繊維束が細くなっているどころか切れてしまっていることなのです。
小脳の知識はブラックボックスでも大脳は言語化または概念化していますから、小脳から大脳に運ばれた情報は「ブラックボックスでは"ない"」ことになるはずです。小脳に置いたままではよくわからなかったものが、大脳に運ばれて一定の処理が加わるとかなりの部分はわかる情報になるというところが生身の脳のすごいところですね。したがって、小脳を模したニューラルネットワークの情報はここに閉じている限りはブラックボックスのままであることが正しくて、大脳に運ばれて概念化されたらある程度までは明示的に扱えるものになるはずです。できるだけ完全に明示的に扱えるようにするためには生身の脳も修練が必要ですが、ニューラルネットワークと知識ベースや推論エンジンの情報交換と編成を含む協調分散処理のいっそうの鍛造（！）が必要だろうと思います。ここはまだ未解決の領域です。
この記事は、解決不能なことがこれからますます露見する（して失敗に終わる）かのようないいかがりで終わっていますが、解決の方向性は見えている（少なくとも私の目には）ので、問題が明らかになれば、つまり露見すればするほど解決する出口は近いと思われるのです。
現在のAI（人工知能）はジャーナリストが根拠なく言いふらすほど「すごい」訳ではありませんから、無謀な期待を寄せれば期待は裏切られてがっかりするかもしれません。しかし、人工知能は、逆にこの記者がいうほどの「ヘタレ」でもないので、着実に人の脳神経系全体をシミュレートできるものに成長してゆくものなのです。1日や1年では変化は感じられないかもしれませんが、30年経ったら大きな違いが起きているでしょう、ということです。
たとえば、IT革命以前（1980年以前）はパソコンもスマホもありませんでした。今はパソコンもスマホもなければ暮らしてゆけないほど仕事のやり方も生活習慣も変化してしまいました。その間の1日1年は何の変哲もない毎日だったと思うのですが、"いつの間にか" のように社会は大きな変容を遂げてしまっていたのです。
現在の人工知能は、個別にみると質量分光計の計測結果から化合物を特定する Dendral (1965)、伝染性血液疾患を診断する Mycin (1972)なとの過去の華々しい成果や最近のアルファ碁の快進撃のように特定の分野によっては著しい成果を上げてきました。しかし、それらはいずれも人間の脳の全部を明らかにしているわけではなく、部分部分をまだらに解明して、ばらばらに作って別々に使用しているという意味では、まだ、まったく「すごい」訳ではありません。しかし、30年経ったら、きっとそれらの部分的な能力が手をつなぎ融合してもっともっと大きな成果が上げられるようになっていて、私たちの生活のなかにどっかりと溶け込んでしまっているに違いありません。そのころ、人工知能は脳の機能が脈略なくバラバラに働かせている異常な状態を脱して、今よりははるかに人格的統合的なものに近づいているに違いありません。
否が応でも、AI技術者はそれをやってのけてゆくだろうと思います。
AIは今までも「けなされる」事の多いシステムでした。「けなす」のは楽なことですが、けなされても歯を食いしばって研究に取り組んできた人がいるから今日があります。「けなされる」側は楽ではありません。少し目立ったイベントがあると超過大な期待がはやし立てられて、1年もすると現実が（過剰な）期待にどかないことを理由にけなされて地に落とされることが繰り返されてきました。その様な根拠の希薄な毀誉褒貶に振り回されていたら、まじめな仕事はできません。ジャーナリストであれば、前車の轍を踏む愚を繰り返さないものの見方を示してほしいものです。
記者さん、心あれば、問題解決をけなしてフクシマの二の舞を招来しないよう、我々の側に来て手を携えて歯を食いしばって人類の未来を切り開くために一緒に前に進みませんか。
--------------------------------------------------------------

世間には、一知半解のままブレーキを踏む人がいる。自動車の運転でも車の流れに乗らない運転はご法度だ。追突の危険があるので、慎重にと声を大にして叫びたい。
---私は元自動車教習所の社長でもある。

△次の記事: 感性的研究生活（77）
http://shyosei.cocolog-nifty.com/shyoseilog/2017/08/3-fbsns4913--77.html
▽前の記事: 感性的研究生活（75）
http://shyosei.cocolog-nifty.com/shyoseilog/2017/08/4910--75-a100.html

琵琶

（補1）「鐘の声 ブログ」はリンクフリーです。ただし、「鐘の声 ブログ」の記事の一部または全部を引用または翻案して、公的に発言または発表される場合は、事前にメール等でお知らせください。[→連絡先]
（補2）この記事が含まれるシリーズの記事の一覧は下記(別サイト)のとおりです。
　　感性的研究生活シリーズの記事一覧　(GO!)
（補3）ブログ「鐘の声」には、10個ほどのシリーズとシリーズ以外の一般記事があります。シリーズの全体構成やシリーズ別の記事一覧は下記(別サイト)にあります。
　　☆「鐘の声」の全体構成（「鐘の声 ブログ」記事マップ）☆　(GO!)