甘利俊一「脳・心・人工知能 数理で脳を解き明かす」、機械学習、ディープラーニング、ニューラルネットのバックプロパゲーション(誤差逆伝搬法)でわかる情報省支配。無視される日本人の先行事例 ― 2017年04月06日 07時57分16秒
ASAHIネット(http://asahi-net.jp )のjouwa/salonから。
---
以前、紹介した
https://www.amazon.co.jp/exec/obidos/ASIN/4062579685/showshotcorne-22/
脳・心・人工知能 数理で脳を解き明かす (ブルーバックス) 新書 – 2016/5/20
甘利 俊一 (著)
で、いま、ブームになっているディープラーニングなど、ニューラルネットで使われるバックプロパゲーション(誤差逆伝搬法)の発見に、情報省が関与していた証拠があったのを報告するのを忘れていた。
えっ、どんな話?
甘利俊一先生が、九大(九州大学)で教えてらしたのは、知ってるよね。
知ってる知ってる。
同書74ページから始まる『「暗黒期」に確立した確率降下学習法』を読んでいると、76ページに、情報省が関与したこと示す決定的な記述がある。
ああ、安倍ちゃん(安倍晋三首相)、総理大臣も国会議員も辞めないとだめなんだ。
そりゃ、籠池、森友学園問題のだろ。
最近、ボケてきて、世の中のこと、どれも一緒に思えるわ。
それでね、1966年ごろに、甘利先生は、大分の久住温泉で、温泉につかりながら、
おお、久住温泉。行ってないわ。別府や湯布院は、何度か行ったけど。
まあ、とにかく、甘利先生は、大分の久住温泉で、温泉につかりながら、後の世では、バックプロパゲーション(誤差逆伝搬法)と呼ばれるようになる手法を考えて、確率降下学習法と名付けて、IEEE(電子情報系の国際学会)の学術誌に論文を投稿して掲載されたと。
なーるほど。情報省が、久住温泉の甘利先生に、霊界通信で、バックプロパゲーションを教えたんだ。\(^O^)/
そうなるのぉ。しかし、この論文は、第1次ニューロブームが去りつつある時期で、欧米では無視されたと。
ああ、なんという悲劇。
ここからが面白い。欧米では無視されたが、ロシア(当時のソ連)で注目されて、ツィプキンという人が学習理論の本を書いたときに、甘利先生の確率降下学習法を取り上げて、このロシア語の本が英訳されて、さらにそれが日本語訳されて、甘利先生の元に戻ってきたと。
すごいのぉ。地球一周のブーメラン。
そんなこんなで、甘利先生が発表してから15年ほど経ち、第2次ニューロブームになり、確率降下学習法が、バックプロパゲーションというかっこいい名前で登場して、一世を風靡したと。
ああ、再発見という奴ね。
https://ja.wikipedia.org/wiki/バックプロパゲーション
にも、
--- ここから ---
1986年にbackwards propagation of errors(後方への誤差伝播)の略からデビッド・ラメルハートらによって命名された。
隠れ層のない2層のニューラルネットワークでの出力誤差からの確率的勾配降下法は1960年にB. Widrow と M.E. Hoff, Jr. らが Widrow-Hoff 法(デルタルール)という名称で発表した[3][4]。隠れ層のある3層以上の物は、1967年に甘利俊一が発表した。その後、何度も再発見され、(略)
--- ここまで ---
本書には、
・ホップフィールドモデル
? 甘利先生は、10年前に同じものを提案
? 甘利・ホップフィールドモデルと呼ぶべきという欧米人もいるとか、
・ウィルソン・コーワンモデル(発振器) 先に発表
・自然勾配学習法
プラトー(誤差が減らなくなる現象)を解消
? シナプス可塑性
BCMモデルより先に提案
など、甘利先生が先行していた話がいくつもある。
CNN(Convolutional Neural Network)の起源は、1979年の福島邦彦のネオコグニトロンだとか、いろいろな話が出ている。
153ページからの「ノーベル賞とニューロブーム」には、BCMモデルのクーパー、実は超伝導の研究(クーパー対で有名)で、ノーベル賞を受賞した人だが、クーパーが、日本人は独創性、創造性がなく、模倣しかできないというイメージを広めて回ったが、決してそんなことはないことが述べてある。
http://dbnst.nii.ac.jp/pro/detail/498
神経回路モデル「ネオコグニトロン」
これと似た話が、宇宙の始まりを説明するインフレーション理論にもある。
日本の佐藤勝彦先生が、思いついて、指数関数的膨張モデルとして、先に論文を発表したが、アラン・グーズが同様のアイデアをインフレーションというキャッチーな名前で発表して、いまでは、特に欧米では、インフレーション理論のアイデアを考えたのは、アラン・グーズだけだと思われている感じで、欧米の科学雑誌や、科学番組でもアラン・グーズの名前しか出てこない。
https://ja.wikipedia.org/wiki/宇宙のインフレーション
https://ja.wikipedia.org/wiki/佐藤勝彦_(物理学者)
もう1つ、似た話があって、
http://iiyu.asablo.jp/blog/2012/12/11/6657122
シャノンより先に、理論化を成し遂げた中嶋章(あるいは中島章)さん
http://iiyu.asablo.jp/blog/2013/01/25/6701067
高岡詠子「シャノンの情報理論入門 (ブルーバックス)」
で、書いた、シャノンの件。
デジタルコンピュータの基礎理論、あらゆる論理演算がスイッチ回路で実現可能だと最初に発見したのは、シャノンだと世界的には思われているが、実は、それより前に、日本の中嶋章(あるいは中島章)さんが発見していた。しかし、これは世界はもとより、日本でもあまり知られていないという話。
教訓は
・研究者であっても、PRセンス、マーケティングセンスが必要。研究者個人になければ、所属組織がPRやマーケティングをやらないとだめ。
・英語で論文を書いて国際的な論文誌に投稿する。
・そのときに、一般受けするキャッチーな名前を付ける。
でしょうね。
日本側の教訓は、マスコミ、本の著者、雑誌のライター、ブログやSNSを書く人、あるいはもっと一般人も、日本人が先に発見、発明していないか調べて、先に発見、発明していれば、あちこちで取り上げる。できれば、英語で海外向けに発信する。
でしょうね。
日本国内で発信するだけでも、日本から日系人を通じてブラジルに伝わり、ポルトガル語に翻訳されて、ブラジルからポルトガルに伝わり、話題になって、英語に翻訳されて、欧米で認知されて、それが日本語に翻訳され、地球を一周できるでしょう。\(^O^)/
日本からポルトガル! 逆カステラ現象か。\(^O^)/
関連:
http://iiyu.asablo.jp/blog/2017/02/01/8346641
脳・心・人工知能 数理で脳を解き明かす、メカ屋のための脳科学入門、脳のなかの幽霊、プルーストとイカ、つながる脳科学、あなたの知らない脳、コネクトーム、意識と脳、意識はいつ生まれるのか
http://iiyu.asablo.jp/blog/2016/05/20/8092868
ブルーバックス:脳・心・人工知能 数理で脳を解き明かす、四色問題、細胞の中の分子生物学、高校数学でわかる光とレンズ
http://iiyu.asablo.jp/blog/2012/12/11/6657122
シャノンより先に、理論化を成し遂げた中嶋章(あるいは中島章)さん
http://iiyu.asablo.jp/blog/2013/01/25/6701067
高岡詠子「シャノンの情報理論入門 (ブルーバックス)」
---
以前、紹介した
https://www.amazon.co.jp/exec/obidos/ASIN/4062579685/showshotcorne-22/
脳・心・人工知能 数理で脳を解き明かす (ブルーバックス) 新書 – 2016/5/20
甘利 俊一 (著)
で、いま、ブームになっているディープラーニングなど、ニューラルネットで使われるバックプロパゲーション(誤差逆伝搬法)の発見に、情報省が関与していた証拠があったのを報告するのを忘れていた。
えっ、どんな話?
甘利俊一先生が、九大(九州大学)で教えてらしたのは、知ってるよね。
知ってる知ってる。
同書74ページから始まる『「暗黒期」に確立した確率降下学習法』を読んでいると、76ページに、情報省が関与したこと示す決定的な記述がある。
ああ、安倍ちゃん(安倍晋三首相)、総理大臣も国会議員も辞めないとだめなんだ。
そりゃ、籠池、森友学園問題のだろ。
最近、ボケてきて、世の中のこと、どれも一緒に思えるわ。
それでね、1966年ごろに、甘利先生は、大分の久住温泉で、温泉につかりながら、
おお、久住温泉。行ってないわ。別府や湯布院は、何度か行ったけど。
まあ、とにかく、甘利先生は、大分の久住温泉で、温泉につかりながら、後の世では、バックプロパゲーション(誤差逆伝搬法)と呼ばれるようになる手法を考えて、確率降下学習法と名付けて、IEEE(電子情報系の国際学会)の学術誌に論文を投稿して掲載されたと。
なーるほど。情報省が、久住温泉の甘利先生に、霊界通信で、バックプロパゲーションを教えたんだ。\(^O^)/
そうなるのぉ。しかし、この論文は、第1次ニューロブームが去りつつある時期で、欧米では無視されたと。
ああ、なんという悲劇。
ここからが面白い。欧米では無視されたが、ロシア(当時のソ連)で注目されて、ツィプキンという人が学習理論の本を書いたときに、甘利先生の確率降下学習法を取り上げて、このロシア語の本が英訳されて、さらにそれが日本語訳されて、甘利先生の元に戻ってきたと。
すごいのぉ。地球一周のブーメラン。
そんなこんなで、甘利先生が発表してから15年ほど経ち、第2次ニューロブームになり、確率降下学習法が、バックプロパゲーションというかっこいい名前で登場して、一世を風靡したと。
ああ、再発見という奴ね。
https://ja.wikipedia.org/wiki/バックプロパゲーション
にも、
--- ここから ---
1986年にbackwards propagation of errors(後方への誤差伝播)の略からデビッド・ラメルハートらによって命名された。
隠れ層のない2層のニューラルネットワークでの出力誤差からの確率的勾配降下法は1960年にB. Widrow と M.E. Hoff, Jr. らが Widrow-Hoff 法(デルタルール)という名称で発表した[3][4]。隠れ層のある3層以上の物は、1967年に甘利俊一が発表した。その後、何度も再発見され、(略)
--- ここまで ---
本書には、
・ホップフィールドモデル
? 甘利先生は、10年前に同じものを提案
? 甘利・ホップフィールドモデルと呼ぶべきという欧米人もいるとか、
・ウィルソン・コーワンモデル(発振器) 先に発表
・自然勾配学習法
プラトー(誤差が減らなくなる現象)を解消
? シナプス可塑性
BCMモデルより先に提案
など、甘利先生が先行していた話がいくつもある。
CNN(Convolutional Neural Network)の起源は、1979年の福島邦彦のネオコグニトロンだとか、いろいろな話が出ている。
153ページからの「ノーベル賞とニューロブーム」には、BCMモデルのクーパー、実は超伝導の研究(クーパー対で有名)で、ノーベル賞を受賞した人だが、クーパーが、日本人は独創性、創造性がなく、模倣しかできないというイメージを広めて回ったが、決してそんなことはないことが述べてある。
http://dbnst.nii.ac.jp/pro/detail/498
神経回路モデル「ネオコグニトロン」
これと似た話が、宇宙の始まりを説明するインフレーション理論にもある。
日本の佐藤勝彦先生が、思いついて、指数関数的膨張モデルとして、先に論文を発表したが、アラン・グーズが同様のアイデアをインフレーションというキャッチーな名前で発表して、いまでは、特に欧米では、インフレーション理論のアイデアを考えたのは、アラン・グーズだけだと思われている感じで、欧米の科学雑誌や、科学番組でもアラン・グーズの名前しか出てこない。
https://ja.wikipedia.org/wiki/宇宙のインフレーション
https://ja.wikipedia.org/wiki/佐藤勝彦_(物理学者)
もう1つ、似た話があって、
http://iiyu.asablo.jp/blog/2012/12/11/6657122
シャノンより先に、理論化を成し遂げた中嶋章(あるいは中島章)さん
http://iiyu.asablo.jp/blog/2013/01/25/6701067
高岡詠子「シャノンの情報理論入門 (ブルーバックス)」
で、書いた、シャノンの件。
デジタルコンピュータの基礎理論、あらゆる論理演算がスイッチ回路で実現可能だと最初に発見したのは、シャノンだと世界的には思われているが、実は、それより前に、日本の中嶋章(あるいは中島章)さんが発見していた。しかし、これは世界はもとより、日本でもあまり知られていないという話。
教訓は
・研究者であっても、PRセンス、マーケティングセンスが必要。研究者個人になければ、所属組織がPRやマーケティングをやらないとだめ。
・英語で論文を書いて国際的な論文誌に投稿する。
・そのときに、一般受けするキャッチーな名前を付ける。
でしょうね。
日本側の教訓は、マスコミ、本の著者、雑誌のライター、ブログやSNSを書く人、あるいはもっと一般人も、日本人が先に発見、発明していないか調べて、先に発見、発明していれば、あちこちで取り上げる。できれば、英語で海外向けに発信する。
でしょうね。
日本国内で発信するだけでも、日本から日系人を通じてブラジルに伝わり、ポルトガル語に翻訳されて、ブラジルからポルトガルに伝わり、話題になって、英語に翻訳されて、欧米で認知されて、それが日本語に翻訳され、地球を一周できるでしょう。\(^O^)/
日本からポルトガル! 逆カステラ現象か。\(^O^)/
関連:
http://iiyu.asablo.jp/blog/2017/02/01/8346641
脳・心・人工知能 数理で脳を解き明かす、メカ屋のための脳科学入門、脳のなかの幽霊、プルーストとイカ、つながる脳科学、あなたの知らない脳、コネクトーム、意識と脳、意識はいつ生まれるのか
http://iiyu.asablo.jp/blog/2016/05/20/8092868
ブルーバックス:脳・心・人工知能 数理で脳を解き明かす、四色問題、細胞の中の分子生物学、高校数学でわかる光とレンズ
http://iiyu.asablo.jp/blog/2012/12/11/6657122
シャノンより先に、理論化を成し遂げた中嶋章(あるいは中島章)さん
http://iiyu.asablo.jp/blog/2013/01/25/6701067
高岡詠子「シャノンの情報理論入門 (ブルーバックス)」
コメント
_ 言葉の量化と数の言葉の量化 ― 2021年04月19日 10時28分14秒
※メールアドレスとURLの入力は必須ではありません。 入力されたメールアドレスは記事に反映されず、ブログの管理者のみが参照できます。
※なお、送られたコメントはブログの管理者が確認するまで公開されません。
※投稿には管理者が設定した質問に答える必要があります。
トラックバック
_ ホットコーナー - 2017年06月14日 10時43分58秒
ASAHIネット(http://asahi-net.jp )のjouwa/salonから。
---
これ、買う買う犬。
何、それ?
チャウチャウ犬のダジャレ。\(^O^)/
知らんわ。
日経サイエンスに出たAI(人工知能)関連
---
これ、買う買う犬。
何、それ?
チャウチャウ犬のダジャレ。\(^O^)/
知らんわ。
日経サイエンスに出たAI(人工知能)関連
_ ホットコーナー - 2017年10月23日 22時25分51秒
ASAHIネット(http://asahi-net.jp )のjouwa/salonから。
---
機械学習、深層学習(ディープラーニング)、強化学習関係の新刊がずいぶん出ていますね。
その前に。
■たった3日でアルファ
---
機械学習、深層学習(ディープラーニング)、強化学習関係の新刊がずいぶん出ていますね。
その前に。
■たった3日でアルファ
_ ホットコーナー - 2020年10月20日 11時38分54秒
ASAHIネット(http://asahi-net.jp )のブログサービス、アサブロ(https://asahi-net.jp/asablo/ )を使っています。
---
すでに1ヵ月近く経ってしまったが、
http://iiyu.asablo.jp/blog/2020/09/29/9300236
トラ技ジ
---
すでに1ヵ月近く経ってしまったが、
http://iiyu.asablo.jp/blog/2020/09/29/9300236
トラ技ジ
_ ホットコーナー - 2021年01月22日 09時54分13秒
ASAHIネット(http://asahi-net.jp )のブログサービス、アサブロ(https://asahi-net.jp/asablo/ )を使っています。
---
岩波科学ライブラリーに気になる本があった。これ、買おう。
まだ、Kindle版は
---
岩波科学ライブラリーに気になる本があった。これ、買おう。
まだ、Kindle版は
_ ホットコーナー - 2021年02月02日 03時44分28秒
ASAHIネット(http://asahi-net.jp )のブログサービス、アサブロ(https://asahi-net.jp/asablo/ )を使っています。
---
お買い上げありがとうございます。
30年くらい前の古い本です。書名が「ニュ
---
お買い上げありがとうございます。
30年くらい前の古い本です。書名が「ニュ
_ ホットコーナー - 2021年02月20日 03時58分01秒
ASAHIネット(http://asahi-net.jp )のブログサービス、アサブロ(https://asahi-net.jp/asablo/ )を使っています。
---
お買い上げありがとうございます。
https://www.amazon.co.jp/exec/obidos/ASIN/4004318602/shows
---
お買い上げありがとうございます。
https://www.amazon.co.jp/exec/obidos/ASIN/4004318602/shows
≪…キャッチーな名前…≫で≪…地球を一周できるでしょう。…≫
本文の≪…「情報幾何」…≫的に『自然比矩形』を[ニューロン]に同定したい。
人の形態空間(ニッチ)での数学的認知行為は、『創発直方体』と『創発円筒体』に『HHNI眺望』できそうだ。
本文に≪…数学的帰納法のように・・・つまり無限に続く大きさになっても命題が成立することがいえる。・・・このような仕組みを、入れ子構造をもつ「再帰的な推論」という。・・・数学のように、生命に直接関係ないかに見える学問を人類が発展させた基礎もここにある。≫
とある。
≪…有限の手段で無限の話ができるところがみそ…≫でみる、数の言葉(自然数)の絵本は、「もろはのつるぎ」(有田川町ウエブライブラリー)