ASAHIネット(http://asahi-net.jp )のjouwa/salonからホットコーナー(http://www.asahi-net.or.jp/~ki4s-nkmr/ )に転載したものから。
---
　タイトル長くなりすぎたなあ。まあ、よい。

　2011/02/13の月曜日に、Ring Server Projectのメンバーが集まった「クラ
ウド勉強会」があった。プロジェクトから離れたとはいえ、面白そうだし、み
んなにも、去年の花見以来、会ってないので、行ってきた。

http://www.ring.gr.jp/
Ring Server Project

　INTECの、いくおさんの発表がメイン。
　クラウドコンピューティングのあれこれと、INTECが売っているEXAGEと、い
くおさんが作っている、そのソフトの解説などもあった。

http://www.intec.co.jp/service/exage/index.html
EXAGE

　これを利用している事例も、どこかはぼかして説明していたが、おれはソフ
トバンクだと思った。家に帰って調べたら、きっとそうだね。
https://www.softbanktech.jp/seminar/20120224.html
「クラウドを支えるサーバー活用のシナリオ」セミナー
に、ソフトバンク・テクノロジーの発表がある。

　EXAGE / StorageやNoSQLのEXAGE / Databaseのソフトは、Javaで書いてあっ
て、どうやっているかという概略説明もあった。
　EXAGE / Storageのひとつのキモは、ランダムアクセスができること。他の
クラウド用のファイルシステムがシーケンシャルアクセスしかできないらしい。
　EXAGE / Databaseのキモは、クラウドの各ノードで自律的にデータベース処
理ができること。そして、Java APIで簡単にプログラミングできるようになっ
ていること。
　クラウド用の分散ハッシュなど専用クラスを作っている。
　個人的には、分散ガベージコレクションをどうやっているかが興味がある。
　Lisp好きは、ガベージコレクションにしか、興味がないんか。＼(^O^)／
　いくおさんの主張のひとつは、このシステムがあれば、クラウドの資源を使
うシステムを作るのに、やれ、ウェブサーバだ、HTTPだ、PHPだ、Perlだ、
Ruby on Railsだ、RESTだ、RDBだ、MySQLだ、3層モデルだなどという、なんだ
かんだは、全部、不要。過去の遺物にしちゃえと。
　これを、「サーバレス・プログラミング server-less programming」と呼ん
でいた。
　それを、プロジェクトにしたのが、Dripcastプロジェクト。すでにサイトが
ある。

http://dripcast.org/
Dripcast
Server-less Java programming framework for cloud-ful applications
--- ここから ---
no need to define table for RDB.
no need to know about SQL.
no need to write server side application.
no need to care about REST/HTTP, any more.
--- ここまで ---

　EXAGE / Strageで、ストレージが、巨大なアドレス空間にみえるというのは、
IBMのSystem 38やその後継のAS/400(i Series, System i, Power Systems)で
は、何10年も前から当たり前。
　それを言ったら、いくおさん、驚いていた。
　SLS(Single Lever Storage, 単一レベル記憶)、あれが本来の仮想記憶。
　メモリ空間の一部であるセグメントとディスク上のファイルは、同じこと。
ファイルは、永続性があるかどうかの違い。
　かつてMITのMulticsが目指したのも、そういう仮想記憶。これは、電脳騒乱
節で、MITに行ったときのことを書いたときにも書いた。
　Multicsでは、File is Segment. Segment is File.といっていた。
　もっと作りやすい仮想記憶であるUnix的な仮想記憶が蔓延したから、単一レ
ベル記憶を知らない人が大半。
　SLSは、Unix屋にもわかる言葉でいえば、全空間がmmapされているようなも
の。メモリマップトファイルね。AS/400の場合、をわざわざmmapするなんてこ
とを、プログラムに書かなくても、最初から全部mmapされているようなもの。
　これも以前に書いたが、Unix, Linux, Windows, MacOSなど、Unix系の仮想
記憶でやっている世界では、最初からそれを与えられて育ったせいで、疑問に
思わない人がほとんどだが、メモリでの扱いと、外部記憶(ディスク)での扱い
が、プログラミグ上、まるで違うというのは、そもそもおかしな話なんだよね。
　記法(コードでの表現法)も、セマンティックス(意味)も違いすぎる。
　ほんとは、あるオブジェクトを生成する。プログラムが終わっても残ってい
てほしいなら、永続性を付加する。不要になったものは、自動的にガベージコ
レクションで回収。
　それが、メモリと外部記憶とで、ほとんど同じじゃないといけないのに、い
まは、メモリ上は、簡単にオブジェクトを生成できるが(でも、ガベージコレ
クションがない言語だと、廃棄は自分でやらないといけない)、永続性をもた
せようと思ったら、ファイルをオープンして、メモリの内容をしこしこ書き出
して、ファイルをクローズなんてやらないといけなくて、プログラマに見える
モデルや操作が違いすぎる。
　気分としては、こうなってほしい。
MyObject o = new MyObject
　以下、oを処理する。永続化しないなら、何もしない。o を捨てる必要なし。
ガベージコレクションがあるから。
　名前をつけて永続化したいなら、
o.save("foo")
するだけ。
　なお、前述のEXAGEのJava APIは、メモリ上のコレクション系のクラスと、
クラウド上のコレクション系のクラスを、ほとんど同じにプログラムできるよ
うになっている。さっきも書いたが、クラウド用の分散ハッシュなど専用クラ
スを作って、メモリ上とクラウド上の操作の差をなくしている。

　AS/400は、その前のSystem 38の時代から、論理アドレス空間は128bitだけ
ど、すごいのは、物理アドレスはおろか、論理アドレスすら、OSも知らないこ
と。さらに下の層で、全部吸収している。
　だから、128bitで足りなくなったとき、256bitに拡張するのも簡単。OSすら、
アドレス空間が増えたことに気づかずに、拡張できる。

関連：
http://iiyu.asablo.jp/blog/2011/12/21/6252433
バイナリ互換とは。AS/400の場合は、そこらとは次元が違う。
http://iiyu.asablo.jp/blog/2008/09/19/3772070
AS/400, iSeries, 仮想記憶、単一レベル記憶(SLS)のこと
http://iiyu.asablo.jp/blog/2011/04/26/5825686
デマ情報との接し方、何10年前から128bitOSであるAS/400のことも
http://iiyu.asablo.jp/blog/2009/04/20/4255411
メインフレーム実践ハンドブック z/OS（MVS）,MSP,VOS3のしくみと使い方

　Gooleで有名になったMapReduceの処理も、Lispでは、大昔から当たり前。
　この話にも、いくおさん、のけぞっていた。
http://iiyu.asablo.jp/blog/2008/04/17/3164685
読むべし！「ビューティフルコード」
でも、言及している。
　「この中で、Lispがわかる人？」と、いくおさんが訊ねたときに、手を挙げ
たのは、弾さん(小飼弾)とおれだけだった。

　そういえば、飲み会では、弾さんは、いくおさんが、Lispを知らないことに
驚いていた。
　ま、別にLispを知らなくても、頭がいい人は頭がいいし、出来がいい人は出
来がいいという実例があるという話なんだけど。
　クロージャの話も出た。Lispを知らない人は、クロージャは全然知らない時
代が何10年も続いたが、最近は、スクリプト言語を中心にクロージャが入って
いる。それとは知らずに使ってるからね。

　「すべてのプログラミング言語は、Lispの模倣または変種である」というの
が、おれの実感。＼(^O^)／
　これも何度も書いたが、RubyはALGOLシンタックスのLispだし、JavaScript
は、CシンタックスのLisp。

　弾さん、Javaが嫌いで、Javaに、まだクロージャが正式に入ってないことを、
非難していたが、Javaに無名クラスが入ったときから(JDK1.4.2くらいから？
　10年くらい前？)、かなり似たようなことはできるんだよね。
　本物のクロージャがほしければ、Scalaで書けばいい。ScalaはJVM(Java仮想
マシン)(とScalaのランタイムのjar)があれば、どこでも動くし、オブジェク
ト指向＋関数型の言語だから、クロージャは当たり前として入っている。
　簡潔できれいに書けるし、型推論もやってくれるし、Javaも簡単に呼べる。
　後述のように、Scalaで書いているクラウド用のインフラもあることだし。
　いくおさん、EXAGEでは、Scalaもプッシュしましょう。＼(^O^)／

　おれが学生だった30年くらい前の大昔から言われているのは、関数型言語は
並列処理と相性がいいということ。
　関数は数学的な関数であって、同じ値のパラメータなら、いつでもどこでも
同じ値が返ってくる。これは、関数内部に代入や状態がなく、副作用がないか
ら。参照透明性という言い方もする。
　これだと、並列マシンのどのノードで動かしてもいいし、ノード間で変数の
共有をして誰かが書き換えるときは、排他制御するといった必要もない。

　これも何度か書いたが、ついでに。
　プログラミング言語のソースコードを直接ハードウェアが実行する、高水準
言語マシンのことを知らない人も多いね。
　Lispマシン、Prologマシン、第５世代コンピュータなどなど。
　バローズのダイナミックマイクロプログラミグのマシンなんて、すごかった
よ。あるプロセスは、FORTRANのプログラム。あるプロセスは、COBOLのプログ
ラムが走っているとすると、高水準言語マシンであるバローズのマシンは、プ
ロセスを切り替えると、CPUの動作を記述しているマイクロプログラムを入れ
替えて、実行する。それである瞬間は、FORTRANマシンになり、別の瞬間は
COBOLマシンになる。
　昔の貧弱な半導体技術、ハードウェア技術で、そんなものよく実装して、商
品化したと思うよ。先人の執念、情熱には頭が下がるよね。
　ブログを始める前のウェブで、ちょろっと書いているね。
http://www.asahi-net.or.jp/~ki4s-nkmr/wabijo69.html
乳の詫び状(2003/07/30)
の
標題: AS/400ネタ
がそう。
　Lispマシン、Prologマシン関係は、このあたり。
http://iiyu.asablo.jp/blog/2008/03/23/2813545
日本のLispマシン
http://iiyu.asablo.jp/blog/2010/03/24/4966814
Shibuya.lisp テクニカルトーク #5その２
http://iiyu.asablo.jp/blog/2008/01/02/2541270
Erlang, Oz/Mozart, Prolog, 単一化
http://iiyu.asablo.jp/blog/2008/02/14/2626434
GRAPE本、杉本大一郎著「手作りスーパーコンピュータへの挑戦」と「シミュ
レーション天文学」

　狭い視野なのに、技術面で、Unix屋がUnix最高(いまならLinux屋がLinux最
高)と万歳するのは、困ったもんだというのが、昔からあって、Lispやメイン
フレームやAS/400やらは、すごいことを大昔からいっぱいやってるんだよね。
http://iiyu.asablo.jp/blog/2012/02/12/6331346
不思議で美しい石の図鑑。トルマリン、マイナスイオンのインチキ商売健在
の最後でも、ちょっと書いてるね。
　視野は広くもったほうがいいですよ。

　ここまで書いたことを、2006年の数理システムとFranz社のLispセミナーで
話したときの資料があった。いま、読んでも爆笑だな。いいこともいっぱい言
ってるわ。おれってば天才。＼(^O^)／
http://www.asahi-net.or.jp/~ki4s-nkmr/lisp20061121/lisp.html
Lispとは何か

　さあ、やっと、寄り道から、本題の道に戻る。
　お前、脇にそれるのが多すぎ、長すぎ。
　すまん、すまん。スマンホテップ３世。＼(^O^)／
　そんなファラオは、エジプトにおらんかったやろ。
　おらん、おらん。オーランチオキトリウム。＼(^O^)／
　はよ、先に行けや。
　家具なら、IKEYA。＼(^O^)／
　もう、なんとかして、こいつ。

　Hadoopは、これまで何度も紹介してきたが、Hadoopより何倍も速いと主張し
ているのが、Spark。
　Sparkは、Scalaで書いてあるから、使用例もScalaのコードだね。
http://www.spark-project.org/
Spark
Lightning-Fast Cluster Computing

http://www.eecs.berkeley.edu/Pubs/TechRpts/2011/EECS-2011-82.pdf
Spark technical report
Resilient Distributed Datasets: A Fault-Tolerant
Abstraction for In-Memory Cluster Computing

http://www.cs.berkeley.edu/~matei/spark/
Spark

http://parlab.eecs.berkeley.edu/sites/all/parlab/files/hindman_bootcamp_2011.pdf
Cloud Computing using MapReduce, Hadoop, Spark
Benjamin Hindman
benh@cs.berkeley.edu

http://www.ne.jp/asahi/hishidama/home/tech/scala/spark/index.html
Spark
　この「ひしだま」さんのScalaのページは便利で、ぼくもよく使わせてもら
っている。
http://www.ne.jp/asahi/hishidama/home/tech/scala/index.html
Scala

　Sparkがその上で作られているというMesos.
http://www.mesosproject.org/
Apache Mesos
Dynamic Resource Sharing for Clusters

http://d.hatena.ne.jp/smly/20110730/1312022963
大規模グラフ処理フレームワーク Pregel のオープンソース実装 Bagel とか
　Pregelは、Googleの大規模グラフ処理フレームワーク。
　Bagelは、これ。
https://github.com/mesos/spark/pull/48
Bagel

　Bagleは、Sparkの上で動くとはいえ、Scalaで書いてたった150行だって。
　やっぱ、Scalaはいいね。関数型言語と並列処理は相性がいいし。

　ここでいうグラフは、棒グラフ、折れ線グラフといったグラフではなく、数
学でいうグラフ。節と辺があってという、要はネットワーク、網目構造のこと。
つまり、鉄道の路線図とか、ああいう構造。グラフの１つの特殊形が、ツリー、
木構造。
　世の中、グラフで表現できないものはない。
　いや、１つだけある。
　それは何？
　ぼくと君との愛さ。
　はよ、死ねや、お前。＼(^O^)／

　ビッグデータの時代になって、超大規模なグラフができちゃった。これを効
率的に解析するアルゴリズムやアーキテクチャが必要というので、みんな、懸
命にやっている。
　上記、Bagelの文章から。
--- ここから ---
Google でも MapReduce とは別に, データマイニングの 20 % をグラフからの
マイニングに特化した Pregel によって扱っているそうだ.
--- ここまで ---

　GoogleはPregelを作って、何をやっているかといえば、想像だが、１つは、
ソーシャルグラフの解析。人間関係がどうなっているか。人々の関心がどこに
あるか。どこにどういう広告を出せば効果的かなどなど。
　FacebookみたいなSNSでは、そういう解析をやって、広告収入やマーケティ
ング情報の価値を高める。GoogleもFacebook対抗で、Google+をやってるしね。

関連：
http://iiyu.asablo.jp/blog/2012/02/16/6337419
全文検索エンジンSolr。Lucene, Hadoopネタも。ビッグデータの時代
http://iiyu.asablo.jp/blog/2010/12/08/5564975
Hadoop, Lucene, Collective Intelligence, 集合知、Intelligent Web
http://iiyu.asablo.jp/blog/2011/01/06/5625827
テキストマイニング、オライリー・ジャパンの入門自然言語処理
http://iiyu.asablo.jp/blog/2011/12/23/6257596
ソーシャルデータのリアルタイム解析会社
http://iiyu.asablo.jp/blog/2009/04/23/4260486
「集合知イン・アクション」その２、データマイニング、Weka
http://iiyu.asablo.jp/blog/2009/04/03/4222406
Satnam Alag著、堀内孝彦ほか訳「集合知イン・アクション」
http://iiyu.asablo.jp/blog/2010/03/19/4956129
パターン認識、機械学習、データマイニング「朱鷺の杜Wiki」

　大規模グラフの処理、アルゴリズムについては、以下。
　九大(九州大学)や九工大(九州工業大学)の先生たちと、やり取りしたメール
から、一部。
--- ここから ---
http://d.hatena.ne.jp/iwiwi/20120113
2012-01-13　大規模グラフアルゴリズムの最先端
が、とても面白かったです。
　スライドは、
http://www.slideshare.net/iwiwi/ss-11008471

　大規模グラフアルゴリズムは、アルゴリズム界隈、DB 界隈、HPC 界隈の境
界領域になっていて、それぞれの界隈が、もっといいアルゴリズムをほしがっ
ているので、ホットな領域だそうです。
　クラウドによるサーバサイドコンピューティング、ソーシャルデータなどビ
ッグデータの時代だから、計算機、ディスク、ネットワークがいくら速くなっ
ても、速いアルゴリズムがほしいわけですね。

　Microsoft Researchの次の話は劇的。
　大規模グラフでも、物理的な制約から非常に特徴的なものがあって、その性
質をうまく使うと、計算量が劇的に減るそうです。
　自動車の道路は、まさに特別な性質があるそうです。
　こうやって定式化するのかと思いました。おれはできんけど。
http://research.microsoft.com/en-us/people/goldberg/hwd.pdf
Highway Dimension and Provably Efficient Shortest Path Algorithms
Andrew V. Goldberg
Microsoft Research - Silicon Valley
http://research.microsoft.com/~goldberg/
(Joint work with Ittai Abraham, Amos Fiat, and Renato Werneck)

　関連して、
http://iiyu.asablo.jp/blog/2011/01/13/5635409
GoogleのAI challengeで、Lisperが優勝＼(^O^)／
http://iiyu.asablo.jp/blog/2011/12/23/6257596
ソーシャルデータのリアルタイム解析会社
で書いた会社など、かつてAI(人工知能)と呼ばれた技術で、ソーシャルデータ
を
解析島倉千代子です。

　あと、
http://iiyu.asablo.jp/blog/2011/05/05/5846130
樋口千洋「Rによるバイオインフォマティクスデータ解析 第2版」その２
http://iiyu.asablo.jp/blog/2010/03/22/4963308
「Rで学ぶデータサイエンス」シリーズ。経営工学、マーケティングその他Rの
本でも書きましたが、アメリカの会社で、求人の条件に、オープンソースの統
計解析ソフト「R」のスキルを要求するものを、よく見かけます。
　それも技術系だけじゃなくて、マーケティングや営業のほうでも。
　統計・確率の知識は必須、Rも使えて、データを解析島倉千代子の時代だと、
痛感してます。
　日本はそこまで行ってるかどうかはわからないけど、学生さんも、この辺は、
押さえてないと、就職が難しくなってくるんだろうなと思います。
--- ここまで ---

　Scalaについては、いっぱい書いているが、少しだけ、本など。
http://www.scala-lang.org/
Scala公式サイト

http://www.amazon.co.jp/exec/obidos/ASIN/4844330845/showshotcorne-22/
Scalaスケーラブルプログラミング第2版 [単行本（ソフトカバー）]
Martin Odersky (著), Lex Spoon (著), Bill Venners (著), 羽生田 栄一
(監修), 水島 宏太 (その他), 長尾 高弘 (翻訳)

http://www.amazon.co.jp/exec/obidos/ASIN/4774144363/showshotcorne-22/
オブジェクト指向プログラマが次に読む本
-Scalaで学ぶ関数脳入門 [単行本 （ソフトカバー）]
株式会社テクノロジックアート (著), 長瀬 嘉秀 (監修), 町田 修一 (監修)

http://www.amazon.co.jp/exec/obidos/ASIN/479802998X/showshotcorne-22/
Scala実践プログラミング―オープンソース徹底活用 [単行本]
小笠原 啓 (著), 尾崎 智仁 (著), 関 隆 (著),
水島 宏太 (著), 今井 敬吾 (著)

http://www.amazon.co.jp/exec/obidos/ASIN/4873114810/showshotcorne-22/
プログラミングScala [大型本]
Dean Wampler (著), Alex Payne (著),
株式会社オージス総研 オブジェクトの広場編集部 (翻訳)
　原文は、無料で読める。
http://ofps.oreilly.com/titles/9780596155957/
Programming Scala
Dean Wampler

　さっき紹介した、「ひしだま」さんのScalaのページは、便利です。
http://www.ne.jp/asahi/hishidama/home/tech/scala/index.html
Scala

関連：
http://iiyu.asablo.jp/blog/2011/11/11/6195987
Scalaスケーラブルプログラミング第2版
http://iiyu.asablo.jp/blog/2011/10/20/6162794
JavaユーザーのためのScala早わかり