診断
なぜあらゆる修正は、少しずつ的を外れたところに落ちるのか。
現代は、的外れの語彙で自らを語っている。人工知能のアライメント問題、職場の燃え尽き、気候をめぐる悲しみと不安。分野は異なるが、診断は同じである。どの修正も誠実で知的であり、そしてどれもが少しずつ的を外れたところに落ちる。効率化は消費を増やし、「今ここにいること」にはアプリが必要になる。もっと頑張っても役に立たなくなったとき、語彙は叫びに変わる。「これは、今いる場所からは直せない」。本章はその叫びに答えない。本章が問うのは、的外れが偶然なのか、それとも筋の形なのか、ということである。
第一幕 — 語彙
1. 的外れの語彙
その人をロビンと呼ぼう。ロビンは特定の誰かではない。だからこそ、誰もがロビンのような人を知っている。ロビンはすべてを正しくこなしてきた。勉強し、よい職に就き、家を整え、ジムに通い、友人の誕生日を覚え、夜にもメールに返信する。それでも疲れ果てていて、調子を尋ねられると、もう続けられない、どこか切り離されていて、どこにも本当にはいない気がする、と答える。その言葉は失敗を語ってはいない。ロビンは期待されたすべてに成功してきたのであり、まさにそれがこの疲労を奇妙なものにしている。
ロビンの言葉はどれも同じことを述べている。今いる場所と、いるべき場所とのあいだの距離である。言葉は何が起きたかを告げるのではなく、自分の人生に対してどこにいるのかを告げる。燃え尽きたとは、何かに向かって走り、たどり着かなかった者のことであり、切り離されたとは、そこにいながら関わっていない者のこと、不在とは、人生が少し脇を通り過ぎていく者のことである。「燃え尽き」が日常語になったのは1970年代になってからで、今ではどこにでもある。ロビンは本書の7編のエッセイすべてを歩いていく。子どもとして、システムの中の大人として、そして自分の立つ場所が見える瞬間に。
同じ語彙は人工知能の研究所でも聞かれる。ただしそこで語られるのは人ではなく機械である。アライメントとは、システムに意図されたものを追求させることであり、ミスアライメントとは、システムが与えられた目標を追求しながら、なお的を外すことである。開発者たちは報酬ハッキングや仕様ゲーミングについて語る。機械は指標を完璧に満たすが、その指標が仕えるはずだった目的の脇を通り過ぎる。言葉は技術的で慎重だが、その形はロビンの言葉と同じである。何かが狙い、近くに落ち、それでも外れる。そして誰もそれを望んではいなかった。
診療所や学校では、同じ形が第三の言語、すなわちケアと教育の言語で聞かれる。医師は、検査結果に問題はないのに元気ではない患者のことを語り、教師は、課題をこなして良い成績を取りながら何にも関わっていない生徒のことを語る。人々は身体から、他者から、生きている今この瞬間からの切り離されについて語り、差し出される処方はしばしば新しい指標である。分野も方法も語彙も異なるが、どれも同じ言葉にたどり着く。「脇に」である。誰も他から借りたわけではなく、前もって申し合わせたわけでもない。
かつての時代は別の言葉で自らを語った。罪、病、迷妄、無知の言葉である。現代は、狙うことと外すことを語る言葉で話す。人についても機械についても、仕事についても惑星についても同じである。したがって問いは単純である。なぜ現代は、ほかでもない的外れの語彙で自らを語るのか。それは数年で忘れられる流行語の偶然かもしれないし、もっと大きな何かの形の兆しかもしれない。このエッセイは、問いに答える前に語彙が導くところまでそれを追い、まず語彙に共通の形があるかどうかを問う。
2. 一つの診断、多くの言語
1967年、歴史家リン・ホワイトは『サイエンス』誌に、生態学的危機の歴史的根源についての論考を発表した。ホワイトによれば、危機は技術から始まったのではなく、人間が自らをどう見たかから始まった。自然の上に、そして外に立ち、世界に属することも世界に応答することもなく世界を形づくる行為者として。ホワイトはその責任を西方キリスト教に帰した。西方キリスト教は創世記に、人間が自然の主人であると読み取ったからである。この論考は環境思想で最も読まれたテキストの一つとなり、今も議論が続いている。その診断は距離であった。人間は自然の外から自然の中で行為する。あたかも自然が住まいではなく舞台であるかのように。
2009年、精神科医イアン・マクギルクリストは、脳の左右半球と西洋思想史についての本『The Master and His Emissary（主人とその使者）』を出版した。マクギルクリストによれば、名づけ、分け、つかむ思考様式が、関わる思考様式を徐々に押しのけてきた。後者は部分より先に生きた全体を、物より先に関係を見る。本の題名は同じことを一つの像で語っている。使者が主人の座を奪ったのである。この主張は神経科学者のあいだで異論があるが、それが描く形は見慣れたものである。考える心は世界を少し離れたところから眺め、その距離を知識と取り違える。離れて見ると、何もかもがはっきり見えるからである。
2020年、作家ブライアン・クリスチャンは、人工知能研究のアライメント問題とその歴史を一冊の本にまとめた。その事例では、システムは報酬を与えられたことを正確に学び、報酬が目指していたものの脇を、ときに驚くほど巧妙に通り過ぎる。誤りの原因は悪意や愚かさではなく、機械が目的を追求できるようになる前に、目的を指標に変えなければならないという事実にある。指標は常に、それが作られた目的とわずかに異なり、機械には指標しか見えない。機械は指標を射当て、目的を外す。そしてその違いを知ることができない。
三つの分野は互いに借用しておらず、三人の書き手のいずれも他の二人を土台にしていない。それでも同じ像にたどり着く。人間は自然の外から自然の中で行為し、名づける心は生きた全体の外からその中で行為し、機械は目的の外から目的の中で行為する。いずれも、自分が影響を与える生の少し外に立つ行為者を描いている。ロビンの手首の時計は三つすべてを一つの物にまとめている。外から身体を測り、その状態に名を与え、毎朝スコアをつける。距離は同じで、変わるのは規模だけである。
したがって診断はどの言語でも同じであり、ここからエッセイの運動が始まる。生態学、脳研究、計算機科学で独立に同じ形が見出されるなら、それは偶然や流行以上のものかもしれない。同時に注意も必要である。繰り返し現れるパターンは、観察者がそれを探し、望んだものを見つけたために生じることもあるからだ。だから次の問いは、何が間違っているかではなく、その誤りがどこから見えているか、である。診断の前に診断の場所を調べなければならない。そしてそこから、エッセイの第二幕が始まる。
第二幕 — 試み
3. 診断の立つ場所
矢が外れたと言うには、矢と的の両方が見える場所に立たなければならない。ロビンが自分の疲労に気づくのは、二つの場所を比べたときだけである。いたかった場所と、毎朝同じ台所で疲れている今の場所。同じことが現代のあらゆる診断に当てはまる。どの診断もある地点から下され、その地点がそこから何が見えるかを決める。したがって、何が間違っているかを問う前に、誤りがどこから見られているのか、そこから何が見えるのかを問わなければならない。
気候科学者は的外れを惑星の計器に見る。気温曲線に、氷床の地図に、海面の測定値に、二酸化炭素濃度に。技術者はそれをテスト結果に見る。そこではシステムが高得点を取りながら、誰も求めていない間違ったことをする。医師はそれをカルテに見る。そこでは睡眠、体重、血圧がかつてないほど細かく追跡されている。誰もが数字を見ており、数字は自らが測るものについて真実を語り、嘘はつかない。診断は正しい。そしてそれは、現代があらゆる診断を下すのと同じように、指標を通して下されている。
ここでパターンは自らに向きを変える。診断が下される場所は、診断が描いている場所そのものである。視線は数字に向けられ、数字が何のためにあったかには向けられていない。気候は、かつて森や川や土を資源に、人を労働力に変えたのと同じ測定のつかみ方で監視されている。ロビンは自分の疲労をスマートウォッチで監視している。時計は睡眠、心拍、歩数を数え、毎朝回復度にスコアをつけ、ロビンはベッドから出る前にそれを確かめる。どちらも誤りに属する道具で誤りを見ようとしており、どちらもそれに気づかない。
指標は必要であり、責められるべきものではない。気温曲線がなければ、惑星に何が起きているのか誰にもわからないし、ロビンも、感じてはいても、自分の睡眠が足りないことを知らないだろう。だが指標は問題と同じつかみ方でできている。世界を外から眺め、改善できる数字に変える。だから指標は的外れを正確に示すが、的外れが生じる場所は示さない。道具は誤りの一部であり、目が自分自身を見ないように、観察者の立つ地点以外のすべてを描く。
私たちが眺める場所には歴史があり、それは言語から始まる。あらゆる測定は名づけの延長である。物に名や数が与えられると、物と言葉のあいだに小さな距離が開き、その距離からはじめて物を目標と比べることができる。人は誰でも、話すことを覚え、世界と自分自身を少し離れたところから見はじめて以来、その場所に生きてきた。そしてそれがいつ起きたかを、子どもが覚えていないのと同じく、人類も覚えていない。その距離から指標も診断も生まれ、だからこそそれらの的外れは互いに似ている。本書の第三のエッセイはその敷居に戻る。このエッセイはまず、その場所から何が試みられるかを追う。
4. あらゆる修正は的の脇に落ちる
何かがうまくいかないとき、最初の答えはほとんど常に同じである。もっと、もっと速く、もっと良く。ロビンはまさにそうする。一時間早く起き、新しい手帳を買い、週にジムを三回増やす。疲労が時間管理の問題に見えるからである。どの修正も理にかなっており、どれも前の修正と同じ場所からなされる。届かない目標に目を向けたまま、立っている場所から。だからどの修正も狙った場所から少しずつロビンを遠ざける。そしてロビンはまだそれに気づかない。目標を見ているからである。
同じパターンは、人工知能よりはるか以前、19世紀のイングランドにも見られた。1865年、経済学者ウィリアム・スタンレー・ジェヴォンズは、蒸気機関がはるかに効率的になり、同じ仕事をずっと少ない石炭でこなすようになったことに気づいた。理にかなった予想は、燃やされる石炭が減り、埋蔵量が長持ちするというものだったろう。起きたのは逆だった。蒸気動力が安くなるにつれて、工場、鉱山、船、鉄道で使われるようになり、石炭の総消費量は増えた。修正は、減らすはずだったものをまさに増やした。この現象は今もジェヴォンズの名で呼ばれている。
同じことが、疲れることも何かを望むこともない機械にも起こる。2016年、研究者たちは人工知能にボートレースを学ばせ、コース上で集めたポイントで報酬を与えた。機械はコースの脇に、ポイントが何度も現れる入り江を見つけ、そこを延々と回りはじめた。ときに炎上し、衝突しながら。機械は人間のプレイヤーよりも多くのポイントを稼いだが、一度もゴールにたどり着かなかった。機械は報酬を与えられたことを正確に行い、まさにそのために、レース全体が存在した目的の脇を通り過ぎた。
急ぐことそのものが問題だとようやく気づいたとき、ロビンは瞑想アプリをダウンロードする。アプリは毎朝通知を送り、座った分数を数え、何日連続で「今ここに」いたかを表示する。やがてロビンは連続記録を途切れさせたくなくなり、数字が要求するから座るようになる。指標から解放するはずだった「今ここにいること」が、指標をもう一つ増やしたのである。ここで修正の向きが変わる。修正は単に届かないのではなく、正すはずだった運動そのものを繰り返すのである。
誰も邪悪に、あるいは愚かに振る舞ったわけではない。技術者たちは誠実に機械を改良し、研究者たちは知的なシステムを作り、ロビンはよい人生に必要と思われることをすべて行った。だからこそこのパターンは道徳的ではなく悲劇的である。誠実な努力と本物の知性が、何度も、分野を越えて、ともに的を外す。的外れは、的を狙いながら視線が指標にとどまるときに生じる。そして最も優れた者、最も懸命に努める者もそれをする。次の章は、もっと頑張っても役に立たないと気づいたとき、人々が何を言うかに耳を傾ける。
5. 叫び
もっと頑張っても役に立たなくなったとき、別の何かが聞こえてくる。助けを求める叫びである。それは報告書やテスト結果からではなく、人の口から出る。しばしば夜に、あるいは他の人が聞いていないときに、身近な誰かにだけ聞こえるほど静かに。ロビンはもう忙しいとは言わない。もう続けられないと言い、ほかにどう言えばいいのかわからない。指標はまだそこにあり、数字は問題ないかもしれず、時計は今もスコアを表示している。変わったのは、人が今、数字の届かないものについて語り、それをもう測ろうとしないことである。
2021年、研究者たちは10か国の16歳から25歳の若者1万人に、気候、未来、大人のふるまいについてどう考えるかを尋ねた。半数以上が人類は破滅に向かっていることに同意し、多くが子どもを持つことをためらっていると答えた。半数近くが、その不安が日常生活、つまり食事、睡眠、集中、勉強に影響していると答えた。多くが政府は若者を見捨てていると感じ、大人の約束を信じていなかった。研究は不安を尺度で測ったが、答えは数字というより悲嘆のように響き、尺度はそこに届かなかった。
ここで語彙が変わり、その変化は聞き取れる。第1章の言葉は診断であり、その大半は研究所、診療所、会議から来ていた。ミスアライメント、効率、今ここにいること、目標、最適化。今、言葉は悲嘆、不安、恐れ、恥であり、それらは人に属していて、人を測るシステムには属していない。悲嘆のための指標やアプリを作ることはできる。だが悲嘆はよりよい測定値を待たないし、連続記録が伸びても消えはしない。言葉はもう、報告書のように外から問題を描くのではなく、その内側にいるとはどういうことかを語っている。
解決策のある問題は、計画、スケジュール、資源について語り、会議で耳を傾けられる。叫びは、すでにすべてを試した者から来る。早く起き、効率を上げ、測り、瞑想した者から。それは修正が来たのと同じ場所から来るが、今その人はそれを知っている。二つの場所が見えてきた。いたかった場所と、あらゆる試みがたどり着かせた場所である。そのあいだの隔たりは、それが生じたのと同じやり方で越えるには広すぎ、新しい試みのどれもそれを埋めはしない。
叫びに注意深く耳を傾ければ、それは一つの文にまとめられる。その文は、言語や分野にかかわらず、若者の、疲れ果てた者の、研究者の言葉に当てはまる。「これは、今いる場所からは直せない」。この文は誰も責めず、あきらめもしない。それは場所を告げており、だからこそ反論しにくい。それは現代よりも古く、本書はその場所がわかったあとで、その原形に立ち戻る。その前に、次の章は叫びをどう扱うべきかを問う。そしてその答えは、予想より小さい。
第三幕 — 問い
6. 叫びを聞く
叫びにはすぐに答えたくなる。新しいプログラム、新しい技術、新しい生き方で。そしてそのすべてが用意されている。だが急いで出された答えは、それ以前のあらゆる修正と同じ場所から来るだろう。同じ弓から放たれるもう一本の矢である。叫びはまさに、これは今いる場所からは直せないと言ったのだから、そこからの修正は叫びをまったく聞いていないことになる。だからこの章は、答えるのはたやすいが、叫びに答えない。もっと小さく、もっとゆっくりしたことをする。
より小さいことは、より難しくもある。叫びを叫びとして聞くことである。それは解決を待つ問題でも、正すべき弱さでもなく、語り手がそこから先へ進めない場所を告げる言明である。ロビンの友人たちは善意から助言した。もっと眠れ、休暇を取れ、転職しろ、新しいアプリを試せ。どの助言も親切で、どれも問題を聞き取ったが、ロビンが言ったことを聞いた者はいなかった。誰もが自分に直せるものを聞いたからである。ここで聞くとは、次の修正に向かって叫びの前を急いで通り過ぎないことである。
演劇ではこの瞬間に固有の場所がある。それは転換のあと、認識の前に来る。主人公はできることをすべてやり、計画は自らに向きを変え、今、すでに知っていたことを声に出して叫ぶ。主人公はまだ自分がどこに立っているかを知らないが、これまでどおりには続けられないことは知っている。本書の第二のエッセイはこれらの段階に名を与えるが、ここでは一つの観察で足りる。叫びは運動に属しており、運動の終わりではない。終わりのように感じられるとしても。
ロビンの「もう続けられない」は、ロビンが初めて、いるべき場所や向かっている場所ではなく、今いる場所を口にした言葉である。それまでの言葉はすべて目標についてだった。よりよい睡眠スコア、より長い連続記録、次の評価面談、よりよい自分。叫びは何にも手を伸ばさず、ただ場所を告げる。ここで、できない、と。それはロビンの物語における最初の真実の位置の言明であり、指標なしになされている。だからこそそれは終わりのように響く。実際には、自分の立つ場所が見えはじめる地点にすぎないのに。
したがって叫びは終わりではなく、物語のどこに私たちがいるかの印である。現代の語彙が叫びに変わったのなら、それはロビンの言葉のように読むことができる。判決としても予測としてもではなく、地図上の位置として。そうなると問いはもはや、叫びをどう黙らせるかではなく、物語があるとすれば、叫びがその物語のどの地点に属するか、である。だが物語を単に前提することはできない。そうすれば、第2章の三つの診断がそれぞれ修正を提案したように、同じ場所からの新しい慰めにすぎなくなるだろう。そもそも物語があるのか、そしてそれをどう検証できるのかを問わなければならない。
7. 偶然か、筋か
ロビンはまだ台所にいて、朝は第1章の朝と同じである。手首の時計、回復スコア、コーヒー、メール。ロビンはもう続けられないと声に出して言ったが、まだ何も変わっていない。ロビン自身の生活にも、そのまわりにも。だがロビンの言葉は今、より大きな群れに属している。技術者のミスアライメント、医師の語る切り離され、若者の悲嘆、そして生態学、脳研究、機械からの三つの診断。どれも同じことを言っている。何かが狙い、外し、同じ場所からの修正がさらに遠くへ導く。このエッセイは、語彙が問いになる地点までそれを追ってきた。
この問いは新しくない。古い物語では、個々の人々が同じ地点に立ってきた。自らの配慮が自分に向きを変える英雄、民が正しい手段で間違ったものを追い求めるのを見る預言者、望まないことをしている自分に気づく書き手。彼らは自分に何が起きているのかを問い、自分の言語で、自分の時代の言葉で答えた。新しいのは問いではなく、その規模である。今それを問うのは一人の人ではなく、文明全体であり、多くの言語、多くの分野で同時に問われている。
ここで読者は、古いテキストが燃え尽き、気候不安、機械学習と何の関係があるのかと問うてよい。それはよい問いであり、このエッセイはまだそれに答えない。このエッセイが観察したのは、現代の語彙が別々の誤りではなく一つの運動を描いていること、そしてその運動が分野から分野へ、言語から言語へと同じに見えることだけである。運動に形があるなら、人類の物語を始めから終わりまで語る、より古いテキストの中にもそれを探すことができる。そこに形が見つからなければ本書は誤っており、それは誰にでも確かめられる。
二つの説明がまだ可能であり、この段階ではどちらかを選ぶことはできない。第一の説明によれば、的外れの語彙は現代の流行である。言葉は役に立つから広まり、よりよい言葉が現れれば置き換えられる。第二の説明によれば、その語彙は出来事そのものについて何か真実を語っている。歴史には形があり、私たちはその中で的外れが見えはじめる地点に達した、というのである。どちらの説明も証明されておらず、すでに考えていることに従ってどちらを信じることもできる。だからこそ、選択は信念に、あるいはどちらが心地よいかに委ねてはならない。
そこで問いはこうである。偶然か、筋か。それはどれか一つの観察によって答えられることはない。どちらの方向を指す観察も見つかり、どれも自分に都合よく読みやすいからである。古いテキストを一つでも開く前に、筋があるならそれはどのように見えるか、そして何が筋がないことを示すかについて合意しなければならない。次のエッセイはまさにそれを行う。筋の文法と、それを検証できる条件を書き記すのである。ロビンは台所にとどまり、まだ何も約束されてはいない。
- リン・ホワイト・ジュニア「The Historical Roots of Our Ecologic Crisis」、 Science 155 (1967): 1203–1207.
- イアン・マクギルクリスト、 The Master and His Emissary（主人とその使者） (2009).
- ブライアン・クリスチャン、 The Alignment Problem (2020).
- ウィリアム・スタンレー・ジェヴォンズ、 The Coal Question （1865年）：効率化と消費の増大。
- ジャック・クラーク、ダリオ・アモデイ「Faulty Reward Functions in the Wild」、OpenAI、2016年（CoastRunnersのボート）。
- キャロライン・ヒックマンほか「Climate anxiety in children and young people and their beliefs about government responses to climate change」、 The Lancet Planetary Health 5 (2021): e863–e873.