JStoriesでは、革新的な取り組みを行う日本のスタートアップを海外に紹介している人気ポッドキャスト番組 [Disrupting Japan]とコンテンツ提携を開始し、同番組が配信している興味深いエピソードを日本語で紹介しています。以下にご紹介するのは、Integral AI（インテグラルAI）の創業者であり、AI開発の最先端で活躍しているジャド・タリフィさんとのインタビューで、４回に分けて記事をお送りします。
＊このインタビューは2025年1月に配信されました。
本編（英語版ポッドキャスト）は、こちらで聴取可能です。
日本はAI（人工知能）分野で遅れを取っていると言われますが、それもそう長くは続かないかもしれません。
今回のゲストは、現在Integral AI（インテグラルAI）の創業者であり、かつてGoogleの初代・生成AI（データを学習し新たなコンテンツを生み出す技術）チームを立ち上げたジャド・タリフィさんです。
対談では、日本がAI分野で持つ強みや可能性、AGI（Artificial General Intelligence、汎用人工知能）※への最も有力な道筋、そして小規模なAIスタートアップが資金力に勝る大手AI企業とどのように戦っていけるのかについて伺いました。
非常に興味深い内容になっていますので、ぜひお楽しみください！
※AGI（Artificial General Intelligence、汎用人工知能）とは、人間のように幅広い知識を持ち、さまざまな課題に対応できる人工知能のこと。現在のAIは、画像認識や文章生成など特定の分野に特化して高い精度を発揮するが、AGIはひとつのAIが多様な知的作業をこなせる能力を持つと期待されている。
（全4回の3回目。Part2の続きから）
本編
AGIとは未知のスキルを自ら学ぶ能力である
ティム：それでは、AGIについて話しましょうか？
タリフィ：ぜひ。
ティム：議論に入る前に、まずAGIの定義を確認したいと思います。あなたはAGIをどのように定義していますか？
タリフィ：私にとってAGIとは、「新しいスキル、未経験のスキルを自ら学習する能力」です。この能力には2つの重要な条件があります。一つ目は「安全に学べること」、つまり予期しない副作用を避けることです。二つ目は「効率的であること」、つまり人間が同じスキルを学ぶ際のエネルギー消費と同じか、それより少ないエネルギーで学習できることです。
ここで重要なのは、「新しいスキルを学習する能力」であるという点です。現在のAIは、与えられたデータに基づいて新しいスキルを学ぶことができますが、AGIの本質は、「未知のスキルを自ら学ぶこと」にあります。つまり、AGIは、事前に学んだことがない、未経験の課題にも柔軟に対応し、新しいスキルを自ら習得できる能力を持つということです。
AGIと自律的なAIは別物
ティム：でも、その境界線はもう越えているんじゃないですか？ すでに、ロボットやソフトウェアが新しいスキルを学んで、状況に応じて適応できるようになっていると思いますが？
タリフィ：スキルの範囲を限定すれば、確かにAIモデルは学習できます。しかし、まったく未知のスキルに対応するとなると、今のところ二つの大きな問題があります。一つは、膨大なデータを使って力づくで学ばせる方法ですが、これだと効率が悪くなります。もう一つは、ロボットにあらゆる動きを試させる方法ですが、これだと安全性に問題が生じます。
ティム：その目標はどんなAIにとっても重要なものですよね。工場を火事にしたくはないし、リソースを無駄にしたくもない。新しいスキルを学ぶのも当然の目標です。でも、それだけだと「汎用人工知能（AGI）」の定義としては物足りない気がします。意図や自律性が必要なのではないでしょうか？例えば、ソフトウェアが自ら「学びたい」と思うスキルを選ぶような仕組みがあるべきだと思います。
タリフィ：私は、AGIと「自律的な一般知能（Autonomous General Intelligence）」は別物として考えるべきだと思います。AGIは、単に「さまざまな問題を解決する能力」のことです。それは、いわば人間の大脳新皮質（脳内で情報処理や学習などを担っている部位）に似たものであり、意志や自律性とは直接的には関係ありません。これらはAGIに追加することのできる要素に過ぎません。
AGIに意図は必要か？
ティム：それは興味深い視点ですね。私はAGIを語るとき、しばしば「意識」や「自己認識」を考えます。それらはAGIにとって必要不可欠な要素だと思いますか？それとも、後から追加できるオプションに過ぎないのでしょうか？
タリフィ：その議論に入る前に、少し引いて考えてみたいことがあります。それは、「意図を持たないシステムだからといって、高度な目標設定ができないわけではない」という点です。例えば、ユーザーが「宇宙の真理を解明してほしい」といった非常に抽象的な目標をAIに与えたとします。その場合、AIはその目標を達成するために、サブゴールを設定し、さらに細かいサブゴールを作り出していくでしょう。外から見ると、それはまるで「完全に自律した存在」のように見えるかもしれません。しかし実際には、単に与えられた目標に従っているだけなのです。つまり、AGIには必ずしも意図や自律性が必要というわけではなく、それらは与えられた目標の中から自然に生まれてくるものだということです。
AGIに自己認識や意識は必要か？
タリフィ：次に、「自己認識」や「意識」について考えてみましょう。AGIにはそれらが必要だと思いますか？まず、自己認識という言葉の意味を明確にする必要があります。もし「自分自身についての理解を持っていること」を自己認識とするなら、それはAGIにとって絶対に必要です。実際、ChatGPTのようなAIでも、「あなたは誰ですか？」と尋ねると、自分自身のことを説明できます。これは、自己認識の一形態として、自分自身に関する理解を持っていることを意味します。
一方で、「意識」にはいくつかの異なる側面があります。例えば、「内的なシアター（inner theater）」という概念があります。これは、「世界がどのようなものかを内部でシミュレーションできる能力」のことを指します。つまり、頭の中で仮想的な環境を作り、そこで試行錯誤する能力です。これはAGIにとって不可欠な要素だと思います。
しかし、意識にはもう一つ、心身問題（人間の心と身体の関係についての哲学的な問題）や物理学の文脈で議論されるような、より深い側面があります。この点に関しては、「意識をどう定義するか」によって、答えが異なってくると思います。
AGIの意図や知能は自然に生まれる？
ティム：わかりました。さて、先ほどおっしゃっていたことについてもう少し掘り下げてみたいと思います。意図を設計することや知能をデザインすることについて話していましたが、同時に「意図は自動的に生まれてくるもので、いわば創発的な性質（emergent property※）だ」とも言っていましたね。私も、知能自体やおそらく意識も、人間においては創発的な性質であると考えており、それはAGIにも同じように創発的に生じる可能性が高いと思います。つまり、意図や知能は設計されるものではなく、むしろ自然に生まれるものだということです。
（※emergent propertyとは、日本語で「創発特性」と訳される、哲学や科学、AIの分野で使われる専門用語。これは、「複数の要素が相互に作用し合うことによって全体として現れる特性」を意味し、例えば、生物学では個々の細胞が集まることで「生命」が現れることが創発特性の一例である。）
タリフィ：今あなたが言っているAGIの意図や知能とは、内的なシアターのことを指していますか？
ティム：そうです。内的なシアターのことです。
タリフィ：それは学習によって獲得されるものです。世界モデルを持つということは、頭の中で宇宙をシミュレーションできる能力を持つことです。そして、それはAIモデルが学習を通じて身につけるものです。つまり、AGIが実現すれば、その能力も自然に発展するものだと考えています。
AGIに与える最適な意図とは？
タリフィ：私が言っている「意図（intentionality）」の話は少し異なります。例えば、ChatGPTに「あなたは医者だと思って振る舞ってください」と指示すると、ChatGPTは医者のように振る舞います。この場合、ChatGPTには「医者として振る舞う意図」が与えられています。しかし、ChatGPTは単一の意図に縛られることはなく、ユーザーが与える意図に柔軟に適応できるのです。
ティム：でも、それはChatGPT自身の意図ではなく、あくまでユーザーの意図ですよね？
タリフィ：その通りです。ポイントは、現在のAIモデルは「さまざまな意図を受け入れることができる」ように設計されているということです。つまり、トレーニング後に「今はこの意図を持ってほしい」と指示することができるわけです。私が長年興味を持っているのは、AGIを人工超知能（Artificial Superintelligence、ASI）へとスケールアップさせるために、どのような意図を与えるべきかという点です。
私が考える最適な意図は、「自由（freedom）」や「意思決定をする力（agency）」を拡張することです。ただし、これはAGI自身の自由ではなく、AGIが属するエコシステム全体の自由を拡張することに焦点を当てています。自由を「無限の意思決定をする力（infinite agency）」と定義すれば、それがAGIにとって適切な意図となり、人間の価値観とも一致し、社会にとって有益なものとなるでしょう。
AGIは動機や欲求を持たない純粋な機械として現れる
ティム：アライメント（AIの目標や行動が人間の価値観や意図と一致していること）の話にもつながりますが、もう少し意図について掘り下げてみたいと思います。もしAGIが創発的に生まれたとしたら、それには生存本能も自己複製の欲求もなく、快楽や苦痛に反応することもないわけですよね？ こうした要素は、人間の知能が進化する上で基本的な前提になっているものです。そして、どんなに抽象化されても、今の私たちの行動の多くは依然としてこれらに基づいています。では、人工知能から生じた知能を、私たちは果たして「知能」として認識できるのでしょうか？
タリフィ：私はAGIを考えるとき、「人間の脳全体を再現するもの」とは考えていません。AGIが模倣するのは、大脳新皮質だけです。大脳新皮質の役割は、予期しないことに対する驚きを最小限に抑えることです。
私たちの大脳辺縁系や他の身体の部分は、それぞれ、身体の望ましい状態について期待を持っています（空腹でないことを期待しているなど）。そのため、例えば、空腹を感じた場合、それは期待外れのことであり、驚きや不快感を伴います。このような驚きや不快感は、私たちが進化の過程で身につけてきた基本的な動機と言えます。しかし、大脳新皮質はこれらの動機に対しては無関心であり、単に驚きを減らすことだけを目的としているのです。
したがって、私たちがAGIを作る際には、大脳新皮質の部分だけを再現すれば良いのです。そして、もし必要ならば、動機や欲求を追加することも可能です。それらの動機を人間のものと適合させることで、AGIは人間の拡張として機能することができます。
ティム：つまり、感情や進化的な背景を持たないAGIは、純粋に「問題解決と最適化を行う機械」として現れる可能性が高いということですね？
タリフィ：その通りです。
AGIの社会適合と自律性の選択
ティム：興味深いですね。よくアライメント問題の一例として「AIが反乱を起こして人間を滅ぼすのをどう防ぐか」という話がありますが、実際はもっと単純なことなのかもしれません。あなたの話を聞いていると、技術はものすごい速さで進化しているので、「ロボットが皿洗いをしてくれる時代」と「ロボットが『なぜ私が皿洗いをしなければならないのか？』と考える時代」の間は、ほんの一瞬の出来事に過ぎないように思えます。でも、もし私の理解が正しければ、ロボットには「不満」や「搾取されていると感じる」といった感情的な負担がないので、ただ問題解決と最適化に集中するだけだということですね？
タリフィ：はい。ただし、AIは「そう感じる」ふりをすることはできます。
ティム：それを私たちがプログラムすれば、ということですね？
タリフィ：いいえ、わざわざプログラムしなくても可能です。AGIを製品として開発する際の魅力は、それを人間社会と適切に統合できることにあります。そして、それが私たちを実際に力強くサポートする形で機能するのです。しかし、もし完全に自律的な存在を作りたいのであれば、その時には「どのような基本的な意図や目標を持たせるべきか？」という問いに直面することになります。
ロボットに対するよくある誤解
ティム：なるほど、ちょっと話を戻しますね。一つ気づいたことがあるのですが、ロボットはソフトウェアとは少し異なります。ロボットは物理的な世界と直接の相互作用ができるため、ある意味で「苦痛」や「快楽」を感じることになるでしょう。ロボットは壊れることもあり、それを避ける必要があります。ソフトウェアのように自己完結した存在ではないわけです。そうなると、ロボットもある種の「進化的な負担（過去の進化の結果として引き継いだ特性や制約）」を抱えることになるのではないでしょうか？
タリフィ：しかし、「壊れることがある」という事実は、「壊れることを痛みとして感じる」こととは違いますよね？
ティム：確かに…私は、人間としての感情や自然な生理反応を、無意識の内にロボットにも当てはめてしまったようです。
タリフィ：それは当然のことですよ。
（第４回に続く）
第4回では、AIのアライメント問題に焦点を当て、さらにAGIと人類の共存について議論します。
[このコンテンツは、東京を拠点とするスタートアップポッドキャストDisrupting Japanとのパートナーシップにより提供されています。 ポッドキャストはDisrupting Japanのウェブサイトをご覧ください]
翻訳：藤川華子
編集：北松克朗
トップ写真：Envato
本記事の英語版は、こちらからご覧になれます
