diff --git "a/latency.csv" "b/latency.csv"
deleted file mode 100644--- "a/latency.csv"
+++ /dev/null
@@ -1,20 +0,0 @@
-model,chunk_length_s,stable_ts,punctuator,attention,device,file,return_timestamps,batch,time (mean),time (std),transcription,time (all)
-openai/whisper-large-v3,15,,,,cuda:0,long_interview_1.mp3,True,32,37.87098135948181,0.9975159668837961,"NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心にちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジーズという企業を作るに至ったかなというのをお話しさせていただければと思いますよろしくお願いいたしますはいはいそもそも誰やっていう話だと思うんですけど小島のりきと申しますよろしくお願いいたします私は今年コーネル大学を卒業しまして、本当にディフェンスをやったのは、つい2、3週間前なんですけれども、もともとコーネル大学ってニューヨーク市のどいなかのイサカっていう街にあるっていうイメージがある方も多いと思うんですけれどもコーネル大学って実は2つキャンパスがありまして1つはイサカにあるんですけどもう1つはニューヨーク市にある、イースト川の上に浮いているルーズベルト島っていう、すごい細長い島があるんですけど、そこでPHEをやっておりました私は小島っていう名前なんですけども本当にしょうもないネタを言うと小島の上でPHEが出たそういう両面感となっております私はPHEの専門分野としてはマルチモダリティと呼ばれる自然言語のシステムにどうやったら言語以外の情報例えば画像であったりとか音声といったものをそれを理解できるようにさせるそういったことであったりとかインタラクティブラーニングと呼ばれる最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういったハギングフェイスでちょっといろいろとプロジェクトでお世話になったりもしました。学部から実はアメリカに行っていて、ミシガン州にあるミシガン大学アナーバーコというところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンタッチさせていただきます今日はよろしくお願いしますはい青森今日はよろしくお願いしますはい、青岡です。笠井順吾といいます今、トヨタ工業大学鹿岡という名前から分かる通りですね日本のトヨタが昔出資をして、今独立した組織なんですが、そちらの方でResearch Assist Professorという職を持ちながら、児島と共に言葉テクノロジーに取り組んでいるという状況です私も本当にPHDもできたてこやこやというか最近取りまして先月8月に無事西海岸のシアトルにある ワシントン大学でコンピュータサイエンスの博士課程を卒業しました。研究分野としては最初の方は機械分野だったりマシン・トランスフェーションとか後は効率化とか言語生成とかその言語生成のイバリエーションとかそういうことをやっておりましたちょっと遡るとですね実は私も暇と似た形で高校卒業後は大学はアメリカのイエル大学、当時は統計にいたんですが統計学部を卒業しましてその後ELで働きながらワシントン大学に進学したという経歴ですね最近EL大学も知名度が上がってきてちょっとよくわからない教授がいろんな番組でお話をしているという名前は控えさせていただきますけども知名度が上がってきて嬉しいんですがここはイエルのキャップスでオクスフォードとかケンブリッジとかも慣れて、わざと何かやりたりしてるんですよね。わざと古く見せるような。アメリカって新しい国なんでそういうことをしてるという、でもまあ非常非常にきれいな、多少はあります。で、これが、TGIC、東北大学大学士科学の中で、これもまた、古いものと新しいものが有効で、昔なんか、電波導火なんかで、それ融合して、昔は電波とかでそれを改造して大学になった。しばらく日本にも非常につながりがあって、古井先生というスピーチの大学ですね。ついさっきなくなっちゃったんですが彼が昔ここでプレジデントをやっていたということで本当に日本のゆかりがあってなおかつ私が今パカルティで唯一日本人なのでちょっと責任感を持ちながらやっているという感じですねこれがそこでないのでせっかくなのでなんで��こにいるんだというとまさに坂口さんとのつながりが、本当にこういったありがたい期間をいただいていて、私は本当に2021年のちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に佐藤さんがAI2にいらしてそこでインターンを一緒にやろうということでインターンのメンターを最初3ヶ月でやりつつでも本当に楽しくていろいろパートタイムで練習しているうちにもう1年ぐらいもうちょっと長かったかな一緒に研究をさせていただいて本当に楽しい日々でオフィスがあってこれは私のアドバイザーノア・スミスなんですけどノア・スミスがいるので朝ごはんおじさんがいらっしゃって私が写真を撮って掘り出してきました本当に懐かしくて本当に昼ご飯を食べては雑談してですね昼ご飯を食べているうちに論文がそれなりに書けてくるみたいなことをやっていて雑談の中身はいろいろあったんです、最後の方は結構、皆さんご存知ですか?白い巨頭の話をよくしていまして、これいろんなバージョンがあるんですけど、これは唐沢俊明っていう俳優がやっていたバージョンが2人ともすごいお気に入りで広木のバージョンでどこが一番いいかというのを話し合っていて坂口さん的には後半のやっぱり財前教授になった後に財前教授なんですった後に、亡くなって、癌になってしまうみたいな、ネタバレになっちゃったな、そのあたりはダメだと。税金こそ面白いことをおっしゃって、さすが坂口さんの言うのですが、これは素晴らしいなということで、�った写真で、きっと狭いですから、そら、どこかにいらっしゃると思うんですが、そんな感じですごい良いところでしたね。会社としましては、藤間と創業しまして、今は日本とアメリカの2極対戦みたいなクロスボーダーという形でやっていて、もう私自身TTICにポロジェクションもありますしあとはシアトルに行っていましたので米国シアトルに本社はあるんですがそれでもうすでに東京の本院にオフィスを構えまして日本のシアみたいな形で今やろうという形で進めているというので、言葉とても進捗の会社ですね。基本的に、今話題の大規模言語モデルですねLLMの特に非英語圏向けのベース言語モデルの開発とか場合によってはマルチモータルとかそういったことをどんどん挑戦的にやっていきたいもちろん同時にやはりビジネスですのでアプリケーションの提供も行われるということでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっている初期市場としては今は日本を考えていまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりましたし、何かしら日本を発信で、日本を作っていきたいなということで、なということで日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになります1部目はまさに私は5年間PHDをやりましてこの5年間っておそらくNLPの歴史の中でも一番激動の5年間だったと思いますので運良いのか運悪いのか分からないですがそのタイミングでPhD終わった私から見た今思うとこうだったよねみたいな話をを、ちょっと過去の話を、第1部でお伝えしたいなと思います。第2部からはですね、もっと直近の話で、ダーキング・ウェイング・モデルの時代の到来ということで、私たちがどういうことを考えていたのかということを話したいと思います。それあとは、やはり前を向きたいということで、未来について話していきたいと思います。ということで、適度のPhD5年間ということで、これはもう本当にもう私のPhDをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で、最初だけちょっとポジティブな話でいこうと思います。KHDが始まる前に、イエル大学に行っていたのは、構造解析や文法、いわゆるシンタックスやパーシングとかそういうことをやっていましたその後ですねワシントン大学に移動してずっと英語ばっかり構造解析とかずっと英語なので英語ばっかりやっても面白くないので私自身多言語話者ですし、もっといろんなことをやりたいなということで、多言語の���法解析をやっていきました。そのうちに、多言語をやっているうちに、多言語といえば機械翻訳でしょということでマシントランスレーションをやりたいとその後にどんどんマシントランスレーションの一般的なことをやり始めてモデルの高速化とか効率化とかそういったことにやっていったり、大規模現行モデルに取り組むということで、無理矢理まとめれば、だんだんオーディエンスが最初と比べると大きくなっていたかなということでこれはちょっと自分が一つ成長できたポイントとして少しきれいに見えるかなと思いまして最後に一つだけ一回だけポジティブなことを言っておくと環境の、やはりいろんなものを変えていった時に環境の変化が本当に大きかったなと思っていて皆さんももし機会があればぜひどんどん環境の変化を求めていったらいろんな経緯ができるのかと思っていて一番最初に学びは大学にいましてワシントン大学に進学してワシントン大学にいなして、ワシントン大学にいながら、ちょっと行き詰まったので、メタでインターンしたりですね。そういったことをやっているうちに、あとは最後にサラリースさんとAI2でインターンをしたり、マイクロソフトトに行ったりして環境の変化に応じていろいろプロジェクトとかもいろいろ変わっていって楽しくできたのかなと思うのでぜひいろんな本当に日本いいところですし仙台は本当に素晴らしいところですけども、いろんな物理的にも環境を変えるのもいいことなのかなと思います。で、まあじゃあせっかくまずは過去の話ということで、一体私が PhD 始めた頃何が起こったかというと、これですね。Deep Contextualized Oral Representations ということで、その前までは Word and Reading とか言っても、今の人知らないのかな? Word and ReadingVecとかみんな授業でやってますね教科書、歴史、日本史みたいな単語をですね、いろいろクラシファイアーとかいろいろやる時にベクトル化したいみたいなベクトル化する方法が何個かあってこういうことをやって今から言えばものすごい浅いニューラルネットワークみたいなので周りの単語を予測することでベクトル化していったってことは周りの言葉が似ている単語を予測することで、何かベクトル化していった。ってことは、周りの言葉が似ている単語は、似たようなベクトルになるよね、みたいな。そういった、割と言語学とか、ディストリビューションのセマンティクスとか言ったりしますけども、そういった、あ、違う、ディストリビューションのセマンティクス。そうですね、そういったディストリビューションのお世話なんですが、そういった割と自然なことをやっていたというのが、これでぐちゃぐちゃこういうことをみんな頑張ってきたんですねよね最初はミコロフの2010年もっと前から多分あるんですがあとフローウェルトルとかいろいろやっていてこういうことをやっていたんですが大体私がPCLを始めた頃これまさに実はワシントン大学で私がちょDを始めた頃に、これまさに実はワシントン大学で、私がちょうど入る直前に起こったことなんですが、ワシントン大学のAI2でエルモというのが出てきた。これこそ、今あんまり知られていないのかもしれないですですがエルモの研究というのがあってそれはですね要は今までこうやって浅い色々なデッキをやってたけどもっと深くしてランゲージモデルにして要はネクストワードプレディクションをひたすらやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりとかいろんなタスクで評価が上がったということがあったということでエレモンだったりコープの評価が上がったということがあったということでエレモンだったりコープでこれも似たようなアイデアがあってそういった時代に私はPGを始めたということでここで終わりだと思いました。完全にこれ以上間違うことはないんですが、セバスチャン・ルーラーという有名なブロガーさんがいて、セバスチャン・ルーラーが、NP Image Net Moment of Ariseがいてどんどんビジョンみたいになってきたよねと結局当時ビジョンでよくやられていたのはイメージネットで大量に画像のクラシケーシ���ンとかを学習させてそのベクトルを使って他のタスクを解くみたいなことをやっていたんですがまさに同じことが起きていてテンコモデルをやらせておいて他のタスク例えばシンタクティックパーシングとかクエスチョンアンセリングとかマシントランスレーションとかをやらせるみたいな、イメージネットみたいになったよねっていうことを言っていた。ということで、これが良かったねと。自然言語一種類もようやくビジョンに 追いつきましたと言ってたところこれは始まりでしたがなかったんですがちょっとじゃあその時私が言って何をやっていたのか というのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていてLも出てきた時に、ラング値モデルを基本的に英語でやっていたんですがマルチリンガルにやらないといけないよねってことを考えていてじゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングリフォーマルラッシャンとかヒーブルとかヘブライゴとかそういうのでどれくらいバイリンガルでラングリフォーマルをトレーニングして、そのベクトルを使うということをやる。そうすることで、ノーリンガルの時よりもバイリンガルにした方が、英語を加えた方が圧倒的にスコアが上がるようで、みたいなことをこの時考えてやってみました。これがNUCLEの2018とか、2019か、18か、その辺の研究でした。結局、この研究はあまり意味がなかったです。なぜかというと、今、反省すると結局、さっきバイリンガルのグラフを見せましたけど科学的な指標にこだわってたんですよね。バイリンガルで、今だったら例えば英語があって、それに全部ごちゃ混ぜしたいろんな言語を加えて、言語モデルを作ろうみたいな発想になるんですが、当時はやっぱりちゃんとこう比べなきゃいけないでしょバイリンガルのバージョンとモノリンガルのバージョンをまず比べて比較しようみたいなことを言ったんですが今思えばですねより多言語にいきなり大言語に拡張してしまって例えば日本語だけのモデルを日本語と英語のモデルを使っても助かる人って限られてますよね使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね、今思えばもっと使いやすいものだったのかなというふうに思いましたし、当時、トランスフォーマーってまだそこまで使われていなかったのでASTMとかを使ってやっていましたということで結局時代が読めなかった負けましたということですねその負けた相手は、XLMのフェイスブックから出たものがあって、この人たちも論文がよくわからないし、でも実際に使えるものを作っていたんですね。それをダウンロードして使うことにして、もちろんサイテーションももちろんですし、それ以上に使える作ったということは本当に素晴らしいなと思った次第です。結局、反省としては、科学的なリサーチにこだわりすぎたんですよね。やはりコンピューターサイエンスの PhD をやるということで自分は科学者になるなと 意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしているということであと最後にタスクの選定もちょっと間違っていまして私たちはNERとかエフェレンシーパーシングとかシナティックローレブリングとかやっていたんですねでもこれも結局まあいいんですけど当時ものすごい流行っていたんですね。でもこれも結局、まあいいんですけど、当時ものすごい流行っていたのはQuestion AnsweringでQAで、結局QAの人たちはこういう私たちの本をまるで読んでくれなかったんですよね。で、その割にこういう論文を読んでくれて、なので結局使われなくなってしまって、何か使う数は正義、数は正義というか、そういうことで結局インパクトを残せなかったなというのを今反省していますで、お待ちかねのバートの時代に来たということでさすがにバートは皆さん知っていると思うんですが当初これ出た時はですねバートはただLも大きくしただけだよね、というふうに思っていましたし、これは私のアドバイザーのアスミスと、あともう1人、ループズ・ゼロモイアンという人がいまして、彼は同じワ��ントン大学の教授ですが今FacebookのディレクターディレクターというかNLPのリサーチを仕切っている人で彼はエレモンの作者でもあり最近だとロバートとかの作品あとOPTとかとにかく大規模言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言っていたかというと単純なLMのエクステンションなんかに大してベースベーパーを上げる必要ないしあんまり興味見えないみたいなことを言っていてでも実際これってのは実はベストフェーバーを取った前なんですが実際取りましたよね。いかに苦労とか間違えたか。ルークはちょっと面白くて見方がちょっと違ってですね。彼はエルゴンの作者ですから、素晴らしいと言ったけども、自分の頑張ったエルモが1年は続くと思っていたのに、結局1年続かなかったよね、ちょっと悲しいねみたいな話をはしていてちょっと違う見方をしているのかなという風に思って面白かったんですがそのループもですね実はGPT-2がちょうど出てきた時にこれ単なるラグチューモデリングじゃん何やってるんだろうなんでこんなの騒いでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですねアテにならないと僕らもアテにならないということですねでバートの時代になって当初はもちろんエレモンが大きくなったものだと思っていたんですが、もちろん違った。NLPの世界を完全に変えてしまったというものなんですが、もう一つちょっと面白かったのは、おまの話として、当時Hagginface Transformersのライバリーのきっかけに、ブームのきっかけになったんですよね。これ昔、ハイトーチバートと呼ばれていて、Hagginface自体はチャットボットの会社で元々あったんですが、BirdはGoogleから出たので検索ロードで使われている。研究者はみんな検索ロードを使いたくないのでァイトウォッチを使いたいみたいな話をしていた時に、彼らがファイトウォッチにコンバートしたものを出した。それがファイトウォッチパートであり、そしてそれが結局、Hagin-Fイス・トランスフォーマルにつながっていったということでこういうのも本当に商業部長というか本当に社会の流れというのは分からないなと思わないところできっかけが生まれて思わないところで僕っかけが生まれて、思わないところで工夫していくんだなというのを強弱して感じたというところですね。その時私は何をやっていたかというと、当時やはりマシントランスレーションをやりたいということで、マシントランスレーションのスピードアップとかですね、あとこの2個目の論文はですね、1個目の論文の中で自己批判みたいな形で、いろいろスピードアップで並列化とか一生懸命やってたんですねICML1025論文ではみんなこういうの大切で楽しいしってやってたけど結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話をやってなんかちょっと怒られたりもしたんですが、でも結局これが本当のある意味真実なのかなと思って自己批判で論文を出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT-3の時代が来てフューショットライブとかだんだんこの時からクラて、フューショットラーニングとか。この時からだんだんクラシフィケーションにリーダーの興味がなくなってきていて、だんだんみんなジェネレーションをしよう、ジェネレーションにしようという方向に来たというのが当時の流れで、もちろん皆さんご存知のフィッシャーズ・トラーニングの例もありますし、あとグループとかオープンソースの方でも大学とか組織をまたいだプロジェクトが出てきたというのがこのGPTシステム時代ですね。でも私自身はAI2で話していたんですが、その時の研究はバイディメンシャルリーダーボードといって、今までのリーダーボードというのは、ジェネレーションのモデルを評価するには不向きだよねというのもメトリックを固定しなきゃいけないのでその評価には不向きだから坂口さんと一緒にやっていたのはメトリックの方も並び替えなきゃいけないリーダーボードのアブストラクションみたいな形でそういうのをやったということでやっていましたあとはやはりジェネレーションにとってイバリエーションが大切だということでイメージキャラクショニングのイバリエーションも佐藤先生と一緒にやっていたという感じのことをしていました。これちょっと油断なんですが、こういう佐藤さんのご提案で漫画を描いてみようということで、漫画を描いて、この論文のPRをTwitterでしていたという、いろんな楽しみのことを、2人で本当に楽しくやっていたということですはいついにお待ちかねチャットGPT、GPT4の時代が来たということはまさにこれは社会実装の時代に来てしまった。もちろん研究も多数なんだけども、とにかく使って、どこが問題なのかということを洗い出していかないと、なかなかベンチマークとかで現れないものかな、ということを感じていて、こういった経緯で起業して児島ともにやっていこうと思いました。特に英語にNLPの業界は編集していますよね。これはインターネットユーザーの数で、25%くらいインターネットユーザーは英語話者なんですが、残念ながらNLPのロングも多いけど、だいたいほとんどが英語でしか実験をしていなかったり英語についての論文だったりするということでこれはまず一期英語編の基盤モデルをどんどん作っていかなければならないと思っております結局自然言語処理というのは何だったのかというのを振り返ってみると、結局、全てはスケールだったと。これは否定しようがない。ということで、私自身も色々作りたくて頑張って作っていたのです、結局大きさで解決されてしまったことも多くて、そこはもう認めたらいいのではないかということで間違っていたと。私自身は間違っていて、そうですね、まあそういうことです。あともう一つ面白いと思ったのは、やはり科学的な世界なんですが、かなり非科学的なプロセスが被害できるって書いたなということを理解したということで例えばトランスフォーマーが2017年に出てきたときに私はそのトランスフォーマーがこんなに広がるとは思わなかったんですこれも分からなかったっていうのも仕方ないのに論文いくら読んでもよく分からなかったっていうのも仕方ないわけじゃなくて論文いくら読んでもよく分からないですアテンションのディペンネージがでもそこって多分本質じゃなくてトランスフォームの本質っていうのは今思えば当えば、GPUとかTPUとか、そういったパラレルの計算の訓練がしやすかったんですね。LSDMとかだとどうしても巨大化させてしまうとどんどん時間がかかってしまうけどトランスフォーマーをパラレルにできるからハードウェアとすごい相性が良かったある意味ハードウェア決定論みたいな形でハードウェアによってトランスフォーマーの凄さが余計リンフォースされていってニワトリカ様と言われるんですが、そういった経緯があるのかなということがあってだから分からなかったのも仕方ないのかなと思ったりもします他の例でいうと、例えば、Adamとかのですね、今皆さんオプティマイザーで使ってますけども、考え方によっては、例えば、Adamに合うようにモデルを開発しているとも言えなくはないわけですよね。皆さんモデルを開発して、Adamでううまくいかなかったらやめということなので、結局そこもニワトリと卵であって、いろいろ予測するのは難しいよというふうに今は思っています。ちょっと非科学的な支配する世界ということなんですがでもよく考えてみるとこれもそうなんですよねやっぱりコンピューターサイエンスってやっぱりサイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよあのフィジックスとか言わなくていい同じようにオープンEIもオープンって言ってないからオープンじゃないから実際クローズドだということでオープンEIもオープンって言ってないからオープンじゃないかな実際クローズドだということでそういうことだとあとアメリカのチェーンであるセイクウェイっていうのがあるんですけどセイクウェイって全然安全じゃないですよね大体危ないところにあるんでだから結局そういうものなんだなということでいいのではと考えます。専門家の知見というのは、トランスフォーマーのポテンシャルを当時私は気づかなかったし、あともう一つチャットボットというのも意外でしたね。やっぱり人間とチャットするのもめんどくさいのに、なんで機会をしないといけないんだというのが当時の私の考えだったんですけど、結局チャットボットでこんなに有名になったんだっていうのが本当に衝撃でしたし、いかに私自身が人間を理解できていないかということが分かったということですね。ということで、何も分かっていない。まあ、でもとにかく過去の話をしてきましたが前に進んでいきたいというふうに思っております5年間を簡単にまとめると適度に環境を変えるのはプラスでしたし、でも専門家ですらは見ればわからないので、あんまり専門家の言うこととか、リビューアーが言うこととか気にしないでください、ということですね。最近、自分がいいと思う論文ごと悪い理由があるんですけどありがとうございますあともう一つはですね愛言勝負じゃないかなバートとかって愛言自体は本当に肝心なもので、基本的にエルモを大きくして色々他のアイデアがあったんですけど、結局マスクとラングルーチンモデルとか結局ラングルーチンモデルとか同じようなアイデアがあってアイデアだけじゃなくて、エクセクションも重要なのかなってということを思っていて、これって結局、研究だけじゃなくて、企業とかも見えると思うんですが、例えば、企業においても研究究においてもですね、必ずしも早いもの勝ちじゃないのかな、Lモード勝ってもあんなに早い段階で、実はもっと先にも、前にもあったんですが、LモードとかXLモードとかああいった研究とかありましたけどでも結局パートナー全部持っていったりGPT-3とかGPT-5が全部持っていったりですね結局早い街の世界というよりもそういった不思議な神の水尻みたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばGoogleとかFacebookって最初の検索エンジンでもないしFacebookも最初のソーシャルメディアでもなんでもないわけで、だからそういった不思議な力があるなというふうにも思いました。最後に、科学的指標というのも大切なんですが、それだけにこだわらずに、やはりコンピュータサイエンティストはサイエンティストはサイエンティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中に出していきましょうということを思っていますということでせっかくこれからはいますということではいせっかくこれからは未来の話をしていきたいと思います大規模言語モデルの時代が来たと皆さん大規模言語モデルどう思いますかすごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくるときは、基本的にチャットボットみたいなものを作ってみたり、自然言語だけじゃなくて、ソフトウェアエンジニアリングの世界でも、自然言語の入力をすれば、HTML、CSSのコードを吐き出して、ソフトウェアエンジニアリングをサポートしてくれる。それだけじゃなくて、文章の執筆、要約構成、メールの返信本当に汎用的なものに使えるというのは間違いないかなと思っています大規模言語モデルってそもそも何だったかというと、皆さんご存知の通り、ものすごいシンプルに学習されたAIなわけですよね。文章があって、その文章の次の単語を予測すると例えば学習データの中にThe first president of the United States is Georgeという文章があったとしたら第一代大統領はジョージ・ワシントンなのでワシントンという言葉を予測するとなんでこんなシンプルなものが役に立つのかすごい不思議ですよく言われることなんですけど結局はスケーリング測定だけですAIのモデルを学習するときって大きく分けて3つの要素がある学習するAIモデルの大きさそれに食べさせるデータの量この学習を行うコンピューターの資源の量計算資源と呼ばれますけどこの3つだと思います何が申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習の中で増やしていった結果突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが汎用的な性能を持ち始めただから今みんな注目しているわけですこれを本当にこの傾向をすごいスケーリング速度が分かりやすく示したグラフがこうなんですけれどもこのグラフっていうのはX軸がモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども見ていただくとおりその傾向というのはログリニアムすごいクレイジーなのがコンピューターの性能自体というのは皆さんご存知のムーアの法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えていますそのコンピューターを使って学習したAIの計算資源の消費量というのはそれをはるかに超える12年間で10の12乗倍増えていると。要するに、コンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが汎用性と何が関係あるかすごいスケッチなグラフで申し訳ないんですけどもこれはちょっと賛否両論あるグラフなのでちょっと反対意見がある人は後で個人的に聞いてくださいすごい傾向はうまく捉えていると思っていてこのグラフで何を表しているかというと、8タスクがあるんですけど、例えば算数力みたいに大規模言語モデルが5たす6は11、そういった算数の問題を答えられますというタスクであったり多言語力英語でQAができるモデルがペルシャ語になったときに同じようなことができますから読解力というのは単純にQAみたいなものです。こういったタスクを見ていくと、ここも同じなんですよ。Y軸は使われたスーパーコンピューターのリソース、X軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしていったときに突如変異的に大規模保険のモデルがタスクの能力を得るポイントがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて突如変異点が来るとこれが汎用性なんです結局計算資源を増やしていった時に突如変異能力を持つそういったものが大規模電力モデルの汎用性なんじゃないかなというのは私なりの捉え方ですここからがちょっと私なりの捉え方ですここからは自分たちで大規模リニューアルモデルを学ぶという話をしたいんですが2019年から2022年に何が起こっていたかというと、一言で申し上げますと、各国で大規模言語モデルの開発競争が起きていたと。アメリカです。アメリカではマイクロソフト社、グーグル社といったインターストリーを中心に大規模リングモデルの開発競争が大きくてアメリカで当時起こっていたのはマイクロソフト社が大規模なスーパーコンピューターをオープンAI社に提供して、当時GPT-3、英語メインの大規模現業モデルを学習していた。全く似たようなことが中国でも起こっていて中国では政府が所有しているスーパーコンピューターを用いて政府機関がGPP3を超えるようなスケールです世界で最大規模のパラメーターの数のライフ保険のモデルを中国語で学習しているこの動きってアメリカと中国だけじゃなくてヨーロッパでも大きいヨーロッパでは大きい。ヨーロッパでは、フランス政府が所有するジョーン・ゼープと呼ばれるスーパーコンピューターがあるんですけども、それをハギングフェイスと呼ばれる、皆さんご自身がハギングフェイス社に貸し出すことによって、ハギングフェイス社に貸し出すことによって、タッギングフェイス社が多国籍用の大規模展望モデルを学習していく。この多国籍用って面白くて、実はドイツ語が含まれていないのは、フランスとドイツの緊張感の表れかなと言われたりするんですけど、それ以上に重要な小話があって、実はこのフランス政府がスーパーコンピューターをハギングフェスに貸し出す時にハギングフェスって当然グラントプロポーゾルみたいなのを書いたんですよねこれこれこういう理由でオタクのセルフのスーパーコンピューターを使いたいとそこで使われたアーゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーがフランスを食いつくそうとしているとだから我々は独自モデルを開発する必要があるみたいなことを言っていたんです。すごい緊張感の高い、あいつ競争が大きい。で、まあ、方々が日本を見てきた時に、まあ、今でこそ、本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな予定があったんで��けど当時日本国内でハッキングフェイスみたいな予定があったんですけど当時日本語くらいハッピングフェイスみたいなのをやろうとしていた人はいらなかったです最初にわずれてくる疑問としてなぜ日本国内でできないのかできないのかやれないのかまずそこをしっかりしないと大規模言語モデル学習で何が一番重要かというとやっぱりそれはスーパーコンピューターのリソースなんですが日本ってスーパーコンピューターがないかというと全然そんなことはないわけです。一番わかりやすいところだと皆さんも研究で使われているかもしれません。ABCIと呼ばれるGPUベースのスーパーコンピューターがあると。ABCIは素晴らしいスーパーコンピューターなんですけども、実は日本最大級のスーパーコンピューターってABCIじゃないんです。富岳と呼ばれるスーパーコンピューターってABCIじゃないんです富岳って呼ばれるスーパーコンピューターで皆さん年齢的にちょうどベストヒットかなと思うんですけど以前民主党政権がありましてそこにレイモンさんという政治家がいらっしゃったレイモンさんが仕分け会議ということをやっていたときに1位じゃダメなんですか2位じゃダメなんですかっていったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を持っていたんですけど今レアモンさんのおっしゃる通り2位なんでしょうそういうスーパーコンピューターです何が重要かというとこのフラッグっていうのは本当に化け物みたいな性能を持っていてギングフェスチャーがブルームと呼ばれる大規模ゲームモデルを学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし全金を使えた場合はAIの学習性能だけでも考えても10倍早いんです10倍早いっていうことは同じ計算をやったときに不学だと10倍早く計算が終わるでも不学って何がクレイジーかというとCPUベースのスーパーポンピューターなんです一切GPUを搭載していない皆さんCPUで大規模ゲームモデル学習したことあります?大規模ゲームモデルを学習したことあります。大規模ゲームモデルじゃなくてもいいんですけど。Deep Learningで。多分CPUでやらないです。基本的にはGPU。もしないしはTPU。AIで特化したハードウェアでこれが何が問題かというのを同数字を見ればすぐ明らかだと思うんですけどNVIDIAのA100というGPUがあるわけですね今H100というのがデータセンターで最先端のGPUでもその一つの一つの一つの一つ前はA100というGPUが最先端になっていますフラッグに搭載されているCPUは、富士通A64FXと言いますが、AIの演算性能に限って言えば、富岳のCPUはNVIDIAのGPUの50倍遅いんです50倍遅いってことはGPUでできる計算が50倍長くなってしまうじゃあそもそも富岳って何がすごいんだっていう話なんですけれども富岳ってCPUが15万個あるんですよ皆さん15万個のCPU使ったことありますか?多分ないと思うんですここで何が言いたいかというとぶっちゃけGPUがCPUのここで何が言いたいかというとぶっちゃけGPUがCPUの50倍遅いならCPU50個使って並列計算したら同じぐらいスピードが出るよねっていうのがちょっとクレイジーなアイデアで佐々木さんにすごいご迷惑でそういうことを当時考えていてそれをやるための分散並列学習というものがあります今でも分散並列学習というものになります今で分散並列学習っていろいろオープンソースのパッケージが出てきて皆さんご存知かもしれないところで言うと例えばマイクロソフト社のビークスピードであったりLBDA社のメガトロatron LAMというパッケージがあって、こういったパッケージってデータパレード、モデルパレードと呼ばれる分散並列学習をサポートしているんですけどもGPUでは動くんですけどCPUでは動かないんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVIDIA Microsoftに書いていただいた分散並列学習のパッケージをCPU向けに移植して、ちゃんと並列でCPUが計算できるかなということを試したんです。初期実験としては非常にいい結果が出てここなんですけれどもCPUの数を増やしていったときにシステム全体としての計算性能がどれくらい上がるかなっていうのを見てこれはログリニアなんですけど特にCPUを1000個あたりまで増やした段階ではその計算速度が1個だった時CPUが1個だった時と比べて1000倍近くなっていくとこの見る限りだと分散並列学習がすごいうまくいっているなという感触だったんですけれどもこれはあくまで初期の実験で当然上手くいかないこともあって一つはCPUを大量に使うことでどういう問題があるかということなんですけどCPUを例えば2個使っているだけだとCPU1個同士がコミュニケーションすればいいだけなのでそれは問題ないとただCPUを1000個とか1万個とか増やしていったときにやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分かる とおりシステム全体として計算性能が上がるという時が若干落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションコストが上げられるようにしなくてはいけないよねそういったことも一つ課題として出てきました。それ以外にもすごい面白い発見もあって、ハードウェアって基本的に理論値と実測値というものがあるんです。理論値というのは、理論�というものがあるんです理論値というのは理論的にはこれだけ推移が出ます実測値というのは実際に使ってみたらこれだけしか推移が出ませんでした例えばトランスフォーマーの学習とかやるときにGPUの実測値って理論値の大体40%から50%ぐらい最近だと60%ぐらい出てるそのくらい出るんですよなんでそんな出るかというとNVIDIAのソフトウェアのエンジニアの方々がものすごい波長らしい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションの行列計算はこの特別なコードを使うことによって早くしましょうみたいなすごいなんかハンドウェイビーなハードコアのソリューションがソフトウェアスタックマクドナルドレイヤーの中にいっぱいあるんですよだからGPUは実測している4Gの幅がそんなにないただ、不実のCPUってそもそもそんなにAI学習を想定したものではなくてむしろシミュレーションとかそっちの方で使われていたのでそういった測定やストックが弱くて実測値が利用値の7から10%くらいでなかったこれを直さないとやはり数学上で大規模な学習ができないよねということになりましてこちらの日経新聞さんでカバーしていただいてそれこそ7社合同でやらせていただいているということなんですけれどもGPT-FUGAKUというプロジェクトが本格化いたしまして、主要な機関でいうと東北大学さん、坂口先生、ここでいうと栗田さんと佐々木職さん、佐々木職さんと呼ばれている間ですけど、佐々木職さん、佐々木職さんって呼ばせていただいてますけどそういった方々が中心になって協力していただいているとそれ以外にも東高大さんであったりとかリテンサイバーエージェェント名古屋大学富士通弊社言葉テクノロジーズが連携して区画上で大規模技術モデルを学習していけるようにそういったプロジェクトが本格化しましたこのGPT区画というプロジェクトは大きく分けて2つのチームがあって、1つ目のチームはシステムチームと呼ばれるチームです。こちらはFUGAKU上のインフラを整えて、そこでAIの学習が効率的に行えるようにしようと具体的にどういったことを解決しようとしているかというと先ほどのスライドであった通りコミュニケーションコストの問題を解決しようであったりだとか理論と実測値がもう少し小さくなるようにしようそういったことをやっていますNLPチームの方には東北大学の方々が主導していただいてこちらでは日本語データの準備であったりとかトークナイザーの開発、そういったことをやっておりますこちらのプロジェクトはまだ動いているので今後もどんどんニュースが出てくるかと思いますが皆さん温かく見守っていただければと思います栗田さんと佐藤先生にはすごいご迷惑のおかげでしますが一緒に頑張っていければと思っています。ここまでがFUGAKIのお話です。FUGAKIというのはすごい面白いプロジェクトで今後今一番ハイライトスーパーコンピューターだと思います。間違いなく、AI性能に限って言えば、数学よりもっと速いスーパーコンピューターというのは、1、2年で出てくると思うんですよ。で、数学でなんでAI学習を���る意味があるかっていうと、もっと速いスーパープロジェクトが出てきた時に、数学で学んだ知見を直接活かせるように、そういった架け橋の役割です。これはサイエンスとしてはすごいエキサイティングなことだと思います。私と笠井が考えていたのは、大規模言語モデルというのはただ、すごい社会に使えるレベルになっているので、これを実装しないとやっぱもったいないし、実装してみたいなって社会。そういったことで言葉テクノロジーズという企業を立ち上げましてちょっと試行実験をまずしてみたいと思います大規模言語モデル素晴らしいすごい色々使える果たして日本のビジネスに使えますか?弊社は言葉テクノロジーズというのは日本のビジネスの相手で色々とオペレーションをさせていただいている会社なのでこの時点で既に日本国内の3,40社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったんです旅行会社さんに大規模結構モデル、オタクどうお使いになれますか?そういったことを聞いた時に、こういう業務があるんじゃないかなっていうことをおっしゃっていただいたんですよね。地点Aから地点Bに行く旅行計画を作ってそれをパンフレットでまとめるっていう業務をよく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやるときに例えばGPP法を考えてみましょうプロフィットをかけますよこういったプロフィットをかけて渋谷に来たら出発して笠井の地元である奈良公園で日帰りで観光する計画を作ってパンフレットにしてください。そこでは交通手段を含めてください。東大寺も観光できるようにして、グルメ周りをしたいので、グルメ周りもできるようにしています。じゃあGPT-4はどうやる?これが実際に出てきたアップグループなんですけれども、一番上を見ると、すごい。東京から奈良へ、伝統と自然への一日旅行、めちゃくちゃキャッチーなタイプの楽器で、これだけ見ると、日本のビジネスでもGPT-4使えるじゃんと思う方も多いと思うんですけど、その下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ出していっているとちょっとページ3スケジュールのところをフォーカスしたいんですけどまず1個目のスケジュールでとをフォーカスしたいんですけどまず1個目のスケジュールでとんでもないことを言っているわけです朝7時渋谷駅中央北京大阪の新幹線に乗る渋谷駅に新幹線なんて通ってないんですよこれはちょっとよろしくねもっと面白いことが起こっていて11時半ならいっ 施設からメールしかせるかですまあそうまあグルメ回りにしたいけどジョークとしては面白いですジョークとしては一級こんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事が無くなっちゃいます何が言いたいかというと大規模言語モデルってGPT-4に代表されるようにめちゃくちゃ汎用的だと。汎用的なんですけども、日本語の閉じたドメインのようなところでリクロイしてしまうと、まだまだ業務に差し支えがあるそれ以外にもそもそもこれをやった理由というのは旅行会社さんがパンフレットを作るためですパンフレットを作るためなんですけれども現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないとでも結局パーフレットが必要な旅行会社さんの視点に立ってみたらこの生のテキストをマークダウンを取ってきてそれをパンフレットにもう一回リストラクチャーする作業が必要だとそれって余計な業務が必要ですというところですねこういった問題を踏まえて弊社言葉テクノロジスではこういった現状の大規模言語モデルの欠陥を研究開発することによってどんどん直していく直した大規模言語モデルをアプリケーションとして分かりやすい形で企業さんに販売するそういったことをやっておりまして分かりやすい形で企業さんに販売するそういったことをやっておりましてつい直近では米国で数億円規模の指導資金調達を完了して国内でも政府主導の補助金を今申請中と加西さんからもありました通りつい先日東京オフィスを六本木に開設して取り組んでいるとエンジニアサイティストをはじめ徐々に10月始めから�チームチームに加わっており年内には5人から12人程度のチーム編成に行ければなとそういったふうに思っておりますでそうですねこれが先ほど申し上げた内容を少し細かくしたところなんですけれども、研究開発としては、例えば非英語圏の言語でも大規模言語モデルがしっかり使えるようにしたりだとかそれこそ大規模言語モデルっていうのはリアルタイムな情報がすごい弱いわけですよね例えば東北大学から仙台駅に今行きたいとなったら大規模言語モデルというのは基本的に今の時間を調べてそれに応じた答えをしてくれるというのはなかなかないのでそういったところをツールフォーマーといった論文がありますけどAPIコードを通じて解決することで大規模言語モデルにリアルタイム性を持たせるであってそれ以外にもマルチモダル能力そういった研究開発をしておりますこういった研究開発した言葉フォーマーという我々は言葉フォーマーと呼んでいるんですけど弊社のシステム言葉フォーマーを呼んでいるんですけど、弊社のシステム、言葉フォーマーをユーザーの方々に分かりやすい形でパッケージング化してあげることによって、例えばコールセンターであったりだとか、コンテンツ生成、そういったものにして企業さんに販売していくそういったことを弊社ではやっていますちょっとアプリケーションの方にもフォーカスして何個か例を見せて今日の動画をお知らせしたいと思うんですけれども弊社が最初に取り組んでいるドメインとしては教育分野のカスタマーさんと一緒にプロジェクトをやらせていただいているんですよね教育分野もちょっとここはアカデミックトークなので名前を言ってしまいますが皆さん寸大に行かれた方っていらっしゃいますかあまりないのかななるほど寸大っていう塾があるんですけども寸大っていう塾があるんですけどもそうですよ弊社は寸大様とプロジェクトを一緒にやっておりましてここではどういうプロジェクトをやっているかというと生徒さんが塾の中でお使いになる練習問題とか模試を自動生成できるそういったプロジェクトをやっているんです寸大様が今どういった課題を抱えていらっしゃるかというとこういった練習問題を作るときに基本的に教員の方々が手動で試験を作るとその結果ものすごい労力が費やされているんですよ例えばちょっとクレイジーな話なんですけど共通テストの模試を1個作るのに何時間かけていますか?という話を聞いた時に1つのテストに300時間かけているらしいんです300時間それ年1回やるわけじゃないですから年何回も何回もそれを繰り返すそういった業務を生成AIを用いて解決できればいいのかこれがちょっと微妙なんですけれども弊社がやっているのは本当にすごいシンプルに教員の方々が使えるようなシステムで、ここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんです。ここでは、You are visiting the West.のヒントとなるキーワードを入れてもらうんですけどここではYou are visiting the US for the first time.アメリカを初めて訪れますよというコンテクストで問題を作ってくださいその結果出てくるものが例えばこういうパンフレット形式のDL今は共通テストっていうか共通テストってすごい情報分析に寄せたような問題が出ていて英語でもなくこういうパンフレットを読み解いて問題に答えてくださいみたいな問題があるんですだからこういうパンフレットみたいなものを直接出力することによって先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこうと。こういったパンフレットを作ってその後それに即した問題を先生方に生成していただくわけです質問の生成に進むという風に進むとこういった感じで4択の問題がパブリックに即した形で生成されて最終的にはPDFであったりワードであったり出力するPDFはただ単に問題と問題のコンテクストをつないでいただけるものなんですけどワードで何で出力するかというとコンテクストをつないだだけのものなんですけどね。Wordで何で出力する��というと、やっぱりAIが出力したものなので、先生方が気に入らないものもあります。そういったものを例えばWordだと直接先生方が手を加えるだけで、すぐに生徒さんに配られてもらう。そういったことを教育ドメインではやっております。もう一つ紹介したいのが交通分野部の取組です弊社はJR東さまと一緒にプロジェクトをやっておりまして、そこでやっていることとしては、カスタマーサポートの自動化というところで開発をしているんですよカスタマーサポートって聞くとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやってるじゃんと思う方もいらっしゃると思うんですよ確かにその通りですチャットボットってどこでもやってるじゃんと思う方もいらっしゃると思うんですよ確かにその通りですチャットボットってどこでもやっているとただJR東様のチャットボットってめちゃくちゃ難しいんですなんで難しいかというとカス様の方々が本当に多様なお問い合わせをしてくる本当に大和なお問い合わせをしてきた結果 ちょっと gpt 4いじっただけだと法廷解決できないような問題が出てくると例えばその例を挙げると渋谷駅でお財布を忘れてしまったんですけどどうすればいいですかそんなチャットGPTに聞いてもわからないですね何をやる必要があるかというと例えば大規模言語モデルが裏でAPIを読んで、例えばSQLのようなコードを書いて、例えばJR東の中にある、様の中にあるインターナルなデータベースにお問い合わせをして、忘れ物状況を取得して、それを踏まえて返答を送らなきゃいけない。そういったことがあるわけです。もっとクレイジーな例だと、例えば渋谷駅から新宿駅に行きたいんだけど、できるだけもうちょっと疲れてるから座りたい。あまり飛んでいない路線を選んでくださいみたいなことを気になる方もいるんですよそしたら何をする必要があるかもめちゃくちゃ難しいですよめちゃくちゃ難しいとでもでもありがたいこととしてはJR東様って今各駅各列車にセンサーがついてて混雑状況が分かるんですよ結構我々頭がおかしいのでクレイジーなことを考えるわけですよ もしテンサー情報に大規模健康モデルが直接アクセスできてその混雑情報を取ってこれたら座っていける路線は何ですかみたいな質問にも答えられますそういったことをここではやっています簡単に見えて難しいアプリケーションなのでこれはめちゃくちゃエクサイティングですねもう一点エクサイティングな点を挙げるとするとやっぱりJR東のカスタマーセンターって皆さんちょっとお使いにならないかもしれないんですけど結構その高齢の方々とかって電話を通じて高齢センターに電話かけてらっしゃったりするんですよねその数で言うと1日だいたい数万件年間でいうとそれこそ数百万件数千万件になってきました弊社が開発したご視聴ありがとうございました","[39.03658604621887, 38.64555096626282, 37.84633827209473, 37.21843934059143, 36.60799217224121]"
-openai/whisper-large-v3,15,,,flash_attention_2,cuda:0,long_interview_1.mp3,False,32,28.436019563674925,0.47368126646613146,"NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心にちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジーズという企業を作るに至ったかなというのをお島のりきと申しますよろしくお願いいたします。私は今年、コーネル大学を卒業しまして、本当にディフェンスをやったのは、つい2、3週間前なんですけれども、もともとコーネル大学ってニューヨーク市のどいなかの伊坂という町にあるというイメージがある方も多いと思うんですけどもコーネル大学って実は2つキャンパスがありまして1つは伊坂にあるんですけどもう1つはニューヨーク市にあるイースト川の上に浮いているルーズベルト島というすごい細長い島があるんですけどそこでPHEをやっておりました私は小島という名前なんですけども本当にしょうもないネタを言うと小島の上でPHEがあるというかそういう両面感となっております私はPHEの専門分野としてはマルチモダリティと呼ばれる自然言語のシステムにどうやったら言語以���の情報例えば画像であったりとか音声といったものそれを理解できるようにさせるそういったことであったりとかインタラクティブラーニングと呼ばれる最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういったケースの方にはハギングフェイスでちょっといろいろなプロジェクトでお世話になったりもしました。学部から実はアメリカに行っていて、ミシガン州にあるミシガン大学アナーバーコというところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンタッチさせていただきます今日はよろしくお願いします。はい、青岡です。笠井純吾と言います。今、トヨタ工業大学、シカオ工という、名前から分かる通り、日本のトヨタが昔出資をして、今独立した組織なんですが、そちらの方でResearch Assist Professorという職を持ちながら、児島と共に言葉テクノロジーに取り組んでいるという状況です私も本当にPhDもできたてこやこやというか最近取りまして先月8月に無事西海岸のシアトルにあるワシントン大学でコンピュータサイエンスの博士課程を卒業しました。研究分野としては、最初の方は機械分野だったり、マシン・トランスフェーション、後は効率化や言語生成のイバリエーションをやっておりました。ちょっと遡ると、実は私も暇と似た形で高校卒業後は大学はアメリカのイエル大学、当時は統計にいたんですが統計学部を卒業しましてその後ELで働きながらワシントン大学に進学したという経歴ですね最近EL大学も知名度が上がってきてちょっとよくわからない教授がいろんな番組でお話をしているという名前は控えさせていただきますけども知名度が上がってきて嬉しいんですがここはイエルのキャップスでオクスフォードとかケンブリッジとかも慣れてこれわざとなんかやりたいしてるんですよねわざと古く見せるようなアメリカって新しい国なんでそういうことにしてるというでもまあまあ、奇妙にきれいな、多少はあります。で、これが、TGIC、東北大学大学士科学の中で、これもまたなんか古いものと新しいものと融合で、昔なんか電波とかなんかでそれを改造して大学になったの。しばらく日本にも非常にもちろんつながりがあって古井先生というスピーチの大学ですね、ついさっっきなくなっちゃったんですが彼が昔ここでプレジデントをやっていたということで本当に日本のゆかりがあってなおかつ私が今パカルティで唯一日本人なのでちょっと責任感を持ちながらやっているという感じですねこれがそこで何でここにいるんだというとまさに坂口先生との繋がりがありがたい期間をいただいていて、私は2021年のちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に佐藤さんがAI2にいらしてそこでインターンを一緒にやろうということでインターンのメンターを最初3ヶ月でやりつつでも本当に楽しくていろいろパートタイムで練習しているうちにもう1年ぐらいもうちょっと長かったかな一緒に研究をさせていただいて本当に楽しい日々でオフィスがあってこれは私のアドバイザーノア・スミスなんですけどノア・スミスがいるので朝ごはんさんがいらっしゃって写真を撮って掘り出してきました本当に懐かしくて本当に昼ご飯を食べては雑談してですね昼ご飯を食べているうちに論文がそれなりに書けてくるみたいなことをやっていて雑談の中身はいろいろあったんです、最後の方は結構皆さんご存知ですか?白い巨頭の話をよくしていまして、これいろんなバージョンがあるんですけど、これは唐沢俊明っていう俳優がやっていたバージョンが2人ともすごいお気に入りで、広木のバージョンでどこが一番いいかというのを話し合っていて、坂口さん的には後半のやっぱり財前教授になった後に、財くなって、がんになってしまうみたいな、ネタバレになっちゃったな、そのあたりはダメだと。税関こそ面白いことをおっしゃって、さすが坂口さんの言うような見つけ所は素晴らしいなということで、涙では泣かすだけじゃダメなんだなっていうことを感じましたね。これがAI通貨の写真で聞いたんですけど、会社としては、藤間と創業しまして、今は日本とアメリカの2極対戦みたいなクロスボーダーという形でやっていて、もう私自身、TTICにポジクションもありますしあとはシアトルに行っていましたので米国シアトルに本社はあるんですがそれでもうすでに東京の本院にオフィスを構えまして日本の使者みたいな形で今やろうという形で進めているというので、言葉のデモシスという会社ですね。基本的に、今話題の大規模言語モデルですね、LLMの特に非英語圏向けのベース言語モデルの開発とか、場合によってはマルチモータルとかそういったことをどんどん挑戦的にやっていきたいなと。もちろん同時にやはりビジネスですのでアプリケーションの提供も行われるということでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっているとやはり初期市場としては今は日本を考えていまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりましたし、何かしら日本を発信で、日本を作っていきたいなということで、なということで日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになります。1部目はまさに私は5年間PHDをやりまして、この5年間っておそらくNLPの歴史の中でも一番激動の5年間だったと思いますので運良いのか運悪いのか分からないですがそのタイミングでPhD終わった私から見た今思うとこうだったよねみたいみたいな話を、ちょっと過去の話を、第1部にしたいなと思います。第2部からはですね、もっと直近の話で、ダーキング・モデルの時代の到来ということで、私たちがどういうことを考えていたのかということを話したいと思います。それあとは、やはり前を向きたいということで、ミラについて話していきたいと思います。ということで、適度のPhD5年間ということで、これはもう本当にもう私のPhDをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で、最初だけちょっとポジティる前に、イエル大学に行っていたのは構造解析や文法、いわゆるシンタックスやパーシングとかそういうことをやっていましたその後ですねワシントン大学に移動してずっと英語ばっかりこの構造解析とかずっと英語なので英語ばっかりやっても面白くないので私自自身多言語話者ですし、もっといろんなことをやりたいなということで、多言語の文法解析をやっていきました。そのうちに、多言語をやっているうちに、多言語といえば機械翻訳でしょうということで、マシントランスレーションをやりたいときその後にどんどんマシントランスレーションの一般的なことをやり始めてちょっとこれ見づらいんですがモデルの高速化とか効率化とかそういったことにやっていったり、第一部権をモデルに取り組むということで、無理やりまとめれば、だんだんオーディエンスが最初と比べると大きくなっていったかなということでこれはちょっと自分が一つ成長できたポイントとして少しきれいに見えるかなと思いまして最後に一つだけ一回だけポジティブなことを言っておくと、環境の、やはりいろんなものを変えていったときにですね、環境の変化が本当に大きかったなと思っていて、皆さんも機会があればぜひどんどん環境の変化を求めていったらいろんな経緯ができるのかと思っていて一番最初にいた時は大学の学部にいましてワシントン大学に進学してワシントン大学にいなして、ワシントン大学にいながら、ちょっと行き詰まったので、メタでインターンしたりですね、そういったことをやっているうちに、あとは最後にサラリースさんとAI2でインターンをしたり、マイクロソフトに行ったりして、環境の変変化に応じていろいろプロジェクトとかもいろいろ変わっていって楽しくできたのかなと思うのでぜひいろんな本当に日本いいところですし仙台は本当に素晴らしいところですけどもいろんな物理的にも環境を変えるのもいいことなのかなと思っていますじゃあせっかくまずは過去の話ということで一体私がPHで始めた頃何が起こったかというとこれですねDeep Contextualized Oral Representation ということでその前まではワード・エンベディングというのがいて今の人は知らないのかな?ワード・エンベベッドがみんな授業でやってますね。教科書、歴史、日本史みたいな感じです。単語をいろいろクラシファイアーとかやる時にベクトトル化したいベクトル化する方法が何個かあってこういうことをやって今から言えばものすごい浅いニューラルネットワークみたいなので周りの単語を予測することでベクトル化していったってことは周りの言葉が似ている単語を予測することで、ベクトル化していった。周りの言葉が似ている単語は似たようなベクトルになるよね、みたいな。そういった、言語学とか、ディストリビューションのセマンティクスとか言ったりしますけども、そういったディストリビューションのオーセナリズムそういったとこを言ったりしますけどもそういった割と自然なことをやっていたというのがこれでぐちゃぐちゃこういうことをみんな頑張ってきたんですよね最初はミコロフの2010年もっと前から多分あるんですがあとフローウェルトルとか色々やっていてこういうことをやっていたんですが大体私がPCLを始めた頃にこれまさにン大学で、私が入る直前に起こったことなんですが、ワシントン大学のAI2でエルモというのが出てきた。これこそ、今あまり知られていないのかもしれないですががエルモの研究というのがあってそれはですね要は今までこうやって浅い色々なデッキをやってたけどもっと深くしてランゲージモデルにして要はネクストワードプレディクションをひたすらやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりとかいろんなタスクで評価が上がったということがあったということでエレモンだったりコープでこれも似たようなアイデアがあってそういった時代に私はPGを始めたということでここで終わりだと思ったんですね私に間違っていません。セバスチャン・ルーラーという有ですね。NFT ImageNet Moment of Ariseとか言って、どんどんビジョンみたいになってきたよねと。結局当時ビジョンでよくやられていたのは、イメージネットで大量に画像のクラシケーションとかを学習させてそのベクトルを使って他のタスクを解くみたいなことをやっていたんですがまさに同じことが起きていてテンゴモデルをやらせておいて他のタスク例えばシンタクティックパーシングとかクエスチンアンセリングとか、マシントランスレーションとかをやらせるみたいな、イメージネットみたいになったよね、ということを言っていた。ということで、これが良かったねと。自然言語一種類もようやくビジョンに持追いつきましたと言ってたところこれは始まりでしたがなかったんですがちょっとじゃあその時私が言って何をやっていたのかというのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていて、Lも出てきた時に、ラング値モデルを基本的に英語でやっていたんですが、マルチリンガルにやらないといけないよねってことを考えていて、じゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングリフォーマルラッシャーとかヒーブルとかヘブライゴとかそういうのでどれくらいバイリンガルでラングリフモデ�デルをトレーニングして、そのベクトルを使うということをやる。そうすることで、モノリンガルの時よりもバイリンガルにした方が、英語を加えた方が圧倒的にスコアが上がるようで、みたいなことをこの時考えてやってみましたこれがラクルの2018とか2019か18かその辺の研究でした結局この研究はあまり意味がなかったです。なぜかというと、さっきバイリンガルのグラフを見せましたが、ちょっと科学的な指標にこだわってたんですよね。バイリンガルで、今だったら例えば英語があって、それに全部ごちゃ混ぜしたいろんな言語を加えて言語モデルを作ろうみたいな発想になるんですが、当時ははやっぱりちゃんと比べなきゃいけないでしょバイリンガルのバージョンとモノリンガルのバージョンをまず比べて比較しようみたいなことを言ったんですが今思えばですねより多言語にいきなり大言語に 拡張してしまって例えば日本語だけのモデルを日本語と英語のモデルを使っても助かる人って限られてますよね使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね、今思えばもっと使いやすいものだったのかなというふうに思いましたし、当時、トランスフォーマーってまだそこまで使われていなかったのでASTMとかを使ってやってみましたということで結局時代が読めなかったと負けましたということですね負けた相手なんです、XLMのフェイスブックから出たものがあって、この人たちも論文がよくわからないし、でも実際に使えるものを作っていたんですね。それをダウンロードして使うことにして、サイテーションももちろんですし、それ以上に使える作ったということは本当に素晴らしいなと思った次第です。結局、反省としては、科学的なリサーチにこだわりすぎたんですよね。やはりコンピューターサイエンスのPACをるということで自分は科学者になるなと 意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしているということであと最後にタスクの選定をちょっと間違っていまして私たちはNERとかエフェレンシーパーシングとかシマティックローレブリングとかやっていたんですねでもこれも結局いいんですけど当時ものすごい流行っていたのはQuestion AnsweringでQAで結局QAの人たちはこういう私たちの本をまるで読んでくれなかったんですよねその割にこういう論文を読んでくれて、なので結局使われなくなってしまって、何か使う数は正義、数は正義というか、そういうことで結局インパクトを残せなかったなというのを今反省していますでお待ちかねのバートの時代に来たということでさすがにバートは皆さん知っていると思うんですが当初これ出た時はですねバートはただLルモを大きくしただけだよね、というふうに思っていましたし、これは私のアドバイザーのアスミスと、あともう1人、ループズ・ゼロモイアンという人がいまして、彼は同じワシントン大学の教授ですが、今FacebookのディクターとかNLPのリサーチを仕切っている人で彼はエレモンの作者でもあり最近だとロバートとかの作品あとOPTとか結構とにかく大規模言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言っていたかというと単純なエルモのエクステンションなんかに大してベストフェーバーも上げる必要ないしあんまり興味見えないみたいなことを言っていてでも実際これ言ったのは実はベストフェーバーを取った前なんですが実際際に取りましたよね。いかに苦労とか間違えたか。ルークは面白くて見方がちょっと違って、彼はエルゴンの作者です、素晴らしいと言ったけども、自分の頑張ったエルモが1年は続くと思ってたのに、結局1年続かなかったよね、ちょっと悲しいねみたいな話をループはしていて、ちょっと違う見方をしているのかなという風に思って面白かったんですがそのループもですね実はGPT-2がちょうど出てきた時にこれ単なるラグチューモデリングじゃない何やってるんだろうなんでなんで騒いでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですね当てにならないと僕らもらえるということですねでバートの時代になって当初はもちろんエレモンが大きくなったものだと思っていたんですが、もちろん違った。NLPの世界を完全に変えてしまったというものなんですが、もう一つちょっと面白かったのは、おまけの話として、当時、Hagginface Transformersのライバリーのブームのきっかけになったんですよね。これ昔、ハイトーチバートと呼ばれていて、Hagginface自体は、チャはChatbotとかの会社でもともとあったんですが、BirdはGoogleから出たので検索ロードで使われている。研究者はみんな検索ロードを使いたく、ファイトウォッチを使いたいみたいな話をしていた時に彼らがファイトウォッチにコンバートしたものを出したそれがファイトウォッチパートであり、そしてそれが結局、ンスフォーマルにつながっていったということでこういうのも本当に商業部長というか本当に社会の流れというのは分からないなと思わないところできっかけが生まれて、思わないところで工夫していくんだなというのを強弱して感じたというところですね。その時私は何をやっていたかというと、当時やはりマシントランスレーションをやりたいということで、マシントランスレーションのスピードアップとかですね、あとこの2個目の論文はですね、1個目の論文の中で自己批判みたいな形で、いろいろスピードアップで並列化とか一生懸命やってたんですねICML1025論文ではみんなこういうの大切で楽しいしってやってたけど結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話をやってなんかちょっと怒られたりもしたんですがでも結局これが本当のある意味真実なのかなと思って自己批判で論文を出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT-3の時代が来てフューショットライラーニングとか。この時からだんだんクラシフィケーションにリーダーの興味がなくなってきていて、だんだんみんなジェネレーションをしよう、ジェネレーションにしようという方向に来たというのが当時の流れで、もちろん皆さんご存知のフィッシャーズ・トラーニングの例もありますし、あとグループとかオープンソースの方でも大学とか組織をまたいだプロジェクトが出てきたというのがこのGPTシステム時代ですね。でも私自身はAI2で話していたんですが、その時の研究はバイディメンシャルリーダーボードといって、今までのリーダーボードというのはジェネレーションのモデルを評価するには不向きだよねというのもメトリックを固定しなきゃいけないのでその評価には不向きだから坂口さんと一緒にやっていたのはメトリックの方も並び替えなきゃいけないリーダーボードのアブストラクションみたいな形でそういうのをやったということでやっていましたあとはやはりジェネレーションにとってイバリエーションが大切だということでイメージキャラクショニングのイバリエーションも 佐藤先生と一緒にやっていたという感じのことをしていました。これちょっと油断なんですが、こういう佐藤さんのご提案で、漫画を描いてみようということで、漫画を描いて、この論文のPRをTwitterでしていたという、いろんな楽しみを2人で本当に楽しくやっていたということですついにお待ちかねチャットGPT、GPT-4の時代が来たということはまさにこれは社会実装の時代に来てしまった。もちろん研究も多数なんだけども、とにかく使ってどこが問題なのかということを洗い出していかないと、なかなかベンチマークとかで現れないものかなということを感じていて、こういった経緯で起業して、児島ともにやっていこうと思いました特に英語にNLPの業界は返事をしていますよねこれはだいたいインターネットユーザーの数で25%くらいインターネットユーザーは英語話者なんですが、残念ながらNLPのロングも多いけど、だいたいほとんどが英語でしか実験をしていなかったり、英語についての論文だったりするということで、これはまず一期英語編の基盤モデルをどんどん作っていかなければならないと思っております。結局、自然言語処理というのは何だったのか?というのを振り返ってみると、結局全てはスケールだったと。これは否定しようがない。ということで、私自身も色々作りたくて、�張って作ってたんですが、結局大きさで解決されてしまったことも多くて、そこはもう認めたらいいのではないかということで間違っていたと。私自身は間違っていてそうですね、まあそういうことですあともう一つ面白いと思ったのはやはり科学的な世界なんですがかなり非科学的なプロセスが被害できるって書いたなということを理解したということで例えばトランスフォーマーが2017年に出てきた時にですね私はそのトランスフォーマーがこんなに広がると思わなかったんですよこれも分からなかったっていうのも仕方ないのにだ文いくら読んでもよく分からないですアテンションのディペンネージが多いんだなみたいなでもそこって多分本質じゃなくて多分トランスフォームの本質というのは今思えば、当時のGPUとかTPUとか、そうい��たパラレルの計算の訓練がしやすかったんですね。LSDMとかだとどうしても巨大化させてしまうとどんどん時間がかかってしまうけどトランスフォーマーをパラレルにできるからハードウェアとすごい相性が良かったある意味ハードウェア決定論みたいな形でハードウェアによってトランスフォーマーの凄さが余計リンフォースされていって、ニワトリと様々と言われるんですが、そういった経緯があるのかなということがあって、だから分からなかったのも仕方ないのかなと思ったりもします。他の例でいうと、例えば、Adamとかのですね、今皆さんオプティマイザーで使ってますけども、考え方によっては、例えば、Adamに合うようにモデルを開発しているとも言えなくはないわけですよね。皆さんモデルを開発して、Adamでうまくいかなかったらやめということなので結局そこもニワトリと卵であっていろいろ予測するのは難しいよというふうに今は思っていますちょっと非科学的な支配する世界ということなんですがでもよく考えてみるとこれもそうなんですよねやっぱりコンピューターサイエンスってやっぱりサイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよ大量の人がケミスって言わないですねフィジックスとか言わなくていい同じようにオープンAIもオープンって言ってないからオープンじゃないかなと。実際クローズドだということで。あとアメリカのチェーンであるセイクウェイっていうのがあるんですけど、セイクウェイって全然安全じゃないですよね。だいたい危ないところにあるんで。だから結局そういうもんなということで言い出しました。専門家の知見というのは、トランスフォーマーのポテンシャルを私は当時は気づかなかったし、あともう一つチャットボットというのも意外でしたね。やっぱり人間とチャットするのも面倒くさいので、なんで機会をしないといけないんだというのが当時の私の考えだったんですけど、結局チャットボットでこんなに有名になったんだっていうのが本当に衝撃でしたし、いかに私自身が人間を理解できていないかということが分かったということですね。ということで、何も分かっていない。まあ、でもとにかく過去の話をしてきましたが、前に進んでいきたいと思っております。5年間を簡単にまとめると、適度に環境を変えるのはプラスでしたし、でも専門家ですらは見ればわからないので、あんまり専門家の言うこととかリビューアーが言うこととか気にしないでくださいということですね。最近なんか自分がいいと思う論文ごと悪い理由がありますねありがとうございますあともう一つはですね愛言勝負じゃないかなバートとかって愛言自体は本当に肝心なもので、基本的にエルモを大きくして、色々他のアイデアがあったんですけど、結局、マスクとラングチューモデルとか、ラングチューモデルとか同じようなアイデアがあって、アイデアだけじゃなくて、エクセクションも重要なのかな、ということを思っていて、これって結局、研究だけじゃなくて、企業とかも見えると思うんですが、例えば、企業においても、研究においてもですね、必ずしも、早いもの勝ちじゃないのかな、Lモード勝っても、あんなに早い段階で、実はもっと先にも、前にもあったんですが、Lモードとか、XLモードとか、ああいった研究とかありましたけどでも結局パートナー全部持って行ったりGPT-3とかGPT-5が全部持って行ったりですね結局早い街の世界というよりもそういった不思議な神の水尻みたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばGoogleとかFacebookって最初の検索エンジンでもないしFacebookも最初のソーシャルメディアでも何でもないわけで、だからそういった不思議な力があるなというふうにも思いました。最後に、科学的指標というのも大切なんですが、それだけにこだわらずに、やはりコンピュータサイエンティストストはサイエンティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中に出していきましょうということを思っていますということでこれからは未来の話をしていきたいと思います。大規模言語モデルの時代が来たと皆さん大規模言語モデルどう思いますかすごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくるときは基本的にチャットボットみたいなものを作ってみたり自然言語だけじゃなくてソフトウェアエンジニアリングの世界でも自然言語の入力をすればHTML、CSSのコードを吐き出してソフトウェアエンジニアリングをサポートしてくれるそれだけじゃなくて文章の執筆、要約構成、メールの返信本当に汎用的なものに使えるというのは間違いないなと思っています大規模ゲームモデルってそもそも何だったかというと、皆さんご存知の通り、ものすごいシンプルに学習されたAIなわけですよね。文章があって、その文章の次の単語を予測すると例えば学習データの中にThe first president of the United States is Georgeという文章があったとしたら第一代大統領はジョージ・ワシントンなのでワシントンという言葉を予測するとなんでこんなシンプルなものが役に立つのかすごい不思議ですよく言われることなんですけど結局はスケーリング速度だけですAIのモデルを学習するときって大きく分けて3つの要素がある学習するAIモデルの大きさそれに食べさせるデータの量この学習を行うコンピューターの資源の量計算資源と呼ばれますけどこの3つだと思います何か申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習の中で増やしていった結果突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが汎用的な性能を持ち始めたことだから今みんな注目しているわけですこれを本当にこの傾向をすごいスケーリング速度が分かりやすく示したグラフがこうなんですけれどもこのグラフっていうのはX軸がモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども見ていただくとおりその傾向というのはログリニアすごいクレイジーなのがコンピューターの性能自体というのは皆さんご存知のムーアの法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えていますそのコンピューターを使って学習したAIの計算資源の消費量というのはそれをはるかに超える12年間で10の12乗倍増えていると要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが汎用性と何が関係あるかすごいスケッチなグラフで申し訳ないんですけどもこれは賛否両論あるグラフなので反対意見がある人は後で個人的に聞いてください。すごい傾向はうまく捉えていると思っていて、このグラフで何を表しているかというと8タスクがあるんですけど例えば算数力みたいに大規模言語モデルが5たす6は11そういった算数の問題を答えられますというタスクであったり多言語力英語でQAができるモデルがペルシャ語になったときに同じようなことができますか読解力というのは単純にQAみたいなものです。こういったタスクを見ていくと、ここも同じなんですよ。Y軸は使われたスーパーコンピューターのリソース、X軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしていったときに突如変異的に大規模保険のモデルがタスクの能力を得るポイントがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて突如変異点が来るとこれが汎用性なんです結局計算資源を増やしていったときに突如変異能力を持つそういったものが大規模電力モデルの汎用性なんじゃないかなというのは私なりの捉え方です。ここからは、自分たちで大規模リネモデルを学ぶという話をしたいんですが、2019年から2022年、何が起こっていたかというというと一言で申し上げますと各国で大規模言語モデルの開発競争が起きていたとアメリカですアメリカではマイクロソフト社Goグーグル社といったインタストリーを中心に大規模リングモデルの開発競争が大きくてアメリカで当時起こっていたのはマイクロソフト社が大規模なスーパーコンピューターをオープンAI社に提供して、当時GPT-3、英語メインの大規模現場モデルを学習していた。全く似たようなことが中��でも起こっていて中国では政府が所有しているスーパーコンピューターを用いて政府機関がGPP3を超えるようなスケールです世界で最大規模のパラメーターの数のライフ保険のモデルを中国語で学習しているこの動きってアメリカと中国だけじゃなくてヨーロッパでも大きいヨーロッパではフランス政府が所有するジョンゼーと呼ばれるスーパーコンピューターがあるんですけどそれをハギングフェイスと呼ばれる皆さんご自身がハギングフェイス社員に貸し出すことによって、タッグフェイス社が多国籍用の大規模展望モデルを学習していく。この多国籍用って面白くて、実はドイツ語が含まれていないのはフランス、ドイツの緊張感の表れかなと言われたりするんですけどそれ以上に重要な小話があって実はこのフランス政府がスーパーコンピューターをハギングフェスに貸し出す時にハギングフェスって当然グラントプロポーゾルみたいなのを書いたんですよねこれこれこういう理由でオタクのセルフのスーパーコンピューターを使いたいとそこで使われたアーゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーがフランスを食いつくそうとしているとだから我々は独自モデルを開発する必要があるみたいなことを言っていたんです。すごい緊張感の高い、あいつ競争が大きい。で、まあ、方々が日本を見てきた時に、まあ今でこそ、本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな予定があったんですけど当時日本国内でハッキングフェイスみたいなのをやろうとしていた人はいなかったです最初にわずれてくる疑問としてなぜ日本国内でできないのかできないのかやれないのかまずそこをしっかりしなきゃ大規模言語モデル学習で何が一番重要かというとやっぱりそれはスーパーコンピューターのリソースなんですが日本ってスーパーコンピューターがないかというと、全然そんなことはないわけです。一番わかりやすいところだと、皆さんも研究で使われているかもしれません。ABCIと呼ばれるGPUベースのスーパーコンピューターがあると。ABCIは素晴らしいスーパーコンピューターなんですけど、実は日本最大級のスーパーコンピューターってABCIじゃないんです。富岳って呼ばれるスーパーコンピューターで、皆さん年齢的にちょうどベストヒットかなと思うんですけれども、以前民主党政権がありまして、そこにレイモンさんという政治家がいらっしゃったレイモンさんが仕分け会議ということをやっていたときに1位じゃダメなんですか2位じゃダメなんですかって言ったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を持っていたんですけど今レアモンさんのおっしゃる通り2位なんでしょうかそういうスーパーコンピューターです何が重要かというとこの富岳っていうのは本当に化け物みたいな性能を持っていてギングフェスチャーがブルームと呼ばれる大規模ゲームモデルを学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし全金を使えた場合はAIの学習性能だけでも考えても10倍早いんです10倍早いっていうことは同じ計算をやったときに不学だと10倍早く計算が終わるでも不学って何がクレイジーかというとCPUベースのスーパーポンピューターなんですよ一切GPUを搭載していない皆さんCPUで大規模ゲームモデル学習したことあります。大規模言語モデルじゃなくてもいいんですけど、ディープラーニング。CPUでやらないです。基本的にはGPU。もしないしは、GPU。AIで特化したハードウェアでやると。これが何が問題かっていうのを、この数字を見れば、もうすごい明らかだと思うんですけど、NVIDIAのA100っていうGPUがあるわけですね。今、H100っていうのがデータセンターで最先端のGPUでもその一つの一昔前はA100というGPUが最先端でフラッグに搭載されているCPUは、Fujitsu A64FXと言いますが、AIの演算性能に限って言えば、富岳のCPUはNVIDIAのGPUの50倍遅いんです50倍遅いってことはGPUでできる計算が50倍長くなってしまうじゃあそもそも富岳って何がすごいんだっていう話なんですけど富岳ってCPUが15万個あるんですよ皆さん15万個のCPU使ったことありますか? 多分ない���思うんですここで何が言いたいかというとぶっちゃけGPUがCPUの50倍遅いならCPU50個使って並列計算したら同じぐらいスピードが出るよねっていうのがちょっとクレイジーなアイデアで佐々木さんにすごいご迷惑ブーブー分散並列学習というものがあります今の分散並列学習っていろいろオープンソースのパッケージが出てきて皆さんご存知かもしれないところで言うと例えばマイクロソフト社のDeep SpeedであったりLBVIDIA社のMegatron LAMというパッケージがあって、こういったパッケージってデータパレード、モデルパレードと呼ばれる分散並列学習をサポートしているんですけども、GPUでは動くんですけど、CPUでは動かないんです。だってCPUでやらしていないですから。私たちが最初にやったこととしては、このNVIDIA、マイクロソフトに書いていただいた分散並列学習のパッケージをCPU向けに移植してちゃんと並列でCPUが計算できるかなということを試したんです。初期実験としては非常に良い結果が出て、ここなんですけれども、CPUの数を増やしていった時に、システム全体としての計算精度がどれくらい上がるかというのを見てこれはログリニアなんですけど特にCPUを1000個あたりまで増やした段階ではその計算速度が1個だった時、CPUが1個だった時と比べて1000倍近くなっていくと。この見る限りだと、分散並列学習がすごいうまくいっているなという感触だったんですけれども、これはあくまで初期の実験で当然上手くいかないこともあって、一つはCPUを大量に使うことでどういう問題があるかということなんですけれども、CPUを例えば2個使っているだけだとCPUに1個同士がコミュニケーションすればいいだけなのでそれは問題ないとただCPUを1000個とか1万個とか増やしていったときにやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分かる通りシステム全体として計算性能が上がるという時が若干落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションコストが上げられるようにしないといけないよねそういったことも一つ課題として出てきましたそれ以外にもすごい面白い発見もあってハードウェアって基本的に理論値と実測値というものがあるんです理論値というのは理論的にはこれだけスピードが出ます実測値というのは実際に使ってみたらこれだけしかスピードが出ませんでした例えばトランスフォーマーの学習とかやるときにGPUの実測値って理論値の大体40%から50%くらい最近だと60%くらい出てるそのくらい出るんですよこれなんでそんな出るかっていうとNVIDIAのソフトウェアのエンジニアの方々がものすごい涙ぐらしい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションの行列計算はこの特別なコードを使うことによって早くしましょうみたいなすごいなんかハンドウェイビーなハードコアのソリューションがソフトウェアスタック、クーラーレアの中にいっぱいあるんですよだからGPUは実測している4Gの幅がそんな�がそんなにないただ不実のCPUってそもそもそんなにAI学習を想定したものではなくてむしろシミュレーションとかそっちの方で使われていたのでそういった測定やストックが弱くて実測値が利用値の7から10%ぐらいでなかったこれを直さないとやはり風学上で大規模な学習ができないよねということになりましてこちらの日経新聞さんでカバーしていただいてそれこそ7社合同でやらせていただいているということなんですけれどもGPTフラッグというプロジェクトが本格化いたしまして、主要な機関でいうと東北大学さん、坂口先生、ここでいうと栗田さんと佐々木職さん、佐々木職さんって呼ばれている間ですけど、佐々木職さん、佐々木職さんって呼ばせていただいてますけど佐々木職さん、そういった方々が中心になって協力していただいているとそれ以外にも東高大さんであったりとか、理研サイバーエージェント、名古屋大学富士通、弊社言葉テクプロジェクトは大きく分けて2つのチームがあって、1つ目のチームはシステムチームと呼ばれるチームです。こちらは風学上のインフラを整えて、そこでAIの学習が効率的に行えるようにしようと具体的にどういったことを解決しようとしているかというと先ほどのスライドであった通りコミュニケーションコストの問題を解決しようであったりだとか理論と実測値がもう少し小さくなるようにしようそういったことをやっていますNLPチームの方には東北大学の方々が主導していただいて、こちらでは日本語データの準備であったりとか、トークナイザーの開発、そういったことをやりたいと思います。こちらのプロジェクトはまだ動いているので、今後もどんどんニュースが出てくるかと思いますが皆さん温かく見守っていただければと思います栗田さんと佐藤先生にはすごいご迷惑のおかげでしますが一緒に頑張っていければと 思っています。ここまでがFUGAKIのお話です。FUGAKIというのはすごい面白いプロジェクトで、今後、今一番早いスーパーコンピューターだと思います。間違いなく、AI性能に限って言えば、数学よりもっと速いスーパーコンピューターというのは、1、2年で出てくると思うんですよ。で、数学でなんでAI学習をやる意味があるかっていうと、もっと速いスーパープロジェクトが出てきた時に数学で学んだ知見を直接活かせるように、そういった架け橋の役割ですこれはサイエンスとしてはエキサイティングなものだと私と笠井が考えていたのは大規模言語モデルというのはただすごい社会に使えるレベルになっているのでこれを実装しないとやっぱもったいないし実装してみたいなって社会そういったことで言葉テクノロジーズという企業を立ち上げまして、ちょっと試行実験をまずしてみたいと思います。大規模言語モデル、素晴らしい。すごい色々使える。果たして日本のビジネスに使えますか?と。社は言葉テクノロジーズというのは日本のビジネスの相手でいろいろとオペレーションをさせていただいている会社なのでこの時点ですでに日本国内の3,40社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったんです旅行会社さんに大規模結構モデルオタクどうお使いになら れますかそういったことを聞いたときにこういう業務があるんじゃない かなっていうことをおっしゃっていただいたんですよね地点 a から地点Bに行く旅行計画を作ってそれをパンフレットでまとめるっていう業務をよく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやるときに例えばGPT法を考えてみましょうプロフィットをかけますよこういったプロフィットをかけて渋谷に来たら出発して笠井の地元である奈良公園で日帰りで観光する計画を作ってパンフレットにしてください。そこでは交通手段を含めてください。東大寺も観光できるようにして、グルメ周りもしたいので、グルメ周りもできるようにしています。じゃあGPT-4はどうやる?これが実際に出てきたアンドプットなんですけれども、一番上を見ると、すごい東京からならや伝統と自然への一日旅行めちゃくちゃキャッチーなタイプになっているみたいなこれだけ見ると日本のビジネスでもGPT-4使えるじゃんと思う方も多いと思うんですよその下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ出してくれるとちょっとページ3スケジュールのところをフォーカスしたいんですけどまず1個目のスケジュールでとんでもないことを言っているわけです朝7時渋谷駅中央北京大阪の新幹線に乗る渋谷駅に新幹線なんて通ってないんですよこれはちょっとよろしくねもっと面白いことが起こっていてブーブーまあ、そうです。まあ、グルメ回りにしたいけど。ジョークとしては面白いです。ジョークとしては一級いいです。こんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事がなくなっちゃいます何が言いたいかというと大規模現場モデルってGPT-4に代表されるようにめちゃくちゃ汎用的だと。汎用的なんですけども、日本語の閉じたドメインのようなところでリクロイしてしまうと、まだまだ業務に差し支えがある、欠点がある。それ以外にもそもそもこれをやった理由っていうのは旅行会社さんがパ��フレットを作るためですよパンフレットを作るためなんですけども現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないとでも結局パーフレットが必要な旅行会社さんの視点に立ってみたらこの生のテキストをマークダウンを取ってきてそれをパンフレットにもう一回リストラクチャーする作業が必要だとそれって余計な業務が必要ですというところですねこういった問題を踏まえて弊社言葉テクノロジスではこういった現状の大規模言語モデルの欠陥を研究開発することによってどんどん直していく直した大規模言語モデルをアプリケーションとして分かりやすい形で企業さんに販売するそういったことをやっておりましてついでにはい政府主導の補助金を今申請中火災者からもありました通りつい先日東京オフィスを六本木に開設して取り組んでいるとエンジニアサイティストをはじめ徐々に10月始めから順次チームチームに加わっており年内には5人から10人程度のチーム編成にできればなそういったふうに思っておりますでそうですねこれが先ほど申し上げた内容を少し細かくしたところなんですけれども、研究開発としては、例えば非英語圏の言語でも大規模言語モデルがしっかり使えるようにしたりだとかそれこそ大規模言語モデルっていうのはリアルタイムな情報がすごい弱いわけですよね例えば東北大学から仙台駅に今行きたいとなったら大規模言語モデルというのは基本的に今の時間を調べてそれに応じた答えをしてくれるというのはなかなかないのでそういったところをツールフォーマーといった論文がありますけどAPIコードを通じて解決することで大規模言語モデルにリアルタイム性を持たせるであってそれ以外にもマルチモダル能力そういった研究開発をしておりますこういった研究開発した言葉フォーマーという我々は言葉フォーマーと呼んでいるんですけど弊社のシテム、言葉フォーマーをユーザーの方々に分かりやすい形でパッケージング化してあげることによって、例えばコールセンターであったりだとか、コンテンツ生成、そういったものにして企業さんに販売していくそういったことを弊社ではやっておりますちょっとアプリケーションの方にもフォーカスして何個か例を見せて今日の動画をお知らせしたいと思うんですけれども弊社が最初に取り組んでいるドメインとしては教育分野のカスタマーさんと一緒にプロジェクトをやらせていただいているんですよね教育分野もちょっとここはアカデミックトークなので名前も言ってしまいますが皆さん寸大に行かれた方っていらっしゃいますかあまりいないのかななるほど寸大っていう塾があるんですけども、弊社は寸大様とプロジェクトを一緒にやっておりまして、ここではどういうプロジェクトをやっているかというと、生徒さんが塾の中でお使いになる練習問題とか模試を自動生成できるそういったプロジェクトをやっているんですよ寸大様が今どういった課題を抱えていらっしゃるかというとこういった練習問題を作るときに基本的に教員の方々が手動で試験を作るとその結果ものすごい労力が費やされているんですよ例えばちょっとクレイジーな話なんですけど共通テストの模式を1個作るのに何時間かけていますかという話を聞いた時に1つのテストに300時間かけているらしいんです300時間それ年1回やるわけじゃないですから年何回も何回もそれを繰り返すそういった業務を生成AIを用いて解決できればいいのかこれがちょっと微妙なんですけれども弊社がやっているのは本当にすごいシンプルに教員のユービズリングディウエストのヒントとなるキーワードを入れてもらうんですけどここではYou are visiting the US for the first timeアメリカを初めて訪れますよというコンテクストで問題を作ってくださいその結果出てくるものが例えばこういうパンフレット形式のDL今は共通テストというか共通テストってすごい情報分析に寄せたような問題が出ていて英語でもなくこういうパンフレットを呼び解いて問題に答えてくださいみたいな問題があるんですだからこういうパンフレットみたいなものを直接出力することに���って先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこうとこういったパンフレットを作ってその後はそれに即した問題を先生方に生成していただくわけです質問の生成に進むという風に進むとこういった感じで4択の問題がパブリックに即した形で生定されて最終的にはPDFであったりワードであったり出力するPDFはただ単に問題と問題のコンテクストをつないだだけのものなんですけどねワードで何で出力するかというとやっぱりAIが出力したものなので先生方が気に入らないものもありますそういったものを例えばワードだと直接先生方が手を加えるだけで、すぐに生徒さんに配られてもらう。そういったことを教育ドメインではやっております。もう一つ紹介したいのが交通分野での取り組み。弊社はJR東さまと一緒にプロジェクトをやっておりまして、そこでやっていることとしては、カスタマーサポートの自動化というところで開発をしているんですよカスタマーサポートって聞くとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやってるじゃんって思う方もいらっしゃると思うんですよ確かにその通りですチャットボットってどこでもやってるじゃんと思う方もいらっしゃると思うんですよ確かにその通りですチャットボットってどこでもやっているとただJR東様のチャットボットってめちゃくちゃ難しいんですなんで難しいかというとカス様の方々が本当 多様なお問い合わせをしてくる本当に大和がお問い合わせをしてきた結果 ちょっと gpt 4いじっただけだと法廷解決できないような問題が出てくると例えばその例を挙げると渋谷駅でお財布を忘れてしまったんですけどどうすればいいですかそんなチャットGPTに聞いてもわからないですね何をやる必要があるかというと例えば大規模言語モデルが裏でAPIを読んで、例えばSQLのようなコードを書いて、例えばJR東の中にある、様の中にあるインターナルなデータベースにお問い合わせをして、忘れ物状況を取得して、それを踏まえて返答を送らなきいけないそういったことがあるわけですよもっとクレイジーな例だと例えば渋谷駅から新宿駅に行きたいんだけどできるだけもうちょっと疲れてるから座りたいあまり飛んでいない路線を選んでくださいみたいなことを気になる方もいるんですよそしたら何をする必要があるかめちゃくちゃ難しいですよめちゃくちゃ難しいとでも。本当にめちゃくちゃ難しいと。でもなんかありがたいこととしては、JR東様って今、各駅、各列車にセンサーがついてて、混雑状況がわかるんですよ。で、結構我々頭がおかしいのでクレイジーなことを考えるわけですよ。もしテンスター情報に大規模言語モデルが直接アクセスできて、その混雑情報を取ってこれたらそういった座っていける路線は何ですかみたいな質問にも答えられますそういったことをここではやっていますすごい簡単に見えて難しいアプリケーションなのでこれはめちゃくちゃエクサイティングですねもう一点エクサイティングな点を挙げるとするとやっぱりJR東のカスタマーセンターって皆さんちょっとお使いにならないかもしれないんですけど結構その高齢の方々とかって電話を通じて高齢センターに電話かけてらっしゃったりするんですよねその数で言うと1日だいたい数万件年間でいうとそれこそ数百万件数千万件となっています弊社が開発したご視聴ありがとうございました","[28.606680631637573, 28.296039581298828, 29.176307678222656, 28.008386850357056, 28.09268307685852]"
-openai/whisper-large-v3,15,,,sdpa,cuda:0,long_interview_1.mp3,False,32,28.914933681488037,0.21978470408766382,"NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心にちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジーズという企業を作るに至ったかなというのをお島のりきと申しますよろしくお願いいたします。私は今年、コーネル大学を卒業しまして、本当にディフェンスをやったのは、つい2、3週間前なんですけれども、もともとコーネル大学ってニューヨーク市のどいなかの伊坂という町にあるというイメージがある方も多いと思うんですけどもコーネル大学って実は2つキャンパスがありまして1つは伊坂にあるんですけどもう1つはニューヨーク市にあるイースト川の上に浮いているルーズベルト島というすごい細長い島があるんですけどそこでPHEをやっておりました私は小島という名前なんですけども本当にしょうもないネタを言うと小島の上でPHEがあるというかそういう両面感となっております私はPHEの専門分野としてはマルチモダリティと呼ばれる自然言語のシステムにどうやったら言語以外の情報例えば画像であったりとか音声といったものそれを理解できるようにさせるそういったことであったりとかインタラクティブラーニングと呼ばれる最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういったケースの方にはハギングフェイスでちょっといろいろなプロジェクトでお世話になったりもしました。学部から実はアメリカに行っていて、ミシガン州にあるミシガン大学アナーバーコというところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンタッチさせていただきます今日はよろしくお願いします。はい、青岡です。笠井純吾と言います。今、トヨタ工業大学、シカオ工という、名前から分かる通り、日本のトヨタが昔出資をして、今独立した組織なんですが、そちらの方でResearch Assist Professorという職を持ちながら、児島と共に言葉テクノロジーに取り組んでいるという状況です私も本当にPhDもできたてこやこやというか最近取りまして先月8月に無事西海岸のシアトルにあるワシントン大学でコンピュータサイエンスの博士課程を卒業しました。研究分野としては、最初の方は機械分野だったり、マシン・トランスフェーション、後は効率化や言語生成のイバリエーションをやっておりました。ちょっと遡ると、実は私も暇と似た形で高校卒業後は大学はアメリカのイエル大学、当時は統計にいたんですが統計学部を卒業しましてその後ELで働きながらワシントン大学に進学したという経歴ですね最近EL大学も知名度が上がってきてちょっとよくわからない教授がいろんな番組でお話をしているという名前は控えさせていただきますけども知名度が上がってきて嬉しいんですがここはイエルのキャップスでオクスフォードとかケンブリッジとかも慣れてこれわざとなんかやりたいしてるんですよねわざと古く見せるようなアメリカって新しい国なんでそういうことにしてるというでも、非常にきれいな、多少はあります。で、これが、TKIC、東北大学大学士科学の中で、これもまたなんか古いものと新しいものと融合で、昔は電波導火などでそれを改造して大学になった。しばらく日本にも非常にもちろんつながりがあって、古井先生というスピーチの大学ですね、ついさっっきなくなっちゃったんですが彼が昔ここでプレジデントをやっていたということで本当に日本のゆかりがあってなおかつ私が今パカルティで唯一日本人なのでちょっと責任感を持ちながらやっているという感じですねこれがそこで何でここにいるんだというとまさに坂口先生との繋がりがありがたい期間をいただいていて、私は2021年のちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に佐藤さんがAI2にいらしてそこでインターンを一緒にやろうということでインターンのメンターを最初3ヶ月でやりつつでも本当に楽しくていろいろパートタイムで練習しているうちにもう1年ぐらいもうちょっと長かったかな一緒に研究をさせていただいて本当に楽しい日々でオフィスがあってこれは私のアドバイザーノア・スミスなんですけどノア・スミスがいるので朝ごはんさんがいらっしゃって写真を撮って掘り出してきました本当に懐かしくて本当に昼ご飯を食べては雑談してですね昼ご飯を食べているうちに論文がそれなりに書けてくるみたいなことをやっていて雑談の中身はいろいろあったんです、最後の方は結構皆さんご存知ですか?白い巨頭の話をよくしていまして、これ色んなバージョンがあるんですけど、これは唐沢俊明っていう俳優がやっていた��ージョンが2人ともすごいお気に入りで、広木のバージョンでどこが一番いいかというのを話し合っていて、坂口さん的には後半のやっぱり財前教授になった後に、財くなって、がんになってしまうみたいな、ネタバレになっちゃったな、そのあたりはダメだと。税関こそ面白いことをおっしゃって、さすが坂口さんの言うような見つけ所は素晴らしいなということで、涙では泣かすだけじゃダメなんだなっていうことを感じましたね。これがAI通貨の写真で聞いて、会社としては、藤間と創業しまして、今は日本とアメリカの2極対戦みたいなクロスボーダーという形でやっていて、もう私自身、TTICにポジクションもありますしあとはシアトルに行っていましたので米国シアトルに本社はあるんですがそれでもうすでに東京の本院にオフィスを構えまして日本の支社みたいな形で今やろうという形で進めているというので、言葉のデモシスという会社ですね。基本的に、今話題の大規模言語モデルですね、LLMの特に非英語圏向けのベース言語モデルの開発とか、場合によってはマルチモータルとかそういったことをどんどん挑戦的にやっていきたいなと。もちろん同時にやはりビジネスですのでアプリケーションの提供も行われるということでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっているとやはり初期市場としては今は日本を考えていまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりましたし、何かしら日本を発信で、日本を作っていきたいなということで、ということで今日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになります。1部目はまさに私は5年間PHDをやりまして、この5年間っておそらくNLPの歴史の中でも一番激動の5年間だったと思いますので運良いのか運悪いのか分からないですがそのタイミングでPhD終わった私から見た今思うとこうだったよねみたいみたいな話を、ちょっと過去の話を、第1部にしたいなと思います。第2部からはですね、もっと直近の話で、ダーキング・モデルの時代の到来ということで、私たちがどういうことを考えていたのかということを話したいと思います。それあとはやはり前を向きたいということで、ミラについて話していきたいと思います。ということで、適度のPhD5年間ということで、これはもう本当にもう私のPhDをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で、最初だけちょっとポジティる前に、イエル大学に行っていたのは構造解析や文法、いわゆるシンタックスやパーシングとかそういうことをやっていましたその後ですねワシントン大学に移動してずっと英語ばっかりこの構造解析とかずっと英語なので英語ばっかりやっても面白くないので私自自身多言語話者ですし、もっといろんなことをやりたいなということで、多言語の文法解析をやっていきました。そのうちに、多言語をやっているうちに、多言語といえば機械翻訳でしょうということで、マシントランスレーションをやりたいときその後にどんどんマシントランスレーションの一般的なことをやり始めてちょっとこれ見づらいんですがモデルの高速化とか効率化とかそういったことにやっていったり、第一部権をモデルに取り組むということで、無理やりまとめれば、だんだんオーディエンスが最初と比べると大きくなっていたかなということでこれはちょっと自分が一つ成長できたポイントとして少しきれいに見えるかなと思いまして最後に一つだけ一回だけポジティブなことを言っておくと、環境の、やはりいろんなものを変えていったときに、環境の変化が本当に大きかったなと思っていて皆さんももし機会があればぜひどんどん環境の変化を求めていったらいろんな経緯ができるのかと思っていて一番最初に学びは大学にいましてワシントン大学に進学してワシントン大学にいなして、ワシントン大学にいながら、ちょっと行き詰まったので、メーターでインターンしたり、そういったことをやっているうちに、あとは最後にサラリースさんとAI2でインターンをしたり、マイクロソフトに行ったりして、環の変化に応じていろいろプロジェクトとかもいろいろ変わっていって楽しくできたのかなと思うのでぜひいろんな本当に日本いいところですし仙台は本当に素晴らしいところですけどもいろんな物理的にも環境を変えるのもいいことなのかなと思っていますじゃあせっかくまずは過去の話ということで一体私がPHで始めた頃何が起こったかというとこれですねDeep Contextualized Oral Representation ということでその前まではワード・エンベディングというのがいて今の人は知らないのかな?ワード・エンベベッドがみんな授業でやってますね。教科書、歴史、日本史みたいな感じです。単語をいろいろクラシファイアーとかやる時にベクトトル化したいベクトル化する方法が何個かあってこういうことをやって今から言えばものすごい浅いニューラルネットワークみたいなので周りの単語を予測することでベクトル化していったってことは周りの言葉が似ている単語を予測することで、ベクトル化していった。ってことは、周りの言葉が似ている単語は、似たようなベクトルになるよね、みたいな、そういった、割と言語学とか、ディストリビューションのセマンティクスとか言ったりしますけども、そういった、ディストリビューションのセマン�ナリズムそういったとこを言ったりしますけどもそういった割と自然なことをやっていたというのがこれでぐちゃぐちゃこういうことをみんな頑張ってきたんですよね最初はミコロフの2010年もっと前から多分あるんですがあとフローウェルトルとか色々やっていてこういうことをやっていたんですが大体私がPCLを始めた頃にこれまさにン大学で、私が入る直前に起こったことなんですが、ワシントン大学のAI2でエルモというのが出てきた。これこそ、今あまり知られていないのかもしれないですががエルモの研究というのがあってそれはですね要は今までこうやって浅い色々なデッキをやってたけどもっと深くしてランゲージモデルにして要はネクストワードプレディクションをひたすらやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりとかいろんなタスクで評価が上がったということがあったということでエレモンだったりコープでこれも似たようなアイデアがあってそういった時代に私はPGを始めたということでここで終わりだと思ったんですね私に間違っていません。セバスチャン・ルーラーという有名なブログラフがですね、NFT ImageNet Moment of Ariseとかがいて、どんどんビジョンみたいになってきたよねと。結局当時ビジョンでよくやられていたのは、イメージネットで大量に画像のクラシケーションとかを学習させてそのベクトルを使って他のタスクを解くみたいなことをやっていたんですがまさに同じことが起きていてテンゴモデルをやらせておいて他のタスク例えばシンタクティックパーシングとかクエスチンアンセリングとか、マシントランスレーションとかをやらせるみたいな、イメージネットみたいになったよね、ということを言っていた。ということで、これが良かったねと。自然言語一種類もようやくビジョンに持追いつきましたと言ってたところこれは始まりでしたがなかったんですがちょっとじゃあその時私が言って何をやっていたのかというのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていて、Lも出てきた時に、ラング値モデルを基本的に英語でやっていたんですが、マルチリンガルにやらないといけないよねってことを考えていて、じゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングリフォーマルラッシャーとかヒーブルとかヘブライゴとかそういうのでどれくらいバイリンガルでラングリフモデ�デルをトレーニングして、そのベクトルを使うということをやる。そうすることで、モノリンガルの時よりもバイリンガルにした方が、英語を加えた方が圧倒的にスコアが上がるようで、みたいなことをこの時考えてやってみましたこれがラクルの2018とか2019か18かその辺の研究でした結局この��究はあまり意味がなかったです。なぜかというと、さっきバイリンガルのグラフを見せましたが、ちょっと科学的な指標にこだわってたんですよね。バイリンガルで、今だったら例えば英語があって、それに全部ごちゃ混ぜしたいろんな言語を加えて言語モデルを作ろうみたいな発想になるんですが、当時ははやっぱりちゃんと比べなきゃいけないでしょバイリンガルのバージョンとモノリンガルのバージョンをまず比べて比較しようみたいなことを言ったんですが今思えばですねより多言語にいきなり大言語に 拡張してしまって例えば日本語だけのモデルを日本語と英語のモデルを使っても助かる人って限られてますよね使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね、今思えばもっと使いやすいものだったのかなというふうに思いましたし、当時、トランスフォーマーってまだそこまで使われていなかったのでASTMとかを使ってやってみましたということで結局時代が読めなかったと負けましたということですね負けた相手なんです、XLMのフェイスブックから出たものがあって、この人たちも論文がよくわからないし、でも実際に使えるものを作っていたんですね。それをダウンロードして使うことにして、サイテーションももちろんですし、それ以上に使える作ったということは本当に素晴らしいなと思った次第です。結局、反省としては、科学的なリサーチにこだわりすぎたんですよね。やはりコンピューターサイエンスのPACをるということで自分は科学者になるなと 意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしているということであと最後にタスクの選定をちょっと間違っていまして私たちはNERとかエフェレンシーパーシングとかシマティックローレブリングとかやっていたんですねでもこれも結局いいんですけど当時ものすごい流行っていたのはQuestion AnsweringでQAで結局QAの人たちはこういう私たちの本をまったく読んでくれなかったんですよねその割にこういう論文を読んでくれて、なので結局使われなくなってしまって、何か使う数は正義、数は正義というか、そういうことで結局インパクトを残せなかったなというのを今反省していますでお待ちかねのバートの時代に来たということでさすがにバートは皆さん知っていると思うんですが当初これ出た時はですねバートはただLルモを大きくしただけだよね、というふうに思っていましたし、これは私のアドバイザーのアスミスと、あともう1人、ループズ・ゼロモイアンという人がいまして、彼は同じワシントン大学の教授ですが、今FacebookのディレクターとかNLPのリサーチを仕切っている人で彼はエレモンの作者でもあり最近だとロバートとかの作品あとOPTとか結構とにかく大規模言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言っていたかというと単純なエルモのエクステンションなんかに大してベストフェーバーも上げる必要ないしあんまり興味見えないみたいなことを言っていてでも実際これ言ったのは実はベストフェーバーを取った前なんですが実際際に取りましたよね。いかに苦労とか間違えたか。ルークは面白くて見方がちょっと違って、彼はエルゴンの作者です、素晴らしいと言ったけども、自分の頑張ったエルモが1年は続くと思ってたのに、結局1年続かなかったよね、ちょっと悲しいねみたいな話をループはしていて、ちょっと違う見方をしているのかなという風に思って面白かったんですがそのループもですね実はGPT-2がちょうど出てきた時にこれ単なるラグチューモデリングじゃん何やってるんだろうなんでこんなこんな騒いでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですね当てにならないと僕らもらえるということですねでバートの時代になって当初はもちろんエレモンが大きくなったものだと思っていたんですが、もちろん違った。NLPの世界を完全に変えてしまったというものなんですが、もう一つちょっと面白かったのは、おまけの話として、当時、Hagginface Transformersのライバリーのブームのきっかけになったん��すよね。これ昔、ハイトーチバートと呼ばれていて、Hagginface自体は、チャはChatbotとかの会社でもともとあったんですが、BirdはGoogleから出たので検索ロードで使われている。研究者はみんな検索ロードを使いたく、ファイトウォッチを使いたいみたいな話をしていた時に彼らがファイトウォッチにコンバートしたものを出したそれがファイトウォッチパートであり、そしてそれが結局、ンスフォーマルにつながっていったということでこういうのも本当に商業部長というか本当に社会の流れというのは分からないなと思わないところできっかけが生まれて、思わないところで工夫していくんだなというのを強弱して感じたというところですね。その時私は何をやっていたかというと、当時やはりマシントランスレーションをやりたいということで、マシントランスレーションのスピードアップとかですね、あとこの2個目の論文はですね、1個目の論文の中で自己批判みたいな形で、いろいろスピードアップで並列化とか一生懸命やってたんですねICML1025論文ではみんなこういうの大切で楽しいしってやってたけど結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話もあってなんかちょっと怒られたりもしたんですがでも結局これが本当のある意味真実なのかなと思って自己批判で論文を出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT-3の時代が来てフューショットライラーニングとか。この時からだんだんクラシフィケーションにリーダーの興味がなくなってきていて、だんだんみんなジェネレーションをしよう、ジェネレーションにしようという方向に来たというのが当時の流れで、もちろん皆さんご存知のフィッシャーズ・トラーニングの例もありますし、あとグループとかオープンソースの方でも大学とか組織をまたいだプロジェクトが出てきたというのがこのGPTシステム時代ですねでも私自身はAI2で話していたんですがその時の研究はバイディメンシャルリーダーボードといって今までのリーダーボードというのはジェネレーションのモデルを評価するには不向きだよねというのもメトリックを固定しなきゃいけないのでその評価には不向きだから坂口さんと一緒にやっていたのはメトリックの方も並び替えなきゃいけないリーダーボードのアブストラクションみたいな形でそういうのをやったということでやっていましたあとはやはりジェネレーションにとってイバリエーションが大切だということでイメージキャラクショニングのイバリエーションも 佐藤先生と一緒にやっていたという感じのことをしていました。これちょっと油断なんですが、こういう佐藤さんのご提案で、漫画を描いてみようということで、漫画を描いて、この論文のPRをTwitterでしていたという、いろんな楽しみを2人で本当に楽しくやっていたということですついにお待ちかねチャットGPT、GPT-4の時代が来たということはまさにこれは社会実装の時代に来てしまった。もちろん研究も多数なんだけども、とにかく使ってどこが問題なのかということを洗い出していかないと、なかなかベンチマークとかで現れないものかなということを感じていて、こういった経緯で起業して小島ともにやっていこうと思いました特に英語にNLPの業界は返事をしていますよねこれはだいたいインターネットユーザーの数で25%くらいインターネットユーザーは英語話者なんですが、残念ながらNLPのロングも多いけど、だいたいほとんどが英語でしか実験をしていなかったり、英語についての論文だったりするということで、これはまず一期英語編の基盤モデルをどんどん作っていかなければならないと思っております。結局、自然言語処理というのは何だったのか?というのを振り返ってみると、結局全てはスケールだったと。これは否定しようがない。ということで、私自身も色々作りたくて、�張って作ってたんですが、結局大きさで解決されてしまったことも多くて、そこはもう認めたらいいのではないかということで間違っていたと。私自身は間違っていてそうですね、まあそういうことですあともう一つ面白いと思ったのはやはり科学的��世界なんですがかなり非科学的なプロセスが被害できるって書いたなということを理解したということで例えばトランスフォーマーが2017年に出てきた時にですね私はそのトランスフォーマーがこんなに広がると思わなかったんですよこれも分からなかったっていうのも仕方ないのにだ文いくら読んでもよく分からないですアテンションのディペンネージが多いんだなみたいなでもそこって多分本質じゃなくて多分トランスフォームの本質というのは今思えば、当時のGPUとかTPUとか、そういったパラレルの計算の訓練がしやすかったんですね。LSDMとかだとどうしても巨大化させてしまうとどんどん時間がかかってしまうけどトランスフォーマーをパラレルにできるからハードウェアとすごい相性が良かったある意味ハードウェア決定論みたいな形でハードウェアによってトランスフォーマーの凄さが余計リンフォースされていって、ニワトリと様々と言われるんですが、そういった経緯があるのかなということがあって、だから分からなかったのも仕方ないのかなと思ったりもします。他の例でいうと、例えば、Adamとかのですね、今皆さんオプティマイザーで使ってますけども、考え方によっては、例えば、Adamに合うようにモデルを開発しているとも言えなくはないわけですよね。皆さんモデルを開発して、Adamでうまくいかなかったらやめということなので結局そこもニワトリと卵であっていろいろ予測するのは難しいよというふうに今は思っていますちょっと非科学的な支配する世界ということなんですがでもよく考えてみるとこれもそうなんですよねやっぱりコンピューターサイエンスってやっぱりサイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよ大量の人がケミスって言わないですねフィジックスとか言わなくていい同じようにオープンAIもオープンって言ってないからオープンじゃないかなと。実際クローズドだということで。あとアメリカのチェーンであるセイクウェイっていうのがあるんですけど、セイクウェイって全然安全じゃないですよね。だいたい危ないところにあるんで。だから結局そういうもんなということで言い出しました。専門家の知見というのは、トランスフォーマーのポテンシャルを私は当時は気づかなかったし、あともう一つチャットボットというのも意外でしたね。やっぱり人間とチャットするのも面倒くさいので、なんで機会をしないといけないんだというのが当時の私の考えだったんですけど、結局チャットボットでこんなに有名になったんだっていうのが本当に衝撃でしたし、いかに私自身が人間を理解できていないかということが分かったということですね。ということで、何も分かっていない。まあでもとに過去の話をしてきましたが、前に進んでいきたいと思っております。5年間を簡単にまとめると、適度に環境を変えるのはプラスでしたし、でも専門家ですら見ればわからないので、あんまり専門家の言うこととかリビューアーが言うこととか気にしないでくださいということですね。最近なんか自分がいいと思う論文ごと悪い理由がありますねありがとうございますあともう一つはですね愛言勝負じゃないかなバートとかって愛言自体は本当に肝心なもので、基本的にエルモを大きくして、色々他のアイデアがあったんですけど、結局、マスクとラングルーチモデルとか、同じようなアイデアがあって、アイデアだけじゃなくて、エクセクションも重要なのかな、ということを思っていて、これって結局、研究だけじゃなくて、企業とかも見えると思うんですが、例えば企業においても、研究においてもですね、必ずしも、早いもの勝ちじゃないのかな、Lモード勝っても、あんなに早い段階で、実はもっと先にも、前にもあったんですが、Lモードとか、XLモードとか、ああいった研究とかありましたけどでも結局パートナー全部持って行ったりGPT-3とかGPT-5が全部持って行ったりですね結局早い街の世界というよりもそういった不思議な神の水尻みたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばGoogleとかFacebookって最初���検索エンジンでもないしFacebookも最初のソーシャルメディアでも何でもないわけで、だからそういった不思議な力があるなというふうに思いました。最後に、科学的指標というのも大切なんですが、それだけにこだわらずに、やはりコンピュータサイエンティストストはサイエンティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中に出していきましょうということを思っていますということでこれからは未来の話をしていきたいと思います。大規模言語モデルの時代が来たと皆さん大規模言語モデルどう思いますかすごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくるときは基本的にチャットボットみたいなものを作ってみたり自然言語だけじゃなくてソフトウェアエンジニアリングの世界でも自然言語の入力をすればHTML、CSSのコードを吐き出してソフトウェアエンジニアリングをサポートしてくれるそれだけじゃなくて文章の執筆、要約構成、メールの返信本当に汎用的なものに使えるというのは間違いないなと思っています大規模言語モデルってそもそも何だったかというと、皆さんご存知の通り、ものすごいシンプルに学習されたAIなわけですよね。文章があって、その文章の次の単語を予測すると例えば学習データの中にThe first president of the United States is Georgeという文章があったとしたら第一代大統領はジョージ・ワシントンなのでワシントンという言葉を予測するとなんでこんなシンプルなものが役に立つのかすごい不思議ですよく言われることなんですけど結局はスケーリング速度だけですAIのモデルを学習するときって大きく分けて3つの要素がある学習するAIモデルの大きさそれに食べさせるデータの量この学習を行うコンピューターの資源の量計算資源と呼ばれますけどこの3つだと思います何か申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習の中で増やしていった結果突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが汎用的な性能を持ち始めたことだから今みんな注目しているわけですこれを本当にこの傾向をすごいスケーリング速度が分かりやすく示したグラフがこうなんですけれどもこのグラフっていうのはX軸がモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども見ていただくとおりその傾向というのはログリニアすごいクレイジーなのがコンピューターの性能自体というのは皆さんご存知のムーアの法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えていますそのコンピューターを使って学習したAIの計算資源の消費量というのはそれをはるかに超える12年間で10の12乗倍増えていると要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが汎用性と何が関係あるかすごいスケッチなグラフで申し訳ないんですけどもこれは賛否両論あるグラフなので反対意見がある人は後で個人的に聞いてください。すごい傾向はうまく捉えていると思っていて、このグラフで何を表しているかというと8タスクがあるんですけど例えば算数力みたいに大規模言語モデルが5たす6は11そういった算数の問題を答えられますというタスクであったり多言語力英語でQAができるモデルがペルシャ語になったときに同じようなことができますか読解力というのは単純にQAみたいなものです。こういったタスクを見ていくと、ここも同じなんですよ。Y軸は使われたスーパーコンピューターのリソース、X軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしていったときに突如変異的に大規模保険のモデルがタスクの能力を得るポイントがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて突如変異点が来るとこれが汎用性なんです結局計算資源を増やしていったときに突如変異能力を持つそういったものが大規模電力モデルの汎用性なんじゃないかなというのは私なりの捉え方です。ここからは、自分たちで大規模リネモデルを学ぶという話をしたいんですが、2019年か��2022年、何が起こっていたかというというと一言で申し上げますと各国で大規模言語モデルの開発競争が起きていたとアメリカですアメリカではマイクロソフト社Goグーグル社といったインタストリーを中心に大規模リングモデルの開発競争が大きくてアメリカで当時起こっていたのはマイクロソフト社が大規模なスーパーコンピューターをオープンAI社に提供して、当時GPT-3、英語メインの大規模現場モデルを学習していた。全く似たようなことが中国でも起こっていて中国では政府が所有しているスーパーコンピューターを用いて政府機関がGPP3を超えるようなスケールです世界で最大規模のパラメーターの数のライフ保険のモデルを中国語で学習しているこの動きってアメリカと中国だけじゃなくてヨーロッパでも大きいヨーロッパではフランス政府が所有するジョンゼーと呼ばれるスーパーコンピューターがあるんですけどそれをハギングフェイスと呼ばれる皆さんご自身がハギングフェイス社員に貸し出すことによって、タッグフェイス社が多国籍用の大規模展望モデルを学習していく。この多国籍用って面白くて、実はドイツ語が含まれていないのはフランス、ドイツの緊張感の表れかなと言われたりするんですけどそれ以上に重要な小話があって実はこのフランス政府がスーパーコンピューターをハギングフェスに貸し出す時にハギングフェスって当然グラントプロポーゾルみたいなのを書いたんですよねこれこれこういう理由でオタクのセルフのスーパーコンピューターを使いたいとそこで使われたアーゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーがフランスを食いつくそうとしているとだから我々は独自モデルを開発する必要があるみたいなことを言っていたんです。すごい緊張感の高い、あいつ競争が大きい。で、まあ、方々が日本を見てきた時に、まあ今でこそ、本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな予定があったんですけど当時日本国内でハッキングフェイスみたいなのをやろうとしていた人はいなかったです最初にわずれてくる疑問としてなぜ日本国内でできないのかできないのかやれないのかまずそこをしっかりしなきゃ大規模言語モデル学習で何が一番重要かというとやっぱりそれはスーパーコンピューターのリソースなんですが日本ってスーパーコンピューターがないかというと、全然そんなことはないわけです。一番わかりやすいところだと、皆さんも研究で使われているかもしれません。ABCIと呼ばれるGPUベースのスーパーコンピューターがあると。ABCIは素晴らしいスーパーコンピューターなんですけど、実は日本最大級のスーパーコンピューターってABCIじゃないんです。富岳って呼ばれるスーパーコンピューターで、皆さん年齢的にちょうどベストヒットかなと思うんですけれども、以前民主党政権がありまして、そこにレイモンさんという政治家がいらっしゃったレイモンさんが仕分け会議ということをやっていたときに1位じゃダメなんですか2位じゃダメなんですかって言ったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を持っていたんですけど今レアモンさんのおっしゃる通り2位なんでしょうかそういうスーパーコンピューターです何が重要かというとこの富岳っていうのは本当に化け物みたいな性能を持っていてギングフェスチャーがブルームと呼ばれる大規模ゲームモデルを学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし全金を使えた場合はAIの学習性能だけでも考えても10倍早いんです10倍早いっていうことは同じ計算をやったときに不学だと10倍早く計算が終わるでも不学って何がクレイジーかというとCPUベースのスーパーポンピューターなんですよ一切GPUを搭載していない皆さんCPUで大規模ゲームモデル学習したことあります。大規模ゲームモデルじゃなくてもいいんですけど、ディープラーニング。CPUでやらないです。基本的にはGPU。もしないしは、GPU。AIで特化したハードウェアでやると。これが何が問題かっていうのを、この数字を見れば、もうすごい明らかだと思うんですけど、NVIDIAのA100ってい��GPUがあるわけですね。今、H100っていうのがデータセンターで最先端のGPUでもその一つの一昔前はA100というGPUが最先端でフラッグに搭載されているCPUは、Fujitsu A64FXと言いますが、AIの演算性能に限って言えば、富岳のCPUはNVIDIAのGPUの50倍遅いんです50倍遅いってことはGPUでできる計算が50倍長くなってしまうじゃあそもそも富岳って何がすごいんだっていう話なんですけど富岳ってCPUが15万個あるんですよ皆さん15万個のCPU使ったことありますか? 多分ないと思うんですここで何が言いたいかというとぶっちゃけGPUがCPUの50倍遅いならCPU50個使って並列計算したら同じぐらいスピードが出るよねっていうのがちょっとクレイジーなアイデアで佐々木さんにすごいご迷惑ブーブー分散並列学習というものがあります今の分散並列学習っていろいろオープンソースのパッケージが出てきて皆さんご存知かもしれないところで言うと例えばマイクロソフト社のDeep SpeedであったりLBVIDIA社のMegatron LAMというパッケージがあって、こういったパッケージってデータパレード、モデルパレードと呼ばれる分散並列学習をサポートしているんですけども、GPUでは動くんですけど、CPUでは動かないんです。だってCPUでやらしていないですから。私たちが最初にやったこととしては、このNVIDIA、マイクロソフトに書いていただいた分散並列学習のパッケージをCPU向けに移植してちゃんと並列でCPUが計算できるかなということを試したんです。初期実験としては非常に良い結果が出て、ここなんですけれども、CPUの数を増やしていった時に、システム全体としての計算精度がどれくらい上がるかというのを見てこれはログリニアなんですけど特にCPUを1000個あたりまで増やした段階ではその計算速度が1個だった時、CPUが1個だった時と比べて1000倍近くなっていくと。この見る限りだと、分散並列学習がすごいうまくいっているなという感触だったんですけれども、これはあくまで初期の実験で当然上手くいかないこともあって、一つはCPUを大量に使うことでどういう問題があるかということなんですけれども、CPUを例えば2個使っているだけだとCPUに1個同士がコミュニケーションすればいいだけなのでそれは問題ないとただCPUを1000個とか1万個とか増やしていったときにやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分かる通りシステム全体として計算性能が上がるという時が若干落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションコストが上げられるようにしないといけないよねそういったことも一つ課題として出てきましたそれ以外にもすごい面白い発見もあってハードウェアって基本的に理論値と実測値というものがあるんです理論値というのは理論的にはこれだけスピードが出ます実測値というのは実際に使ってみたらこれだけしかスピードが出ませんでした例えばトランスフォーマーの学習とかやるときにGPUの実測値って理論値の大体40%から50%くらい最近だと60%くらい出てるそのくらい出るんですよこれなんでそんな出るかっていうとNVIDIAのソフトウェアのエンジニアの方々がものすごい涙ぐらしい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションの行列計算はこの特別なコードを使うことによって早くしましょうみたいなすごいなんかハンドウェイビーなハードコアのソリューションがソフトウェアスタック、マクドナルドレアの中にいっぱいあるんですよだからGPUは実測している4Gの幅がそんな�がそんなにないただ不実のCPUってそもそもそんなにAI学習を想定したものではなくてむしろシミュレーションとかそっちの方で使われていたのでそういった測定やストックが弱くて実測値が利用値の7から10%ぐらいでなかったこれを直さないとやはり風学上で大規模な学習ができないよねということになりましてこちらの日経新聞さんでカバーしていただいてそれこそ7社合同でやらせていただいているということなんですけれどもGPTフラッグというプロジェクトが本格化いたしまして、主要な機関でいうと東北大学さん、坂口先生、ここでいうと栗田さんと佐々木職さん、佐々木職さんって呼ばれている間ですけど、佐々木職さん、佐々木職さんって呼ばせていただいてますけど佐々木職さん、そういった方々が中心になって協力していただいているとそれ以外にも東高大さんであったりとか、理研サイバーエージェント、名古屋大学富士通、弊社言葉テクプロジェクトは大きく分けて2つのチームがあって、1つ目のチームはシステムチームと呼ばれるチームです。こちらは風学上のインフラを整えて、そこでAIの学習が効率的に行えるようにしようと具体的にどういったことを解決しようとしているかというと先ほどのスライドであった通りコミュニケーションコストの問題を解決しようであったりだとか理論と実測値がもう少し小さくなるようにしようそういったことをやっていますNLPチームの方には東北大学の方々が主導していただいてこちらでは日本語データの準備であったりとかトークナイザーの開発そういったことをやりたいと思いますこちらのプロジェクトはまだ動いているので今後もどんどんニュースが出てくるかと思いますが皆さん温かく見守っていただければと思います栗田さんと佐藤先生にはすごいご迷惑のおかげでしますが一緒に頑張っていければと 思っています。ここまでがFUGAKIのお話です。FUGAKIというのはすごい面白いプロジェクトで、今後、今一番早いスーパーコンピューターだと思います。間違いなく、AI性能に限って言えば、数学よりもっと速いスーパーコンピューターというのは、1、2年で出てくると思うんですよ。で、数学でなんでAI学習をやる意味があるかっていうと、もっと速いスーパープロジェクトが出てきた時に数学で学んだ知見を直接活かせるように、そういった架け橋の役割ですこれはサイエンスとしてはエキサイティングなものだと私と笠井が考えていたのは大規模言語モデルというのはただすごい社会に使えるレベルになっているのでこれを実装しないとやっぱもったいないし実装してみたいなって社会そういったことで言葉テクノロジーズという企業を立ち上げまして、ちょっと試行実験をまずしてみたいと思います。大規模言語モデル、素晴らしい。すごい色々使える。果たして日本のビジネスに使えますか?と。社は言葉テクノロジーズというのは日本のビジネスの相手でいろいろとオペレーションをさせていただいている会社なのでこの時点ですでに日本国内の3,40社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったんです旅行会社さんに大規模結構モデルオタクどうお使いになら れますかそういったことを聞いたときにこういう業務があるんじゃない かなっていうことをおっしゃっていただいたんですよね地点 a から地点Bに行く旅行計画を作ってそれをパンフレットでまとめるっていう業務をよく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやるときに例えばGPT法を考えてみましょうプロフィットをかけますよこういったプロフィットをかけて渋谷に来たら出発して笠井の地元である奈良公園で日帰りで観光する計画を作ってパンフレットにしてください。そこでは交通手段を含めてください。東大寺も観光できるようにして、グルメ周りもしたいので、グルメ周りもできるようにしています。じゃあGPT-4はどうやる?これが実際に出てきたアップグッズなんですけれども、一番上を見ると、すごい東京からならや伝統と自然への一日旅行めちゃくちゃキャッチーなタイプになっているみたいなこれだけ見ると日本のビジネスでもGPT-4使えるじゃんと思う方も多いと思うんですよその下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ出してくれるとちょっとページ3スケジュールのところをフォーカスしたいんですけどまず1個目のスケジュールでとんでもないことを言っているわけです朝7時渋谷駅中央北京大阪の新幹線に乗る渋谷駅に新幹線なんて通ってないんですよこれはちょっとよろしくねもっと面白いことが起こっていてブーブーまあ、そうです。グルメ回りにしたいけど。ジョークとしては面白いです。こんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事がなくなっちゃいます何が言いたいかというと大規模ゲームモデルってGPT-4に代表されるようにめちゃくちゃ汎用的だと。汎用的なんですけども、日本語の閉じたドメインのようなところでリクロイしてしまうと、まだまだ業務に差し支えがある、欠点がある。それ以外にもそもそもこれをやった理由っていうのは旅行会社さんがパンフレットを作るためですよパンフレットを作るためなんですけども現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないとでも結局パーフレットが必要な旅行会社さんの視点に立ってみたらこの生のテキストをマークダウンを取ってきてそれをパンフレットにもう一回リストラクチャーする作業が必要だとそれって余計な業務が必要ですというところですねこういった問題を踏まえて弊社言葉テクノロジスではこういった現状の大規模言語モデルの欠陥を研究開発することによってどんどん直していく直した大規模言語モデルをアプリケーションとして分かりやすい形で企業さんに販売するそういったことをやっておりましてついでにはい政府主導の補助金を今申請中火災者からもありました通りつい先日東京オフィスを六本木に開設して取り組んでいるとエンジニアサイティストをはじめ徐々に10月始めから順次チームチームに加わっており年内には5人から10人程度のチーム編成に行ければなそういったふうに思っておりますでそうですねこれが先ほど申し上げた内容を少し細かくしたところなんですけれども、研究開発としては、例えば非英語圏の言語でも大規模言語モデルがしっかり使えるようにしたりだとかそれこそ大規模言語モデルっていうのはリアルタイムな情報がすごい弱いわけですよね例えば東北大学から仙台駅に今行きたいとなったら大規模言語モデルというのは基本的に今の時間を調べてそれに応じた答えをしてくれるというのはなかなかないのでそういったところをツールフォーマーといった論文がありますけどAPIコードを通じて解決することで大規模言語モデルにリアルタイム性を持たせるであってそれ以外にもマルチモダル能力そういった研究開発をしておりますこういった研究開発した言葉フォーマーという我々は言葉フォーマーと呼んでいるんですけど弊社のシテム、言葉フォーマーをユーザーの方々に分かりやすい形でパッケージング化してあげることによって、例えばコールセンターであったりだとか、コンテンツ生成、そういったものにして企業さんに販売していくそういったことを弊社ではやっておりますちょっとアプリケーションの方にもフォーカスして何個か例を見せて今日の動画をお知らせしたいと思うんですけれども弊社が最初に取り組んでいるドメインとしては教育分野のカスタマーさんと一緒にプロジェクトをやらせていただいているんですよね教育分野もちょっとここはアカデミックトークなので名前も言ってしまいますが皆さん寸大に行かれた方っていらっしゃいますかあまりないのかななるほど寸大っていう塾があるんですけども、弊社は寸大様とプロジェクトを一緒にやっておりまして、ここではどういうプロジェクトをやっているかというと、生徒さんが塾の中でお使いになる練習問題とか模試を自動生成できるそういったプロジェクトをやっているんですよ寸大様が今どういった課題を抱えていらっしゃるかというとこういった練習問題を作るときに基本的に教員の方々が手動で試験を作るとその結果ものすごい労力が費やされているんですよ例えばちょっとクレイジーな話なんですけど共通テストの模式を1個作るのに何時間かけていますかという話を聞いたときに1つのテストに300時間かけているらしいんです300時間それ年1回やるわけじゃないですから年何回も何回もそれを繰り返すそういった業務を生成AIを用いて解決できればいいのかこれがちょっと微妙なんですけれども弊社がやっているのは本当にすごいシンプルに教員のユービズリングディウエストのヒントとなるキーワードを入れてもらうんですけどここではYou are visiting the US for the first timeアメリカを初めて訪れますよというコンテクストで問題を作ってくださいその結果出てくるものが例えばこういうパンフレット形式のDL今は共通テストというか共通テストってすごい情報分析に寄せたような問題が出ていて英語でもなくこういうパンフレットを呼び解いて問題に答えてくださいみたいな問題があるんですだからこういうパンフレットみたいなものを直接出力することによって先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこうとこういったパンフレットを作ってその後それに即した問題を先生方に生成していただくわけです質問の生成に進むという風に進むとこういった感じで4択の問題がパブリックに即した形で生定されて最終的にはPDFであったりワードであったり出力するPDFはただ単に問題と問題のコンテクストをつないでいただけるものなんですけどねワードで何で出力するかというとやっぱりAIが出力したものなので先生方が気に入らないものもありますそういったものを例えばワードだと直接先生方が手を加えるだけで、すぐに生徒さんに配られてもらう。そういったことを教育ドメインではやっております。もう一つ紹介したいのが交通分野の取り組みです。弊社はJR東さまと一緒にプロジェクトをやっておりまして、そこでやっていることとしては、カスタマーサポートの自動化というところで開発をしているんですよカスタマーサポートって聞くとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやってるじゃんって思う方もいらっしゃると思うんですよ確かにその通りですチャットボットってどこでもやってるじゃんと思う方もいらっしゃると思うんですよ確かにその通りですチャットボットってどこでもやっているとただJR東様のチャットボットってめちゃくちゃ難しいんですなんで難しいかというとカス様の方々が本当 多様なお問い合わせをしてくる本当に大和がお問い合わせをしてきた結果 ちょっと gpt 4いじっただけだと法廷解決できないような問題が出てくると例えばその例を挙げると渋谷駅でお財布を忘れてしまったんですけどどうすればいいですかそんなチャットGPTに聞いてもわからないですね何をやる必要があるかというと例えば大規模言語モデルが裏でAPIを読んで、例えばSQLのようなコードを書いて、例えばJR東の中にある、様の中にあるインターナルなデータベースにお問い合わせをして、忘れ物状況を取得して、それを踏まえて返答を送らなきいけないそういったことがあるわけですよもっとクレイジーな例だと例えば渋谷駅から新宿駅に行きたいんだけどできるだけもうちょっと疲れてるから座りたいあまり飛んでいない路線を選んでくださいみたいなことを気になる方もいるんですよそしたら何をする必要があるかめちゃくちゃ難しいですよめちゃくちゃ難しいと。でもありがたいこととしては、JR東様って今、各駅、各列車にセンサーがついてて、混雑状況がわかるんですよ。結構、我々頭がおかしいのでクレイジーなことを考えるわけですよもしテンスター情報に大規模言語モデルが直接アクセスできてその混雑情報を取ってこれたらそういった座っていける路線は何ですかみたいな質問にも答えられますそういったことをここではやっていますすごい簡単に見えて難しいアプリケーションなのでこれはめちゃくちゃエクサイティングですもう一点エクサイティングな点を挙げるとするとやっぱりJR東のカスタマーセンターって皆さんちょっとお使いにならないかもしれないんですけど結構その高齢の方々とかって電話を通じて高齢センターに電話かけてらっしゃったりするんですよねその数で言うと1日だいたい数万件年間でいうとそれこそ数百万件数千万件となっています弊社が開発したご視聴ありがとうございました","[29.01437497138977, 28.632374048233032, 29.222826719284058, 28.87388014793396, 28.831212520599365]"
-openai/whisper-large-v3,15,,,,cuda:0,long_interview_1.mp3,False,32,29.102856159210205,0.9922645461609332,"NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心��ちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジーズという企業を作るに至ったかなというのをお島のりきと申しますよろしくお願いいたします。私は今年、コーネル大学を卒業しまして、本当にディフェンスをやったのは、つい2、3週間前なんですけれども、もともとコーネル大学ってニューヨーク市のどいなかの伊坂という町にあるというイメージがある方も多いと思うんですけどもコーネル大学って実は2つキャンパスがありまして1つは伊坂にあるんですけどもう1つはニューヨーク市にあるイースト川の上に浮いているルーズベルト島というすごい細長い島があるんですけどそこでPHEをやっておりました私は小島という名前なんですけども本当にしょうもないネタを言うと小島の上でPHEがあるというかそういう両面感となっております私はPHEの専門分野としてはマルチモダリティと呼ばれる自然言語のシステムにどうやったら言語以外の情報例えば画像であったりとか音声といったものそれを理解できるようにさせるそういったことであったりとかインタラクティブラーニングと呼ばれる最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういったケースの方にはハギングフェイスでちょっといろいろなプロジェクトでお世話になったりもしました。学部から実はアメリカに行っていて、ミシガン州にあるミシガン大学アナーバーコというところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンタッチさせていただきます今日はよろしくお願いします。はい、青岡です。笠井純吾と言います。今、トヨタ工業大学、シカオ工という、名前から分かる通り、日本のトヨタが昔出資をして、今独立した組織なんですが、そちらの方でResearch Assist Professorという職を持ちながら、児島と共に言葉テクノロジーに取り組んでいるという状況です私も本当にPhDもできたてこやこやというか最近取りまして先月8月に無事西海岸のシアトルにあるワシントン大学でコンピュータサイエンスの博士課程を卒業しました。研究分野としては、最初の方は機械分野だったり、マシン・トランスフェーション、後は効率化や言語生成のイバリエーションをやっておりました。ちょっと遡ると、実は私も暇と似た形で高校卒業後は大学はアメリカのイエル大学、当時は統計にいたんですが統計学部を卒業しましてその後ELで働きながらワシントン大学に進学したという経歴ですね最近EL大学も知名度が上がってきてちょっとよくわからない教授がいろんな番組でお話をしているという名前は控えさせていただきますけども知名度が上がってきて嬉しいんですがここはイエルのキャップスでオクスフォードとかケンブリッジとかも慣れてこれわざとなんかやりたいしてるんですよねわざと古く見せるようなアメリカって新しい国なんでそういうことにしてるというでも、非常にきれいな、多少はあります。で、これが、TKIC、東北大学大学士科学の中で、これもまたなんか古いものと新しいものと融合で、昔は電波導火などでそれを改造して大学になった。しばらく日本にも非常にもちろんつながりがあって、古井先生というスピーチの大学ですね、ついさっっきなくなっちゃったんですが彼が昔ここでプレジデントをやっていたということで本当に日本のゆかりがあってなおかつ私が今パカルティで唯一日本人なのでちょっと責任感を持ちながらやっているという感じですねこれがそこで何でここにいるんだというとまさに坂口先生との繋がりがありがたい期間をいただいていて、私は2021年のちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に佐藤さんがAI2にいらしてそこでインターンを一緒にやろうということでインターンのメンターを最初3ヶ月でやりつつでも本当に楽しくていろいろパートタイムで練習しているうちにもう1年ぐらいもうちょっと長かったかな一緒に研究をさせていただいて本当に楽しい日々でオフィスがあってこれは私のアドバイザーノア・スミスなんですけどノア・スミスがいるので朝ごはんさんがいらっしゃって写真を撮っ��掘り出してきました本当に懐かしくて本当に昼ご飯を食べては雑談してですね昼ご飯を食べているうちに論文がそれなりに書けてくるみたいなことをやっていて雑談の中身はいろいろあったんです、最後の方は結構皆さんご存知ですか?白い巨頭の話をよくしていまして、これ色んなバージョンがあるんですけど、これは唐沢俊明っていう俳優がやっていたバージョンが2人ともすごいお気に入りで、広木のバージョンでどこが一番いいかというのを話し合っていて、坂口さん的には後半のやっぱり財前教授になった後に、財くなって、がんになってしまうみたいな、ネタバレになっちゃったな、そのあたりはダメだと。税関こそ面白いことをおっしゃって、さすが坂口さんの言うような見つけ所は素晴らしいなということで、涙では泣かすだけじゃダメなんだなっていうことを感じましたね。これがAI通貨の写真で聞いて、会社としては、藤間と創業しまして、今は日本とアメリカの2極対戦みたいなクロスボーダーという形でやっていて、もう私自身、TTICにポジクションもありますしあとはシアトルに行っていましたので米国シアトルに本社はあるんですがそれでもうすでに東京の本院にオフィスを構えまして日本の支社みたいな形で今やろうという形で進めているというので、言葉のデモシスという会社ですね。基本的に、今話題の大規模言語モデルですね、LLMの特に非英語圏向けのベース言語モデルの開発とか、場合によってはマルチモータルとかそういったことをどんどん挑戦的にやっていきたいなと。もちろん同時にやはりビジネスですのでアプリケーションの提供も行われるということでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっているとやはり初期市場としては今は日本を考えていまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりましたし、何かしら日本を発信で、日本を作っていきたいなということで、ということで今日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになります。1部目はまさに私は5年間PHDをやりまして、この5年間っておそらくNLPの歴史の中でも一番激動の5年間だったと思いますので運良いのか運悪いのか分からないですがそのタイミングでPhD終わった私から見た今思うとこうだったよねみたいみたいな話を、ちょっと過去の話を、第1部にしたいなと思います。第2部からはですね、もっと直近の話で、ダーキング・モデルの時代の到来ということで、私たちがどういうことを考えていたのかということを話したいと思います。それあとはやはり前を向きたいということで、ミラについて話していきたいと思います。ということで、適度のPhD5年間ということで、これはもう本当にもう私のPhDをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で、最初だけちょっとポジティる前に、イエル大学に行っていたのは構造解析や文法、いわゆるシンタックスやパーシングとかそういうことをやっていましたその後ですねワシントン大学に移動してずっと英語ばっかりこの構造解析とかずっと英語なので英語ばっかりやっても面白くないので私自自身多言語話者ですし、もっといろんなことをやりたいなということで、多言語の文法解析をやっていきました。そのうちに、多言語をやっているうちに、多言語といえば機械翻訳でしょうということで、マシントランスレーションをやりたいときその後にどんどんマシントランスレーションの一般的なことをやり始めてちょっとこれ見づらいんですがモデルの高速化とか効率化とかそういったことにやっていったり、第一部権をモデルに取り組むということで、無理やりまとめれば、だんだんオーディエンスが最初と比べると大きくなっていたかなということでこれはちょっと自分が一つ成長できたポイントとして少しきれいに見えるかなと思いまして最後に一つだけ一回だけポジティブなことを言っておくと、環境の、やはりいろんなものを変えていったときに、環境の変化が本当��大きかったなと思っていて皆さんももし機会があればぜひどんどん環境の変化を求めていったらいろんな経緯ができるのかと思っていて一番最初に学びは大学にいましてワシントン大学に進学してワシントン大学にいなして、ワシントン大学にいながら、ちょっと行き詰まったので、メーターでインターンしたり、そういったことをやっているうちに、あとは最後にサラリースさんとAI2でインターンをしたり、マイクロソフトに行ったりして、環の変化に応じていろいろプロジェクトとかもいろいろ変わっていって楽しくできたのかなと思うのでぜひいろんな本当に日本いいところですし仙台は本当に素晴らしいところですけどもいろんな物理的にも環境を変えるのもいいことなのかなと思っていますじゃあせっかくまずは過去の話ということで一体私がPHで始めた頃何が起こったかというとこれですねDeep Contextualized Oral Representation ということでその前まではワード・エンベディングというのがいて今の人は知らないのかな?ワード・エンベベッドがみんな授業でやってますね。教科書、歴史、日本史みたいな感じです。単語をいろいろクラシファイアーとかやる時にベクトトル化したいベクトル化する方法が何個かあってこういうことをやって今から言えばものすごい浅いニューラルネットワークみたいなので周りの単語を予測することでベクトル化していったってことは周りの言葉が似ている単語を予測することで、ベクトル化していった。ってことは、周りの言葉が似ている単語は、似たようなベクトルになるよね、みたいな、そういった、割と言語学とか、ディストリビューションのセマンティクスとか言ったりしますけども、そういった、ディストリビューションのセマン�ナリズムそういったとこを言ったりしますけどもそういった割と自然なことをやっていたというのがこれでぐちゃぐちゃこういうことをみんな頑張ってきたんですよね最初はミコロフの2010年もっと前から多分あるんですがあとフローウェルトルとか色々やっていてこういうことをやっていたんですが大体私がPCLを始めた頃にこれまさにン大学で、私が入る直前に起こったことなんですが、ワシントン大学のAI2でエルモというのが出てきた。これこそ、今あまり知られていないのかもしれないですががエルモの研究というのがあってそれはですね要は今までこうやって浅い色々なデッキをやってたけどもっと深くしてランゲージモデルにして要はネクストワードプレディクションをひたすらやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりとかいろんなタスクで評価が上がったということがあったということでエレモンだったりコープでこれも似たようなアイデアがあってそういった時代に私はPGを始めたということでここで終わりだと思ったんですね私に間違っていません。セバスチャン・ルーラーという有名なブログラフがですね、NFT ImageNet Moment of Ariseとかがいて、どんどんビジョンみたいになってきたよねと。結局当時ビジョンでよくやられていたのは、イメージネットで大量に画像のクラシケーションとかを学習させてそのベクトルを使って他のタスクを解くみたいなことをやっていたんですがまさに同じことが起きていてテンゴモデルをやらせておいて他のタスク例えばシンタクティックパーシングとかクエスチンアンセリングとか、マシントランスレーションとかをやらせるみたいな、イメージネットみたいになったよね、ということを言っていた。ということで、これが良かったねと。自然言語一種類もようやくビジョンに持追いつきましたと言ってたところこれは始まりでしたがなかったんですがちょっとじゃあその時私が言って何をやっていたのかというのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていて、Lも出てきた時に、ラング値モデルを基本的に英語でやっていたんですが、マルチリンガルにやらないといけないよねってことを考えていて、じゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングリフォーマルラッシャーとかヒーブルとかヘブライ��とかそういうのでどれくらいバイリンガルでラングリフモデ�デルをトレーニングして、そのベクトルを使うということをやる。そうすることで、モノリンガルの時よりもバイリンガルにした方が、英語を加えた方が圧倒的にスコアが上がるようで、みたいなことをこの時考えてやってみましたこれがラクルの2018とか2019か18かその辺の研究でした結局この研究はあまり意味がなかったです。なぜかというと、さっきバイリンガルのグラフを見せましたが、ちょっと科学的な指標にこだわってたんですよね。バイリンガルで、今だったら例えば英語があって、それに全部ごちゃ混ぜしたいろんな言語を加えて言語モデルを作ろうみたいな発想になるんですが、当時ははやっぱりちゃんと比べなきゃいけないでしょバイリンガルのバージョンとモノリンガルのバージョンをまず比べて比較しようみたいなことを言ったんですが今思えばですねより多言語にいきなり大言語に 拡張してしまって例えば日本語だけのモデルを日本語と英語のモデルを使っても助かる人って限られてますよね使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね、今思えばもっと使いやすいものだったのかなというふうに思いましたし、当時、トランスフォーマーってまだそこまで使われていなかったのでASTMとかを使ってやってみましたということで結局時代が読めなかったと負けましたということですね負けた相手なんです、XLMのフェイスブックから出たものがあって、この人たちも論文がよくわからないし、でも実際に使えるものを作っていたんですね。それをダウンロードして使うことにして、サイテーションももちろんですし、それ以上に使える作ったということは本当に素晴らしいなと思った次第です。結局、反省としては、科学的なリサーチにこだわりすぎたんですよね。やはりコンピューターサイエンスのPACをるということで自分は科学者になるなと 意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしているということであと最後にタスクの選定をちょっと間違っていまして私たちはNERとかエフェレンシーパーシングとかシマティックローレブリングとかやっていたんですねでもこれも結局いいんですけど当時ものすごい流行っていたのはQuestion AnsweringでQAで結局QAの人たちはこういう私たちの本をまったく読んでくれなかったんですよねその割にこういう論文を読んでくれて、なので結局使われなくなってしまって、何か使う数は正義、数は正義というか、そういうことで結局インパクトを残せなかったなというのを今反省していますでお待ちかねのバートの時代に来たということでさすがにバートは皆さん知っていると思うんですが当初これ出た時はですねバートはただLルモを大きくしただけだよね、というふうに思っていましたし、これは私のアドバイザーのアスミスと、あともう1人、ループズ・ゼロモイアンという人がいまして、彼は同じワシントン大学の教授ですが、今FacebookのディレクターとかNLPのリサーチを仕切っている人で彼はエレモンの作者でもあり最近だとロバートとかの作品あとOPTとか結構とにかく大規模言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言っていたかというと単純なエルモのエクステンションなんかに大してベストフェーバーも上げる必要ないしあんまり興味見えないみたいなことを言っていてでも実際これ言ったのは実はベストフェーバーを取った前なんですが実際際に取りましたよね。いかに苦労とか間違えたか。ルークは面白くて見方がちょっと違って、彼はエルゴンの作者です、素晴らしいと言ったけども、自分の頑張ったエルモが1年は続くと思ってたのに、結局1年続かなかったよね、ちょっと悲しいねみたいな話をループはしていて、ちょっと違う見方をしているのかなという風に思って面白かったんですがそのループもですね実はGPT-2がちょうど出てきた時にこれ単なるラグチューモデリングじゃん何やってるんだろうなんでこんなこんな騒いでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですね当てにならないと僕らもらえるということですねでバートの時代になって当初はもちろんエレモンが大きくなったものだと思っていたんですが、もちろん違った。NLPの世界を完全に変えてしまったというものなんですが、もう一つちょっと面白かったのは、おまけの話として、当時、Hagginface Transformersのライバリーのブームのきっかけになったんですよね。これ昔、ハイトーチバートと呼ばれていて、Hagginface自体は、チャはChatbotとかの会社でもともとあったんですが、BirdはGoogleから出たので検索ロードで使われている。研究者はみんな検索ロードを使いたく、ファイトウォッチを使いたいみたいな話をしていた時に彼らがファイトウォッチにコンバートしたものを出したそれがファイトウォッチパートであり、そしてそれが結局、ンスフォーマルにつながっていったということでこういうのも本当に商業部長というか本当に社会の流れというのは分からないなと思わないところできっかけが生まれて、思わないところで工夫していくんだなというのを強弱して感じたというところですね。その時私は何をやっていたかというと、当時やはりマシントランスレーションをやりたいということで、マシントランスレーションのスピードアップとかですね、あとこの2個目の論文はですね、1個目の論文の中で自己批判みたいな形で、いろいろスピードアップで並列化とか一生懸命やってたんですねICML1025論文ではみんなこういうの大切で楽しいしってやってたけど結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話もあってなんかちょっと怒られたりもしたんですがでも結局これが本当のある意味真実なのかなと思って自己批判で論文を出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT-3の時代が来てフューショットライラーニングとか。この時からだんだんクラシフィケーションにリーダーの興味がなくなってきていて、だんだんみんなジェネレーションをしよう、ジェネレーションにしようという方向に来たというのが当時の流れで、もちろん皆さんご存知のフィッシャーズ・トラーニングの例もありますし、あとグループとかオープンソースの方でも大学とか組織をまたいだプロジェクトが出てきたというのがこのGPTシステム時代ですねでも私自身はAI2で話していたんですがその時の研究はバイディメンシャルリーダーボードといって今までのリーダーボードというのはジェネレーションのモデルを評価するには不向きだよねというのもメトリックを固定しなきゃいけないのでその評価には不向きだから坂口さんと一緒にやっていたのはメトリックの方も並び替えなきゃいけないリーダーボードのアブストラクションみたいな形でそういうのをやったということでやっていましたあとはやはりジェネレーションにとってイバリエーションが大切だということでイメージキャラクショニングのイバリエーションも 佐藤先生と一緒にやっていたという感じのことをしていました。これちょっと油断なんですが、こういう佐藤さんのご提案で、漫画を描いてみようということで、漫画を描いて、この論文のPRをTwitterでしていたという、いろんな楽しみを2人で本当に楽しくやっていたということですついにお待ちかねチャットGPT、GPT-4の時代が来たということはまさにこれは社会実装の時代に来てしまった。もちろん研究も多数なんだけども、とにかく使ってどこが問題なのかということを洗い出していかないと、なかなかベンチマークとかで現れないものかなということを感じていて、こういった経緯で起業して小島ともにやっていこうと思いました特に英語にNLPの業界は返事をしていますよねこれはだいたいインターネットユーザーの数で25%くらいインターネットユーザーは英語話者なんですが、残念ながらNLPのロングも多いけど、だいたいほとんどが英語でしか実験をしていなかったり、英語についての論文だったりするということで、これはまず一期英語編の基盤モデルをどんどん作っていかなければならないと思っております。結局、自然言語処理というのは何だったのか?というのを振り返ってみる���、結局全てはスケールだったと。これは否定しようがない。ということで、私自身も色々作りたくて、�張って作ってたんですが、結局大きさで解決されてしまったことも多くて、そこはもう認めたらいいのではないかということで間違っていたと。私自身は間違っていてそうですね、まあそういうことですあともう一つ面白いと思ったのはやはり科学的な世界なんですがかなり非科学的なプロセスが被害できるって書いたなということを理解したということで例えばトランスフォーマーが2017年に出てきた時にですね私はそのトランスフォーマーがこんなに広がると思わなかったんですよこれも分からなかったっていうのも仕方ないのにだ文いくら読んでもよく分からないですアテンションのディペンネージが多いんだなみたいなでもそこって多分本質じゃなくて多分トランスフォームの本質というのは今思えば、当時のGPUとかTPUとか、そういったパラレルの計算の訓練がしやすかったんですね。LSDMとかだとどうしても巨大化させてしまうとどんどん時間がかかってしまうけどトランスフォーマーをパラレルにできるからハードウェアとすごい相性が良かったある意味ハードウェア決定論みたいな形でハードウェアによってトランスフォーマーの凄さが余計リンフォースされていって、ニワトリと様々と言われるんですが、そういった経緯があるのかなということがあって、だから分からなかったのも仕方ないのかなと思ったりもします。他の例でいうと、例えば、Adamとかのですね、今皆さんオプティマイザーで使ってますけども、考え方によっては、例えば、Adamに合うようにモデルを開発しているとも言えなくはないわけですよね。皆さんモデルを開発して、Adamでうまくいかなかったらやめということなので結局そこもニワトリと卵であっていろいろ予測するのは難しいよというふうに今は思っていますちょっと非科学的な支配する世界ということなんですがでもよく考えてみるとこれもそうなんですよねやっぱりコンピューターサイエンスってやっぱりサイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよ大量の人がケミスって言わないですねフィジックスとか言わなくていい同じようにオープンAIもオープンって言ってないからオープンじゃないかなと。実際クローズドだということで。あとアメリカのチェーンであるセイクウェイっていうのがあるんですけど、セイクウェイって全然安全じゃないですよね。だいたい危ないところにあるんで。だから結局そういうもんなということで言い出しました。専門家の知見というのは、トランスフォーマーのポテンシャルを私は当時は気づかなかったし、あともう一つチャットボットというのも意外でしたね。やっぱり人間とチャットするのも面倒くさいので、なんで機会をしないといけないんだというのが当時の私の考えだったんですけど、結局チャットボットでこんなに有名になったんだっていうのが本当に衝撃でしたし、いかに私自身が人間を理解できていないかということが分かったということですね。ということで、何も分かっていない。まあでもとに過去の話をしてきましたが、前に進んでいきたいと思っております。5年間を簡単にまとめると、適度に環境を変えるのはプラスでしたし、でも専門家ですら見ればわからないので、あんまり専門家の言うこととかリビューアーが言うこととか気にしないでくださいということですね。最近なんか自分がいいと思う論文ごと悪い理由がありますねありがとうございますあともう一つはですね愛言勝負じゃないかなバートとかって愛言自体は本当に肝心なもので、基本的にエルモを大きくして、色々他のアイデアがあったんですけど、結局、マスクとラングルーチモデルとか、同じようなアイデアがあって、アイデアだけじゃなくて、エクセクションも重要なのかな、ということを思っていて、これって結局、研究だけじゃなくて、企業とかも見えると思うんですが、例えば企業においても、研究においてもですね、必ずしも、早いもの勝ちじゃないのかな、Lモード勝っても、あんなに早い段階で、実はもっと先にも、前にもあったんですが、Lモードとか、XLモードとか、ああいった研究とかありましたけどでも結局パートナー全部持って行ったりGPT-3とかGPT-5が全部持って行ったりですね結局早い街の世界というよりもそういった不思議な神の水尻みたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばGoogleとかFacebookって最初の検索エンジンでもないしFacebookも最初のソーシャルメディアでも何でもないわけで、だからそういった不思議な力があるなというふうに思いました。最後に、科学的指標というのも大切なんですが、それだけにこだわらずに、やはりコンピュータサイエンティストストはサイエンティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中に出していきましょうということを思っていますということでこれからは未来の話をしていきたいと思います。大規模言語モデルの時代が来たと皆さん大規模言語モデルどう思いますかすごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくるときは基本的にチャットボットみたいなものを作ってみたり自然言語だけじゃなくてソフトウェアエンジニアリングの世界でも自然言語の入力をすればHTML、CSSのコードを吐き出してソフトウェアエンジニアリングをサポートしてくれるそれだけじゃなくて文章の執筆、要約構成、メールの返信本当に汎用的なものに使えるというのは間違いないなと思っています大規模言語モデルってそもそも何だったかというと、皆さんご存知の通り、ものすごいシンプルに学習されたAIなわけですよね。文章があって、その文章の次の単語を予測すると例えば学習データの中にThe first president of the United States is Georgeという文章があったとしたら第一代大統領はジョージ・ワシントンなのでワシントンという言葉を予測するとなんでこんなシンプルなものが役に立つのかすごい不思議ですよく言われることなんですけど結局はスケーリング速度だけですAIのモデルを学習するときって大きく分けて3つの要素がある学習するAIモデルの大きさそれに食べさせるデータの量この学習を行うコンピューターの資源の量計算資源と呼ばれますけどこの3つだと思います何か申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習の中で増やしていった結果突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが汎用的な性能を持ち始めたことだから今みんな注目しているわけですこれを本当にこの傾向をすごいスケーリング速度が分かりやすく示したグラフがこうなんですけれどもこのグラフっていうのはX軸がモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども見ていただくとおりその傾向というのはログリニアすごいクレイジーなのがコンピューターの性能自体というのは皆さんご存知のムーアの法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えていますそのコンピューターを使って学習したAIの計算資源の消費量というのはそれをはるかに超える12年間で10の12乗倍増えていると要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが汎用性と何が関係あるかすごいスケッチなグラフで申し訳ないんですけどもこれは賛否両論あるグラフなので反対意見がある人は後で個人的に聞いてください。すごい傾向はうまく捉えていると思っていて、このグラフで何を表しているかというと8タスクがあるんですけど例えば算数力みたいに大規模言語モデルが5たす6は11そういった算数の問題を答えられますというタスクであったり多言語力英語でQAができるモデルがペルシャ語になったときに同じようなことができますか読解力というのは単純にQAみたいなものです。こういったタスクを見ていくと、ここも同じなんですよ。Y軸は使われたスーパーコンピューターのリソース、X軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしていったときに突如変異的に大規模保険のモデルがタスクの能力を得るポイ��トがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて突如変異点が来るとこれが汎用性なんです結局計算資源を増やしていったときに突如変異能力を持つそういったものが大規模電力モデルの汎用性なんじゃないかなというのは私なりの捉え方です。ここからは、自分たちで大規模リネモデルを学ぶという話をしたいんですが、2019年から2022年、何が起こっていたかというというと一言で申し上げますと各国で大規模言語モデルの開発競争が起きていたとアメリカですアメリカではマイクロソフト社Goグーグル社といったインタストリーを中心に大規模リングモデルの開発競争が大きくてアメリカで当時起こっていたのはマイクロソフト社が大規模なスーパーコンピューターをオープンAI社に提供して、当時GPT-3、英語メインの大規模現場モデルを学習していた。全く似たようなことが中国でも起こっていて中国では政府が所有しているスーパーコンピューターを用いて政府機関がGPP3を超えるようなスケールです世界で最大規模のパラメーターの数のライフ保険のモデルを中国語で学習しているこの動きってアメリカと中国だけじゃなくてヨーロッパでも大きいヨーロッパではフランス政府が所有するジョンゼーと呼ばれるスーパーコンピューターがあるんですけどそれをハギングフェイスと呼ばれる皆さんご自身がハギングフェイス社員に貸し出すことによって、タッグフェイス社が多国籍用の大規模展望モデルを学習していく。この多国籍用って面白くて、実はドイツ語が含まれていないのはフランス、ドイツの緊張感の表れかなと言われたりするんですけどそれ以上に重要な小話があって実はこのフランス政府がスーパーコンピューターをハギングフェスに貸し出す時にハギングフェスって当然グラントプロポーゾルみたいなのを書いたんですよねこれこれこういう理由でオタクのセルフのスーパーコンピューターを使いたいとそこで使われたアーゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーがフランスを食いつくそうとしているとだから我々は独自モデルを開発する必要があるみたいなことを言っていたんです。すごい緊張感の高い、あいつ競争が大きい。で、まあ、方々が日本を見てきた時に、まあ今でこそ、本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな予定があったんですけど当時日本国内でハッキングフェイスみたいなのをやろうとしていた人はいなかったです最初にわずれてくる疑問としてなぜ日本国内でできないのかできないのかやれないのかまずそこをしっかりしなきゃ大規模言語モデル学習で何が一番重要かというとやっぱりそれはスーパーコンピューターのリソースなんですが日本ってスーパーコンピューターがないかというと、全然そんなことはないわけです。一番わかりやすいところだと、皆さんも研究で使われているかもしれません。ABCIと呼ばれるGPUベースのスーパーコンピューターがあると。ABCIは素晴らしいスーパーコンピューターなんですけど、実は日本最大級のスーパーコンピューターってABCIじゃないんです。富岳って呼ばれるスーパーコンピューターで、皆さん年齢的にちょうどベストヒットかなと思うんですけれども、以前民主党政権がありまして、そこにレイモンさんという政治家がいらっしゃったレイモンさんが仕分け会議ということをやっていたときに1位じゃダメなんですか2位じゃダメなんですかって言ったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を持っていたんですけど今レアモンさんのおっしゃる通り2位なんでしょうかそういうスーパーコンピューターです何が重要かというとこの富岳っていうのは本当に化け物みたいな性能を持っていてギングフェスチャーがブルームと呼ばれる大規模ゲームモデルを学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし全金を使えた場合はAIの学習性能だけでも考えても10倍早いんです10倍早いっていうことは同じ計算をやったときに不学だと10倍早く計算が終わるでも不学って何がクレイジーかというとCPUベースのスーパーポンピューターなんですよ���切GPUを搭載していない皆さんCPUで大規模ゲームモデル学習したことあります。大規模ゲームモデルじゃなくてもいいんですけど、ディープラーニング。CPUでやらないです。基本的にはGPU。もしないしは、GPU。AIで特化したハードウェアでやると。これが何が問題かっていうのを、この数字を見れば、もうすごい明らかだと思うんですけど、NVIDIAのA100っていうGPUがあるわけですね。今、H100っていうのがデータセンターで最先端のGPUでもその一つの一昔前はA100というGPUが最先端でフラッグに搭載されているCPUは、Fujitsu A64FXと言いますが、AIの演算性能に限って言えば、富岳のCPUはNVIDIAのGPUの50倍遅いんです50倍遅いってことはGPUでできる計算が50倍長くなってしまうじゃあそもそも富岳って何がすごいんだっていう話なんですけど富岳ってCPUが15万個あるんですよ皆さん15万個のCPU使ったことありますか? 多分ないと思うんですここで何が言いたいかというとぶっちゃけGPUがCPUの50倍遅いならCPU50個使って並列計算したら同じぐらいスピードが出るよねっていうのがちょっとクレイジーなアイデアで佐々木さんにすごいご迷惑ブーブー分散並列学習というものがあります今の分散並列学習っていろいろオープンソースのパッケージが出てきて皆さんご存知かもしれないところで言うと例えばマイクロソフト社のDeep SpeedであったりLBVIDIA社のMegatron LAMというパッケージがあって、こういったパッケージってデータパレード、モデルパレードと呼ばれる分散並列学習をサポートしているんですけども、GPUでは動くんですけど、CPUでは動かないんです。だってCPUでやらしていないですから。私たちが最初にやったこととしては、このNVIDIA、マイクロソフトに書いていただいた分散並列学習のパッケージをCPU向けに移植してちゃんと並列でCPUが計算できるかなということを試したんです。初期実験としては非常に良い結果が出て、ここなんですけれども、CPUの数を増やしていった時に、システム全体としての計算精度がどれくらい上がるかというのを見てこれはログリニアなんですけど特にCPUを1000個あたりまで増やした段階ではその計算速度が1個だった時、CPUが1個だった時と比べて1000倍近くなっていくと。この見る限りだと、分散並列学習がすごいうまくいっているなという感触だったんですけれども、これはあくまで初期の実験で当然上手くいかないこともあって、一つはCPUを大量に使うことでどういう問題があるかということなんですけれども、CPUを例えば2個使っているだけだとCPUに1個同士がコミュニケーションすればいいだけなのでそれは問題ないとただCPUを1000個とか1万個とか増やしていったときにやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分かる通りシステム全体として計算性能が上がるという時が若干落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションコストが上げられるようにしないといけないよねそういったことも一つ課題として出てきましたそれ以外にもすごい面白い発見もあってハードウェアって基本的に理論値と実測値というものがあるんです理論値というのは理論的にはこれだけスピードが出ます実測値というのは実際に使ってみたらこれだけしかスピードが出ませんでした例えばトランスフォーマーの学習とかやるときにGPUの実測値って理論値の大体40%から50%くらい最近だと60%くらい出てるそのくらい出るんですよこれなんでそんな出るかっていうとNVIDIAのソフトウェアのエンジニアの方々がものすごい涙ぐらしい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションの行列計算はこの特別なコードを使うことによって早くしましょうみたいなすごいなんかハンドウェイビーなハードコアのソリューションがソフトウェアスタック、マクドナルドレアの中にいっぱいあるんですよだからGPUは実測している4Gの幅がそんな�がそんなにないただ不実のCPUってそもそもそんなにAI学習を想定したものではなくてむしろシミュレーションとかそっちの方で使われていたのでそういった測定やストックが弱くて実測値が利用値の7から10%ぐらいでなかったこれを直さないとやはり風学上で大規模な学習ができないよねということになりましてこちらの日経新聞さんでカバーしていただいてそれこそ7社合同でやらせていただいているということなんですけれどもGPTフラッグというプロジェクトが本格化いたしまして、主要な機関でいうと東北大学さん、坂口先生、ここでいうと栗田さんと佐々木職さん、佐々木職さんって呼ばれている間ですけど、佐々木職さん、佐々木職さんって呼ばせていただいてますけど佐々木職さん、そういった方々が中心になって協力していただいているとそれ以外にも東高大さんであったりとか、理研サイバーエージェント、名古屋大学富士通、弊社言葉テクプロジェクトは大きく分けて2つのチームがあって、1つ目のチームはシステムチームと呼ばれるチームです。こちらは風学上のインフラを整えて、そこでAIの学習が効率的に行えるようにしようと具体的にどういったことを解決しようとしているかというと先ほどのスライドであった通りコミュニケーションコストの問題を解決しようであったりだとか理論と実測値がもう少し小さくなるようにしようそういったことをやっていますNLPチームの方には東北大学の方々が主導していただいてこちらでは日本語データの準備であったりとかトークナイザーの開発そういったことをやりたいと思いますこちらのプロジェクトはまだ動いているので今後もどんどんニュースが出てくるかと思いますが皆さん温かく見守っていただければと思います栗田さんと佐藤先生にはすごいご迷惑のおかげでしますが一緒に頑張っていければと 思っています。ここまでがFUGAKIのお話です。FUGAKIというのはすごい面白いプロジェクトで、今後、今一番早いスーパーコンピューターだと思います。間違いなく、AI性能に限って言えば、数学よりもっと速いスーパーコンピューターというのは、1、2年で出てくると思うんですよ。で、数学でなんでAI学習をやる意味があるかっていうと、もっと速いスーパープロジェクトが出てきた時に数学で学んだ知見を直接活かせるように、そういった架け橋の役割ですこれはサイエンスとしてはエキサイティングなものだと私と笠井が考えていたのは大規模言語モデルというのはただすごい社会に使えるレベルになっているのでこれを実装しないとやっぱもったいないし実装してみたいなって社会そういったことで言葉テクノロジーズという企業を立ち上げまして、ちょっと試行実験をまずしてみたいと思います。大規模言語モデル、素晴らしい。すごい色々使える。果たして日本のビジネスに使えますか?と。社は言葉テクノロジーズというのは日本のビジネスの相手でいろいろとオペレーションをさせていただいている会社なのでこの時点ですでに日本国内の3,40社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったんです旅行会社さんに大規模結構モデルオタクどうお使いになら れますかそういったことを聞いたときにこういう業務があるんじゃない かなっていうことをおっしゃっていただいたんですよね地点 a から地点Bに行く旅行計画を作ってそれをパンフレットでまとめるっていう業務をよく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやるときに例えばGPT法を考えてみましょうプロフィットをかけますよこういったプロフィットをかけて渋谷に来たら出発して笠井の地元である奈良公園で日帰りで観光する計画を作ってパンフレットにしてください。そこでは交通手段を含めてください。東大寺も観光できるようにして、グルメ周りもしたいので、グルメ周りもできるようにしています。じゃあGPT-4はどうやる?これが実際に出てきたアップグッズなんですけれども、一番上を見ると、すごい東京からならや伝統と自然への一日旅行めちゃくちゃキャッチーなタイプになっているみたいなこれだけ見ると日本のビジネスでもGPT-4使えるじゃんと思う方も多いと思うんですよその下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ出してくれると��ょっとページ3スケジュールのところをフォーカスしたいんですけどまず1個目のスケジュールでとんでもないことを言っているわけです朝7時渋谷駅中央北京大阪の新幹線に乗る渋谷駅に新幹線なんて通ってないんですよこれはちょっとよろしくねもっと面白いことが起こっていてブーブーまあ、そうです。グルメ回りにしたいけど。ジョークとしては面白いです。こんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事がなくなっちゃいます何が言いたいかというと大規模ゲームモデルってGPT-4に代表されるようにめちゃくちゃ汎用的だと。汎用的なんですけども、日本語の閉じたドメインのようなところでリクロイしてしまうと、まだまだ業務に差し支えがある、欠点がある。それ以外にもそもそもこれをやった理由っていうのは旅行会社さんがパンフレットを作るためですよパンフレットを作るためなんですけども現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないとでも結局パーフレットが必要な旅行会社さんの視点に立ってみたらこの生のテキストをマークダウンを取ってきてそれをパンフレットにもう一回リストラクチャーする作業が必要だとそれって余計な業務が必要ですというところですねこういった問題を踏まえて弊社言葉テクノロジスではこういった現状の大規模言語モデルの欠陥を研究開発することによってどんどん直していく直した大規模言語モデルをアプリケーションとして分かりやすい形で企業さんに販売するそういったことをやっておりましてついでにはい政府主導の補助金を今申請中火災者からもありました通りつい先日東京オフィスを六本木に開設して取り組んでいるとエンジニアサイティストをはじめ徐々に10月始めから順次チームチームに加わっており年内には5人から10人程度のチーム編成に行ければなそういったふうに思っておりますでそうですねこれが先ほど申し上げた内容を少し細かくしたところなんですけれども、研究開発としては、例えば非英語圏の言語でも大規模言語モデルがしっかり使えるようにしたりだとかそれこそ大規模言語モデルっていうのはリアルタイムな情報がすごい弱いわけですよね例えば東北大学から仙台駅に今行きたいとなったら大規模言語モデルというのは基本的に今の時間を調べてそれに応じた答えをしてくれるというのはなかなかないのでそういったところをツールフォーマーといった論文がありますけどAPIコードを通じて解決することで大規模言語モデルにリアルタイム性を持たせるであってそれ以外にもマルチモダル能力そういった研究開発をしておりますこういった研究開発した言葉フォーマーという我々は言葉フォーマーと呼んでいるんですけど弊社のシテム、言葉フォーマーをユーザーの方々に分かりやすい形でパッケージング化してあげることによって、例えばコールセンターであったりだとか、コンテンツ生成、そういったものにして企業さんに販売していくそういったことを弊社ではやっておりますちょっとアプリケーションの方にもフォーカスして何個か例を見せて今日の動画をお知らせしたいと思うんですけれども弊社が最初に取り組んでいるドメインとしては教育分野のカスタマーさんと一緒にプロジェクトをやらせていただいているんですよね教育分野もちょっとここはアカデミックトークなので名前も言ってしまいますが皆さん寸大に行かれた方っていらっしゃいますかあまりないのかななるほど寸大っていう塾があるんですけども、弊社は寸大様とプロジェクトを一緒にやっておりまして、ここではどういうプロジェクトをやっているかというと、生徒さんが塾の中でお使いになる練習問題とか模試を自動生成できるそういったプロジェクトをやっているんですよ寸大様が今どういった課題を抱えていらっしゃるかというとこういった練習問題を作るときに基本的に教員の方々が手動で試験を作るとその結果ものすごい労力が費やされているんですよ例えばちょっとクレイジーな話なんですけど共通テストの模式を1個作るのに何時間かけていますかという話を聞いたときに1つのテ���トに300時間かけているらしいんです300時間それ年1回やるわけじゃないですから年何回も何回もそれを繰り返すそういった業務を生成AIを用いて解決できればいいのかこれがちょっと微妙なんですけれども弊社がやっているのは本当にすごいシンプルに教員のユービズリングディウエストのヒントとなるキーワードを入れてもらうんですけどここではYou are visiting the US for the first timeアメリカを初めて訪れますよというコンテクストで問題を作ってくださいその結果出てくるものが例えばこういうパンフレット形式のDL今は共通テストというか共通テストってすごい情報分析に寄せたような問題が出ていて英語でもなくこういうパンフレットを呼び解いて問題に答えてくださいみたいな問題があるんですだからこういうパンフレットみたいなものを直接出力することによって先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこうとこういったパンフレットを作ってその後それに即した問題を先生方に生成していただくわけです質問の生成に進むという風に進むとこういった感じで4択の問題がパブリックに即した形で生定されて最終的にはPDFであったりワードであったり出力するPDFはただ単に問題と問題のコンテクストをつないでいただけるものなんですけどねワードで何で出力するかというとやっぱりAIが出力したものなので先生方が気に入らないものもありますそういったものを例えばワードだと直接先生方が手を加えるだけで、すぐに生徒さんに配られてもらう。そういったことを教育ドメインではやっております。もう一つ紹介したいのが交通分野の取り組みです。弊社はJR東さまと一緒にプロジェクトをやっておりまして、そこでやっていることとしては、カスタマーサポートの自動化というところで開発をしているんですよカスタマーサポートって聞くとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやってるじゃんって思う方もいらっしゃると思うんですよ確かにその通りですチャットボットってどこでもやってるじゃんと思う方もいらっしゃると思うんですよ確かにその通りですチャットボットってどこでもやっているとただJR東様のチャットボットってめちゃくちゃ難しいんですなんで難しいかというとカス様の方々が本当 多様なお問い合わせをしてくる本当に大和がお問い合わせをしてきた結果 ちょっと gpt 4いじっただけだと法廷解決できないような問題が出てくると例えばその例を挙げると渋谷駅でお財布を忘れてしまったんですけどどうすればいいですかそんなチャットGPTに聞いてもわからないですね何をやる必要があるかというと例えば大規模言語モデルが裏でAPIを読んで、例えばSQLのようなコードを書いて、例えばJR東の中にある、様の中にあるインターナルなデータベースにお問い合わせをして、忘れ物状況を取得して、それを踏まえて返答を送らなきいけないそういったことがあるわけですよもっとクレイジーな例だと例えば渋谷駅から新宿駅に行きたいんだけどできるだけもうちょっと疲れてるから座りたいあまり飛んでいない路線を選んでくださいみたいなことを気になる方もいるんですよそしたら何をする必要があるかめちゃくちゃ難しいですよめちゃくちゃ難しいと。でもありがたいこととしては、JR東様って今、各駅、各列車にセンサーがついてて、混雑状況がわかるんですよ。結構、我々頭がおかしいのでクレイジーなことを考えるわけですよもしテンスター情報に大規模言語モデルが直接アクセスできてその混雑情報を取ってこれたらそういった座っていける路線は何ですかみたいな質問にも答えられますそういったことをここではやっていますすごい簡単に見えて難しいアプリケーションなのでこれはめちゃくちゃエクサイティングですもう一点エクサイティングな点を挙げるとするとやっぱりJR東のカスタマーセンターって皆さんちょっとお使いにならないかもしれないんですけど結構その高齢の方々とかって電話を通じて高齢センターに電話かけてらっしゃったりするんですよねその数で言うと1日だいたい数万件年間でいうとそれこそ数百万件数千万件となっています弊社が開発したご視聴ありがとうございました","[28.25994610786438, 28.26285481452942, 29.124175310134888, 30.689085006713867, 29.17821955680847]"
-kotoba-tech/kotoba-whisper-v1.1,15,True,True,flash_attention_2,cuda:0,long_interview_1.mp3,True,256,17.678295278549193,0.22182761219337574,NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心にちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジスという企業を作るに至ったかなっていうのをお話しさせていただければと思いますよろしくお願いいたしますそもそも誰やっていう話だと思うんですけど小島紀樹と申しますよろしくお願いいたします小島大学と申します私、コーネル大学を卒業しまして本当ディフェンスをやったのは2、3週間前なんですけれどももともともとはコーネル大学ってニューヨーク州の土田舎の伊阪という街にあるっていうイメージがある方も多いと思うんですけどもコーネル大学って2つはイサカにあるんですけどもう一つはニューヨーク市にあるインソ川の上に浮いているルーズベルト島っていうすごい細長い島があるんですけどそこでPHEをやっておりました私は小島っていう名前なんですけども本当にしょうもないネタを言うと小島の上でPHUが振り方そういう両面感となっております私はPHの専門部屋としてはマルチモダリティーと呼ばれる自然言語のシステムにどうやったら言語以外の情報を例えば画像であったりとか音声といったものを理解できるようにさせるそういったことであったりとかインターナクティブラーニングと呼ばれる最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういった検訓の方ではハギングフェイスでちょっといろいろとプロジェクトでお世話になったりもしましたそうですね学部から実はアメリカに行っていてミシガン州にあるミシガン大学アナーバーコっていうところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンガッチさせていただきます今日はよろしくお願いしますはい、青木純吾といいます。トヨタ工業大学鹿児島という日本、名前から分かるとおりですね、日本のトヨタが昔出資をして今独立な組織なんですがそちらの方でリサーチアシストプロフェッサーという職を持ちだから小島と共に言葉テクロジに取り組んでいるという状況です私も本当にPHDも出来立て小屋というか最近取りまして先月8月に無事シアトルですねアトルにあるワシントン大学でコンピューサインスの博士課程を卒業しました研究分野としては最初の方は機械本屋だとかマシンチャンスレーションとかあとは効率化とか言語制制制のイバリエーションとかそういうことをやっておりましたちょっと遡残るとですね実は私も暇と見た形で高校卒業後は大学はアメリカの家康大学という統計会当時は統計にいたんですが統計学部を卒業しましてその後その後ELELで働きながらワシンコ大学に進学したという経歴ですね最近イエル大学も知名度がってきてちょっとよく分からない教授がいろんな番組でお話をしているという名前は誓いさせていただきますけどもまあなんか知名度ががってきてうれしいんですがここはイエドにタックスでオフソードとかケンブリッシュの生まれてこれわざとなんかやりたりしてるんですよねわざと古く見せるようなアメリカって新しい国なんでそういう感じてるというでも非常にきれいな感じがありますこれがTTIC東京都宮大学シパワークの中でこれもまた古いものとまた電波等下なんかでそれを改造して大学になったのしばらく日本にも非常につながりがあって古井先生というスピーチの対応ですねついさっきになくなっちゃったんですが彼が昔ここでプレゼントをやっていたということで本当に日本のゆかりがあってなおかつ私が実は今パカルティーで唯一日本人なのでちょっと責任感を持ちながらやってるという感じですねこれがそこになりでほとなりここにいるんだというとまさに宇坂口さんとの佐賀井先生ですねすいませんつながりが本当にこういったありがたい機会をいただいていて私は本当に2021年のちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に佐川口さんがAI2にいらしてそこでインターのメンターを一緒にやろうということでインターのメンターを最初3か月とやりつつでも本当に楽しくていろいろパーテイムで練習しているうちにもう1年ぐらいもうちょっと長い日々で一緒に研究をさせていただいて本当に楽しい日々でオフスがあって私のアドバイザーノアスミスなんですけどノアスミスが出てノアスミスが出て写真を撮って掘り出してきました本当に懐かしくて本当に昼ご飯を食べては雑談してですね昼ご飯を食べてるうちに論文がそれなりにかけてくるみたいなことをやっていて大体雑談の中ににいろいろあったんですけど最後の方が結構皆さんご存じですか?白い虚党の話をよくしてましてこれいろんなバージョンがあるんですけどこれあのカラスアトシャキっていう俳優がやっていたバージョンが2人ともすぐお気に入りで広役とのバージョンどこが一番いいかというのを話し合っていて坂口さん的には後半のやっぱり財前教授になった後に亡前教授になった後に財前教授なんですけどなくなってこうちょっとネタバレになっちゃったなそのあたりはダメだと税務にこそ面白いことをおっしゃってさすが坂口さんの見るところは素晴らしいなということで涙では泣かすだけじゃだらやっぱダメなんだなっていうことを感じましたねこれがいって撮って撮った写真でそららどこかにいらっしゃると思うんですがそんな感じですごいいところでしたね会社としましては藤間と創業しまして今は日本とアメリカの二極対戦みたいなクロスボーダーという形でやっていて私自身T-Pに特殊もありますしあとはシアトルにと言いましたので米国シャトルに本社はあるんですがそれでもうすでに東京の国民にオフィスを構えまして日本の死者みたいな形で今やろうという形で進めているということで言葉と出申し進む会社ですね基本的に下げ年語今話題の大規模型言語モデルですねLLの特に非英語圏語系のベース言語モデルの開発とか場によってはマルチモータルとかそういったことをもんど挑戦的にやっていきたいなともちろん同時にやはビジネスですのでアプリケーションの提供も行うことでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっているやっぱ初期市場としては今は日本を考えてまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりましたし、何かしら何かしらやっぱり日本の中でインモを作っていきたいなということで、今日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになります一部目はまさに私はもう5年間PHDがありましてこの5年間って恐らくNLPの歴史の中でも一番激動の5年間だったと思いますので運良くいいのか分悪いのか分からないですがそのタイミングでPHDを終わった私から見た今思うとこうだったよねみたいな話をちょっと過去の話をちょっと第1部では第2部からはですねもっと直近な話で大金モデルの時代の到来ということで私たちがどういうことを考えていたのかということを話したいと思いますそれあとはやはり前を期待したいということで未来について話していきたいと思いますはいということではいということでこれはもう本当にもう私のPHLをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で最初だけポジズニムな話でいこうと思います一番最初にKHDDが始まる前にイエル大学にやっていたのは構造解析とかいわゆるシンタックスとかパーショングとかそういうことをやってその後ですねワシントン大学に移動してずっと英語ばっかりこの構造解析とかずっと英語なので英語ばっかり言うよくないので私自身多言語を私た言語をやりたいなということで多言語を解説にやることをやってきたそのうちにまた言語がやっているうちに他言語っているうちに機械本やんでしょうということでマシントランスレーションを毎回ありがしその後にどんどんマシントラスレーションの一般のことをやりじめてちょっとこれ見づらいんですがモデルの高速化とか効率化とかそういったことにやっていったり大一部限をモデルに取り組むということで無理やりまとなればだんだんオーディエンスが最終と比べると大きくなっていたなということでこれはちょっと自分が一つ成長できたポイントとして少しきれいに見えるかなと思いまして最後に一つだけポジティブなことを言っておくと環境のやはりいろんなものを変えていった時にですね環境の変化が本当に大きかったなと思っていて皆さんもし機会があればぜひどんどん環境の変化を求めていったらいろんな経験ができると思っていて一番最新学院院院学にいましてワシントン大学にいながらちょっと引き詰まったのでメタでインターでインターツしたりそういったことをやっているうちにあとは最後は最後のさがアイツーでインターモンをしたりマイクロソフトに行ったりして環境の変化に応じていろいろプロジェクトとかも楽しくできた方だと思うのでぜひいろんないろんな物理的にも璴らしいところですけどもいろんな物理的にも環境を変えるのもいいことなのかなとまあじゃあせっかくせっかくまずは過去の話ということで一体一体私がPHリ始めた頃何が起こったかというとこれですねディープコンテクショナイントということでその前まではワーデンベリングというかも多分多分今の人知らないのかなみんな授業でやってますね教科書かしみたいな感じに単語をですねいろいろいろフラッシュファイアとかいろりやるときにベクトル化したいみたいなベキトロ化する方法が何個かあってこういうことやって今から言えばものすごい浅いニューラルネットワークみたいなので周りの単語を予測することでベキトル化してるかってことは周りの言葉が似ている単語は似たような出来てるんだりよねみたいなそういったそういった言語学とか伝語学とかディスティブーズマンティクスとか言ったりしますけどもそういったディスティブーションオスなんですそうですねそういったと言ったりしますけどもそういった自然なことをやっていたというのがこれでぐちゃぐちゃぐちゃこういうことをみんな頑張ってたんですよねこれ最初ミコロフの2001年もっと前から多分あるんですがあと黒をウエクルとかいろいろやっていてこういうことやっていたんですが大体私がPシリア始めた頃ですねこれまさに実はワシント大学で私がちょうど入る直前に起こったことなんですがワシントン大学はまさにAI2でエルモンというのが出てくるこれこそ今もうあんまり知られてないのかもしれないですがエルモの研究というのがあってそれはですね要は今まで浅いに色な手に行っていたけどもっと深くして何日モデルにしていろやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりコーブの効果を使っていてそういうことがあったということがエレモだったりコーブでちょっとこれに似たようなアイデアがあってそういった時代に私はPGで始めたということでここで終わりだと思ったんですね私は実はもう完全にこれ以上これ以上間違うことはないんですが完全に間違っていると思うちょうどこのセバッシャン・ルー�のMVS-REとか言ってどんどんビジョンみたいになってきたよねと結局当時ビジョンでよくやられていたのはイメージネットで大量に画像のクラジケーションとかを学習させててそのベクトルを使って他のタスクトスクとかを得たっていたんですがまさに同じことが同じことが起きていてまさに同じことが他のカスクタイトラッシングとかクエッションアンセリングとかマシントラーションとかをやらせるみたいなイメージネードみたいになったよねっていうことを言っていたということでこれがああよかったねと自然言語シェルもようやくビジョンに落ち着きましたと言ってたところこれは始まりでしたらなかったんですがちょっとその時私が私が言って何をやっていたのかというのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていてLも出てきた時にラングチモデルを基本的に英語でやってきたんですがマルチリンガルにやらないといけな��よねっていうことを考えていてじゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングジコーラブラッシャンとかヒーブルとかヘブルとかどれぐらいバイリンガルでラグチモデルをトレーニングしてそれをそのベクトルを使うってことをやることをやることでそうすることでモノリンガルの時にバイリングルにした方が合われた方が圧倒的にスコアが上がるようねみたいなことをこの時考えてやっていましたこれがラクルの2018とかじゃあ2019か18かその辺の研究でした結局でもこの研究でした結局でもこの研究ってあんまり意味なかったですなぜかっていうと今反省すると結局さっきバイリンガルのグラフ見せましたけどちょっと科学的な指標にこだわってたんですよねじゃあバイリンガルで今だったら例えば英語があってそれに全部ごちゃまずしたいろんな言語を加えて言語モデル作ろうみたいな発想になるんですが当時はやっぱりちゃんと比べなきゃいけないでしょより多言語に大規模に拡張してしまって例えば日本語だけのモデロ日本語定語のモデル使っても助かる人って使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね今思えばもっと使いやすいものだったらというふうに思いましたし当時トランスフォーマってまだそこまで使われていなかったのでASDMとかを使ってやっていましたということで結局時代が読めなかったら負けましたということですねその負けた相手なんですがXLMのフェイスブックからFBスブックスタイから出たらXMというのがあってこの人にも論文もよく分かんないしよく分かんないですけど実際に使えるものを作ってたんですね彼はそれをダウンロードしてサイベーションももちろんですしそれ以上にかく伝えのものを作った本当に素晴らしいなと思った次第ですコンピューターサインスのP資料をやるということで自分は科学者になるなと意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしてるということであと最後にタスクの選定をちょっと間違っていまして私たちはNARとかエネシパーリングルングがでもこれも結局いいんですけど当時ものすごい流行っていったのはクエスチアンスルで結局QAで結局QAの人たちはこういう本物読んでくれなかったんですよねその割にこういう論文を読んでくれてなので結局使われなくなってしまって何か使う数は正義というかそういうことで結局インパクトを残せなかったなというのを今反省していますバーチャルのバートの時代に来たということでさすがにバートは皆さん知ってると思うんですが当初これ出た時はですねバートはただエルムを大きくしただけだよねというふうに思っていましたしこれ私のアドバイザーのアスミスとあともう一人ループズロモイアンという人がいます。同じワシンケンターナイルの恐竜ですが今フェイスブックのディレクターとかNRPもリサーチャーしている人で彼はエレモの作者でもあり最近だとにかく大規模変語言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言ってくだかというと単純なエルモのエクセンションなんかに大してベスペーパーも上げる必要ないしあんま興味見えようみたいなことをまあでも実際にこれったらベストペースタイムを取った前なんですが実際撮りましたよねいかにこうくろうとか間違えたかとあとルークはちょっと面白くてちょっと見方が違ってですね彼はエルゴンの作者ですから素晴らしいと言ったけども自分の頑張ったエルボが1年が続くと思ってたのに結局1年続かなかったよねちょっと悲しいねみたいなループはしていてちょっと違う見方をしてるのかなというふうに思って面白かったんですがそのループもですね実はGPT2がちょうど出てきた時にこれタンダルタンデルラでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですねあってにならないと僕らになるということですねでえっとって当初はエレモンが大きくなったものだと思って行ったんですがもちろん違ったとNLPの世界を完全に変えてしまったというものなんですがもう一つちょっと面白かったなお��けの話として当時ハギンフェイストランスフォーマーズのライバリーのきっかけにブンのきっかけになったんですよねこれ昔ハイトウィン・フェイン・フェイン・フェス自体はキットボットとかの会社でもともとあったんですが彼らがバードはGoogleから出たので検査ブロードで吹かれてるそれ研究者みんな検索を使いたくないんでパイトローチを使いた時に彼らがそのパイトウォーチに書き起こしたコンバートしたものを出したそれがパイトチパートでありそしてそれが結局カニンペインペーストランスフォーマンスにつながっていったということでこういうの商業向上というか社会の流れているのは分からないと思わ�ところできっかけが生まれて思わない思わないことで、こう思う共持着していくんだな、というところですね。その時私は何をやっていかかというと当時にやはりマシントランスレーションやりたいということでマシントランスレーションのスピードアップとかですねこの2個目の論文はですね1個目のログのマークでいろいろスピードアップでこうなんか平列化とか一生懸命やってたんですね結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話もやってなんかちょっと怒られたようにしたんですがでも結局これが本当のある意味真実なのかなと思ってちょっと自己自己意味が実なのかなと思って自己議が出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT3の時代が来てフィーショットラーニングだんだんだんだんこの時からだんだんクラシュニケーションに似たなくなってきてだんだんみんなジェネレーションをしようっていう方向に来たというのが当時の中でもちろん皆さんご存じのフフィショットラーニングのでもあとグループとかオープンソースの方でも大学とか組織をまたいだプロジェクトが出てきたっていうのがこのキーピーピッジスティスティング時代ですがこの時の研究はバイディメンシャービーザーバーバードといって今までのビーガーボードというのはジェネレションのな形でそういうのをやったということであとはやはりジェネレーションにとってイバリエーションが大切だということでイメージ・キャグシュニングのイバリエーションとかも佐賀井先生と一緒にやっていたという感じのことをしていましたこれちょっと予言なんですがこういう佐賀吉さんのご提案で漫画を描いてみようということで漫画を描いてこのロンガーのPRをツイッターでしていたというこういういろんな楽しいことを本当に楽しくやってたということですはいでついにお待ちかねチャックGPTGPTGPT4の時代が来たということはまさにこれはまさにこれは社会実装の時代に来てしまったらともちろん研究も多数なんだけどもとにかく使ってどこが問題なのかっていかないかということを洗いらしていかないとなかなかベンチマークとかで現れないものかなということを感じていてそういった経営で企業して小島ともにやっていこうというふうに思い出たったと特に英語にNLPの業界は編集してますよねこれが大体インターネットユーザーの数で25%ぐらいインターネットユーザーは英語をしているんですが残念ながらやほとんどが英語でしか実験をしてなかったり英語についての論文だったりするということで、これはまず一気英語編の基盤モデルをどんどん作っていかなきゃないよねというふうに思っております。結局、自然言語�っていうのは何だったのかを振り返ってみると結局、全てはスケールだったと、これはもう否定がしようがないなということで、いろいろ私自身もいろいろ作りたくて頑張ってたんですが結局、大きさで解決されてしまったことも多くて、そこはもう認めたらおけないかなということで間違っていたと、私自身は間違っていて、そうですね、どういうことです、あと、もう一つ面白いと思ったのは、やはり科学的なプロセスが違ス化ができるって書いたな、ということを例えば、トランス・フォーマーが2017年出てきた時に私はそのトランスフォーマーがこんなに広がると思わなかったっていうのも仕方ないから論文いくら読んでもよく分かんないです。なんかそのアテンションのディペンネージがうんだなみたいなそこって多分こって、多分コンスフォンの本質っていうのは、今思えば、当時のですね。そうですねGPUとかPPUとかそういったそのパラレルの計算の訓練がしやすかったですねですねLSTMとかだとどうしても巨大化してしまうとどんどん時間がかってしまうけどトランスコマーをパラレールにできるからハードウェアとすごい相性があるようにハードウェアー決定論みたいな形でハードルアによっていわたらないものではトランスコマスのすごさが余計リーズされていって似渡る方々と言われるんですがそういった経緯があるのかなということがあってだから分からわからなかったのも仕方ないのかなと思ったりもします他の例で言うと例えば、アダムでうまくいかなかったらやめるということなので、結局、そこも庭とりと卵であっていろいろ予測するのは難しいよというふうに今思っていますちょっとこの非科学的な支配する世界ということなんですがでも、よく考えてみるこれもそうなんですよねやっぱりコンピューター・サイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよ、あの大学地にケミスティックスとか言わなくていい。同じようにオープンって言ってないから実際、クローズだということで、そういうことだったらアメリカのチェーンでセイクウェイっていうのがあるんですけどセーフェイン全然安全にはないですよね、大体危ないところにあるのでだから、結局、そういうもんなんだな、ということで言ではできないです。専門家の知見というのは、結構トランスフォーマーのポテンシャルを私は当時期づかなかったし、あとチャットボットっていうのも意外でしたねやっぱりチャットって、人間とチャットをめんどくさいねなんで機会としないかっていうのが、当時の考えだったんですけど結局、チャットボットでこんなに有名になったんだっていうのが本当に衝撃でしたしいかに、私自身が人間を理解できてないかということですねということで、何も分かってないまあ、でも、とにかく過去の話をしてきましたが、前に進んでいきたいというふうに思っております。5年間を簡単にまとめると適度に環境を変えるのはプラスでしたしでも専門家ですらは見らないわからないのであんまり専門家の言うこととかあんまり専門家が言うこととか気にしないでくださいということですね最近なんか自分がいいとも論文言語悪い理由がするねまあねあともしたちはですねアイフェンじゃないかなバートとかってアイデオ自体は本当に基本的にエルムを大きくしていろいろ他のアイデアはあったんですけど結局そのマスクラングチモデルとか同じようなアイディアがあってアイディアだけじゃなくてエクセキューションの重要なのかなっていうことを思っていてでもこれって結局研究だけじゃなくて企業とかも見えると思うんですが例えば企業においても開かないのおいても必ずも早いもの勝ちじゃないのかなエルモンとかLモンとかあんなに早い段階で実はもっと先にも言って前にもあったんですがLモンとかエクセールドクとかありましたけど局パートナ全部持っていったりGPT3とかGP5が全部持ってったりですね結局早めの街の世界というよりもそういった不思議な神のみず知りみたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばグルーブルとかフェスブクって最初の検索エンジンでもないしフェスブックも最初のソーシャルメディアが何でもないわけでだからそういった不思議な力があるなというふうにも思いました最後に科学的指標というのも大切なんですがそれだけにこだわらずにやはりコンピュータサインティストはサインティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中にをしていきたいと思います大規模大規模ルの時代が来たと皆さん大規模現行ゲームモデルどう思います?すごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくる時は基本的にチャットボットボットみたいなものを作ってみたいなものを自然言語だけじゃなくてソフトラインジネリングの世界でも自然言語も入力をすればHTMやCSSのコードを吐き出してソフトエンジネインリングをサポートしてくれるそれだけじゃなく、文章の執筆要約構成メールの返信本当に反応的なものに使えるというのは間違いないなと思うんです。大規模ゲイントモデルってそもそも何だったかっていうと皆さんご存知の通りものすごいシンプルに学習されたAIなわけですよね文章があって、その文章の次の単語を予測すると例えば、学習データの中に、第一代大統領はジョージ・ワシントンなので、ワシントンドンという言葉を予測するとなんでこんなシンプルなものが役に立つのか、すごい不思議ですよく言われることなんですけど、結局はスケーディング速度になるわけです。AIのモデルを学習する時って大きくわけで3つの要素がある学習するAIモデルの大きさそれに食べさせるデータの量。この学習を行うコンピューターの資源と呼ばれますけど、この3つだものね。何が申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習中で増やしていったけどか突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが反応的な性能を持ち始めるものだから今はみんな注目しているわけですこれを本当にこの傾向すごいスケーニング速を分かりやすく示したグラフがこうなんですけどこのグラフっていうのはX軸がまだモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども見ていただくとり、その傾向というのはログリニアなのが、コンピューターの性能自体というのは、皆さんご存じの無我の法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えていると。要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが反応せず何が関係あるかすごいスケッチなグラフで申し上げないんですけどもこれちょっと賛否両論あるグラフなのでちょっと反対意見がある人は後で個人的に来てるすごい傾向はうまく捉えていると思っていてこのグラフで何を表しているかというと8つタスクがあるんですけど例えば算数力みたいに大規模言語モデルが5たす6は11そういった算数の問題を答えられますタスクであったり多言語力英語でQAができるモデルがペルシャ語になった時に同じようなことができますか読解力っていうのはこういったタスクを見ていく時にここも同じなんですよY軸は使われたスーパーコンピューターの実装するX軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしてきた時に突如変異的に大企業保険のモデルがタスクの能力を得るポイントがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて、突如変異点が来ると。これが反応性なんです結局、計算資源を増やしていった時に、突如、変動力を持つそういったものが、大規模デルモデルの反応性なんじゃないかなっていうのは、私なりの捉え方ですここからはちょっと自分たちで大金5年モテルを学ぶっていう話をしたいんですが、2019年から2022年、何が起こっていたかというと一言で申し上げますと各国で大規模言語モデルの開発競争が起きていた。アメリカですアメリカではマイクロソフト社インターインターインターインタストリーを中心に大規模なモデルの開発競争が大きぼみることが大規模なスーパーコンピューターをオープンア社に提供して当時GPT3英語メインの大規模型型型モールドを学習していた全く似たようなことが中国でも起こっていて中国では政府が所有しているスーパーコンピューターを用いて政府機関がGPT3を超えるようなスケールです世界で最大規模のパラメターの数の大規模型予見のモデルを中国語で学習している。この動きって、アメリカと中国だけじゃなくて、ヨーロッパでも大きい。ヨーロッパでは、フランス政府が所有するジョン・ゼープルト呼ばれるスーパーコンピューターがあるんですけど。それをハギングフェースと呼ばれるば、皆さん個人のハギングフェイス社による貸し出すことによってハギングフェース者が多国籍用の大規模型モードルを学習していたこの��国寄与って面白くて、実はドイツが含まれていないのは、フラスドイツの緊張感が現れ、それ以上に重要な小話があって。実は、このフランス政府がスーパーコンピューターをハギングフェスに貸し出す時にハギングフェスって？当然、グラントプロポーザルみたいなものを書いたんですよね。これこれこれこういう理由でオタクのセルファークターを使いたアゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーがフランスを食い尽くそうとしているのだから我々は独自でモデルを開発する必要があるみたいなことを言っていたんです日本を見てきた時に今でこそ本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな予定あったんですけど当時、日本国内でハギングフェイスみたいな人はやらないんです。最初に割れてくる疑問として、なぜ日本国内でできないのかできないのかまず、そこをしっかりしたい。大規模言語、言語、モデル学習で何が一番重要かというとやっぱり、それはスーパーコンピューターのリソースなんですが。日本ってスーパーコンピューターがないかというと全然そんなことはないわけです一番分かりやすいところだと皆さんも研究で使われているかもしれませんABCIと呼ばれるGPUベースのスーパーコンピューターがあるとABCIS素晴らしいスーパーコピューターなんですけど実は日本最大級のスーパーコンピューターってAじゃないんです不学って呼ばれるスーパーコンピューターで皆さん、年齢的にちょうどベストヒットかなと思うんですけど以前、民主党政権がありましてそこで、レイ・ホンさんという政治家がいらっしゃったり。レイホさんが仕分け会議ということをやっていた時に1位じゃダメなんですか2位じゃダメなんですかっていったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を超っていたんですけど今はレアホンさんおっしゃる通りに2位になってしまっていますそういうスーパーコンピューター何が重要かというとこの富学っていうのは本当に化け物みたいな性能を持っていてギングフェッシャーがブルームと呼ばばれる大共謙ゲングモデルを学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし前近を使えた場合は考えても10倍速いんです10倍速いっていうことは同じ計算をやった時に不学だと10倍早く計算が終わるでも、深くって、何がグレージーかっていうと。CPUベースのスーパーポンピューターなんですよ一切GPUを搭載してないと皆さんCPUで大規模言語モデル学習したことあります大規模ゲームモデルじゃなくてもんですけどディープラウンドでCPUでやらないんです基本的にはGPUもし台所はTPUUAIに特化したハードウェアでやるいないとこれが何が問題かっていうのを同数字を見ればすぐ明らかったと思うんですけどNVDアのA-1-100っていうのがデータセンターで最先端のGPUでもその一つ前は1本目まして前はA100というGPが最先頭に搭載されてるCPUって藤津A-6-4FXって言うんですけどAIの演算性能に限っていえば富岳のCPUでMVではGPでGPの50倍遅いんですよ50倍遅いってことはGPでできる計算が50倍長くかかってしまうじゃあそもそもそもフラクって何がすごいなっていう話なんですけれども普段にてCPUが15万個あるんですよ皆さん15万個のCPU使ったことありますか?多分ないと思うんですここで何が言いたいかというとぶっちゃけGPUがCPUが50個使って平列計算したら同じぐらいスピードが出るのねっていうのはまあちょっとクレージな間で佐賀な間にすごいご迷惑ってそういうことを当時考えていてそれをやるためのした分、散・併列学習というものになります。今でその分散並列学学習ってすごいろいろオープンソースのパッケージが出てきて皆さんご存じかもしれないところで言うと例えばマイクソフト社のディークスピードであったりLVDA社のメガトロンLMっていうパッケージがあってこういったパッケージってデータパイルモデルパレールパレールって呼ばれる分散変異例学習をサポートしてくんですけどCPUで動かったんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVではマイクロソフトに書いていただいた分散���列学習のパッケージをCPU向けに移植してちゃんと平列でCPUが計算できるかなということを試したいんですけど初期実験としては非常にいい結果が出てここなんですけどCPUの数を増やしていった時にシステム全体としての計算性能がどれぐらい上がるかなっていうのを見てこれログリニアなんですけどログリニアなんですけど特にCPUを先行わたりまで増やした段階ではその計算速度が1個だった時期が1倍近くなっていくとこれまで分散・余算、平列学習がすごいうまくいっているなっていう感触だったんですけれどもこれはあくまで初期の実験で、当然、うまくいかないこともあって。一つはCPを大量に使うことでどういう問題があるかということなんですけどCPU例えば2個使っているだけだとCPU例えば2個使っているだけだとCPを1個同士がコミュニケーションすればいいだけなのでそれは問題ないとただCPを1000個とか1万個とか増やしていった時にやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分かる通りシステム全体としてその計算性能が上がるっていう時が若干落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションポストが上げられるようにしない人ってないよねそういったことも一つ課題化しているそれ以外にもすごい面白い発見もあってハードウェアって基本的に理論値と実測値というのは理論的にはこれだけ推量が出ますよ実測指っていうのは実際に使ってみたらこれだけしかスピードが出ませんでしたよ例えばトランスフォーマンの学習とかやる時にGPUの実測値って理論値の大体40%から50%ぐらい最近だと60%ぐらい出てるのかそのくらい出るかっていうとNVディアのソフティアのエンジニアの方々がものすごい波長い並々しい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションのこの特別なコードを使うことによって早くしましょうみたいなすごいなんかハンドウェビーなハードコアのソリューションがソフトチョイスタックマクウダーレアのレアの中にいっぱいあるんですよだからGPUは実測している値の幅がそんなにCPUのCPUってそもそもそんなにAI学習を想定したものではなくてむしろシミュレーションとかそっちの方で使われていたのでそういったソフテリアストストックが弱くて大規模な学習ができないのでこちらの日系新聞さんでカバーしていただいてそれこそ7社合同部屋せていただいているということなんですけれどもGPT浮学というプロジェクトが今格化いたしまして主要な期間でいうとそれこそ東北大工さん坂口先生のここで言うと栗田さんと佐々木職さんって呼ばせていただいていますけどそういった方々が中心になって協力していただいているとそれ以外にも東高台さんであったりとか理見サイバーエジェント名古屋大学富士通弊社言葉テキノロジーズが連携していけるようにそういったプロジェクトが本格化しましたこのGPT風学っていうプロジェクトは大きく分けて2つのチームがあって1つ目のチームはシステムチームと呼ばれるチームですこちらは区学場のインフラを整えているそこでAIの学習が効率的に行えるようにしようと思う具体的にどういったことを解決しようとしているかというと、先ほどのスライドがあったとおり、コミュニケーションコストの問題が解決しようであったりだったりだとか理論と実測値が小さくなるようにしようそういったことをやっています。NPチームの方には東北大学の方々が主導していただいてこちらでは日本データの準備であったりとかトークナイザーの開発そういったことをやりたいと思いますこちらのプロジェクトはまだ動いているので今後もどんどんニュースが出てくるかと思いますが皆さん、温かく見守っていただければと思います栗田さんと久保育先生にはすごい思い出ますが、一緒に頑張っていければということですそうですね、ここまでが富岳のお話し。深くっていうのはすごいやっぱり面白いプロジェクトで、今後、今後今一番速いスーパーコンピューラだろう。間違いなくAI性能に限っていえば富岳よりもっと速いスーパーコンビューターっていうのは1、2年で出てく��と思うんですよ不学で何で恋愛学習をやる意味があるかっていうともっと速いスーパープペーターが出てきた時に、空学で学んだ知見を直接生かせるように、そういった書き橋に役割です。これはすごいサイエンスとしてはエキサイティーになっている私と火災が考えていたのは、大規模言語モデルっていうのは？ただすごい社会に使えるレベルになっているのでこれを実装しないとやっぱもったいないし、実装してみたいな社会。そういったことで、言葉、テクノロジーという企業を立ち上げまして。ちょっと思考実験をまずしてみたいので大規模言語モデル素素晴らしい。すごいいろいろ使えることに、果たして日本のビジネスに使えますかと。弊社は言葉、テクノロジーズというのは。日本のビジネスと相手にいろいろとオペレーションをさせていただいている会社などこの時点ですでに日本国内の340社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったり旅行会社さんに大規模現行ゲームを持てるお宅どうお使い習い習えますかそういったことを聞いた時にこうく旅行計画を作ってそれをパンフレットでまとめるっていう業務よく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやる時に例えばGPP法を考えてみましょうプロプトかけますよこういったプロップをかけて渋谷駅から出発して火災の地元である奈良公園で日帰りで観光する計画を作ってパンプレットにしてくださいそこでは交通手段を含めてください東大寺も観光できるようにしてグルメ回りをしたいのでグルメマインまできるようにしていますじゃあGPT4は実際出てきたアウトペットなんですけど一番上を見るとすごい東京からならや伝統と自然の一日旅行その下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ伸ばしていっているとちょっとページ3スケジュールでとんでもないこと言うわけですよ朝7時渋谷市を近江大阪の新幹線に乗る渋谷駅に新幹線なんて撮ってないんですよこれはちょっとよろしくな。もっと面白いことが起こっていて。11時半、長い人と並べる人がそうして斜めるつしかせてよるかもです。まあグルメ回りしたいけどジョークとしては面白いですよジョークとしては一級でこんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事がなくなっちゃいます何が言いたいかというと大規模型言語ゲンガモデルってGPVP4に代表されるようにめちゃくちゃ反応的だと反応的なんですけども日本語の閉じたドメインのようなところでデプロイしてしまうとまだまだ業務に差し支えられる欠点があるそれ以外にも、そもそもこれをやった理由っていうのは、旅行会社さんがパンプレットを作るためですよ、パーフレットを作るためなんですけども、現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないと、結局、パワープレットが必要な旅行会社さんの視点に立ってみたら、この生のペキストをマークダーを取ってきてそのパンフレットにもう1回、リストラクシャーする作務が必要ですこういった現状の大規模言語・言語モデルの欠陥を研究開発することによって、どんどん直して直していく。直して大規模言語モデルをアプリケーションとして分かりやすい形で、企業さんに販売するそういったことをやっておりましてつい直近では米国で数億円規模の指導資金調達を完了して国内でも政府指導の補助金を今、申請中。加瀬からもありましたとおり、つい先日、東京オフィスを六本木院に開設して取り組んでいるとエンジニアサイティストを始め、まじ々に10月始めた順次中、チームチームとあるい年内には5人から12程度のチーム編成に生きれば、そういったふうに思っております。そうですね、これが先ほど申し上げておりますで、そうですね。これが先ほど申し上げた内容を少し細かくしたところなんですけれども、研究開発としては、例えば、非英語圏の言語でも大規模言語ゲンゴモデルがしっかり使えるようにした���とか、それこそ、大規模言語モデルっていうのは、リアルタイムな情報がすごい弱いわけですよね例えば、東北大学から仙台駅に今行きたいとなったら、大規模型言語モデルって基本的に今の時間を調べて、それに落ちた答えをしてくれるっていうのはなかなかないので。そういったところツールフォーマーといった論文がありますけどAPIコールを通じて解決することで大規模言語モデンリアル体制を持たせるであるそれ以外も、マルチモダル能力で、そういった研究開発をしております。こういった研究開発した言葉、フォーマンという名付けられて我々言葉フォーマーって呼んでいるんですけど弊社のシステム、言葉フォーマーをユーザーの方々に分かりやすい形で、パッケージング化してあげることによって、例えば、コールセンターであったりとか、コンテンツ生成そういったものにして、企業さんに販売していく今日のトークはお知らにしたいと思って、お弁者が最初に取り組んでいる教育分野のカスタマーさんと一緒にプロジェクトをやらせていただけるんですよね。教育分野もちょっとここはアカデミックトークなので、名前も行ってしまいますが皆。さん、なんか寸大に行かれた方っていらっしゃいますか？あまりないのかな、なるほど、あまりないのかな寸大っていう塾があるんですけどまあ、弊社のかすん大様とプロジェクトを一緒にやっておりましてここでは、どういうプロジェクトをやっているかというと、生徒さんが塾の中でお使いにある練習問題とか、そういったプロジェクトをやっているんですよ。須大様が今度いった課題さんが今、どういった課題を抱えてらっしゃるかというと、こういった練習問題を作る時に、基本的に教員の方々が指導で試験を作ると。その結果、ものすごい労力が費やされているんですよ例えば、クレイジな話なんですけど共通テストの1個作るのに何時間かけていますか？っていう話を聞いた時に、1つのテストに300時間かけているらしいんです。300時間、それ年1回やるわけじゃないですか、何回も何回も繰り返す弊社がやっているのは、本当にすごいシンプルに教員の方々が使えるようなシステムで、ここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんですよここでは、アメリカを初めて訪れますよというコンテクストで問題を作ってくださいその結果、出てくるものが、例えば、こういうパーフレット形式のビューク。今は共通テストってすごい情報分析に寄せたような問題が出ていて、英語でもないこういうパンフレットを呼び解いて、問題に鍛えてくださいみたいな問題の問題があるんです。だからこういうパーフェットみたいなものを直接出力することによって先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこういったパンフレットを作ってその後はそれに即した問題を先生方に生成していただくわけです質問の正々に進むというふうに進むとこういった感じで4択の問題がパープレットに属した形で成縁されて最終的にはPDFであったり出力するPDFはただに問題のコンテクストをつないでだけのものなんですけどワードで何で出力するかというとやっぱりAIが出力したものなので先生方が気に入らないものがありますそういったものを、例えば、ワードだと直接先生方が手を加えるだけで、すぐに生徒さんに配られてもらってもそういったことを教育ドメンではやっております。もう一つ紹介したいのがもう一つ紹介したいのが交通分グJR東様と一緒にプロジェクトルトをやっておりましてそこでやっていることとしてはカスタマーサポートの自動化というくとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやっているじゃないと思う方もいらっしゃると思うんです確かにその通りですただJR東様のチャットボットってめちゃくちゃ難しいんですなんで難しいかっていうと、さまの方々が本当に多様なお、問い合わせをしてくる。本当に多様なお問い合わせをしてきた結果ちょっとGPT4をいじっただけだと想定解決できないような問題が出てくれば例えば、その例をあげると、渋谷駅でお裁表を忘れてし���ったんですけどど。うすればいいですか？そんなチャットGPTに聞いても分からないですね何をやる必要があるかというと例えば大規模型語言語モイルが裏でAPIを呼んで例えばSQLのような報道を書いて例えばJR東の中にあるインターナルなデータベースにお問い合わせをして忘れ物状況を取得してそれを踏まえて返答を送らないといけないそういったことがないんですよもっとクレイジーになれると例えば何でしょうね渋谷駅から新宿研究に行きたいんだけどできるだけもうちょっと疲れてるだけもうちょっと疲れてるからあまり飛んでいない路線を選んでくださいみたいなことが気になる方もいるんですよそしたら何をする必要があるかもめちゃくちゃくちゃ難しいですよめちゃくちゃ難しいとでもなんかありがたいこととしてはJR東大久間って今各駅各列車にセンサーがついてて混雑状況が分かるんですよ結構、我々頭がおかしいので、クレジなことを考えるわけですよ。もしテンサー情報に大規模型ボケグモデルが直接アクセスできてその混雑情報を取って、これたら、そういった座っていける路線は何ですか？みたいに質問にも答えられます。そういったことをここではやっていますすごい何だろう簡単に見えて難しいアプリケーションなんでこれはめちゃくちゃエクサイティングですもう一転エクサイティングな点を上げるとするとやっぱりJRヒャスタマーのカスタマンセンターって皆さんちょっとお使いにならないかもしれないんですけど結構その高齢の方々とかって電話を通じてアクセンターに電話をかけていらっしゃったりするんですかねその数で言うと1日大体数万件年間でいうと、それこそ数百万件、数千万件ってなんていません弊社が開発した人がご視野児。,"[18.054609298706055, 17.626131772994995, 17.602790117263794, 17.464856386184692, 17.643088817596436]"
-kotoba-tech/kotoba-whisper-v1.1,15,True,True,sdpa,cuda:0,long_interview_1.mp3,True,256,18.204185914993285,0.17810196179511653,NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心にちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジスという企業を作るに至ったかなっていうのをお話しさせていただければと思いますよろしくお願いいたしますそもそも誰やっていう話だと思うんですけど小島紀樹と申しますよろしくお願いいたします小島大学と申します私、コーネル大学を卒業しまして本当ディフェンスをやったのは2、3週間前なんですけれどももともともとはコーネル大学ってニューヨーク州の土田舎の伊阪という街にあるっていうイメージがある方も多いと思うんですけどもコーネル大学って2つはイサカにあるんですけどもう一つはニューヨーク市にあるインソ川の上に浮いているルーズベルト島っていうすごい細長い島があるんですけどそこでPHEをやっておりました私は小島っていう名前なんですけども本当にしょうもないネタを言うと小島の上でPHUが振り方そういう四面間となっております私はPHの専門部屋としてはマルチモダリティーと呼ばれる自然言語のシステムにどうやったら言語以外の情報を例えば画像であったりとか音声といったものを理解できるようにさせるそういったことであったりとかインターナクティブラーニングと呼ばれる最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういった検訓の方ではハギングフェイスでちょっといろいろとプロジェクトでお世話になったりもしましたそうですね学部から実はアメリカに行っていてミシガン州にあるミシガン大学アナーバーコっていうところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンガッチさせていただきます今日はよろしくお願いしますはい、青木純吾といいます。トヨタ工業大学鹿児島という日本、名前から分かるとおりですね、日本のトヨタが昔出資をして今独立な組織なんですがそちらの方でリサーチアシストプロフェッサーという職を持ちだから小島と共に言葉テクロジに取り組んでいるという状況です私も本当にPHDも出来立て小屋という��最近取りまして先月8月に無事シアトルですねアトルにあるワシントン大学でコンピューサインスの博士課程を卒業しました研究分野としては最初の方は機械本屋だとかマシンチャンスレーションとかあとは効率化とか言語制制制のイバリエーションとかそういうことをやっておりましたちょっと遡残るとですね実は私も暇と見た形で高校卒業後は大学はアメリカの家康大学という統計会当時は統計にいたんですが統計学部を卒業しましてその後その後ELELで働きながらワシンコ大学に進学したという経歴ですね最近イエル大学も知名度がってきてちょっとよく分からない教授がいろんな番組でお話をしているという名前は誓いさせていただきますけどもまあなんか知名度ががってきてうれしいんですがここはイエドにタックスでオフソードとかケンブリッシュの生まれてこれわざとなんかやりたりしてるんですよねわざと古く見せるようなアメリカって新しい国なんでそういう感じてるというでも非常にきれいな感じがありますこれがTTIC東京都宮大学シパワークの中でこれもまた古いものとまた電波等下なんかでそれを改造して大学になったとしばらく日本にも非常につながりがあって古井先生というスピーチの対応ですねついさっきになくなっちゃったんですが彼が昔ここでプレゼントをやっていたということで本当に日本のゆかりがあってなおかつ私が実は今パカルティーで唯一日本人なのでちょっと責任感を持ちながらやってるという感じですねこれがそこになりでほとなりここにいるんだというとまさに宇坂口さんとの佐賀井先生ですねすいませんつながりが本当にこういったありがたい機会をいただいていて私は本当に2021年のちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に佐川口さんがAI2にいらしてそこでインターのメンターを一緒にやろうということでインターのメンターを最初3か月とやりつつでも本当に楽しくていろいろパーテイムで練習しているうちにもう1年ぐらいもうちょっと長い日々で一緒に研究をさせていただいて本当に楽しい日々でオフスがあって私のアドバイザーノアスミスなんですけどノアスミスが出てノアスミスが出て写真を撮って掘り出してきました本当に懐かしくて本当に昼ご飯を食べては雑談してですね昼ご飯を食べてるうちに論文がそれなりにかけてくるみたいなことをやっていて大体雑談の中ににいろいろあったんですけど最後の方が結構皆さんご存じですか?白い虚党の話をよくしてましてこれいろんなバージョンがあるんですけどこれあのカラスアトシャキっていう俳優がやっていたバージョンが2人ともすぐお気に入りで広役とのバージョンどこが一番いいかというのを話し合っていて坂口さん的には後半のやっぱり財前教授になった後に亡前教授になった後に財前教授なんですけどなくなってこうちょっとネタバレになっちゃったなそのあたりはダメだと税務にこそ面白いことをおっしゃってさすが坂口さんの見るところは素晴らしいなということで涙では泣かすだけじゃやっぱダメなんだなっていうことを感じましたねこれがいって撮って撮った写真でそららどこかにいらっしゃると思うんですがそんな感じですごいいところでしたね会社としましては藤間と創業しまして今は日本とアメリカの二極対戦みたいなクロスボーダーという形でやっていて私自身T-PICプロジションもありますしあとはシアトルに今シャトルに本社はあるんですがそれでもうすでに東京の国民にオフィスを構えまして日本の死者みたいな形で今やろうという形で進めているということで言葉と出申しする会社ですね基本的に下げ年語今話題の大規模型言語モデルですねLLの特に非英語圏語系のベース言語モデルの開発とか場によってはマルチモータルとかそういったことをもんど挑戦的にやっていきたいなともちろん同時にやはビジネスですのでアプリケーションの提供も行うことでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっているやっぱ初期市場としては今は日本を考えてまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりましたし、何かし���やはり日本の中でインモを作っていきたいなということで、今日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになります一部目はまさに私はもう5年間PHDがありましてこの5年間って恐らくNLPの歴史の中でも一番激動の5年間だったと思いますので運良くいいのか分悪いのか分からないですがそのタイミングでPHDを終わった私から見た今思うとこうだったよねみたいな話をちょっと過去の話をちょっと第1部では第2部からはですねもっと直近な話で大金モデルの時代の到来ということで私たちがどういうことを考えていたのかということを話したいと思いますそれ、あとは、やはり前を行きたいということで、未来について話していきたいと思います。はいということでということで適広のPHD5年間ということでこれはもう本当にもう本当にもうはいということでこれはもう本当にもう私のPHLをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で最初だけポジズニムな話でいこうと思います一番最初にKHDDが始まる前にイエル大学にやっていたのは構造解析とかいわゆるシンタックスとかパーショングとかそういうことをやってその後ですねワシントン大学に移動してずっと英語ばっかりこの構造解析とかずっと英語なので英語ばっかり言うよくないので私自身多言語を私た言語をやりたいなということで多言語を解説に伝うことをやってきたそのうちに他言語をやっているうちに、他言語というか、機械本やんでしょうということで、マシントランスレーションを毎回ありがし、その後にどんどんマシントラスレーションの一般のことをやりじめて、ちょっとこれ見づらいんですが、モデルの高速化とか効率化とか、そういったことにやっていったり大一部現をモデルに取り組むということで、無理やりまとなれば、だんだんオーディエンスが最終と比べると大きくなっていたなということで、これはちょっと自分が一つ成長できたポイントとして、少しきれいに見えるかなと思いまして、最後に一つだけポジティブなことを言っておくと、環境のやはりいろんなものを変えていった時にですね環境の変化が本当に大きかったなと思っていて、皆さんもし機会があれば、ぜひどんどん環境の変化を求めていったら、いろんな経験ができると思っていて一番最新学院院院学にいまして、ワシントン大学にいながらちょっと引き詰まったのでメタでインターでインターンしたり、そういったことをやっているうちに、あとは最後は最後のサラドイツーでインターチャンをしたり、マイクロソフトに行ったりして、環境の変化に応じていろいろプロジェクトとかも楽しくできた方だと思うので、ぜひいろんな日本いいところですし、仙台は本当に素晴らしいところですけども、いろんな物理的にも環境を変えるのもいいことなのかなと。まあじゃあせっかくせっかくまずは過去の話ということで一体一体私がPHリ始めた頃何が起こったかというとこれですねディープコンテクショナイントということでその前まではワーデンベリングというかも多分多分今の人知らないのかなみんな授業でやってますね教科書かしみたいな感じに単語をですねいろいろいろフラッシュファイアとかいろりやるときにベクトル化したいみたいなこういうことを今から言えばものすごい浅いニューラルネットワークみたいので周りの単語を予測することでベキトル化るよねみたいなそういったそういった言語学とかディスティブーション・マンティクスとか言ったりしますけどもそういったディスティスティブーションのスマンティングスクスクトがそういったりとかそういったディスティブーションオスなんですそうですねそういったと言ったりしますけどもそういった自然なことをやっていたというのがこれでぐちゃぐちゃぐちゃこういうことをみんな頑張ってたんですよねこれ最初ミコロフの2001年もっと前から多分あるんですがあと黒をウエクトルとかいろびやっていてこういうことやっていたんですが大体私がPシリア始めた頃ですねこれまさに実はワシント大学で私がちょうど入る直前に起こったことなんですがワシントン大学はまさにAI2でエルモンというのが出てくるこれこそ今もうあんまり知られてないのかもしれないですがエルモの研究というのがあってそれはですね要は今まで浅いに色な手に行っていたけどもっと深くして何日モデルにしていろやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりコーブの効果を使っていてそういうことがあったということがエレモだったりコーブでちょっとこれに似たようなアイデアがあってそういった時代に私はPGで始めたということでここで終わりだと思ったんですね私は実はもう完全にこれ以上これ以上間違うことはないんですが完全に間違っていると思うちょうどこのセバッシャン・ルー�のMVS-REといってどんどんビジョンみたいになってきたよねと結局当時ビジョンでよくやられていたのはイメージネットで大量に画像のクラジケーションとかを学習させててそのベクトルを使って他のタスクトスクとかを得たっていたんですがまさに同じことが同じことが起きていてまさに同じことが他のカスクタイトラッシングとかクエッションアンセリングとかマシントラーションとかをやらせるみたいなイメージネードみたいになったよねっていうことを言っていたということでこれがああよかったねと自然言語シェルもようやくビジョンに落ち着きましたと言ってたところこれは始まりでしたらなかったんですがちょっとその時私が私が言って何をやっていたのかというのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていてLも出てきた時にラングチモデルを基本的に英語でやってきたんですがマルチリンガルにやらないといけないよねっていうことを考えていてじゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングジコーラブラッシャンとかヒーブルとかヘブルとかどれぐらいバイリンガルでラグチモデルをトレーニングしてそれをそのベクトルを使うってことをやることをやることでそうすることでモノリンガルの時にバイリンガルにした方が圧倒的にスコアが上がるようねみたいなことをこの時考えてやっていましたこれがラクルの2018とかじゃあ2019か18かその辺の研究でした結局でもこの研究でした結局でもこの研究ってあんまり意味なかったですなぜかっていうと今反省すると結局さっきバイリンガルのグラフ見せましたけどちょっと科学的な指標にこだわってたんですよねじゃあバイリンガルで今だったら例えば英語があってそれに全部ごちゃまずしたいろんな言語を加えて言語モデル作ろうみたいな発想になるんですが当時はやっぱりちゃんと比べなきゃいけないでしょより多言語に大規模に拡張してしまって例えば日本語だけのモデロ日本語定語のモデル使っても助かる人って使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね今思えばもっと使いやすいものだったらというふうに思いましたし当時トランスフォーマってまだそこまで使われていなかったのでASDMとかを使ってやっていましたということで結局時代が読めなかったら負けましたということですねその負けた相手なんですがXLMのフェイスブックからFBスブックスタッチから出たらXMというのがあってこの人も本当に論文のよく分かんないしよく分かんないですけど実際に使えるものを作ってたんですね彼はそれをダウンロードしてサイベーションももちろんですしそれ以上にかく伝えのものを作った本当に素晴らしいなと思った次第ですコンピューターサインスのP資料をやるということで自分は科学者になるなと意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしてるということであと最後にタスクの選定をちょっと間違っていまして私たちはNARとかエネシャンティングルングがやらっていたんですねこれも結局まあいいんですけど当時ものすごい流行っていったのはクエスチアンスルで結局QAで結局QAの人たちはこういう本物読んでくれなかったんですよねその割にこういう論文を読んでくれ���なので結局使われなくなってしまってその割にこういうロボンを読んでくれてなので結局使われなくなってしまって何か使う数は正義というかそういうことで結局インパクトを残せなかったなというのを今反省していますバーチャルのバートの時代に来たということでさすがにバートは皆さん知ってると思うんですが当初これ出た時はですねバートはただエルムを大きくしただけだよねというふうに思っていましたしこれ私のアドバイザーのアスミスとあともう一人ループゼルークゼロモイアンという人がいます。同じワシンケンターナイルの恐竜ですが今フェイスブックのディレクターとかNRPもリサーチャーしている人で彼はエレモの作者でもあり最近だとにかく大規模ーブ言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言ってたかというと単純なエルモのエクセンションなんかに大してベスペーパーも上げる必要ないしあんま興味見えようみたいなことをまあでも実際にこれったらベストペースタイプローパーを取った前なんですが実際撮りましたよねいかにこうくろうとか間違えたかとあとルークはちょっと面白くてちょっと見方が違ってですね彼はエルゴンの作者ですから素晴らしいと言ったけども自分の頑張ったエルボが1年が続くと思ってたのに結局1年続かなかったよねちょっと悲しいねみたいなループはしていてちょっと違う見方をしてるのかなというふうに思って面白かったんですがそのループもですね実はGPT2がちょうど出てきた時にこれタンダルタンデル何やってんだろうなんでこんなに騒いでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですね当てにならないと僕らになるということですねバートの被害になって当初はエレモンが大きくなったものだと思って行ったんですがもちろん違ったとNLPの世界を完全に変えてしまったというものなんですがもう一つちょっと面白かったなおまけの話として当時ハギンフェイストランスフォーマーズのライバリーのきっかけにブンのきっかけになったんですよねこれ昔ハイトウィン・フェイン・フェイン・フェス自体はキットボットとかの会社でもともとあったんですが彼らがバードはGoogleから出たので検査ブロードで吹かれてるそれ研究者みんな検査ブロード使いたくないんでパイトウトウ�を使いた時に彼らがそのパイトウォーチに書き起こしたコンバートしたものを出したそれがパイドチパートでありそしてそれが結局カニンペインペーストランスフォーマンスにつながっていったということでこういうの商業向上というか社会の流れていは分からない思わないことで、こう思う表記していくんだな、というところですね。その時私は何をやっていかかというと当時にマシントランスレーションやりたいということでマシントランスレーションのスピードアップとかですねこの2個目の論文はですね1個目のログのマークでいろいろスピードアップでこうなんか平列化とか一生懸命やってたんですね結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話もやってなんかちょっと怒られたようにしたんですがでも結局これが本当のある意味真実なのかなと思ってちょっと自己自己意味が実なのかなと思って自己議が出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT3の時代が来てフィーショットきて、だんだんこの時からだんだんクラスピケーションにリーナーがなくなってきていて、だんだんみんなジェネレーションをしよう、ジョンにしようっていう方向に来たというのが当時の中で、もちろん存じのものフィショットラーニングのでもあとグループとかオープンソースの方でも大学とか組織をまたいだプロジェクトが出てきたっていうのがこのキーピーピッジスティスティング時代ですがこの時の研究はバイディメンシャービーダーバーボードといって今までのビーガーボードというのはジネレーションのな形でそういうのをやったということであとはやはりジェネレーションにとってイバリエーションが大切だということでイメージ・キャグシュニングのイバリエーションとかも佐賀井先生と一緒にやっていたという感じのことをしていましたこれちょっと予言なんですがこういう佐賀吉さんのご提案で漫画を描いてみようということで漫画を描いてこの論文のPRをツイッターでしていたというこういういろんな楽しいことを本当に楽しくやってたということですはいでついにお待ちかねチャックGPTGPTGPT4の時代が来たということはまさにこれはまさにこれは社会実装の時代に来てしまったらともちろん研究も多数なんだけどもとにかく使ってどこが問題なのかということを洗い出していかないとなかなかベンチマークとかで現れないものかなということを感じていてそういった経営で企業して小島ともにやっていこうというふうに思い出たったと特に英語にNLPの業界は編集してますよねこれが大体インターネットユーザーの数で25%ぐらいインターネットユーザーは英語をしているんですが残念ながらやほとんどが英語でしか実験をしてなかったり英語についての論文だったりするということで、これはまず一気英語編の基盤モデルをどんどん作っていかなきゃないよねというふうに思っております。結局、自然言語�っていうのは何だったのかを振り返ってみると結局、全てはスケールだったと、これはもう否定がしようがないなということで、いろいろ私自身もいろいろ作りたくて頑張ってたんですが結局、大きさで解決されてしまったことも多くて、そこはもう認めたらおけないかなということで間違っていたと、私自身は間違っていて、そうですね、どういうことです、あと、もう一つ面白いと思ったのは、やはり科学的なプロセスが違ス化ができるって書いたな、ということを例えば、トランス・フォーマーが2017年出てきた時に私はそのトランスフォーマーがこんなに広がると思わなかったっていうのも仕方ないから論文いくら読んでもよく分かんないです。なんかそのアテンションのディペンネージがうんだなみたいなそこって多分こって、多分コンスフォンの本質っていうのは、今思えば、当時のですね。そうですねGPUとかTPUとかそういったそのパラレルの計算の訓練がしやすかったですねですねLSTMとかだとどうしても巨大化してしまうとどんどん時間がかってしまうけどトランスコマンをパラレルにできるからハードウェアとすごい相性が良いようにハードウェアを決定論みたいな形でハードルアによってトランスコムのすごさが余計リーズされていって似渡る方々と言われるんですがそういった経緯があるのかなということがあってだから分からわからなかったのも仕方ないのかなと思ったりもします他の例で言うと例えば、アダムでうまくいかなかったらやめるということなので、結局、そこも庭とりと卵であっていろいろ予測するのは難しいよというふうに今思っていますちょっとこの非科学的な支配する世界ということなんですがでも、よく考えてみるこれもそうなんですよねやっぱりコンピューター・サイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよ、あの大学地にケミスティックスとか言わなくていい。同じようにオープンって言り、オープンじゃないかな実際、クローズだということで、そういうことだとアメリカのチェーンでセイクウェイっていうのがあるんですけどセーフェインは全然安全にないですよね大体危ないところにあるのでだから、結局、そういうもんなんだな、ということで言ではできないです。専門家の知見というのは、結構トランスフォーマーのポテンシャルを私は当時期づかなかったし、あとチャットボットっていうのも意外でしたねやっぱりチャットって、人間とチャットをめんどくさいねなんで機会としないかっていうのが、当時の考えだったんですけど結局、チャットボットでこんなに有名になったんだっていうのが本当に衝撃でしたしいかに、私自身が人間を理解できてないかということですねということで、何も分かってないまあ、でも、とにかく過去の話をしてきましたが、前に進んでいきたいというふうに思っております。5年間を簡単にまとめると適度に環境を変えるのはプラスでしたしでも専門家ですらは見らないわからないのであんまり専門家の言うこととかあんま��専門家が言うこととか気にしないでくださいということですね最近なんか自分がいい人も論文言語悪い理由がするねまあねあともしたちはですねアイフェンじゃないかなバートとかってアイデオ自体は本当に基本的にエルムを大きくしていろいろ他のアイデアはあったんですけど結局そのマスクラングチモデルとか同じようなアイディアがあってアイディアだけじゃなくてエクセキューションの重要なのかなっていうことを思っていてでもこれって結局研究だけじゃなくて企業とかも見えると思うんですが例えば企業においても開かないのおいても必ずも早いもの勝ちじゃないのかなエルモンとかLモンとかあんなに早い段階で実はもっと先にも言って前にもあったんですがLモンとかエクセールドクとかありましたけど局パートナ全部持っていったりGPT3とかGP5が全部持ってったりですね結局早めの街の世界というよりもそういった不思議な神のみず知りみたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばグルーブルとかフェスブクって最初の検索エンジンでもないしフェスブックも最初のソーシャルメディアが何でもないわけでだからそういった不思議な力があるなというふうにも思いました最後に科学的指標というのも大切なんですがそれだけにこだわらずにやはりコンピュータサインティストはサインティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中に出していきましょうということを思っていますということでこれからは未来の話をしてきたいと思います大規模大規模ルの時代が来たと皆さん大規模現行形モデルどう思います?すごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくる時は基本的にチャットボットボットみたいなものを作ってみたいなものを自然言語だけじゃなくてソフトラインジネリングの世界でも自然言語も入力をすればHTMやCSSのコードを吐き出してソフトエンジネインリングをサポートしてくれるそれだけじゃなく、文章の執筆要約構成メールの返信本当に反応的なものに使えるというのは間違いないなと思うんです。大規模ゲイントモデルってそもそも何だったかっていうと皆さんご存知の通りものすごいシンプルに学習されたAIなわけですよね文章があって、その文章の次の単語を予測すると例えば、学習データの中に、第一代大統領はジョージ・ワシントンなので、ワシントンドンという言葉を予測するとなんでこんなシンプルなものが役に立つのか、すごい不思議ですよく言われることなんですけど、結局はスケーリング速度になるわけです。です、よく言われることなんですよく言われることなんですけど結度を学習する時って、大きくわけで、3つの要素がある。学習するAIモデルの大きさそれに食べさせるデータの量。この学習を行うコンピューターの資源と呼ばれますけど、この3つだものね。何が申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習中で増やしていったけどか突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが反応的な性能を持ち始めるものだから今はみんな注目しているわけですこれを本当にこの傾向すごいスケーニング速を分かりやすく示したグラフがこうなんですけどこのグラフっていうのはX軸がまだモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども見ていただくとおり、その傾向というのはログリニアなのが、コンピューターの性能自体というのは皆さんご存じのムーアの法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えていると。要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが反応せず何が関係あるかすごいスケッチなグラフで申し上げないんですけどもこれちょっと賛否両論あるグラフなのでちょっと反対意見がある人は後で個人的に来てるすごい傾向はうまく捉えていると思っていてこのグラフで何を表しているかというと8つタスクがあるんですけど���えば算数力みたいに大規模言語モデルが5たす6は11そういった算数の問題を答えられますタスクであったり多言語力英語でQAができるモデルがペルシャ語になった時に同じようなことができますか読解力っていうのはこういったタスクを見ていく時にここも同じなんですよY軸は使われたスーパーコンピューターの実装するX軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしてきた時に突如変異的に大企業保険のモデルがタスクの能力を得るポイントがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて、突如変異点が来ると。これが反応性なんです結局、計算資源を増やしていった時に、突如、変動力を持つそういったものが、大規模デルモデルの反応性なんじゃないかなっていうのは、私なりの捉え方ですここからはちょっと自分たちで大金5年モテルを学ぶっていう話をしたいんですが、2019年から2022年、何が起こっていたかというと一言で申し上げますと各国で大規模言語モデルの開発競争が起きていた。アメリカですアメリカではマイクロソフト社インターインターインターインタストリーを中心に大規模なモデルの開発競争が大きぼみることが大きぼなスーパーコンピューターをオープンアン社に提供して当時GPT3英語メインの大規模型型モデルドを学習していた全く似たようなことが中国でも起こっていて中国では政府が所有しているスーパーコンピューターを用いて政府機関がGPT3を超えるようなスケールです世界で最大規模のパラメターの数の大規模型予見のモデルを中国語で学習している。この動きって、アメリカと中国だけじゃなくて、ヨーロッパでも大きい。ヨーロッパでは、フランス政府が所有するジョン・ゼープルト呼ばれるスーパーコンピューターがあるんですけど。それをハギングフェースと呼ばれるば、皆さん個人のハギングフェイス社による貸し出すことによってハギングフェース者が多国籍用の大規模型モードルを学習していたこの多国寄り王って面白くて実はドイツが含まれていないのは、フラスドイツの緊張感が現れ、それ以上に重要な小話があって。実は、このフランス政府がスーパーコンピューターをハギングフェスに貸し出す時にハギングフェスって？当然、グラントプロポーザルみたいなものを書いたんですよね。これこれこれこういう理由でオタクのセルファークターを使いたアゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーがフランスを食い尽くそうとしているのだから我々は独自でモデルを開発する必要があるみたいなことを言っていたんです日本を見てきた時に今でこそ本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな予定あったんですけど当時、日本国内でハギングフェイスみたいな人はやらないんです。最初に割れてくる疑問として、なぜ日本国内でできないのかできないのかまず、そこをしっかりしたい。大規模言語、言語、モデル学習で何が一番重要かというとやっぱり、それはスーパーコンピューターのリソースなんですが。日本ってスーパーコンピューターがないかというと全然そんなことはないわけです一番分かりやすいところだと皆さんも研究で使われているかもしれませんABCIと呼ばれるGPUベースのスーパーコンピューターがあるとABCIS素晴らしいスーパーコピューターなんですけどね実は日本最大級のスーパーコンピューターってABCIじゃないんです不学って呼ばれるスーパーコンピューターで皆さん、年齢的にちょうどベストヒットかなと思うんですけど以前、民主党政権がありましてそこで、レイ・ホンさんという政治家がいらっしゃったり。レイホさんが仕分け会議ということをやっていた時に1位じゃダメなんですか2位じゃダメなんですかっていったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を超っていたんですけど今はレアホンさんおっしゃる通りに2位になってしまっていますそういうスーパーコンピューター何が重要かというとこの富学っていうのは本当に化け物みたいな性能を持っていてギングフェッシャーがブルームと呼ばばれる大器オンゲングモデル���学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし前近を使えた場合は考えても10倍速いんです10倍速いっていうことは同じ計算をやった時に不学だと10倍早く計算が終わるでも、深くって、何がグレージーかっていうと。CPUベースのスーパーポンピューターなんですよ一切GPUを搭載してないと皆さんCPUで大規模言語モデル学習したことあります大規模ゲームモデルじゃなくてもんですけどディープラウンドでCPUでやらないんです基本的にはGPUもし台所はTPUUAIに特化したハードウェアだったA100っていうのがデータセンターで最先端のGPUでもその一つ前は1本目まして前はA100というGPが最先頭に搭載されてるCPUって藤津A-6-4FXって言うんですけどAIの演算性能に限っていえば富岳のCPUって50倍遅いんですよ皆さん15万個のCPU使ったことありますか?多分ないと思うんですここで何が言いたいかというとぶっちゃけGPUがCPUが50個使って平列計算したら同じぐらいスピードが出るのねっていうのはまあちょっとクレージな間で佐賀な間にすごいご迷惑ってそういうことを当時考えていてそれをやるためのした分、散・併列学習というものになります。今でその分散並列学学習ってすごいろいろオープンソースのパッケージが出てきて皆さんご存じかもしれないところで言うと例えばマイクソフト社のディークスピードであったりヘルビディア社のメガトロンLMっていうパッケージがあってこういったパッケージってデータパイルモデルパレールって呼ばれる分散変異例学種をサポートしてくんですけどCPUで動かったんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVではマイクロソフトに書いていただいた分散平列学習のパッケージをCPU向けに移植してちゃんと平列でCPUが計算できるかなということを試したいんです初期実験としては非常にCPUが計算できるかなということを試したいんですけど初期実験としては非常にいい結果が出てここなんですけどCPUの数を増やしていった時にシステム全体としての計算性度がどれぐらい上がるかなっていうのを見てこれログリニアなんですけどログリニアなんですけど特にCPUを先行わたりまで増やした段階ではその計算速度が1個だった時期と比べて1000倍近くなっていくとこれまで小典数学学習がすごいうまくいっているなっていう感触だったんですけれどもこれはあくまで初期の実験で、当然、うまくいかないこともあって。一つはCPを大量に使うことでどういう問題があるかということなんですけどCPU例えば2個使っているだけだとCPU例えば2個使っているだけだとCPを1個同士がコミュニケーションすればいいだけなのでそれは問題ないとただCPを1000個とか1万個とか増やしていった時にやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分かる通りシステム全体としてその計算性能が上がるっていう時が若干落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションポストが上げられるようにしない人ってないよねそういったことも一つ課題化しているそれ以外にもすごい面白い発見もあってハードウェアって基本的に理論値と実測値というのは理論的にはこれだけ推量が出ますよ実測指っていうのは実際に使ってみたらこれだけしかスピードが出ませんでしたよ例えばトランスフォーマンの学習とかやる時にGPUの実測値って理論値の大体40%から50%ぐらい最近だと60%ぐらい出てるのかそのくらい出るかっていうとNVディアのソフティアのエンジニアの方々がものすごい波長い並々しい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションのこの特別なコードを使うことによって早くしましょうみたいなすごいなんかハンドウェビーなハードコアのソリューションがソフトチョイスタックマクウダレアの中にいっぱいあるんですよだからGPUは実測しているンジの幅がそんなに不実のCPUってそもそもそんなにAI学習を想定したものではなくてむしろシミュレーションとかそっちの方で使われていたのでそういった測定やストックが弱くて大規模な学習ができないのでこちらの日系新聞さんで��バーしていただいてそれこそ7社合同部屋せていただいているということなんですけれどもGPT浮学というプロジェクトが今格化いたしまして主要な期間でいうとそれこそ東北大工さん佐賀口先生のここで言うと栗田さんと佐々木職さんって言わせていただいていますけどそういった方々が中心になって協力していただいているとそれ以外にも東高台さんであったりとか理見サイバーエジェント名古屋大学富士通弊社言葉テキノロジーズが連携していけるようにそういったプロジェクトが本格化しましたこのGPT風学というプロジェクトは大きく分けて2つのチームがあって1つ目のチームはシステムチームと呼ばれるチームですこちらは区学場のインフラを整えているそこでAIの学習が効率的に行えるようにしようと思う具体的にどういったことを解決しようとしているかというと、先ほどのスライドがあったとおり、コミュニケーションコストの問題が解決しようであったりだったりだとか理論と実測値が小さくなるようにしようそういったことをやっています。NPチームの方には東北大学の方々が主導していただいてこちらでは日本データの準備であったりとかトークナイザーの開発そういったことをやりたいと思いますこちらのプロジェクトはまだ動いているので今後もどんどんニュースが出てくるかと思いますが皆さん、温かく見守っていただければと思います栗田さんと久保育先生にはすごい思い出ますが、一緒に頑張っていければということですそうですね、ここまでが富岳のお話し。深くっていうのはすごいやっぱり面白いプロジェクトで、今後、今後今一番速いスーパーコンピューラだろう。間違いなくAI性能に限っていえば富岳よりもっと速いスーパーコンピューターっていうのは1、2年で出てくると思うんですよ不学で何で恋愛学習をやる意味があるかっていうともっと速いスペースペーターが出てきた時に、空学で学んだ知見を直接生かせるように、そういった書き橋に役割です。これはすごいサイエンスとしてはエキサイティーになっている私と火災が考えていたのは、大規模言語モデルっていうのは？ただすごい社会に使えるレベルになっているのでこれを実装しないとやっぱもったいないし、実装してみたいな社会。そういったことで、言葉、テクノロジーという企業を立ち上げまして。ちょっと思考実験をまずしてみたいので大規模言語モデル素素晴らしい。すごいいろいろ使えることに、果たして日本のビジネスに使えますかと。弊社は言葉、テクノロジーズというのは。日本のビジネスと相手にいろいろとオペレーションをさせていただいている会社などこの時点ですでに日本国内の340社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったり旅行会社さんに大規模現行ゲームを持てるお宅どうお使い習い習えますかそういったことを聞いた時にこうく旅行計画を作ってそれをパンフレットでまとめるっていう業務よく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやる時に例えばGPP法を考えてみましょうプロプトかけますよこういったプロップをかけて渋谷駅から出発して火災の地元である奈良公園で日帰りで観光する計画を作ってパンプレットにしてくださいそこでは交通手段を含めてください東大寺も観光できるようにしてグルメ回りをしたいのでグルメマインまできるようにしていますじゃあGPT4は実際出てきたアウトペットなんですけど一番上を見るとすごい東京からなら伝統と自然の一日旅行くめちゃくちゃキャッチになったりとかこれだけ見ると日本のビジネスでもGPT4使えるじゃんと思う方も多いと思うんですけどその下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ伸ばしていっているとちょっとページ3スケジュールのとんでもないこと言うわけですよ朝7時渋谷市を近江大阪の新幹線に乗る渋谷駅に新幹線なんて撮ってないんですよこれはちょっとよろしくな。もっと面白いことが起こっていて。11時半、長い人と並べ行く突っかせているかもです。まあグルメ回りしたいけどジョークとしては面白いですよジョークとしては一級でこんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事がなくなっちゃいます何が言いたいかというと大規模型言語ゲンガモデルってGPVP4に代表されるようにめちゃくちゃ反応的だと反応的なんですけども日本語の閉じたドメインのようなところでデプロイしてしまうとまだまだ業務に差し支えられる欠点があるそれ以外にも、そもそもこれをやった理由っていうのは、旅行会社さんがパンプレットを作るためですよ、パーフレットを作るためなんですけども、現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないと、結局、パワープレットが必要な旅行会社さんの視点に立ってみたら、この生のペキストをマークダーを取ってきてそのパンフレットにもう1回、リストラクシャーする作務が必要ですこういった現状の大規模言語・言語モデルの欠陥を研究開発することによって、どんどん直して直していく。直して大規模言語モデルをアプリケーションとして分かりやすい形で、企業さんに販売するそういったことをやっておりましてつい直近では米国で数億円規模の指導資金調達を完了して国内でも政府指導の補助金を今、申請中。加算からもありましたとおり、つい先日、東京オフィスを六本木に開設して取り組んでいるとエンジニアサイティストを始め、徐々に10月始めた順次中、チームチームとあるい年内には5人から12程度のチーム編成に生きれば、そういったふうに思っております。そうですね、これが先ほど申し上げておりますで、そうですね。これが先ほど申し上げた内容を少し細かくしたところなんですけれども、研究開発としては、例えば、非英語圏の言語でも大規模言語ゲンゴモデルがしっかり使えるようにしたりとか、それこそ、大規模言語モデルっていうのは、リアルタイムな情報がすごい弱いわけですよね例えば、東北大学から仙台駅に今行きたいとなったら、大規模型言語モデルって基本的に今の時間を調べて、それに落ちた答えをしてくれるっていうのはなかなかないので。そういったところツールフォーマーといった論文がありますけどAPIコールを通じて解決することで大規模言語モデンリアル体制を持たせるであるそれ以外も、マルチモダル能力で、そういった研究開発をしております。こういった研究開発した言葉、フォーマンという名付けられて我々言葉フォーマーって呼んでいるんですけど弊社のシステム、言葉フォーマーをユーザーの方々に分かりやすい形で、パッケージング化してあげることによって、例えば、コールセンターであったりとか、コンテンツ生成そういったものにして、企業さんに販売していく今日のトークはお知らにしたいと思って、お弁者が最初に取り組んでいる教育分野のカスタマーさんと一緒にプロジェクトをやらせていただけるんですよね。教育分野もちょっとここはアカデミックトークなので、名前も行ってしまいますが皆。さん、なんか寸大に行かれた方っていらっしゃいますか？あまりないのかな、なるほど、あまりないのかな寸大っていう塾があるんですけどまあ、弊社のかすん大様とプロジェクトを一緒にやっておりましてここでは、どういうプロジェクトをやっているかというと、生徒さんが塾の中でお使いにある練習問題とか、そういったプロジェクトをやっているんですよ。須大様が今度いった課題さんが今、どういった課題を抱えてらっしゃるかというと、こういった練習問題を作る時に、基本的に教員の方々が指導で試験を作ると。その結果、ものすごい労力が費やされているんですよ例えば、クレイジな話なんですけど共通テストの1個作るのに何時間かけていますか？っていう話を聞いた時に、1つのテストに300時間かけているらしいんです。300時間、それ年1回やるわけじゃないですかから何回も何回も繰り返す弊社がやっているのは、本当にすごいシンプルに教員の方々が使えるようなシステムで、ここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんですよここでは、イメリカを初めて訪れますよというコンテクストで問題を作ってくださいその結果、出てくるものが、例えば、こういうパーフレット形式のビューク。今は共通テストってすごい情報分析に寄せたような問題が出ていて、英語でもないこういうパンフレットを呼び解いて、みたいな問題に鍛えてくださいみたいな問題があるんです。だからこういうパーフェットみたいなものを直接出力することによって先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこういったパンフレットを作ってその後はそれに即した問題を先生方に生成していただくわけです質問の正々に進むというふうに進むとこういった感じで4択の問題がパーブレットに属した形で成長的にはPGFであるパーブレットであったり最終的にはPDFであったり出力するPDFはただに問題のコンテクストをつないだらけのものなんですけどワードで何で出力するかというとやっぱりAIが出力したものなので先生方が気に入らないものがありますそういったものが、例えば、ワードだと直接先生方が手を加えるだけで、すぐに生徒さんに配られてもらってもそういったことを教育ドメンではやっております。もう一つ紹介したいのがもう一つ紹介したいのが交通分グJR東様と一緒にプロジェクトルトをやっておりましてそこでやっていることとしてはカスタマーサポートの自動化というくとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやっているじゃないと思う方もいらっしゃると思うんです確かにその通りですカスタマーの方々が本当に多様なお問い合わせをしてくる本当に多様なお問い合わせをしてきた結果ちょっとGPT4をいじっただけだと想定解決できないような問題が出てくれば例えば、その例をあげると、渋谷駅でお裁表を忘れてしまったんですけどど。うすればいいですか？そんなチャットGPTに聞いても分からないですね何をやる必要があるかというと例えば大規模型語言語モイルが裏でAPIを呼んで例えばSQLのような報道を書いて例えばJR東の中にあるインターナルなデータベースにお問い合わせをして忘れ物状況を取得してそれを踏まえて返答を送らないといけないそういったことがないんですよもっとクレイジーになれると例えば何でしょうね渋谷駅から新宿研究に行きたいんだけどできるだけもうちょっと疲れてるだけもうちょっと疲れてるからあまり飛んでいない路線を選んでくださいみたいなことが気になる方もいるんですよそしたら何をする必要があるかもめちゃくちゃくちゃ難しいですよめちゃくちゃ難しいとでもなんかありがたいこととしてはJR東大久間って今各駅各列車にセンサーがついてて混雑状況が分かるんですよ結構、我々頭がおかしいので、クレジなことを考えるわけですよ。もしテンサー情報に大規模型ボケグモデルが直接アクセスできてその混雑情報を取って、これたら、そういった座っていける路線は何ですか？みたいに質問にも答えられます。そういったことをここではやっていますすごい何だろう簡単に見えて難しいアプリケーションなんでこれはめちゃくちゃエクサイティングですもう一転エクサイティングな点を上げるとするとやっぱりJRヒャスタマーのカスタマンセンターって皆さんちょっとお使いならないかもしれないんですけど結構その高齢の方々とかって電話を通じてアクセンターに電話をかけていらっしゃったりするんですかねその数で言うと1日大体数万件年間でいうと、それこそ数百万件、数千万件ってなんていません弊社が開発した人がご視野児。,"[18.498502254486084, 18.186529874801636, 18.095500469207764, 18.03645157814026, 18.20394539833069]"
-kotoba-tech/kotoba-whisper-v1.1,15,True,True,,cuda:0,long_interview_1.mp3,True,256,17.916395521163942,0.3377347175013587,NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心にちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジスという企業を作るに至ったかなっていうのをお話しさせていただければと思いますよろしくお願いいたしますそもそも誰やっていう話だと思うんですけど小島紀樹と申します��ろしくお願いいたします小島大学と申します私、コーネル大学を卒業しまして本当ディフェンスをやったのは2、3週間前なんですけれどももともともとはコーネル大学ってニューヨーク州の土田舎の伊阪という街にあるっていうイメージがある方も多いと思うんですけどもコーネル大学って2つはイサカにあるんですけどもう一つはニューヨーク市にあるインソ川の上に浮いているルーズベルト島っていうすごい細長い島があるんですけどそこでPHEをやっておりました私は小島っていう名前なんですけども本当にしょうもないネタを言うと小島の上でPHUが振り方そういう四面間となっております私はPHの専門部屋としてはマルチモダリティーと呼ばれる自然言語のシステムにどうやったら言語以外の情報を例えば画像であったりとか音声といったものを理解できるようにさせるそういったことであったりとかインターナクティブラーニングと呼ばれる最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういった検訓の方ではハギングフェイスでちょっといろいろとプロジェクトでお世話になったりもしましたそうですね学部から実はアメリカに行っていてミシガン州にあるミシガン大学アナーバーコっていうところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンガッチさせていただきます今日はよろしくお願いしますはい、青木純吾といいます。トヨタ工業大学鹿児島という日本、名前から分かるとおりですね、日本のトヨタが昔出資をして今独立な組織なんですがそちらの方でリサーチアシストプロフェッサーという職を持ちだから小島と共に言葉テクロジに取り組んでいるという状況です私も本当にPHDも出来立て小屋というか最近取りまして先月8月に無事シアトルですねアトルにあるワシントン大学でコンピューサインスの博士課程を卒業しました研究分野としては最初の方は機械本屋だとかマシンチャンスレーションとかあとは効率化とか言語制制制のイバリエーションとかそういうことをやっておりましたちょっと遡残るとですね実は私も暇と見た形で高校卒業後は大学はアメリカの家康大学という統計会当時は統計にいたんですが統計学部を卒業しましてその後その後ELELで働きながらワシンコ大学に進学したという経歴ですね最近イエル大学も知名度がってきてちょっとよく分からない教授がいろんな番組でお話をしているという名前は誓いさせていただきますけどもまあなんか知名度ががってきてうれしいんですがここはイエドにタックスでオフソードとかケンブリッシュの生まれてこれわざとなんかやりたりしてるんですよねわざと古く見せるようなアメリカって新しい国なんでそういう感じてるというでも非常にきれいな感じがありますこれがTTIC東京都宮大学シパワークの中でこれもまた古いものとまた電波等下なんかでそれを改造して大学になったとしばらく日本にも非常につながりがあって古井先生というスピーチの対応ですねついさっきになくなっちゃったんですが彼が昔ここでプレゼントをやっていたということで本当に日本のゆかりがあってなおかつ私が実は今パカルティーで唯一日本人なのでちょっと責任感を持ちながらやってるという感じですねこれがそこになりでほとなりここにいるんだというとまさに宇坂口さんとの佐賀井先生ですねすいませんつながりが本当にこういったありがたい機会をいただいていて私は本当に2021年のちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に佐川口さんがAI2にいらしてそこでインターのメンターを一緒にやろうということでインターのメンターを最初3か月とやりつつでも本当に楽しくていろいろパーテイムで練習しているうちにもう1年ぐらいもうちょっと長い日々で一緒に研究をさせていただいて本当に楽しい日々でオフスがあって私のアドバイザーノアスミスなんですけどノアスミスが出てノアスミスが出て写真を撮って掘り出してきました本当に懐かしくて本当に昼ご飯を食べては雑談してですね昼ご飯を食べてるうちに論文がそれなりにかけてくるみたいなことを���っていて大体雑談の中ににいろいろあったんですけど最後の方が結構皆さんご存じですか?白い虚党の話をよくしてましてこれいろんなバージョンがあるんですけどこれあのカラスアトシャキっていう俳優がやっていたバージョンが2人ともすぐお気に入りで広役とのバージョンどこが一番いいかというのを話し合っていて坂口さん的には後半のやっぱり財前教授になった後に亡前教授になった後に財前教授なんですけどなくなってこうちょっとネタバレになっちゃったなそのあたりはダメだと税務にこそ面白いことをおっしゃってさすが坂口さんの見るところは素晴らしいなということで涙では泣かすだけじゃやっぱダメなんだなっていうことを感じましたねこれがいって撮って撮った写真でそららどこかにいらっしゃると思うんですがそんな感じですごいいところでしたね会社としましては藤間と創業しまして今は日本とアメリカの二極対戦みたいなクロスボーダーという形でやっていて私自身T-PICプロジションもありますしあとはシアトルに今シャトルに本社はあるんですがそれでもうすでに東京の国民にオフィスを構えまして日本の死者みたいな形で今やろうという形で進めているということで言葉と出申しする会社ですね基本的に下げ年語今話題の大規模型言語モデルですねLLの特に非英語圏語系のベース言語モデルの開発とか場によってはマルチモータルとかそういったことをもんど挑戦的にやっていきたいなともちろん同時にやはビジネスですのでアプリケーションの提供も行うことでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっているやっぱ初期市場としては今は日本を考えてまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりましたし、何かしらやはり日本の中でインモを作っていきたいなということで、今日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになります一部目はまさに私はもう5年間PHDがありましてこの5年間って恐らくNLPの歴史の中でも一番激動の5年間だったと思いますので運良くいいのか分悪いのか分からないですがそのタイミングでPHDを終わった私から見た今思うとこうだったよねみたいな話をちょっと過去の話をちょっと第1部では第2部からはですねもっと直近な話で大金モデルの時代の到来ということで私たちがどういうことを考えていたのかということを話したいと思いますそれ、あとは、やはり前を行きたいということで、未来について話していきたいと思います。はいということでということで適広のPHD5年間ということでこれはもう本当にもう本当にもうはいということでこれはもう本当にもう私のPHLをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で最初だけポジズニムな話でいこうと思います一番最初にKHDDが始まる前にイエル大学にやっていたのは構造解析とかいわゆるシンタックスとかパーショングとかそういうことをやってその後ですねワシントン大学に移動してずっと英語ばっかりこの構造解析とかずっと英語なので英語ばっかり言うよくないので私自身多言語を私た言語をやりたいなということで多言語を解説に伝うことをやってきたそのうちに他言語をやっているうちに、他言語というか、機械本やんでしょうということで、マシントランスレーションを毎回ありがし、その後にどんどんマシントラスレーションの一般のことをやりじめて、ちょっとこれ見づらいんですが、モデルの高速化とか効率化とか、そういったことにやっていったり大一部現をモデルに取り組むということで、無理やりまとなれば、だんだんオーディエンスが最終と比べると大きくなっていたなということで、これはちょっと自分が一つ成長できたポイントとして、少しきれいに見えるかなと思いまして、最後に一つだけポジティブなことを言っておくと、環境のやはりいろんなものを変えていった時にですね環境の変化が本当に大きかったなと思っていて、皆さんもし機会があれば、ぜひどんどん環境の変化を求めて���ったら、いろんな経験ができると思っていて一番最新学院院院学にいまして、ワシントン大学にいながらちょっと引き詰まったのでメタでインターでインターンしたり、そういったことをやっているうちに、あとは最後は最後のサラドイツーでインターチャンをしたり、マイクロソフトに行ったりして、環境の変化に応じていろいろプロジェクトとかも楽しくできた方だと思うので、ぜひいろんな日本いいところですし、仙台は本当に素晴らしいところですけども、いろんな物理的にも環境を変えるのもいいことなのかなと。まあじゃあせっかくせっかくまずは過去の話ということで一体一体私がPHリ始めた頃何が起こったかというとこれですねディープコンテクショナイントということでその前まではワーデンベリングというかも多分多分今の人知らないのかなみんな授業でやってますね教科書かしみたいな感じに単語をですねいろいろいろフラッシュファイアとかいろりやるときにベクトル化したいみたいなこういうことを今から言えばものすごい浅いニューラルネットワークみたいので周りの単語を予測することでベキトル化るよねみたいなそういったそういった言語学とかディスティブーション・マンティクスとか言ったりしますけどもそういったディスティスティブーションのスマンティングスクスクトがそういったりとかそういったディスティブーションオスなんですそうですねそういったと言ったりしますけどもそういった自然なことをやっていたというのがこれでぐちゃぐちゃぐちゃこういうことをみんな頑張ってたんですよねこれ最初ミコロフの2001年もっと前から多分あるんですがあと黒をウエクトルとかいろびやっていてこういうことやっていたんですが大体私がPシリア始めた頃ですねこれまさに実はワシント大学で私がちょうど入る直前に起こったことなんですがワシントン大学はまさにAI2でエルモンというのが出てくるこれこそ今もうあんまり知られてないのかもしれないですがエルモの研究というのがあってそれはですね要は今まで浅いに色な手に行っていたけどもっと深くして何日モデルにしていろやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりコーブの効果を使っていてそういうことがあったということがエレモだったりコーブでちょっとこれに似たようなアイデアがあってそういった時代に私はPGで始めたということでここで終わりだと思ったんですね私は実はもう完全にこれ以上これ以上間違うことはないんですが完全に間違っていると思うちょうどこのセバッシャン・ルー�のMVS-REといってどんどんビジョンみたいになってきたよねと結局当時ビジョンでよくやられていたのはイメージネットで大量に画像のクラジケーションとかを学習させててそのベクトルを使って他のタスクトスクとかを得たっていたんですがまさに同じことが同じことが起きていてまさに同じことが他のカスクタイトラッシングとかクエッションアンセリングとかマシントラーションとかをやらせるみたいなイメージネードみたいになったよねっていうことを言っていたということでこれがああよかったねと自然言語シェルもようやくビジョンに落ち着きましたと言ってたところこれは始まりでしたらなかったんですがちょっとその時私が私が言って何をやっていたのかというのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていてLも出てきた時にラングチモデルを基本的に英語でやってきたんですがマルチリンガルにやらないといけないよねっていうことを考えていてじゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングジコーラブラッシャンとかヒーブルとかヘブルとかどれぐらいバイリンガルでラグチモデルをトレーニングしてそれをそのベクトルを使うってことをやることをやることでそうすることでモノリンガルの時にバイリンガルにした方が圧倒的にスコアが上がるようねみたいなことをこの時考えてやっていましたこれがラクルの2018とかじゃあ2019か18かその辺の研究でした結局でもこの研究でした結局でもこの研究ってあんま��意味なかったですなぜかっていうと今反省すると結局さっきバイリンガルのグラフ見せましたけどちょっと科学的な指標にこだわってたんですよねじゃあバイリンガルで今だったら例えば英語があってそれに全部ごちゃまずしたいろんな言語を加えて言語モデル作ろうみたいな発想になるんですが当時はやっぱりちゃんと比べなきゃいけないでしょより多言語に大規模に拡張してしまって例えば日本語だけのモデロ日本語定語のモデル使っても助かる人って使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね今思えばもっと使いやすいものだったらというふうに思いましたし当時トランスフォーマってまだそこまで使われていなかったのでASDMとかを使ってやっていましたということで結局時代が読めなかったら負けましたということですねその負けた相手なんですがXLMのフェイスブックからFBスブックスタッチから出たらXMというのがあってこの人も本当に論文のよく分かんないしよく分かんないですけど実際に使えるものを作ってたんですね彼はそれをダウンロードしてサイベーションももちろんですしそれ以上にかく伝えのものを作った本当に素晴らしいなと思った次第ですコンピューターサインスのP資料をやるということで自分は科学者になるなと意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしてるということであと最後にタスクの選定をちょっと間違っていまして私たちはNARとかエネシャンティングルングがやらっていたんですねこれも結局まあいいんですけど当時ものすごい流行っていったのはクエスチアンスルで結局QAで結局QAの人たちはこういう本物読んでくれなかったんですよねその割にこういう論文を読んでくれてなので結局使われなくなってしまってその割にこういうロボンを読んでくれてなので結局使われなくなってしまって何か使う数は正義というかそういうことで結局インパクトを残せなかったなというのを今反省していますバーチャルのバートの時代に来たということでさすがにバートは皆さん知ってると思うんですが当初これ出た時はですねバートはただエルムを大きくしただけだよねというふうに思っていましたしこれ私のアドバイザーのアスミスとあともう一人ループゼルークゼロモイアンという人がいます。同じワシンケンターナイルの恐竜ですが今フェイスブックのディレクターとかNRPもリサーチャーしている人で彼はエレモの作者でもあり最近だとにかく大規模ーブ言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言ってたかというと単純なエルモのエクセンションなんかに大してベスペーパーも上げる必要ないしあんま興味見えようみたいなことをまあでも実際にこれったらベストペースタイプローパーを取った前なんですが実際撮りましたよねいかにこうくろうとか間違えたかとあとルークはちょっと面白くてちょっと見方が違ってですね彼はエルゴンの作者ですから素晴らしいと言ったけども自分の頑張ったエルボが1年が続くと思ってたのに結局1年続かなかったよねちょっと悲しいねみたいなループはしていてちょっと違う見方をしてるのかなというふうに思って面白かったんですがそのループもですね実はGPT2がちょうど出てきた時にこれタンダルタンデル何やってんだろうなんでこんなに騒いでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですね当てにならないと僕らになるということですねバートの被害になって当初はエレモンが大きくなったものだと思って行ったんですがもちろん違ったとNLPの世界を完全に変えてしまったというものなんですがもう一つちょっと面白かったなおまけの話として当時ハギンフェイストランスフォーマーズのライバリーのきっかけにブンのきっかけになったんですよねこれ昔ハイトウィン・フェイン・フェイン・フェス自体はキットボットとかの会社でもともとあったんですが彼らがバードはGoogleから出たので検査ブロードで吹かれてるそれ研究者みんな検査ブロード使いたくないんでパイトウトウ�を使いた時に彼らがそのパイトウォーチに書き起こしたコンバートしたものを出したそれがパイドチパートでありそしてそれが結局カニンペインペーストランスフォーマンスにつながっていったということでこういうの商業向上というか社会の流れていは分からない思わないことで、こう思う表記していくんだな、というところですね。その時私は何をやっていかかというと当時にマシントランスレーションやりたいということでマシントランスレーションのスピードアップとかですねこの2個目の論文はですね1個目のログのマークでいろいろスピードアップでこうなんか平列化とか一生懸命やってたんですね結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話もやってなんかちょっと怒られたようにしたんですがでも結局これが本当のある意味真実なのかなと思ってちょっと自己自己意味が実なのかなと思って自己議が出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT3の時代が来てフィーショットきて、だんだんこの時からだんだんクラスピケーションにリーナーがなくなってきていて、だんだんみんなジェネレーションをしよう、ジョンにしようっていう方向に来たというのが当時の中で、もちろん存じのものフィショットラーニングのでもあとグループとかオープンソースの方でも大学とか組織をまたいだプロジェクトが出てきたっていうのがこのキーピーピッジスティスティング時代ですがこの時の研究はバイディメンシャービーダーバーボードといって今までのビーガーボードというのはジネレーションのな形でそういうのをやったということであとはやはりジェネレーションにとってイバリエーションが大切だということでイメージ・キャグシュニングのイバリエーションとかも佐賀井先生と一緒にやっていたという感じのことをしていましたこれちょっと予言なんですがこういう佐賀吉さんのご提案で漫画を描いてみようということで漫画を描いてこの論文のPRをツイッターでしていたというこういういろんな楽しいことを本当に楽しくやってたということですはいでついにお待ちかねチャックGPTGPTGPT4の時代が来たということはまさにこれはまさにこれは社会実装の時代に来てしまったらともちろん研究も多数なんだけどもとにかく使ってどこが問題なのかということを洗い出していかないとなかなかベンチマークとかで現れないものかなということを感じていてそういった経営で企業して小島ともにやっていこうというふうに思い出たったと特に英語にNLPの業界は編集してますよねこれが大体インターネットユーザーの数で25%ぐらいインターネットユーザーは英語をしているんですが残念ながらやほとんどが英語でしか実験をしてなかったり英語についての論文だったりするということで、これはまず一気英語編の基盤モデルをどんどん作っていかなきゃないよねというふうに思っております。結局、自然言語�っていうのは何だったのかを振り返ってみると結局、全てはスケールだったと、これはもう否定がしようがないなということで、いろいろ私自身もいろいろ作りたくて頑張ってたんですが結局、大きさで解決されてしまったことも多くて、そこはもう認めたらおけないかなということで間違っていたと、私自身は間違っていて、そうですね、どういうことです、あと、もう一つ面白いと思ったのは、やはり科学的なプロセスが違ス化ができるって書いたな、ということを例えば、トランス・フォーマーが2017年出てきた時に私はそのトランスフォーマーがこんなに広がると思わなかったっていうのも仕方ないから論文いくら読んでもよく分かんないです。なんかそのアテンションのディペンネージがうんだなみたいなそこって多分こって、多分コンスフォンの本質っていうのは、今思えば、当時のですね。そうですねGPUとかTPUとかそういったそのパラレルの計算の訓練がしやすかったですねですねLSTMとかだとどうしても巨大化してしまうとどんどん時間がかってしまうけどトランスコマンをパラレルにできるからハードウェアとすごい相性が良いようにハードウェアを決定論みたいな形でハードルアによってトランスコムのすごさが余計リーズされていって似渡る方々と言われるんですがそういった経緯があるのかなということがあってだから分からわからなかったのも仕方ないのかなと思ったりもします他の例で言うと例えば、アダムでうまくいかなかったらやめるということなので、結局、そこも庭とりと卵であっていろいろ予測するのは難しいよというふうに今思っていますちょっとこの非科学的な支配する世界ということなんですがでも、よく考えてみるこれもそうなんですよねやっぱりコンピューター・サイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよ、あの大学地にケミスティックスとか言わなくていい。同じようにオープンって言り、オープンじゃないかな実際、クローズだということで、そういうことだとアメリカのチェーンでセイクウェイっていうのがあるんですけどセーフェインは全然安全にないですよね大体危ないところにあるのでだから、結局、そういうもんなんだな、ということで言ではできないです。専門家の知見というのは、結構トランスフォーマーのポテンシャルを私は当時期づかなかったし、あとチャットボットっていうのも意外でしたねやっぱりチャットって、人間とチャットをめんどくさいねなんで機会としないかっていうのが、当時の考えだったんですけど結局、チャットボットでこんなに有名になったんだっていうのが本当に衝撃でしたしいかに、私自身が人間を理解できてないかということですねということで、何も分かってないまあ、でも、とにかく過去の話をしてきましたが、前に進んでいきたいというふうに思っております。5年間を簡単にまとめると適度に環境を変えるのはプラスでしたしでも専門家ですらは見らないわからないのであんまり専門家の言うこととかあんまり専門家が言うこととか気にしないでくださいということですね最近なんか自分がいい人も論文言語悪い理由がするねまあねあともしたちはですねアイフェンじゃないかなバートとかってアイデオ自体は本当に基本的にエルムを大きくしていろいろ他のアイデアはあったんですけど結局そのマスクラングチモデルとか同じようなアイディアがあってアイディアだけじゃなくてエクセキューションの重要なのかなっていうことを思っていてでもこれって結局研究だけじゃなくて企業とかも見えると思うんですが例えば企業においても開かないのおいても必ずも早いもの勝ちじゃないのかなエルモンとかLモンとかあんなに早い段階で実はもっと先にも言って前にもあったんですがLモンとかエクセールドクとかありましたけど局パートナ全部持っていったりGPT3とかGP5が全部持ってったりですね結局早めの街の世界というよりもそういった不思議な神のみず知りみたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばグルーブルとかフェスブクって最初の検索エンジンでもないしフェスブックも最初のソーシャルメディアが何でもないわけでだからそういった不思議な力があるなというふうにも思いました最後に科学的指標というのも大切なんですがそれだけにこだわらずにやはりコンピュータサインティストはサインティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中に出していきましょうということを思っていますということでこれからは未来の話をしてきたいと思います大規模大規模ルの時代が来たと皆さん大規模現行形モデルどう思います?すごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくる時は基本的にチャットボットボットみたいなものを作ってみたいなものを自然言語だけじゃなくてソフトラインジネリングの世界でも自然言語も入力をすればHTMやCSSのコードを吐き出してソフトエンジネインリングをサポートしてくれるそれだけじゃなく、文章の執筆要約構成メールの返信本当に反応的なものに使えるというのは間違いないなと思うんです。大規模ゲイントモデルってそもそも何だったかっていうと皆さんご存知の通りものすごいシンプルに学習されたAIなわけで��よね文章があって、その文章の次の単語を予測すると例えば、学習データの中に、第一代大統領はジョージ・ワシントンなので、ワシントンドンという言葉を予測するとなんでこんなシンプルなものが役に立つのか、すごい不思議ですよく言われることなんですけど、結局はスケーリング速度になるわけです。です、よく言われることなんですよく言われることなんですけど結度を学習する時って、大きくわけで、3つの要素がある。学習するAIモデルの大きさそれに食べさせるデータの量。この学習を行うコンピューターの資源と呼ばれますけど、この3つだものね。何が申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習中で増やしていったけどか突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが反応的な性能を持ち始めるものだから今はみんな注目しているわけですこれを本当にこの傾向すごいスケーニング速を分かりやすく示したグラフがこうなんですけどこのグラフっていうのはX軸がまだモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども見ていただくとおり、その傾向というのはログリニアなのが、コンピューターの性能自体というのは皆さんご存じのムーアの法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えていると。要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが反応せず何が関係あるかすごいスケッチなグラフで申し上げないんですけどもこれちょっと賛否両論あるグラフなのでちょっと反対意見がある人は後で個人的に来てるすごい傾向はうまく捉えていると思っていてこのグラフで何を表しているかというと8つタスクがあるんですけど例えば算数力みたいに大規模言語モデルが5たす6は11そういった算数の問題を答えられますタスクであったり多言語力英語でQAができるモデルがペルシャ語になった時に同じようなことができますか読解力っていうのはこういったタスクを見ていく時にここも同じなんですよY軸は使われたスーパーコンピューターの実装するX軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしてきた時に突如変異的に大企業保険のモデルがタスクの能力を得るポイントがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて、突如変異点が来ると。これが反応性なんです結局、計算資源を増やしていった時に、突如、変動力を持つそういったものが、大規模デルモデルの反応性なんじゃないかなっていうのは、私なりの捉え方ですここからはちょっと自分たちで大金5年モテルを学ぶっていう話をしたいんですが、2019年から2022年、何が起こっていたかというと一言で申し上げますと各国で大規模言語モデルの開発競争が起きていた。アメリカですアメリカではマイクロソフト社インターインターインターインタストリーを中心に大規模なモデルの開発競争が大きぼみることが大きぼなスーパーコンピューターをオープンアン社に提供して当時GPT3英語メインの大規模型型モデルドを学習していた全く似たようなことが中国でも起こっていて中国では政府が所有しているスーパーコンピューターを用いて政府機関がGPT3を超えるようなスケールです世界で最大規模のパラメターの数の大規模型予見のモデルを中国語で学習している。この動きって、アメリカと中国だけじゃなくて、ヨーロッパでも大きい。ヨーロッパでは、フランス政府が所有するジョン・ゼープルト呼ばれるスーパーコンピューターがあるんですけど。それをハギングフェースと呼ばれるば、皆さん個人のハギングフェイス社による貸し出すことによってハギングフェース者が多国籍用の大規模型モードルを学習していたこの多国寄り王って面白くて実はドイツが含まれていないのは、フラスドイツの緊張感が現れ、それ以上に重要な小話があって。実は、このフランス政府がスーパーコンピューターをハギングフェスに貸し出す時にハギングフェスって？当然、グラントプロポーザルみたいなものを書いたんですよね。これこれこれこういう理由でオ��クのセルファークターを使いたアゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーがフランスを食い尽くそうとしているのだから我々は独自でモデルを開発する必要があるみたいなことを言っていたんです日本を見てきた時に今でこそ本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな予定あったんですけど当時、日本国内でハギングフェイスみたいな人はやらないんです。最初に割れてくる疑問として、なぜ日本国内でできないのかできないのかまず、そこをしっかりしたい。大規模言語、言語、モデル学習で何が一番重要かというとやっぱり、それはスーパーコンピューターのリソースなんですが。日本ってスーパーコンピューターがないかというと全然そんなことはないわけです一番分かりやすいところだと皆さんも研究で使われているかもしれませんABCIと呼ばれるGPUベースのスーパーコンピューターがあるとABCIS素晴らしいスーパーコピューターなんですけどね実は日本最大級のスーパーコンピューターってABCIじゃないんです不学って呼ばれるスーパーコンピューターで皆さん、年齢的にちょうどベストヒットかなと思うんですけど以前、民主党政権がありましてそこで、レイ・ホンさんという政治家がいらっしゃったり。レイホさんが仕分け会議ということをやっていた時に1位じゃダメなんですか2位じゃダメなんですかっていったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を超っていたんですけど今はレアホンさんおっしゃる通りに2位になってしまっていますそういうスーパーコンピューター何が重要かというとこの富学っていうのは本当に化け物みたいな性能を持っていてギングフェッシャーがブルームと呼ばばれる大器オンゲングモデルを学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし前近を使えた場合は考えても10倍速いんです10倍速いっていうことは同じ計算をやった時に不学だと10倍早く計算が終わるでも、深くって、何がグレージーかっていうと。CPUベースのスーパーポンピューターなんですよ一切GPUを搭載してないと皆さんCPUで大規模言語モデル学習したことあります大規模ゲームモデルじゃなくてもんですけどディープラウンドでCPUでやらないんです基本的にはGPUもし台所はTPUUAIに特化したハードウェアだったA100っていうのがデータセンターで最先端のGPUでもその一つ前は1本目まして前はA100というGPが最先頭に搭載されてるCPUって藤津A-6-4FXって言うんですけどAIの演算性能に限っていえば富岳のCPUって50倍遅いんですよ皆さん15万個のCPU使ったことありますか?多分ないと思うんですここで何が言いたいかというとぶっちゃけGPUがCPUが50個使って平列計算したら同じぐらいスピードが出るのねっていうのはまあちょっとクレージな間で佐賀な間にすごいご迷惑ってそういうことを当時考えていてそれをやるためのした分、散・併列学習というものになります。今でその分散並列学学習ってすごいろいろオープンソースのパッケージが出てきて皆さんご存じかもしれないところで言うと例えばマイクソフト社のディークスピードであったりヘルビディア社のメガトロンLMっていうパッケージがあってこういったパッケージってデータパイルモデルパレールって呼ばれる分散変異例学種をサポートしてくんですけどCPUで動かったんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVではマイクロソフトに書いていただいた分散平列学習のパッケージをCPU向けに移植してちゃんと平列でCPUが計算できるかなということを試したいんです初期実験としては非常にCPUが計算できるかなということを試したいんですけど初期実験としては非常にいい結果が出てここなんですけどCPUの数を増やしていった時にシステム全体としての計算性度がどれぐらい上がるかなっていうのを見てこれログリニアなんですけどログリニアなんですけど特にCPUを先行わたりまで増やした段階ではその計算速度が1個だった時期と比べて1000倍近くなっていくとこれまで小典数学学習がすごいうまくいっているなっていう感触だったんですけれどもこれ��あくまで初期の実験で、当然、うまくいかないこともあって。一つはCPを大量に使うことでどういう問題があるかということなんですけどCPU例えば2個使っているだけだとCPU例えば2個使っているだけだとCPを1個同士がコミュニケーションすればいいだけなのでそれは問題ないとただCPを1000個とか1万個とか増やしていった時にやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分かる通りシステム全体としてその計算性能が上がるっていう時が若干落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションポストが上げられるようにしない人ってないよねそういったことも一つ課題化しているそれ以外にもすごい面白い発見もあってハードウェアって基本的に理論値と実測値というのは理論的にはこれだけ推量が出ますよ実測指っていうのは実際に使ってみたらこれだけしかスピードが出ませんでしたよ例えばトランスフォーマンの学習とかやる時にGPUの実測値って理論値の大体40%から50%ぐらい最近だと60%ぐらい出てるのかそのくらい出るかっていうとNVディアのソフティアのエンジニアの方々がものすごい波長い並々しい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションのこの特別なコードを使うことによって早くしましょうみたいなすごいなんかハンドウェビーなハードコアのソリューションがソフトチョイスタックマクウダレアの中にいっぱいあるんですよだからGPUは実測しているンジの幅がそんなに不実のCPUってそもそもそんなにAI学習を想定したものではなくてむしろシミュレーションとかそっちの方で使われていたのでそういった測定やストックが弱くて大規模な学習ができないのでこちらの日系新聞さんでカバーしていただいてそれこそ7社合同部屋せていただいているということなんですけれどもGPT浮学というプロジェクトが今格化いたしまして主要な期間でいうとそれこそ東北大工さん佐賀口先生のここで言うと栗田さんと佐々木職さんって言わせていただいていますけどそういった方々が中心になって協力していただいているとそれ以外にも東高台さんであったりとか理見サイバーエジェント名古屋大学富士通弊社言葉テキノロジーズが連携していけるようにそういったプロジェクトが本格化しましたこのGPT風学というプロジェクトは大きく分けて2つのチームがあって1つ目のチームはシステムチームと呼ばれるチームですこちらは区学場のインフラを整えているそこでAIの学習が効率的に行えるようにしようと思う具体的にどういったことを解決しようとしているかというと、先ほどのスライドがあったとおり、コミュニケーションコストの問題が解決しようであったりだったりだとか理論と実測値が小さくなるようにしようそういったことをやっています。NPチームの方には東北大学の方々が主導していただいてこちらでは日本データの準備であったりとかトークナイザーの開発そういったことをやりたいと思いますこちらのプロジェクトはまだ動いているので今後もどんどんニュースが出てくるかと思いますが皆さん、温かく見守っていただければと思います栗田さんと久保育先生にはすごい思い出ますが、一緒に頑張っていければということですそうですね、ここまでが富岳のお話し。深くっていうのはすごいやっぱり面白いプロジェクトで、今後、今後今一番速いスーパーコンピューラだろう。間違いなくAI性能に限っていえば富岳よりもっと速いスーパーコンピューターっていうのは1、2年で出てくると思うんですよ不学で何で恋愛学習をやる意味があるかっていうともっと速いスペースペーターが出てきた時に、空学で学んだ知見を直接生かせるように、そういった書き橋に役割です。これはすごいサイエンスとしてはエキサイティーになっている私と火災が考えていたのは、大規模言語モデルっていうのは？ただすごい社会に使えるレベルになっているのでこれを実装しないとやっぱもったいないし、実装してみたいな社会。そういったことで、言葉、テクノロジーという企業を立ち上げまして。ちょっと思考実験をまずしてみ��いので大規模言語モデル素素晴らしい。すごいいろいろ使えることに、果たして日本のビジネスに使えますかと。弊社は言葉、テクノロジーズというのは。日本のビジネスと相手にいろいろとオペレーションをさせていただいている会社などこの時点ですでに日本国内の340社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったり旅行会社さんに大規模現行ゲームを持てるお宅どうお使い習い習えますかそういったことを聞いた時にこうく旅行計画を作ってそれをパンフレットでまとめるっていう業務よく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやる時に例えばGPP法を考えてみましょうプロプトかけますよこういったプロップをかけて渋谷駅から出発して火災の地元である奈良公園で日帰りで観光する計画を作ってパンプレットにしてくださいそこでは交通手段を含めてください東大寺も観光できるようにしてグルメ回りをしたいのでグルメマインまできるようにしていますじゃあGPT4は実際出てきたアウトペットなんですけど一番上を見るとすごい東京からなら伝統と自然の一日旅行くめちゃくちゃキャッチになったりとかこれだけ見ると日本のビジネスでもGPT4使えるじゃんと思う方も多いと思うんですけどその下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ伸ばしていっているとちょっとページ3スケジュールのとんでもないこと言うわけですよ朝7時渋谷市を近江大阪の新幹線に乗る渋谷駅に新幹線なんて撮ってないんですよこれはちょっとよろしくな。もっと面白いことが起こっていて。11時半、長い人と並べ行く突っかせているかもです。まあグルメ回りしたいけどジョークとしては面白いですよジョークとしては一級でこんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事がなくなっちゃいます何が言いたいかというと大規模型言語ゲンガモデルってGPVP4に代表されるようにめちゃくちゃ反応的だと反応的なんですけども日本語の閉じたドメインのようなところでデプロイしてしまうとまだまだ業務に差し支えられる欠点があるそれ以外にも、そもそもこれをやった理由っていうのは、旅行会社さんがパンプレットを作るためですよ、パーフレットを作るためなんですけども、現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないと、結局、パワープレットが必要な旅行会社さんの視点に立ってみたら、この生のペキストをマークダーを取ってきてそのパンフレットにもう1回、リストラクシャーする作務が必要ですこういった現状の大規模言語・言語モデルの欠陥を研究開発することによって、どんどん直して直していく。直して大規模言語モデルをアプリケーションとして分かりやすい形で、企業さんに販売するそういったことをやっておりましてつい直近では米国で数億円規模の指導資金調達を完了して国内でも政府指導の補助金を今、申請中。加算からもありましたとおり、つい先日、東京オフィスを六本木に開設して取り組んでいるとエンジニアサイティストを始め、徐々に10月始めた順次中、チームチームとあるい年内には5人から12程度のチーム編成に生きれば、そういったふうに思っております。そうですね、これが先ほど申し上げておりますで、そうですね。これが先ほど申し上げた内容を少し細かくしたところなんですけれども、研究開発としては、例えば、非英語圏の言語でも大規模言語ゲンゴモデルがしっかり使えるようにしたりとか、それこそ、大規模言語モデルっていうのは、リアルタイムな情報がすごい弱いわけですよね例えば、東北大学から仙台駅に今行きたいとなったら、大規模型言語モデルって基本的に今の時間を調べて、それに落ちた答えをしてくれるっていうのはなかなかないので。そういったところツールフォーマーといった論文がありますけどAPIコールを通じて解決することで大規模言語モデンリアル体制を持たせるであるそれ以外も、マルチモダル能力で、そういった研究開発をしております。こういった研究開発した言葉、フォーマンという名付けられて我々言葉フォーマーって呼んでいるんですけど弊社のシステム、言葉フォーマーをユーザーの方々に分かりやすい形で、パッケージング化してあげることによって、例えば、コールセンターであったりとか、コンテンツ生成そういったものにして、企業さんに販売していく今日のトークはお知らにしたいと思って、お弁者が最初に取り組んでいる教育分野のカスタマーさんと一緒にプロジェクトをやらせていただけるんですよね。教育分野もちょっとここはアカデミックトークなので、名前も行ってしまいますが皆。さん、なんか寸大に行かれた方っていらっしゃいますか？あまりないのかな、なるほど、あまりないのかな寸大っていう塾があるんですけどまあ、弊社のかすん大様とプロジェクトを一緒にやっておりましてここでは、どういうプロジェクトをやっているかというと、生徒さんが塾の中でお使いにある練習問題とか、そういったプロジェクトをやっているんですよ。須大様が今度いった課題さんが今、どういった課題を抱えてらっしゃるかというと、こういった練習問題を作る時に、基本的に教員の方々が指導で試験を作ると。その結果、ものすごい労力が費やされているんですよ例えば、クレイジな話なんですけど共通テストの1個作るのに何時間かけていますか？っていう話を聞いた時に、1つのテストに300時間かけているらしいんです。300時間、それ年1回やるわけじゃないですかから何回も何回も繰り返す弊社がやっているのは、本当にすごいシンプルに教員の方々が使えるようなシステムで、ここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんですよここでは、イメリカを初めて訪れますよというコンテクストで問題を作ってくださいその結果、出てくるものが、例えば、こういうパーフレット形式のビューク。今は共通テストってすごい情報分析に寄せたような問題が出ていて、英語でもないこういうパンフレットを呼び解いて、みたいな問題に鍛えてくださいみたいな問題があるんです。だからこういうパーフェットみたいなものを直接出力することによって先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこういったパンフレットを作ってその後はそれに即した問題を先生方に生成していただくわけです質問の正々に進むというふうに進むとこういった感じで4択の問題がパーブレットに属した形で成長的にはPGFであるパーブレットであったり最終的にはPDFであったり出力するPDFはただに問題のコンテクストをつないだらけのものなんですけどワードで何で出力するかというとやっぱりAIが出力したものなので先生方が気に入らないものがありますそういったものが、例えば、ワードだと直接先生方が手を加えるだけで、すぐに生徒さんに配られてもらってもそういったことを教育ドメンではやっております。もう一つ紹介したいのがもう一つ紹介したいのが交通分グJR東様と一緒にプロジェクトルトをやっておりましてそこでやっていることとしてはカスタマーサポートの自動化というくとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやっているじゃないと思う方もいらっしゃると思うんです確かにその通りですカスタマーの方々が本当に多様なお問い合わせをしてくる本当に多様なお問い合わせをしてきた結果ちょっとGPT4をいじっただけだと想定解決できないような問題が出てくれば例えば、その例をあげると、渋谷駅でお裁表を忘れてしまったんですけどど。うすればいいですか？そんなチャットGPTに聞いても分からないですね何をやる必要があるかというと例えば大規模型語言語モイルが裏でAPIを呼んで例えばSQLのような報道を書いて例えばJR東の中にあるインターナルなデータベースにお問い合わせをして忘れ物状況を取得してそれを踏まえて返答を送らないといけないそういったことがないんですよもっとクレイジーになれると例えば何でしょうね渋谷駅から新宿研究に行きたいんだけどできるだけもうちょっと疲れてるだけもうちょっと疲れてるからあまり飛んでいない路線を選んでくださいみたいなことが気になる方もいるんですよそしたら何をする必要があるかもめちゃくちゃくちゃ難しいですよめちゃくちゃ難しいとでもなんかありがたいこととしてはJR東大久間って今各駅各列車にセンサーがついてて混雑状況が分かるんですよ結構、我々頭がおかしいので、クレジなことを考えるわけですよ。もしテンサー情報に大規模型ボケグモデルが直接アクセスできてその混雑情報を取って、これたら、そういった座っていける路線は何ですか？みたいに質問にも答えられます。そういったことをここではやっていますすごい何だろう簡単に見えて難しいアプリケーションなんでこれはめちゃくちゃエクサイティングですもう一転エクサイティングな点を上げるとするとやっぱりJRヒャスタマーのカスタマンセンターって皆さんちょっとお使いならないかもしれないんですけど結構その高齢の方々とかって電話を通じてアクセンターに電話をかけていらっしゃったりするんですかねその数で言うと1日大体数万件年間でいうと、それこそ数百万件、数千万件ってなんていません弊社が開発した人がご視野児。,"[18.50807523727417, 17.8379385471344, 17.65992569923401, 17.81332492828369, 17.762713193893433]"
-kotoba-tech/kotoba-whisper-v1.1,15,True,False,flash_attention_2,cuda:0,long_interview_1.mp3,True,256,16.014582490921022,0.35303348844305815,NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心にちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジスという企業を作るに至ったかなっていうのをお話しさせていただければと思いますよろしくお願いいたしますそもそも誰やっていう話だと思うんですけど小島紀樹と申しますよろしくお願いいたします小島大学と申します私、コーネル大学を卒業しまして本当ディフェンスをやったのは2、3週間前なんですけれどももともともとはコーネル大学ってニューヨーク州の土田舎の伊阪という街にあるっていうイメージがある方も多いと思うんですけどもコーネル大学って2つはイサカにあるんですけどもう一つはニューヨーク市にあるインソ川の上に浮いているルーズベルト島っていうすごい細長い島があるんですけどそこでPHEをやっておりました私は小島っていう名前なんですけども本当にしょうもないネタを言うと小島の上でPHUが振り方そういう両面感となっております私はPHの専門部屋としてはマルチモダリティーと呼ばれる自然言語のシステムにどうやったら言語以外の情報を例えば画像であったりとか音声といったものを理解できるようにさせるそういったことであったりとかインターナクティブラーニングと呼ばれる最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういった検訓の方ではハギングフェイスでちょっといろいろとプロジェクトでお世話になったりもしましたそうですね学部から実はアメリカに行っていてミシガン州にあるミシガン大学アナーバーコっていうところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンガッチさせていただきます今日はよろしくお願いしますはい、青木純吾といいます。トヨタ工業大学鹿児島という日本、名前から分かるとおりですね、日本のトヨタが昔出資をして今独立な組織なんですがそちらの方でリサーチアシストプロフェッサーという職を持ちだから小島と共に言葉テクロジに取り組んでいるという状況です私も本当にPHDも出来立て小屋というか最近取りまして先月8月に無事シアトルですねアトルにあるワシントン大学でコンピューサインスの博士課程を卒業しました研究分野としては最初の方は機械本屋だとかマシンチャンスレーションとかあとは効率化とか言語制制制のイバリエーションとかそういうことをやっておりましたちょっと遡残るとですね実は私も暇と見た形で高校卒業後は大学はアメリカの家康大学という統計会当時は統計にいたんですが統計学部を卒業しましてその後その後ELELで働きながらワシンコ大���に進学したという経歴ですね最近イエル大学も知名度がってきてちょっとよく分からない教授がいろんな番組でお話をしているという名前は誓いさせていただきますけどもまあなんか知名度ががってきてうれしいんですがここはイエドにタックスでオフソードとかケンブリッシュの生まれてこれわざとなんかやりたりしてるんですよねわざと古く見せるようなアメリカって新しい国なんでそういう感じてるというでも非常にきれいな感じがありますこれがTTIC東京都宮大学シパワークの中でこれもまた古いものとまた電波等下なんかでそれを改造して大学になったのしばらく日本にも非常につながりがあって古井先生というスピーチの対応ですねついさっきになくなっちゃったんですが彼が昔ここでプレゼントをやっていたということで本当に日本のゆかりがあってなおかつ私が実は今パカルティーで唯一日本人なのでちょっと責任感を持ちながらやってるという感じですねこれがそこになりでほとなりここにいるんだというとまさに宇坂口さんとの佐賀井先生ですねすいませんつながりが本当にこういったありがたい機会をいただいていて私は本当に2021年のちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に佐川口さんがAI2にいらしてそこでインターのメンターを一緒にやろうということでインターのメンターを最初3か月とやりつつでも本当に楽しくていろいろパーテイムで練習しているうちにもう1年ぐらいもうちょっと長い日々で一緒に研究をさせていただいて本当に楽しい日々でオフスがあって私のアドバイザーノアスミスなんですけどノアスミスが出てノアスミスが出て写真を撮って掘り出してきました本当に懐かしくて本当に昼ご飯を食べては雑談してですね昼ご飯を食べてるうちに論文がそれなりにかけてくるみたいなことをやっていて大体雑談の中ににいろいろあったんですけど最後の方が結構皆さんご存じですか?白い虚党の話をよくしてましてこれいろんなバージョンがあるんですけどこれあのカラスアトシャキっていう俳優がやっていたバージョンが2人ともすぐお気に入りで広役とのバージョンどこが一番いいかというのを話し合っていて坂口さん的には後半のやっぱり財前教授になった後に亡前教授になった後に財前教授なんですけどなくなってこうちょっとネタバレになっちゃったなそのあたりはダメだと税務にこそ面白いことをおっしゃってさすが坂口さんの見るところは素晴らしいなということで涙では泣かすだけじゃだらやっぱダメなんだなっていうことを感じましたねこれがいって撮って撮った写真でそららどこかにいらっしゃると思うんですがそんな感じですごいいところでしたね会社としましては藤間と創業しまして今は日本とアメリカの二極対戦みたいなクロスボーダーという形でやっていて私自身T-Pに特殊もありますしあとはシアトルにと言いましたので米国シャトルに本社はあるんですがそれでもうすでに東京の国民にオフィスを構えまして日本の死者みたいな形で今やろうという形で進めているということで言葉と出申し進む会社ですね基本的に下げ年語今話題の大規模型言語モデルですねLLの特に非英語圏語系のベース言語モデルの開発とか場によってはマルチモータルとかそういったことをもんど挑戦的にやっていきたいなともちろん同時にやはビジネスですのでアプリケーションの提供も行うことでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっているやっぱ初期市場としては今は日本を考えてまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりましたし、何かしら何かしらやっぱり日本の中でインモを作っていきたいなということで、今日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになります一部目はまさに私はもう5年間PHDがありましてこの5年間って恐らくNLPの歴史の中でも一番激動の5年間だったと思いますので運良くいいのか分悪いのか分からないですがそのタイミングでPHDを終わった私から見た今思うとこうだったよねみたいな話をちょっと過去の話をちょっと第1部では第2部からはですねもっと直近な話で大金モデルの時代の到来ということで私たちがどういうことを考えていたのかということを話したいと思いますそれあとはやはり前を期待したいということで未来について話していきたいと思いますはいということではいということでこれはもう本当にもう私のPHLをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で最初だけポジズニムな話でいこうと思います一番最初にKHDDが始まる前にイエル大学にやっていたのは構造解析とかいわゆるシンタックスとかパーショングとかそういうことをやってその後ですねワシントン大学に移動してずっと英語ばっかりこの構造解析とかずっと英語なので英語ばっかり言うよくないので私自身多言語を私た言語をやりたいなということで多言語を解説にやることをやってきたそのうちにまた言語がやっているうちに他言語っているうちに機械本やんでしょうということでマシントランスレーションを毎回ありがしその後にどんどんマシントラスレーションの一般のことをやりじめてちょっとこれ見づらいんですがモデルの高速化とか効率化とかそういったことにやっていったり大一部限をモデルに取り組むということで無理やりまとなればだんだんオーディエンスが最終と比べると大きくなっていたなということでこれはちょっと自分が一つ成長できたポイントとして少しきれいに見えるかなと思いまして最後に一つだけポジティブなことを言っておくと環境のやはりいろんなものを変えていった時にですね環境の変化が本当に大きかったなと思っていて皆さんもし機会があればぜひどんどん環境の変化を求めていったらいろんな経験ができると思っていて一番最新学院院院学にいましてワシントン大学にいながらちょっと引き詰まったのでメタでインターでインターツしたりそういったことをやっているうちにあとは最後は最後のさがアイツーでインターモンをしたりマイクロソフトに行ったりして環境の変化に応じていろいろプロジェクトとかも楽しくできた方だと思うのでぜひいろんないろんな物理的にも璴らしいところですけどもいろんな物理的にも環境を変えるのもいいことなのかなとまあじゃあせっかくせっかくまずは過去の話ということで一体一体私がPHリ始めた頃何が起こったかというとこれですねディープコンテクショナイントということでその前まではワーデンベリングというかも多分多分今の人知らないのかなみんな授業でやってますね教科書かしみたいな感じに単語をですねいろいろいろフラッシュファイアとかいろりやるときにベクトル化したいみたいなベキトロ化する方法が何個かあってこういうことやって今から言えばものすごい浅いニューラルネットワークみたいなので周りの単語を予測することでベキトル化してるかってことは周りの言葉が似ている単語は似たような出来てるんだりよねみたいなそういったそういった言語学とか伝語学とかディスティブーズマンティクスとか言ったりしますけどもそういったディスティブーションオスなんですそうですねそういったと言ったりしますけどもそういった自然なことをやっていたというのがこれでぐちゃぐちゃぐちゃこういうことをみんな頑張ってたんですよねこれ最初ミコロフの2001年もっと前から多分あるんですがあと黒をウエクルとかいろいろやっていてこういうことやっていたんですが大体私がPシリア始めた頃ですねこれまさに実はワシント大学で私がちょうど入る直前に起こったことなんですがワシントン大学はまさにAI2でエルモンというのが出てくるこれこそ今もうあんまり知られてないのかもしれないですがエルモの研究というのがあってそれはですね要は今まで浅いに色な手に行っていたけどもっと深くして何日モデルにしていろやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりコーブの効果を使っていてそういうことがあったということがエレモだったりコーブでちょっとこれに似たようなアイデアがあってそういった時代に私はPGで始めたということでここで終わりだと思ったんですね私は実はもう完全にこれ以上これ以上間違うことはないんですが完全に間違っていると思うちょうどこのセバッシャン・ルー�のMVS-REとか言ってどんどんビジョンみたいになってきたよねと結局当時ビジョンでよくやられていたのはイメージネットで大量に画像のクラジケーションとかを学習させててそのベクトルを使って他のタスクトスクとかを得たっていたんですがまさに同じことが同じことが起きていてまさに同じことが他のカスクタイトラッシングとかクエッションアンセリングとかマシントラーションとかをやらせるみたいなイメージネードみたいになったよねっていうことを言っていたということでこれがああよかったねと自然言語シェルもようやくビジョンに落ち着きましたと言ってたところこれは始まりでしたらなかったんですがちょっとその時私が私が言って何をやっていたのかというのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていてLも出てきた時にラングチモデルを基本的に英語でやってきたんですがマルチリンガルにやらないといけないよねっていうことを考えていてじゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングジコーラブラッシャンとかヒーブルとかヘブルとかどれぐらいバイリンガルでラグチモデルをトレーニングしてそれをそのベクトルを使うってことをやることをやることでそうすることでモノリンガルの時にバイリングルにした方が合われた方が圧倒的にスコアが上がるようねみたいなことをこの時考えてやっていましたこれがラクルの2018とかじゃあ2019か18かその辺の研究でした結局でもこの研究でした結局でもこの研究ってあんまり意味なかったですなぜかっていうと今反省すると結局さっきバイリンガルのグラフ見せましたけどちょっと科学的な指標にこだわってたんですよねじゃあバイリンガルで今だったら例えば英語があってそれに全部ごちゃまずしたいろんな言語を加えて言語モデル作ろうみたいな発想になるんですが当時はやっぱりちゃんと比べなきゃいけないでしょより多言語に大規模に拡張してしまって例えば日本語だけのモデロ日本語定語のモデル使っても助かる人って使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね今思えばもっと使いやすいものだったらというふうに思いましたし当時トランスフォーマってまだそこまで使われていなかったのでASDMとかを使ってやっていましたということで結局時代が読めなかったら負けましたということですねその負けた相手なんですがXLMのフェイスブックからFBスブックスタイから出たらXMというのがあってこの人にも論文もよく分かんないしよく分かんないですけど実際に使えるものを作ってたんですね彼はそれをダウンロードしてサイベーションももちろんですしそれ以上にかく伝えのものを作った本当に素晴らしいなと思った次第ですコンピューターサインスのP資料をやるということで自分は科学者になるなと意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしてるということであと最後にタスクの選定をちょっと間違っていまして私たちはNARとかエネシパーリングルングがでもこれも結局いいんですけど当時ものすごい流行っていったのはクエスチアンスルで結局QAで結局QAの人たちはこういう本物読んでくれなかったんですよねその割にこういう論文を読んでくれてなので結局使われなくなってしまって何か使う数は正義というかそういうことで結局インパクトを残せなかったなというのを今反省していますバーチャルのバートの時代に来たということでさすがにバートは皆さん知ってると思うんですが当初これ出た時はですねバートはただエルムを大きくしただけだよねというふうに思っていましたしこれ私のアドバイザーのアスミスとあともう一人ループズロモイアンという人がいます。同じワシンケンターナイルの恐竜ですが今フェイスブックのディレクターとかNRPもリサーチャーしている人で彼はエレモの作者でもあり最近だとにかく大��模変語言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言ってくだかというと単純なエルモのエクセンションなんかに大してベスペーパーも上げる必要ないしあんま興味見えようみたいなことをまあでも実際にこれったらベストペースタイムを取った前なんですが実際撮りましたよねいかにこうくろうとか間違えたかとあとルークはちょっと面白くてちょっと見方が違ってですね彼はエルゴンの作者ですから素晴らしいと言ったけども自分の頑張ったエルボが1年が続くと思ってたのに結局1年続かなかったよねちょっと悲しいねみたいなループはしていてちょっと違う見方をしてるのかなというふうに思って面白かったんですがそのループもですね実はGPT2がちょうど出てきた時にこれタンダルタンデルラでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですねあってにならないと僕らになるということですねでえっとって当初はエレモンが大きくなったものだと思って行ったんですがもちろん違ったとNLPの世界を完全に変えてしまったというものなんですがもう一つちょっと面白かったなおまけの話として当時ハギンフェイストランスフォーマーズのライバリーのきっかけにブンのきっかけになったんですよねこれ昔ハイトウィン・フェイン・フェイン・フェス自体はキットボットとかの会社でもともとあったんですが彼らがバードはGoogleから出たので検査ブロードで吹かれてるそれ研究者みんな検索を使いたくないんでパイトローチを使いた時に彼らがそのパイトウォーチに書き起こしたコンバートしたものを出したそれがパイトチパートでありそしてそれが結局カニンペインペーストランスフォーマンスにつながっていったということでこういうの商業向上というか社会の流れているのは分からないと思わ�ところできっかけが生まれて思わない思わないことでこう思う共持着していくんだなというところですねその時私は何をやっていかかというと当時にやはりマシントランスレーションやりたいということでマシントランスレーションのスピードアップとかですねこの2個目の論文はですね1個目のログのマークでいろいろスピードアップでこうなんか平列化とか一生懸命やってたんですね結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話もやってなんかちょっと怒られたようにしたんですがでも結局これが本当のある意味真実なのかなと思ってちょっと自己自己意味が実なのかなと思って自己議が出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT3の時代が来てフィーショットラーニングだんだんだんだんこの時からだんだんクラシュニケーションに似たなくなってきてだんだんみんなジェネレーションをしようっていう方向に来たというのが当時の中でもちろん皆さんご存じのフフィショットラーニングのでもあとグループとかオープンソースの方でも大学とか組織をまたいだプロジェクトが出てきたっていうのがこのキーピーピッジスティスティング時代ですがこの時の研究はバイディメンシャービーザーバーバードといって今までのビーガーボードというのはジェネレションのな形でそういうのをやったということであとはやはりジェネレーションにとってイバリエーションが大切だということでイメージ・キャグシュニングのイバリエーションとかも佐賀井先生と一緒にやっていたという感じのことをしていましたこれちょっと予言なんですがこういう佐賀吉さんのご提案で漫画を描いてみようということで漫画を描いてこのロンガーのPRをツイッターでしていたというこういういろんな楽しいことを本当に楽しくやってたということですはいでついにお待ちかねチャックGPTGPTGPT4の時代が来たということはまさにこれはまさにこれは社会実装の時代に来てしまったらともちろん研究も多数なんだけどもとにかく使ってどこが問題なのかっていかないかということを洗いらしていかないとなかなかベンチマークとかで現れないものかなということを感じていてそういった経営で企業して小島ともにやっていこうというふうに思い出たったと特に英語にNLPの業界は編集してますよねこれが大体インターネットユーザーの数で25%ぐらいインターネットユーザーは英語をしているんですが残念ながらやほとんどが英語でしか実験をしてなかったり英語についての論文だったりするということでこれはまず一気英語編の基盤モデルをどんどん作っていかなきゃないよねというふうに思っております結局自然言語�っていうのは何だったのかを振り返ってみると結局全てはスケールだったとこれはもう否定がしようがないなということでいろいろ私自身もいろいろ作りたくて頑張ってたんですが結局大きさで解決されてしまったことも多くてそこはもう認めたらおけないかなということで間違っていたと私自身は間違っていてそうですねどういうことですあともう一つ面白いと思ったのはやはり科学的なプロセスが違ス化ができるって書いたなということを例えばトランスフォーマーが2017年出てきた時に私はそのトランスフォーマーがこんなに広がると思わなかったっていうのも仕方ないから論文いくら読んでもよく分かんないですなんかそのアテンションのディペンネージがうんだなみたいなそこって多分こって多分コンスフォンの本質っていうのは今思えば当時のですねそうですねGPUとかPPUとかそういったそのパラレルの計算の訓練がしやすかったですねですねLSTMとかだとどうしても巨大化してしまうとどんどん時間がかってしまうけどトランスコマーをパラレールにできるからハードウェアとすごい相性があるようにハードウェアー決定論みたいな形でハードルアによっていわたらないものではトランスコマスのすごさが余計リーズされていって似渡る方々と言われるんですがそういった経緯があるのかなということがあってだから分からわからなかったのも仕方ないのかなと思ったりもします他の例で言うと例えばアダムでうまくいかなかったらやめるということなので結局そこも庭とりと卵であっていろいろ予測するのは難しいよというふうに今思っていますちょっとこの非科学的な支配する世界ということなんですがでもよく考えてみるこれもそうなんですよねやっぱりコンピューターサイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよあの大学地にケミスティックスとか言わなくていい同じようにオープンって言ってないから実際クローズだということでそういうことだったらアメリカのチェーンでセイクウェイっていうのがあるんですけどセーフェイン全然安全にはないですよね大体危ないところにあるのでだから結局そういうもんなんだなということで言ではできないです専門家の知見というのは結構トランスフォーマーのポテンシャルを私は当時期づかなかったしあとチャットボットっていうのも意外でしたねやっぱりチャットって人間とチャットをめんどくさいねなんで機会としないかっていうのが当時の考えだったんですけど結局チャットボットでこんなに有名になったんだっていうのが本当に衝撃でしたしいかに私自身が人間を理解できてないかということですねということで何も分かってないまあでもとにかく過去の話をしてきましたが前に進んでいきたいというふうに思っております5年間を簡単にまとめると適度に環境を変えるのはプラスでしたしでも専門家ですらは見らないわからないのであんまり専門家の言うこととかあんまり専門家が言うこととか気にしないでくださいということですね最近なんか自分がいいとも論文言語悪い理由がするねまあねあともしたちはですねアイフェンじゃないかなバートとかってアイデオ自体は本当に基本的にエルムを大きくしていろいろ他のアイデアはあったんですけど結局そのマスクラングチモデルとか同じようなアイディアがあってアイディアだけじゃなくてエクセキューションの重要なのかなっていうことを思っていてでもこれって結局研究だけじゃなくて企業とかも見えると思うんですが例えば企業においても開かないのおいても必ずも早いもの勝ちじゃないのかなエルモンとかLモンとかあんなに早い段階で実はもっと先にも言って前にもあったんですがLモンとかエクセールドクとかありましたけど局パートナ全部持っていったりGPT3とかGP5が全部持ってったりですね結局早めの街の世界というよりもそういった不思議な神のみず知りみたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばグルーブルとかフェスブクって最初の検索エンジンでもないしフェスブックも最初のソーシャルメディアが何でもないわけでだからそういった不思議な力があるなというふうにも思いました最後に科学的指標というのも大切なんですがそれだけにこだわらずにやはりコンピュータサインティストはサインティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中にをしていきたいと思います大規模大規模ルの時代が来たと皆さん大規模現行ゲームモデルどう思います?すごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくる時は基本的にチャットボットボットみたいなものを作ってみたいなものを自然言語だけじゃなくてソフトラインジネリングの世界でも自然言語も入力をすればHTMやCSSのコードを吐き出してソフトエンジネインリングをサポートしてくれるそれだけじゃなく文章の執筆要約構成メールの返信本当に反応的なものに使えるというのは間違いないなと思うんです大規模ゲイントモデルってそもそも何だったかっていうと皆さんご存知の通りものすごいシンプルに学習されたAIなわけですよね文章があってその文章の次の単語を予測すると例えば学習データの中に第一代大統領はジョージ・ワシントンなのでワシントンドンという言葉を予測するとなんでこんなシンプルなものが役に立つのかすごい不思議ですよく言われることなんですけど結局はスケーディング速度になるわけですAIのモデルを学習する時って大きくわけで3つの要素がある学習するAIモデルの大きさそれに食べさせるデータの量この学習を行うコンピューターの資源と呼ばれますけどこの3つだものね何が申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習中で増やしていったけどか突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが反応的な性能を持ち始めるものだから今はみんな注目しているわけですこれを本当にこの傾向すごいスケーニング速を分かりやすく示したグラフがこうなんですけどこのグラフっていうのはX軸がまだモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども見ていただくとりその傾向というのはログリニアなのがコンピューターの性能自体というのは皆さんご存じの無我の法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えていると要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが反応せず何が関係あるかすごいスケッチなグラフで申し上げないんですけどもこれちょっと賛否両論あるグラフなのでちょっと反対意見がある人は後で個人的に来てるすごい傾向はうまく捉えていると思っていてこのグラフで何を表しているかというと8つタスクがあるんですけど例えば算数力みたいに大規模言語モデルが5たす6は11そういった算数の問題を答えられますタスクであったり多言語力英語でQAができるモデルがペルシャ語になった時に同じようなことができますか読解力っていうのはこういったタスクを見ていく時にここも同じなんですよY軸は使われたスーパーコンピューターの実装するX軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしてきた時に突如変異的に大企業保険のモデルがタスクの能力を得るポイントがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて突如変異点が来るとこれが反応性なんです結局計算資源を増やしていった時に突如変動力を持つそういったものが大規模デルモデルの反応性なんじゃないかなっていうのは私なりの捉え方ですここからはちょっと自分たちで大金5年モテルを学ぶっていう話をしたいんですが2019年から2022年何が起こっていたかというと一言で申し上げますと各国で大規模言語モデルの開発競争が���きていたアメリカですアメリカではマイクロソフト社インターインターインターインタストリーを中心に大規模なモデルの開発競争が大きぼみることが大規模なスーパーコンピューターをオープンア社に提供して当時GPT3英語メインの大規模型型型モールドを学習していた全く似たようなことが中国でも起こっていて中国では政府が所有しているスーパーコンピューターを用いて政府機関がGPT3を超えるようなスケールです世界で最大規模のパラメターの数の大規模型予見のモデルを中国語で学習しているこの動きってアメリカと中国だけじゃなくてヨーロッパでも大きいヨーロッパではフランス政府が所有するジョン・ゼープルト呼ばれるスーパーコンピューターがあるんですけどそれをハギングフェースと呼ばれるば皆さん個人のハギングフェイス社による貸し出すことによってハギングフェース者が多国籍用の大規模型モードルを学習していたこの多国寄与って面白くて実はドイツが含まれていないのはフラスドイツの緊張感が現れそれ以上に重要な小話があって実はこのフランス政府がスーパーコンピューターをハギングフェスに貸し出す時にハギングフェスって当然グラントプロポーザルみたいなものを書いたんですよねこれこれこれこういう理由でオタクのセルファークターを使いたアゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーがフランスを食い尽くそうとしているのだから我々は独自でモデルを開発する必要があるみたいなことを言っていたんです日本を見てきた時に今でこそ本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな予定あったんですけど当時日本国内でハギングフェイスみたいな人はやらないんです最初に割れてくる疑問としてなぜ日本国内でできないのかできないのかまずそこをしっかりしたい大規模言語言語モデル学習で何が一番重要かというとやっぱりそれはスーパーコンピューターのリソースなんですが日本ってスーパーコンピューターがないかというと全然そんなことはないわけです一番分かりやすいところだと皆さんも研究で使われているかもしれませんABCIと呼ばれるGPUベースのスーパーコンピューターがあるとABCIS素晴らしいスーパーコピューターなんですけど実は日本最大級のスーパーコンピューターってAじゃないんです不学って呼ばれるスーパーコンピューターで皆さん年齢的にちょうどベストヒットかなと思うんですけど以前民主党政権がありましてそこでレイホンさんという政治家がいらっしゃったりレイホさんが仕分け会議ということをやっていた時に1位じゃダメなんですか2位じゃダメなんですかっていったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を超っていたんですけど今はレアホンさんおっしゃる通りに2位になってしまっていますそういうスーパーコンピューター何が重要かというとこの富学っていうのは本当に化け物みたいな性能を持っていてギングフェッシャーがブルームと呼ばばれる大共謙ゲングモデルを学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし前近を使えた場合は考えても10倍速いんです10倍速いっていうことは同じ計算をやった時に不学だと10倍早く計算が終わるでも深くって何がグレージーかっていうとCPUベースのスーパーポンピューターなんですよ一切GPUを搭載してないと皆さんCPUで大規模言語モデル学習したことあります大規模ゲームモデルじゃなくてもんですけどディープラウンドでCPUでやらないんです基本的にはGPUもし台所はTPUUAIに特化したハードウェアでやるいないとこれが何が問題かっていうのを同数字を見ればすぐ明らかったと思うんですけどNVDアのA-1-100っていうのがデータセンターで最先端のGPUでもその一つ前は1本目まして前はA100というGPが最先頭に搭載されてるCPUって藤津A-6-4FXって言うんですけどAIの演算性能に限っていえば富岳のCPUでMVではGPでGPの50倍遅いんですよ50倍遅いってことはGPでできる計算が50倍長くかかってしまうじゃあそもそもそもフラクって何がすごいなっていう話なんですけれども普段にてCPUが15万個あるんですよ皆さん15万個のCPU使ったことありますか?多分ないと思うんですここで何が言いたいかというとぶっちゃけGPUがCPUが50個使って平列計算したら同じぐらいスピードが出るのねっていうのはまあちょっとクレージな間で佐賀な間にすごいご迷惑ってそういうことを当時考えていてそれをやるためのした分散併列学習というものになります今でその分散並列学学習ってすごいろいろオープンソースのパッケージが出てきて皆さんご存じかもしれないところで言うと例えばマイクソフト社のディークスピードであったりLVDA社のメガトロンLMっていうパッケージがあってこういったパッケージってデータパイルモデルパレールパレールって呼ばれる分散変異例学習をサポートしてくんですけどCPUで動かったんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVではマイクロソフトに書いていただいた分散平列学習のパッケージをCPU向けに移植してちゃんと平列でCPUが計算できるかなということを試したいんですけど初期実験としては非常にいい結果が出てここなんですけどCPUの数を増やしていった時にシステム全体としての計算性能がどれぐらい上がるかなっていうのを見てこれログリニアなんですけどログリニアなんですけど特にCPUを先行わたりまで増やした段階ではその計算速度が1個だった時期が1倍近くなっていくとこれまで分散余算平列学習がすごいうまくいっているなっていう感触だったんですけれどもこれはあくまで初期の実験で当然うまくいかないこともあって一つはCPを大量に使うことでどういう問題があるかということなんですけどCPU例えば2個使っているだけだとCPU例えば2個使っているだけだとCPを1個同士がコミュニケーションすればいいだけなのでそれは問題ないとただCPを1000個とか1万個とか増やしていった時にやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分かる通りシステム全体としてその計算性能が上がるっていう時が若干落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションポストが上げられるようにしない人ってないよねそういったことも一つ課題化しているそれ以外にもすごい面白い発見もあってハードウェアって基本的に理論値と実測値というのは理論的にはこれだけ推量が出ますよ実測指っていうのは実際に使ってみたらこれだけしかスピードが出ませんでしたよ例えばトランスフォーマンの学習とかやる時にGPUの実測値って理論値の大体40%から50%ぐらい最近だと60%ぐらい出てるのかそのくらい出るかっていうとNVディアのソフティアのエンジニアの方々がものすごい波長い並々しい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションのこの特別なコードを使うことによって早くしましょうみたいなすごいなんかハンドウェビーなハードコアのソリューションがソフトチョイスタックマクウダーレアのレアの中にいっぱいあるんですよだからGPUは実測している値の幅がそんなにCPUのCPUってそもそもそんなにAI学習を想定したものではなくてむしろシミュレーションとかそっちの方で使われていたのでそういったソフテリアストストックが弱くて大規模な学習ができないのでこちらの日系新聞さんでカバーしていただいてそれこそ7社合同部屋せていただいているということなんですけれどもGPT浮学というプロジェクトが今格化いたしまして主要な期間でいうとそれこそ東北大工さん坂口先生のここで言うと栗田さんと佐々木職さんって呼ばせていただいていますけどそういった方々が中心になって協力していただいているとそれ以外にも東高台さんであったりとか理見サイバーエジェント名古屋大学富士通弊社言葉テキノロジーズが連携していけるようにそういったプロジェクトが本格化しましたこのGPT風学っていうプロジェクトは大きく分けて2つのチームがあって1つ目のチームはシステムチームと呼ばれるチームですこちらは区学場のインフラを整えているそこでAIの学習が効率的に行えるようにしようと思う具体的にどういったことを解決しようとしているかというと先ほどのスライドがあったとおりコミュニケーション��ストの問題が解決しようであったりだったりだとか理論と実測値が小さくなるようにしようそういったことをやっていますNPチームの方には東北大学の方々が主導していただいてこちらでは日本データの準備であったりとかトークナイザーの開発そういったことをやりたいと思いますこちらのプロジェクトはまだ動いているので今後もどんどんニュースが出てくるかと思いますが皆さん温かく見守っていただければと思います栗田さんと久保育先生にはすごい思い出ますが一緒に頑張っていければということですそうですねここまでが富岳のお話し深くっていうのはすごいやっぱり面白いプロジェクトで今後今後今一番速いスーパーコンピューラだろう間違いなくAI性能に限っていえば富岳よりもっと速いスーパーコンビューターっていうのは1、2年で出てくると思うんですよ不学で何で恋愛学習をやる意味があるかっていうともっと速いスーパープペーターが出てきた時に空学で学んだ知見を直接生かせるようにそういった書き橋に役割ですこれはすごいサイエンスとしてはエキサイティーになっている私と火災が考えていたのは大規模言語モデルっていうのはただすごい社会に使えるレベルになっているのでこれを実装しないとやっぱもったいないし実装してみたいな社会そういったことで言葉テクノロジーという企業を立ち上げましてちょっと思考実験をまずしてみたいので大規模言語モデル素素晴らしいすごいいろいろ使えることに果たして日本のビジネスに使えますかと弊社は言葉テクノロジーズというのは日本のビジネスと相手にいろいろとオペレーションをさせていただいている会社などこの時点ですでに日本国内の340社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったり旅行会社さんに大規模現行ゲームを持てるお宅どうお使い習い習えますかそういったことを聞いた時にこうく旅行計画を作ってそれをパンフレットでまとめるっていう業務よく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやる時に例えばGPP法を考えてみましょうプロプトかけますよこういったプロップをかけて渋谷駅から出発して火災の地元である奈良公園で日帰りで観光する計画を作ってパンプレットにしてくださいそこでは交通手段を含めてください東大寺も観光できるようにしてグルメ回りをしたいのでグルメマインまできるようにしていますじゃあGPT4は実際出てきたアウトペットなんですけど一番上を見るとすごい東京からならや伝統と自然の一日旅行その下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ伸ばしていっているとちょっとページ3スケジュールでとんでもないこと言うわけですよ朝7時渋谷市を近江大阪の新幹線に乗る渋谷駅に新幹線なんて撮ってないんですよこれはちょっとよろしくな。もっと面白いことが起こっていて11時半、長い人と並べる人がそうして斜めるつしかせてよるかもです。まあグルメ回りしたいけどジョークとしては面白いですよジョークとしては一級でこんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事がなくなっちゃいます何が言いたいかというと大規模型言語ゲンガモデルってGPVP4に代表されるようにめちゃくちゃ反応的だと反応的なんですけども日本語の閉じたドメインのようなところでデプロイしてしまうとまだまだ業務に差し支えられる欠点があるそれ以外にもそもそもこれをやった理由っていうのは旅行会社さんがパンプレットを作るためですよパーフレットを作るためなんですけども現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないと結局パワープレットが必要な旅行会社さんの視点に立ってみたらこの生のペキストをマークダーを取ってきてそのパンフレットにもう1回リストラクシャーする作務が必要ですこういった現状の大規模言語言語モデルの欠陥を研究開発することによってどんどん直して直していく直して大規模言語モデルをアプリケーションとして分かりやすい形で企業さんに販売するそういったことをやっておりましてつい直近では米国で数億円規模の指導資金調達を完了して国内でも政府指導の補助金を今申請中加瀬からもありましたとおりつい先日東京オフィスを六本木院に開設して取り組んでいるとエンジニアサイティストを始めまじ々に10月始めた順次中チームチームとあるい年内には5人から12程度のチーム編成に生きればそういったふうに思っておりますそうですねこれが先ほど申し上げておりますでそうですねこれが先ほど申し上げた内容を少し細かくしたところなんですけれども研究開発としては例えば非英語圏の言語でも大規模言語ゲンゴモデルがしっかり使えるようにしたりとかそれこそ大規模言語モデルっていうのはリアルタイムな情報がすごい弱いわけですよね例えば東北大学から仙台駅に今行きたいとなったら大規模型言語モデルって基本的に今の時間を調べてそれに落ちた答えをしてくれるっていうのはなかなかないのでそういったところツールフォーマーといった論文がありますけどAPIコールを通じて解決することで大規模言語モデンリアル体制を持たせるであるそれ以外もマルチモダル能力でそういった研究開発をしておりますこういった研究開発した言葉フォーマンという名付けられて我々言葉フォーマーって呼んでいるんですけど弊社のシステム言葉フォーマーをユーザーの方々に分かりやすい形でパッケージング化してあげることによって例えばコールセンターであったりとかコンテンツ生成そういったものにして企業さんに販売していく今日のトークはお知らにしたいと思ってお弁者が最初に取り組んでいる教育分野のカスタマーさんと一緒にプロジェクトをやらせていただけるんですよね教育分野もちょっとここはアカデミックトークなので名前も行ってしまいますが皆さんなんか寸大に行かれた方っていらっしゃいますかあまりないのかななるほどあまりないのかな寸大っていう塾があるんですけどまあ弊社のかすん大様とプロジェクトを一緒にやっておりましてここではどういうプロジェクトをやっているかというと生徒さんが塾の中でお使いにある練習問題とかそういったプロジェクトをやっているんですよ須大様が今度いった課題さんが今どういった課題を抱えてらっしゃるかというとこういった練習問題を作る時に基本的に教員の方々が指導で試験を作るとその結果ものすごい労力が費やされているんですよ例えばクレイジな話なんですけど共通テストの1個作るのに何時間かけていますかっていう話を聞いた時に1つのテストに300時間かけているらしいんです300時間それ年1回やるわけじゃないですか何回も何回も繰り返す弊社がやっているのは本当にすごいシンプルに教員の方々が使えるようなシステムでここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんですよここではアメリカを初めて訪れますよというコンテクストで問題を作ってくださいその結果出てくるものが例えばこういうパーフレット形式のビューク今は共通テストってすごい情報分析に寄せたような問題が出ていて英語でもないこういうパンフレットを呼び解いて問題に鍛えてくださいみたいな問題の問題があるんですだからこういうパーフェットみたいなものを直接出力することによって先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこういったパンフレットを作ってその後はそれに即した問題を先生方に生成していただくわけです質問の正々に進むというふうに進むとこういった感じで4択の問題がパープレットに属した形で成縁されて最終的にはPDFであったり出力するPDFはただに問題のコンテクストをつないでだけのものなんですけどワードで何で出力するかというとやっぱりAIが出力したものなので先生方が気に入らないものがありますそういったものを例えばワードだと直接先生方が手を加えるだけですぐに生徒さんに配られてもらってもそういったことを教育ドメンではやっておりますもう一つ紹介したいのがもう一つ紹介したいのが交通分グJR東様と一緒にプロジェクトルトをやっておりましてそこでやっているこ���としてはカスタマーサポートの自動化というくとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやっているじゃないと思う方もいらっしゃると思うんです確かにその通りですただJR東様のチャットボットってめちゃくちゃ難しいんですなんで難しいかっていうとさまの方々が本当に多様なお問い合わせをしてくる本当に多様なお問い合わせをしてきた結果ちょっとGPT4をいじっただけだと想定解決できないような問題が出てくれば例えばその例をあげると渋谷駅でお裁表を忘れてしまったんですけどどうすればいいですかそんなチャットGPTに聞いても分からないですね何をやる必要があるかというと例えば大規模型語言語モイルが裏でAPIを呼んで例えばSQLのような報道を書いて例えばJR東の中にあるインターナルなデータベースにお問い合わせをして忘れ物状況を取得してそれを踏まえて返答を送らないといけないそういったことがないんですよもっとクレイジーになれると例えば何でしょうね渋谷駅から新宿研究に行きたいんだけどできるだけもうちょっと疲れてるだけもうちょっと疲れてるからあまり飛んでいない路線を選んでくださいみたいなことが気になる方もいるんですよそしたら何をする必要があるかもめちゃくちゃくちゃ難しいですよめちゃくちゃ難しいとでもなんかありがたいこととしてはJR東大久間って今各駅各列車にセンサーがついてて混雑状況が分かるんですよ結構我々頭がおかしいのでクレジなことを考えるわけですよもしテンサー情報に大規模型ボケグモデルが直接アクセスできてその混雑情報を取ってこれたらそういった座っていける路線は何ですかみたいに質問にも答えられますそういったことをここではやっていますすごい何だろう簡単に見えて難しいアプリケーションなんでこれはめちゃくちゃエクサイティングですもう一転エクサイティングな点を上げるとするとやっぱりJRヒャスタマーのカスタマンセンターって皆さんちょっとお使いにならないかもしれないんですけど結構その高齢の方々とかって電話を通じてアクセンターに電話をかけていらっしゃったりするんですかねその数で言うと1日大体数万件年間でいうとそれこそ数百万件数千万件ってなんていません弊社が開発した人がご視野児,"[16.54080867767334, 16.039757013320923, 16.108657360076904, 15.648179054260254, 15.735510349273682]"
-kotoba-tech/kotoba-whisper-v1.1,15,True,False,sdpa,cuda:0,long_interview_1.mp3,True,256,16.489454126358034,0.2974532799091081,NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心にちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジスという企業を作るに至ったかなっていうのをお話しさせていただければと思いますよろしくお願いいたしますそもそも誰やっていう話だと思うんですけど小島紀樹と申しますよろしくお願いいたします小島大学と申します私、コーネル大学を卒業しまして本当ディフェンスをやったのは2、3週間前なんですけれどももともともとはコーネル大学ってニューヨーク州の土田舎の伊阪という街にあるっていうイメージがある方も多いと思うんですけどもコーネル大学って2つはイサカにあるんですけどもう一つはニューヨーク市にあるインソ川の上に浮いているルーズベルト島っていうすごい細長い島があるんですけどそこでPHEをやっておりました私は小島っていう名前なんですけども本当にしょうもないネタを言うと小島の上でPHUが振り方そういう四面間となっております私はPHの専門部屋としてはマルチモダリティーと呼ばれる自然言語のシステムにどうやったら言語以外の情報を例えば画像であったりとか音声といったものを理解できるようにさせるそういったことであったりとかインターナクティブラーニングと呼ばれる最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういった検訓の方ではハギングフェイスでちょっといろいろとプロジェクトでお世話になったりもしましたそうですね学部から実はアメリカに行っていてミシガン州にあるミシガン大学アナーバーコっていうところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンガッチさせていただきます今日はよろしくお願いしますはい、青木純吾といいます。トヨタ工業大学鹿児島という日本、名前から分かるとおりですね、日本のトヨタが昔出資をして今独立な組織なんですがそちらの方でリサーチアシストプロフェッサーという職を持ちだから小島と共に言葉テクロジに取り組んでいるという状況です私も本当にPHDも出来立て小屋というか最近取りまして先月8月に無事シアトルですねアトルにあるワシントン大学でコンピューサインスの博士課程を卒業しました研究分野としては最初の方は機械本屋だとかマシンチャンスレーションとかあとは効率化とか言語制制制のイバリエーションとかそういうことをやっておりましたちょっと遡残るとですね実は私も暇と見た形で高校卒業後は大学はアメリカの家康大学という統計会当時は統計にいたんですが統計学部を卒業しましてその後その後ELELで働きながらワシンコ大学に進学したという経歴ですね最近イエル大学も知名度がってきてちょっとよく分からない教授がいろんな番組でお話をしているという名前は誓いさせていただきますけどもまあなんか知名度ががってきてうれしいんですがここはイエドにタックスでオフソードとかケンブリッシュの生まれてこれわざとなんかやりたりしてるんですよねわざと古く見せるようなアメリカって新しい国なんでそういう感じてるというでも非常にきれいな感じがありますこれがTTIC東京都宮大学シパワークの中でこれもまた古いものとまた電波等下なんかでそれを改造して大学になったとしばらく日本にも非常につながりがあって古井先生というスピーチの対応ですねついさっきになくなっちゃったんですが彼が昔ここでプレゼントをやっていたということで本当に日本のゆかりがあってなおかつ私が実は今パカルティーで唯一日本人なのでちょっと責任感を持ちながらやってるという感じですねこれがそこになりでほとなりここにいるんだというとまさに宇坂口さんとの佐賀井先生ですねすいませんつながりが本当にこういったありがたい機会をいただいていて私は本当に2021年のちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に佐川口さんがAI2にいらしてそこでインターのメンターを一緒にやろうということでインターのメンターを最初3か月とやりつつでも本当に楽しくていろいろパーテイムで練習しているうちにもう1年ぐらいもうちょっと長い日々で一緒に研究をさせていただいて本当に楽しい日々でオフスがあって私のアドバイザーノアスミスなんですけどノアスミスが出てノアスミスが出て写真を撮って掘り出してきました本当に懐かしくて本当に昼ご飯を食べては雑談してですね昼ご飯を食べてるうちに論文がそれなりにかけてくるみたいなことをやっていて大体雑談の中ににいろいろあったんですけど最後の方が結構皆さんご存じですか?白い虚党の話をよくしてましてこれいろんなバージョンがあるんですけどこれあのカラスアトシャキっていう俳優がやっていたバージョンが2人ともすぐお気に入りで広役とのバージョンどこが一番いいかというのを話し合っていて坂口さん的には後半のやっぱり財前教授になった後に亡前教授になった後に財前教授なんですけどなくなってこうちょっとネタバレになっちゃったなそのあたりはダメだと税務にこそ面白いことをおっしゃってさすが坂口さんの見るところは素晴らしいなということで涙では泣かすだけじゃやっぱダメなんだなっていうことを感じましたねこれがいって撮って撮った写真でそららどこかにいらっしゃると思うんですがそんな感じですごいいところでしたね会社としましては藤間と創業しまして今は日本とアメリカの二極対戦みたいなクロスボーダーという形でやっていて私自身T-PICプロジションもありますしあとはシアトルに今シャトルに本社はあるんですがそれでもうすでに東京の国民にオフィスを構えまして日本の死者みたいな形で今やろうという形で進めているということで言葉と出申しする会社ですね基本的に下げ年語���話題の大規模型言語モデルですねLLの特に非英語圏語系のベース言語モデルの開発とか場によってはマルチモータルとかそういったことをもんど挑戦的にやっていきたいなともちろん同時にやはビジネスですのでアプリケーションの提供も行うことでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっているやっぱ初期市場としては今は日本を考えてまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりましたし、何かしらやはり日本の中でインモを作っていきたいなということで、今日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになります一部目はまさに私はもう5年間PHDがありましてこの5年間って恐らくNLPの歴史の中でも一番激動の5年間だったと思いますので運良くいいのか分悪いのか分からないですがそのタイミングでPHDを終わった私から見た今思うとこうだったよねみたいな話をちょっと過去の話をちょっと第1部では第2部からはですねもっと直近な話で大金モデルの時代の到来ということで私たちがどういうことを考えていたのかということを話したいと思いますそれあとはやはり前を行きたいということで未来について話していきたいと思いますはいということでということで適広のPHD5年間ということでこれはもう本当にもう本当にもうはいということでこれはもう本当にもう私のPHLをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で最初だけポジズニムな話でいこうと思います一番最初にKHDDが始まる前にイエル大学にやっていたのは構造解析とかいわゆるシンタックスとかパーショングとかそういうことをやってその後ですねワシントン大学に移動してずっと英語ばっかりこの構造解析とかずっと英語なので英語ばっかり言うよくないので私自身多言語を私た言語をやりたいなということで多言語を解説に伝うことをやってきたそのうちに他言語をやっているうちに他言語というか機械本やんでしょうということでマシントランスレーションを毎回ありがしその後にどんどんマシントラスレーションの一般のことをやりじめてちょっとこれ見づらいんですがモデルの高速化とか効率化とかそういったことにやっていったり大一部現をモデルに取り組むということで無理やりまとなればだんだんオーディエンスが最終と比べると大きくなっていたなということでこれはちょっと自分が一つ成長できたポイントとして少しきれいに見えるかなと思いまして最後に一つだけポジティブなことを言っておくと環境のやはりいろんなものを変えていった時にですね環境の変化が本当に大きかったなと思っていて皆さんもし機会があればぜひどんどん環境の変化を求めていったらいろんな経験ができると思っていて一番最新学院院院学にいましてワシントン大学にいながらちょっと引き詰まったのでメタでインターでインターンしたりそういったことをやっているうちにあとは最後は最後のサラドイツーでインターチャンをしたりマイクロソフトに行ったりして環境の変化に応じていろいろプロジェクトとかも楽しくできた方だと思うのでぜひいろんな日本いいところですし仙台は本当に素晴らしいところですけどもいろんな物理的にも環境を変えるのもいいことなのかなとまあじゃあせっかくせっかくまずは過去の話ということで一体一体私がPHリ始めた頃何が起こったかというとこれですねディープコンテクショナイントということでその前まではワーデンベリングというかも多分多分今の人知らないのかなみんな授業でやってますね教科書かしみたいな感じに単語をですねいろいろいろフラッシュファイアとかいろりやるときにベクトル化したいみたいなこういうことを今から言えばものすごい浅いニューラルネットワークみたいので周りの単語を予測することでベキトル化るよねみたいなそういったそういった言語学とかディスティブーション・マンティクスとか言ったりしますけどもそういったディスティスティブーションのスマンティングスクスクトがそういったりとかそういったディスティブーションオスなんですそうですねそういったと言ったりしますけどもそういった自然なことをやっていたというのがこれでぐちゃぐちゃぐちゃこういうことをみんな頑張ってたんですよねこれ最初ミコロフの2001年もっと前から多分あるんですがあと黒をウエクトルとかいろびやっていてこういうことやっていたんですが大体私がPシリア始めた頃ですねこれまさに実はワシント大学で私がちょうど入る直前に起こったことなんですがワシントン大学はまさにAI2でエルモンというのが出てくるこれこそ今もうあんまり知られてないのかもしれないですがエルモの研究というのがあってそれはですね要は今まで浅いに色な手に行っていたけどもっと深くして何日モデルにしていろやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりコーブの効果を使っていてそういうことがあったということがエレモだったりコーブでちょっとこれに似たようなアイデアがあってそういった時代に私はPGで始めたということでここで終わりだと思ったんですね私は実はもう完全にこれ以上これ以上間違うことはないんですが完全に間違っていると思うちょうどこのセバッシャン・ルー�のMVS-REといってどんどんビジョンみたいになってきたよねと結局当時ビジョンでよくやられていたのはイメージネットで大量に画像のクラジケーションとかを学習させててそのベクトルを使って他のタスクトスクとかを得たっていたんですがまさに同じことが同じことが起きていてまさに同じことが他のカスクタイトラッシングとかクエッションアンセリングとかマシントラーションとかをやらせるみたいなイメージネードみたいになったよねっていうことを言っていたということでこれがああよかったねと自然言語シェルもようやくビジョンに落ち着きましたと言ってたところこれは始まりでしたらなかったんですがちょっとその時私が私が言って何をやっていたのかというのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていてLも出てきた時にラングチモデルを基本的に英語でやってきたんですがマルチリンガルにやらないといけないよねっていうことを考えていてじゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングジコーラブラッシャンとかヒーブルとかヘブルとかどれぐらいバイリンガルでラグチモデルをトレーニングしてそれをそのベクトルを使うってことをやることをやることでそうすることでモノリンガルの時にバイリンガルにした方が圧倒的にスコアが上がるようねみたいなことをこの時考えてやっていましたこれがラクルの2018とかじゃあ2019か18かその辺の研究でした結局でもこの研究でした結局でもこの研究ってあんまり意味なかったですなぜかっていうと今反省すると結局さっきバイリンガルのグラフ見せましたけどちょっと科学的な指標にこだわってたんですよねじゃあバイリンガルで今だったら例えば英語があってそれに全部ごちゃまずしたいろんな言語を加えて言語モデル作ろうみたいな発想になるんですが当時はやっぱりちゃんと比べなきゃいけないでしょより多言語に大規模に拡張してしまって例えば日本語だけのモデロ日本語定語のモデル使っても助かる人って使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね今思えばもっと使いやすいものだったらというふうに思いましたし当時トランスフォーマってまだそこまで使われていなかったのでASDMとかを使ってやっていましたということで結局時代が読めなかったら負けましたということですねその負けた相手なんですがXLMのフェイスブックからFBスブックスタッチから出たらXMというのがあってこの人も本当に論文のよく分かんないしよく分かんないですけど実際に使えるものを作ってたんですね彼はそれをダウンロードしてサイベーションももちろんですしそれ以上にかく伝えのものを作った本当に素晴らしいなと思った次第ですコンピューターサインスのP資料をやるということで自分は科学者になるなと意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしてるということであと最後にタスクの選定をちょっと間違っていまして私たちはNARとかエネシャンティングルングがやらっていたんですねこれも結局まあいいんですけど当時ものすごい流行っていったのはクエスチアンスルで結局QAで結局QAの人たちはこういう本物読んでくれなかったんですよねその割にこういう論文を読んでくれてなので結局使われなくなってしまってその割にこういうロボンを読んでくれてなので結局使われなくなってしまって何か使う数は正義というかそういうことで結局インパクトを残せなかったなというのを今反省していますバーチャルのバートの時代に来たということでさすがにバートは皆さん知ってると思うんですが当初これ出た時はですねバートはただエルムを大きくしただけだよねというふうに思っていましたしこれ私のアドバイザーのアスミスとあともう一人ループゼルークゼロモイアンという人がいます。同じワシンケンターナイルの恐竜ですが今フェイスブックのディレクターとかNRPもリサーチャーしている人で彼はエレモの作者でもあり最近だとにかく大規模ーブ言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言ってたかというと単純なエルモのエクセンションなんかに大してベスペーパーも上げる必要ないしあんま興味見えようみたいなことをまあでも実際にこれったらベストペースタイプローパーを取った前なんですが実際撮りましたよねいかにこうくろうとか間違えたかとあとルークはちょっと面白くてちょっと見方が違ってですね彼はエルゴンの作者ですから素晴らしいと言ったけども自分の頑張ったエルボが1年が続くと思ってたのに結局1年続かなかったよねちょっと悲しいねみたいなループはしていてちょっと違う見方をしてるのかなというふうに思って面白かったんですがそのループもですね実はGPT2がちょうど出てきた時にこれタンダルタンデル何やってんだろうなんでこんなに騒いでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですね当てにならないと僕らになるということですねバートの被害になって当初はエレモンが大きくなったものだと思って行ったんですがもちろん違ったとNLPの世界を完全に変えてしまったというものなんですがもう一つちょっと面白かったなおまけの話として当時ハギンフェイストランスフォーマーズのライバリーのきっかけにブンのきっかけになったんですよねこれ昔ハイトウィン・フェイン・フェイン・フェス自体はキットボットとかの会社でもともとあったんですが彼らがバードはGoogleから出たので検査ブロードで吹かれてるそれ研究者みんな検査ブロード使いたくないんでパイトウトウ�を使いた時に彼らがそのパイトウォーチに書き起こしたコンバートしたものを出したそれがパイドチパートでありそしてそれが結局カニンペインペーストランスフォーマンスにつながっていったということでこういうの商業向上というか社会の流れていは分からない思わないことでこう思う表記していくんだなというところですねその時私は何をやっていかかというと当時にマシントランスレーションやりたいということでマシントランスレーションのスピードアップとかですねこの2個目の論文はですね1個目のログのマークでいろいろスピードアップでこうなんか平列化とか一生懸命やってたんですね結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話もやってなんかちょっと怒られたようにしたんですがでも結局これが本当のある意味真実なのかなと思ってちょっと自己自己意味が実なのかなと思って自己議が出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT3の時代が来てフィーショットきて、だんだんこの時からだんだんクラスピケーションにリーナーがなくなってきていて、だんだんみんなジェネレーションをしよう、ジョンにしようっていう方向に来たというのが当時の中で、もちろん存じのものフィショットラーニングのでもあとグループとかオープン���ースの方でも大学とか組織をまたいだプロジェクトが出てきたっていうのがこのキーピーピッジスティスティング時代ですがこの時の研究はバイディメンシャービーダーバーボードといって今までのビーガーボードというのはジネレーションのな形でそういうのをやったということであとはやはりジェネレーションにとってイバリエーションが大切だということでイメージ・キャグシュニングのイバリエーションとかも佐賀井先生と一緒にやっていたという感じのことをしていましたこれちょっと予言なんですがこういう佐賀吉さんのご提案で漫画を描いてみようということで漫画を描いてこの論文のPRをツイッターでしていたというこういういろんな楽しいことを本当に楽しくやってたということですはいでついにお待ちかねチャックGPTGPTGPT4の時代が来たということはまさにこれはまさにこれは社会実装の時代に来てしまったらともちろん研究も多数なんだけどもとにかく使ってどこが問題なのかということを洗い出していかないとなかなかベンチマークとかで現れないものかなということを感じていてそういった経営で企業して小島ともにやっていこうというふうに思い出たったと特に英語にNLPの業界は編集してますよねこれが大体インターネットユーザーの数で25%ぐらいインターネットユーザーは英語をしているんですが残念ながらやほとんどが英語でしか実験をしてなかったり英語についての論文だったりするということでこれはまず一気英語編の基盤モデルをどんどん作っていかなきゃないよねというふうに思っております結局自然言語�っていうのは何だったのかを振り返ってみると結局全てはスケールだったとこれはもう否定がしようがないなということでいろいろ私自身もいろいろ作りたくて頑張ってたんですが結局大きさで解決されてしまったことも多くてそこはもう認めたらおけないかなということで間違っていたと私自身は間違っていてそうですねどういうことですあともう一つ面白いと思ったのはやはり科学的なプロセスが違ス化ができるって書いたなということを例えばトランスフォーマーが2017年出てきた時に私はそのトランスフォーマーがこんなに広がると思わなかったっていうのも仕方ないから論文いくら読んでもよく分かんないですなんかそのアテンションのディペンネージがうんだなみたいなそこって多分こって多分コンスフォンの本質っていうのは今思えば当時のですねそうですねGPUとかTPUとかそういったそのパラレルの計算の訓練がしやすかったですねですねLSTMとかだとどうしても巨大化してしまうとどんどん時間がかってしまうけどトランスコマンをパラレルにできるからハードウェアとすごい相性が良いようにハードウェアを決定論みたいな形でハードルアによってトランスコムのすごさが余計リーズされていって似渡る方々と言われるんですがそういった経緯があるのかなということがあってだから分からわからなかったのも仕方ないのかなと思ったりもします他の例で言うと例えばアダムでうまくいかなかったらやめるということなので結局そこも庭とりと卵であっていろいろ予測するのは難しいよというふうに今思っていますちょっとこの非科学的な支配する世界ということなんですがでもよく考えてみるこれもそうなんですよねやっぱりコンピューターサイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよあの大学地にケミスティックスとか言わなくていい同じようにオープンって言りオープンじゃないかな実際クローズだということでそういうことだとアメリカのチェーンでセイクウェイっていうのがあるんですけどセーフェインは全然安全にないですよね大体危ないところにあるのでだから結局そういうもんなんだなということで言ではできないです専門家の知見というのは結構トランスフォーマーのポテンシャルを私は当時期づかなかったしあとチャットボットっていうのも意外でしたねやっぱりチャットって人間とチャットをめんどくさいねなんで機会としないかっていうのが当時の考えだったんですけど結局チャットボットでこんなに有名になったんだっていうのが本当に衝撃でしたしい���に私自身が人間を理解できてないかということですねということで何も分かってないまあでもとにかく過去の話をしてきましたが前に進んでいきたいというふうに思っております5年間を簡単にまとめると適度に環境を変えるのはプラスでしたしでも専門家ですらは見らないわからないのであんまり専門家の言うこととかあんまり専門家が言うこととか気にしないでくださいということですね最近なんか自分がいい人も論文言語悪い理由がするねまあねあともしたちはですねアイフェンじゃないかなバートとかってアイデオ自体は本当に基本的にエルムを大きくしていろいろ他のアイデアはあったんですけど結局そのマスクラングチモデルとか同じようなアイディアがあってアイディアだけじゃなくてエクセキューションの重要なのかなっていうことを思っていてでもこれって結局研究だけじゃなくて企業とかも見えると思うんですが例えば企業においても開かないのおいても必ずも早いもの勝ちじゃないのかなエルモンとかLモンとかあんなに早い段階で実はもっと先にも言って前にもあったんですがLモンとかエクセールドクとかありましたけど局パートナ全部持っていったりGPT3とかGP5が全部持ってったりですね結局早めの街の世界というよりもそういった不思議な神のみず知りみたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばグルーブルとかフェスブクって最初の検索エンジンでもないしフェスブックも最初のソーシャルメディアが何でもないわけでだからそういった不思議な力があるなというふうにも思いました最後に科学的指標というのも大切なんですがそれだけにこだわらずにやはりコンピュータサインティストはサインティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中に出していきましょうということを思っていますということでこれからは未来の話をしてきたいと思います大規模大規模ルの時代が来たと皆さん大規模現行形モデルどう思います?すごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくる時は基本的にチャットボットボットみたいなものを作ってみたいなものを自然言語だけじゃなくてソフトラインジネリングの世界でも自然言語も入力をすればHTMやCSSのコードを吐き出してソフトエンジネインリングをサポートしてくれるそれだけじゃなく文章の執筆要約構成メールの返信本当に反応的なものに使えるというのは間違いないなと思うんです大規模ゲイントモデルってそもそも何だったかっていうと皆さんご存知の通りものすごいシンプルに学習されたAIなわけですよね文章があってその文章の次の単語を予測すると例えば学習データの中に第一代大統領はジョージ・ワシントンなのでワシントンドンという言葉を予測するとなんでこんなシンプルなものが役に立つのかすごい不思議ですよく言われることなんですけど結局はスケーリング速度になるわけですですよく言われることなんですよく言われることなんですけど結度を学習する時って大きくわけで3つの要素がある学習するAIモデルの大きさそれに食べさせるデータの量この学習を行うコンピューターの資源と呼ばれますけどこの3つだものね何が申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習中で増やしていったけどか突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが反応的な性能を持ち始めるものだから今はみんな注目しているわけですこれを本当にこの傾向すごいスケーニング速を分かりやすく示したグラフがこうなんですけどこのグラフっていうのはX軸がまだモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども見ていただくとおりその傾向というのはログリニアなのがコンピューターの性能自体というのは皆さんご存じのムーアの法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えていると要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが反応せず何が関係あるかすごいスケッチなグラフで申し上げないんですけどもこれちょっと賛否両論あるグラフなのでちょっと反対意見がある人は後で個人的に来てるすごい傾向はうまく捉えていると思っていてこのグラフで何を表しているかというと8つタスクがあるんですけど例えば算数力みたいに大規模言語モデルが5たす6は11そういった算数の問題を答えられますタスクであったり多言語力英語でQAができるモデルがペルシャ語になった時に同じようなことができますか読解力っていうのはこういったタスクを見ていく時にここも同じなんですよY軸は使われたスーパーコンピューターの実装するX軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしてきた時に突如変異的に大企業保険のモデルがタスクの能力を得るポイントがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて突如変異点が来るとこれが反応性なんです結局計算資源を増やしていった時に突如変動力を持つそういったものが大規模デルモデルの反応性なんじゃないかなっていうのは私なりの捉え方ですここからはちょっと自分たちで大金5年モテルを学ぶっていう話をしたいんですが2019年から2022年何が起こっていたかというと一言で申し上げますと各国で大規模言語モデルの開発競争が起きていたアメリカですアメリカではマイクロソフト社インターインターインターインタストリーを中心に大規模なモデルの開発競争が大きぼみることが大きぼなスーパーコンピューターをオープンアン社に提供して当時GPT3英語メインの大規模型型モデルドを学習していた全く似たようなことが中国でも起こっていて中国では政府が所有しているスーパーコンピューターを用いて政府機関がGPT3を超えるようなスケールです世界で最大規模のパラメターの数の大規模型予見のモデルを中国語で学習しているこの動きってアメリカと中国だけじゃなくてヨーロッパでも大きいヨーロッパではフランス政府が所有するジョン・ゼープルト呼ばれるスーパーコンピューターがあるんですけどそれをハギングフェースと呼ばれるば皆さん個人のハギングフェイス社による貸し出すことによってハギングフェース者が多国籍用の大規模型モードルを学習していたこの多国寄り王って面白くて実はドイツが含まれていないのはフラスドイツの緊張感が現れそれ以上に重要な小話があって実はこのフランス政府がスーパーコンピューターをハギングフェスに貸し出す時にハギングフェスって当然グラントプロポーザルみたいなものを書いたんですよねこれこれこれこういう理由でオタクのセルファークターを使いたアゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーがフランスを食い尽くそうとしているのだから我々は独自でモデルを開発する必要があるみたいなことを言っていたんです日本を見てきた時に今でこそ本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな予定あったんですけど当時日本国内でハギングフェイスみたいな人はやらないんです最初に割れてくる疑問としてなぜ日本国内でできないのかできないのかまずそこをしっかりしたい大規模言語言語モデル学習で何が一番重要かというとやっぱりそれはスーパーコンピューターのリソースなんですが日本ってスーパーコンピューターがないかというと全然そんなことはないわけです一番分かりやすいところだと皆さんも研究で使われているかもしれませんABCIと呼ばれるGPUベースのスーパーコンピューターがあるとABCIS素晴らしいスーパーコピューターなんですけどね実は日本最大級のスーパーコンピューターってABCIじゃないんです不学って呼ばれるスーパーコンピューターで皆さん年齢的にちょうどベストヒットかなと思うんですけど以前民主党政権がありましてそこでレイホンさんという政治家がいらっしゃったりレイホさんが仕分け会議ということをやっていた時に1位じゃダメなんですか2位じゃダメなんですかっていったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を超っていたんですけど今はレアホンさんおっしゃる通りに2位にな��てしまっていますそういうスーパーコンピューター何が重要かというとこの富学っていうのは本当に化け物みたいな性能を持っていてギングフェッシャーがブルームと呼ばばれる大器オンゲングモデルを学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし前近を使えた場合は考えても10倍速いんです10倍速いっていうことは同じ計算をやった時に不学だと10倍早く計算が終わるでも深くって何がグレージーかっていうとCPUベースのスーパーポンピューターなんですよ一切GPUを搭載してないと皆さんCPUで大規模言語モデル学習したことあります大規模ゲームモデルじゃなくてもんですけどディープラウンドでCPUでやらないんです基本的にはGPUもし台所はTPUUAIに特化したハードウェアだったA100っていうのがデータセンターで最先端のGPUでもその一つ前は1本目まして前はA100というGPが最先頭に搭載されてるCPUって藤津A-6-4FXって言うんですけどAIの演算性能に限っていえば富岳のCPUって50倍遅いんですよ皆さん15万個のCPU使ったことありますか?多分ないと思うんですここで何が言いたいかというとぶっちゃけGPUがCPUが50個使って平列計算したら同じぐらいスピードが出るのねっていうのはまあちょっとクレージな間で佐賀な間にすごいご迷惑ってそういうことを当時考えていてそれをやるためのした分散併列学習というものになります今でその分散並列学学習ってすごいろいろオープンソースのパッケージが出てきて皆さんご存じかもしれないところで言うと例えばマイクソフト社のディークスピードであったりヘルビディア社のメガトロンLMっていうパッケージがあってこういったパッケージってデータパイルモデルパレールって呼ばれる分散変異例学種をサポートしてくんですけどCPUで動かったんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVではマイクロソフトに書いていただいた分散平列学習のパッケージをCPU向けに移植してちゃんと平列でCPUが計算できるかなということを試したいんです初期実験としては非常にCPUが計算できるかなということを試したいんですけど初期実験としては非常にいい結果が出てここなんですけどCPUの数を増やしていった時にシステム全体としての計算性度がどれぐらい上がるかなっていうのを見てこれログリニアなんですけどログリニアなんですけど特にCPUを先行わたりまで増やした段階ではその計算速度が1個だった時期と比べて1000倍近くなっていくとこれまで小典数学学習がすごいうまくいっているなっていう感触だったんですけれどもこれはあくまで初期の実験で当然うまくいかないこともあって一つはCPを大量に使うことでどういう問題があるかということなんですけどCPU例えば2個使っているだけだとCPU例えば2個使っているだけだとCPを1個同士がコミュニケーションすればいいだけなのでそれは問題ないとただCPを1000個とか1万個とか増やしていった時にやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分かる通りシステム全体としてその計算性能が上がるっていう時が若干落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションポストが上げられるようにしない人ってないよねそういったことも一つ課題化しているそれ以外にもすごい面白い発見もあってハードウェアって基本的に理論値と実測値というのは理論的にはこれだけ推量が出ますよ実測指っていうのは実際に使ってみたらこれだけしかスピードが出ませんでしたよ例えばトランスフォーマンの学習とかやる時にGPUの実測値って理論値の大体40%から50%ぐらい最近だと60%ぐらい出てるのかそのくらい出るかっていうとNVディアのソフティアのエンジニアの方々がものすごい波長い並々しい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションのこの特別なコードを使うことによって早くしましょうみたいなすごいなんかハンドウェビーなハードコアのソリューションがソフトチョイスタックマクウダレアの中にいっぱいあるんですよだからGPUは実測しているンジの幅がそんなに不実のCPUってそもそもそんなにAI学習を想定したものではなくてむしろシミュレーションとかそっちの方で使われていたのでそういった測定やストックが弱くて大規模な学習ができないのでこちらの日系新聞さんでカバーしていただいてそれこそ7社合同部屋せていただいているということなんですけれどもGPT浮学というプロジェクトが今格化いたしまして主要な期間でいうとそれこそ東北大工さん佐賀口先生のここで言うと栗田さんと佐々木職さんって言わせていただいていますけどそういった方々が中心になって協力していただいているとそれ以外にも東高台さんであったりとか理見サイバーエジェント名古屋大学富士通弊社言葉テキノロジーズが連携していけるようにそういったプロジェクトが本格化しましたこのGPT風学というプロジェクトは大きく分けて2つのチームがあって1つ目のチームはシステムチームと呼ばれるチームですこちらは区学場のインフラを整えているそこでAIの学習が効率的に行えるようにしようと思う具体的にどういったことを解決しようとしているかというと先ほどのスライドがあったとおりコミュニケーションコストの問題が解決しようであったりだったりだとか理論と実測値が小さくなるようにしようそういったことをやっていますNPチームの方には東北大学の方々が主導していただいてこちらでは日本データの準備であったりとかトークナイザーの開発そういったことをやりたいと思いますこちらのプロジェクトはまだ動いているので今後もどんどんニュースが出てくるかと思いますが皆さん温かく見守っていただければと思います栗田さんと久保育先生にはすごい思い出ますが一緒に頑張っていければということですそうですねここまでが富岳のお話し深くっていうのはすごいやっぱり面白いプロジェクトで今後今後今一番速いスーパーコンピューラだろう間違いなくAI性能に限っていえば富岳よりもっと速いスーパーコンピューターっていうのは1、2年で出てくると思うんですよ不学で何で恋愛学習をやる意味があるかっていうともっと速いスペースペーターが出てきた時に空学で学んだ知見を直接生かせるようにそういった書き橋に役割ですこれはすごいサイエンスとしてはエキサイティーになっている私と火災が考えていたのは大規模言語モデルっていうのはただすごい社会に使えるレベルになっているのでこれを実装しないとやっぱもったいないし実装してみたいな社会そういったことで言葉テクノロジーという企業を立ち上げましてちょっと思考実験をまずしてみたいので大規模言語モデル素素晴らしいすごいいろいろ使えることに果たして日本のビジネスに使えますかと弊社は言葉テクノロジーズというのは日本のビジネスと相手にいろいろとオペレーションをさせていただいている会社などこの時点ですでに日本国内の340社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったり旅行会社さんに大規模現行ゲームを持てるお宅どうお使い習い習えますかそういったことを聞いた時にこうく旅行計画を作ってそれをパンフレットでまとめるっていう業務よく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやる時に例えばGPP法を考えてみましょうプロプトかけますよこういったプロップをかけて渋谷駅から出発して火災の地元である奈良公園で日帰りで観光する計画を作ってパンプレットにしてくださいそこでは交通手段を含めてください東大寺も観光できるようにしてグルメ回りをしたいのでグルメマインまできるようにしていますじゃあGPT4は実際出てきたアウトペットなんですけど一番上を見るとすごい東京からなら伝統と自然の一日旅行くめちゃくちゃキャッチになったりとかこれだけ見ると日本のビジネスでもGPT4使えるじゃんと思う方も多いと思うんですけどその下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ伸ばしていっているとちょっとページ3スケジュールのとんでもないこと言うわけですよ朝7時渋谷市を近江大阪の新幹線に乗る渋谷駅に新幹線なんて撮ってないんですよこれはちょっとよろしくな。もっと面白いことが起こっていて11時半、長い人と並べ行く突っかせているかもです。まあグルメ回りしたいけどジョークとしては面白いですよジョークとしては一級でこんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事がなくなっちゃいます何が言いたいかというと大規模型言語ゲンガモデルってGPVP4に代表されるようにめちゃくちゃ反応的だと反応的なんですけども日本語の閉じたドメインのようなところでデプロイしてしまうとまだまだ業務に差し支えられる欠点があるそれ以外にもそもそもこれをやった理由っていうのは旅行会社さんがパンプレットを作るためですよパーフレットを作るためなんですけども現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないと結局パワープレットが必要な旅行会社さんの視点に立ってみたらこの生のペキストをマークダーを取ってきてそのパンフレットにもう1回リストラクシャーする作務が必要ですこういった現状の大規模言語言語モデルの欠陥を研究開発することによってどんどん直して直していく直して大規模言語モデルをアプリケーションとして分かりやすい形で企業さんに販売するそういったことをやっておりましてつい直近では米国で数億円規模の指導資金調達を完了して国内でも政府指導の補助金を今申請中加算からもありましたとおりつい先日東京オフィスを六本木に開設して取り組んでいるとエンジニアサイティストを始め徐々に10月始めた順次中チームチームとあるい年内には5人から12程度のチーム編成に生きればそういったふうに思っておりますそうですねこれが先ほど申し上げておりますでそうですねこれが先ほど申し上げた内容を少し細かくしたところなんですけれども研究開発としては例えば非英語圏の言語でも大規模言語ゲンゴモデルがしっかり使えるようにしたりとかそれこそ大規模言語モデルっていうのはリアルタイムな情報がすごい弱いわけですよね例えば東北大学から仙台駅に今行きたいとなったら大規模型言語モデルって基本的に今の時間を調べてそれに落ちた答えをしてくれるっていうのはなかなかないのでそういったところツールフォーマーといった論文がありますけどAPIコールを通じて解決することで大規模言語モデンリアル体制を持たせるであるそれ以外もマルチモダル能力でそういった研究開発をしておりますこういった研究開発した言葉フォーマンという名付けられて我々言葉フォーマーって呼んでいるんですけど弊社のシステム言葉フォーマーをユーザーの方々に分かりやすい形でパッケージング化してあげることによって例えばコールセンターであったりとかコンテンツ生成そういったものにして企業さんに販売していく今日のトークはお知らにしたいと思ってお弁者が最初に取り組んでいる教育分野のカスタマーさんと一緒にプロジェクトをやらせていただけるんですよね教育分野もちょっとここはアカデミックトークなので名前も行ってしまいますが皆さんなんか寸大に行かれた方っていらっしゃいますかあまりないのかななるほどあまりないのかな寸大っていう塾があるんですけどまあ弊社のかすん大様とプロジェクトを一緒にやっておりましてここではどういうプロジェクトをやっているかというと生徒さんが塾の中でお使いにある練習問題とかそういったプロジェクトをやっているんですよ須大様が今度いった課題さんが今どういった課題を抱えてらっしゃるかというとこういった練習問題を作る時に基本的に教員の方々が指導で試験を作るとその結果ものすごい労力が費やされているんですよ例えばクレイジな話なんですけど共通テストの1個作るのに何時間かけていますかっていう話を聞いた時に1つのテストに300時間かけているらしいんです300時間それ年1回やるわけじゃないですかから何回も何回も繰り返す弊社がやっているのは本当にすごいシンプルに教員の方々が使えるようなシステムでここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんですよここではイメリカを初めて訪れますよというコンテ���ストで問題を作ってくださいその結果出てくるものが例えばこういうパーフレット形式のビューク今は共通テストってすごい情報分析に寄せたような問題が出ていて英語でもないこういうパンフレットを呼び解いてみたいな問題に鍛えてくださいみたいな問題があるんですだからこういうパーフェットみたいなものを直接出力することによって先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこういったパンフレットを作ってその後はそれに即した問題を先生方に生成していただくわけです質問の正々に進むというふうに進むとこういった感じで4択の問題がパーブレットに属した形で成長的にはPGFであるパーブレットであったり最終的にはPDFであったり出力するPDFはただに問題のコンテクストをつないだらけのものなんですけどワードで何で出力するかというとやっぱりAIが出力したものなので先生方が気に入らないものがありますそういったものが例えばワードだと直接先生方が手を加えるだけですぐに生徒さんに配られてもらってもそういったことを教育ドメンではやっておりますもう一つ紹介したいのがもう一つ紹介したいのが交通分グJR東様と一緒にプロジェクトルトをやっておりましてそこでやっていることとしてはカスタマーサポートの自動化というくとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやっているじゃないと思う方もいらっしゃると思うんです確かにその通りですカスタマーの方々が本当に多様なお問い合わせをしてくる本当に多様なお問い合わせをしてきた結果ちょっとGPT4をいじっただけだと想定解決できないような問題が出てくれば例えばその例をあげると渋谷駅でお裁表を忘れてしまったんですけどどうすればいいですかそんなチャットGPTに聞いても分からないですね何をやる必要があるかというと例えば大規模型語言語モイルが裏でAPIを呼んで例えばSQLのような報道を書いて例えばJR東の中にあるインターナルなデータベースにお問い合わせをして忘れ物状況を取得してそれを踏まえて返答を送らないといけないそういったことがないんですよもっとクレイジーになれると例えば何でしょうね渋谷駅から新宿研究に行きたいんだけどできるだけもうちょっと疲れてるだけもうちょっと疲れてるからあまり飛んでいない路線を選んでくださいみたいなことが気になる方もいるんですよそしたら何をする必要があるかもめちゃくちゃくちゃ難しいですよめちゃくちゃ難しいとでもなんかありがたいこととしてはJR東大久間って今各駅各列車にセンサーがついてて混雑状況が分かるんですよ結構我々頭がおかしいのでクレジなことを考えるわけですよもしテンサー情報に大規模型ボケグモデルが直接アクセスできてその混雑情報を取ってこれたらそういった座っていける路線は何ですかみたいに質問にも答えられますそういったことをここではやっていますすごい何だろう簡単に見えて難しいアプリケーションなんでこれはめちゃくちゃエクサイティングですもう一転エクサイティングな点を上げるとするとやっぱりJRヒャスタマーのカスタマンセンターって皆さんちょっとお使いならないかもしれないんですけど結構その高齢の方々とかって電話を通じてアクセンターに電話をかけていらっしゃったりするんですかねその数で言うと1日大体数万件年間でいうとそれこそ数百万件数千万件ってなんていません弊社が開発した人がご視野児,"[17.013059377670288, 16.346179008483887, 16.448065280914307, 16.325897932052612, 16.314069032669067]"
-kotoba-tech/kotoba-whisper-v1.1,15,True,False,,cuda:0,long_interview_1.mp3,True,256,16.10833501815796,0.28295738976500673,NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心にちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジスという企業を作るに至ったかなっていうのをお話しさせていただければと思いますよろしくお願いいたしますそもそも誰やっていう話だと思うんですけど小島紀樹と申しますよろしくお願いいたします小島大学と申します私、コーネル大学を卒業しまして本当ディフェンスをやったのは2、3週間前なんですけれどももともともとはコーネル大学ってニューヨーク州の土田舎の伊阪という街にあるっていうイメージがある方も多いと思うんですけどもコーネル大学って2つはイサカにあるんですけどもう一つはニューヨーク市にあるインソ川の上に浮いているルーズベルト島っていうすごい細長い島があるんですけどそこでPHEをやっておりました私は小島っていう名前なんですけども本当にしょうもないネタを言うと小島の上でPHUが振り方そういう四面間となっております私はPHの専門部屋としてはマルチモダリティーと呼ばれる自然言語のシステムにどうやったら言語以外の情報を例えば画像であったりとか音声といったものを理解できるようにさせるそういったことであったりとかインターナクティブラーニングと呼ばれる最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういった検訓の方ではハギングフェイスでちょっといろいろとプロジェクトでお世話になったりもしましたそうですね学部から実はアメリカに行っていてミシガン州にあるミシガン大学アナーバーコっていうところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンガッチさせていただきます今日はよろしくお願いしますはい、青木純吾といいます。トヨタ工業大学鹿児島という日本、名前から分かるとおりですね、日本のトヨタが昔出資をして今独立な組織なんですがそちらの方でリサーチアシストプロフェッサーという職を持ちだから小島と共に言葉テクロジに取り組んでいるという状況です私も本当にPHDも出来立て小屋というか最近取りまして先月8月に無事シアトルですねアトルにあるワシントン大学でコンピューサインスの博士課程を卒業しました研究分野としては最初の方は機械本屋だとかマシンチャンスレーションとかあとは効率化とか言語制制制のイバリエーションとかそういうことをやっておりましたちょっと遡残るとですね実は私も暇と見た形で高校卒業後は大学はアメリカの家康大学という統計会当時は統計にいたんですが統計学部を卒業しましてその後その後ELELで働きながらワシンコ大学に進学したという経歴ですね最近イエル大学も知名度がってきてちょっとよく分からない教授がいろんな番組でお話をしているという名前は誓いさせていただきますけどもまあなんか知名度ががってきてうれしいんですがここはイエドにタックスでオフソードとかケンブリッシュの生まれてこれわざとなんかやりたりしてるんですよねわざと古く見せるようなアメリカって新しい国なんでそういう感じてるというでも非常にきれいな感じがありますこれがTTIC東京都宮大学シパワークの中でこれもまた古いものとまた電波等下なんかでそれを改造して大学になったとしばらく日本にも非常につながりがあって古井先生というスピーチの対応ですねついさっきになくなっちゃったんですが彼が昔ここでプレゼントをやっていたということで本当に日本のゆかりがあってなおかつ私が実は今パカルティーで唯一日本人なのでちょっと責任感を持ちながらやってるという感じですねこれがそこになりでほとなりここにいるんだというとまさに宇坂口さんとの佐賀井先生ですねすいませんつながりが本当にこういったありがたい機会をいただいていて私は本当に2021年のちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に佐川口さんがAI2にいらしてそこでインターのメンターを一緒にやろうということでインターのメンターを最初3か月とやりつつでも本当に楽しくていろいろパーテイムで練習しているうちにもう1年ぐらいもうちょっと長い日々で一緒に研究をさせていただいて本当に楽しい日々でオフスがあって私のアドバイザーノアスミスなんですけどノアスミスが出てノアスミスが出て写真を撮って掘り出してきました本当に懐かしくて本当に昼ご飯を食べては雑談してですね昼ご飯を食べてるうちに論文がそれなりにかけてくるみたいなことをやっていて大体雑談の中ににいろいろあったんですけど最後の方が結構皆さんご存��ですか?白い虚党の話をよくしてましてこれいろんなバージョンがあるんですけどこれあのカラスアトシャキっていう俳優がやっていたバージョンが2人ともすぐお気に入りで広役とのバージョンどこが一番いいかというのを話し合っていて坂口さん的には後半のやっぱり財前教授になった後に亡前教授になった後に財前教授なんですけどなくなってこうちょっとネタバレになっちゃったなそのあたりはダメだと税務にこそ面白いことをおっしゃってさすが坂口さんの見るところは素晴らしいなということで涙では泣かすだけじゃやっぱダメなんだなっていうことを感じましたねこれがいって撮って撮った写真でそららどこかにいらっしゃると思うんですがそんな感じですごいいところでしたね会社としましては藤間と創業しまして今は日本とアメリカの二極対戦みたいなクロスボーダーという形でやっていて私自身T-PICプロジションもありますしあとはシアトルに今シャトルに本社はあるんですがそれでもうすでに東京の国民にオフィスを構えまして日本の死者みたいな形で今やろうという形で進めているということで言葉と出申しする会社ですね基本的に下げ年語今話題の大規模型言語モデルですねLLの特に非英語圏語系のベース言語モデルの開発とか場によってはマルチモータルとかそういったことをもんど挑戦的にやっていきたいなともちろん同時にやはビジネスですのでアプリケーションの提供も行うことでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっているやっぱ初期市場としては今は日本を考えてまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりましたし、何かしらやはり日本の中でインモを作っていきたいなということで、今日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになります一部目はまさに私はもう5年間PHDがありましてこの5年間って恐らくNLPの歴史の中でも一番激動の5年間だったと思いますので運良くいいのか分悪いのか分からないですがそのタイミングでPHDを終わった私から見た今思うとこうだったよねみたいな話をちょっと過去の話をちょっと第1部では第2部からはですねもっと直近な話で大金モデルの時代の到来ということで私たちがどういうことを考えていたのかということを話したいと思いますそれあとはやはり前を行きたいということで未来について話していきたいと思いますはいということでということで適広のPHD5年間ということでこれはもう本当にもう本当にもうはいということでこれはもう本当にもう私のPHLをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で最初だけポジズニムな話でいこうと思います一番最初にKHDDが始まる前にイエル大学にやっていたのは構造解析とかいわゆるシンタックスとかパーショングとかそういうことをやってその後ですねワシントン大学に移動してずっと英語ばっかりこの構造解析とかずっと英語なので英語ばっかり言うよくないので私自身多言語を私た言語をやりたいなということで多言語を解説に伝うことをやってきたそのうちに他言語をやっているうちに他言語というか機械本やんでしょうということでマシントランスレーションを毎回ありがしその後にどんどんマシントラスレーションの一般のことをやりじめてちょっとこれ見づらいんですがモデルの高速化とか効率化とかそういったことにやっていったり大一部現をモデルに取り組むということで無理やりまとなればだんだんオーディエンスが最終と比べると大きくなっていたなということでこれはちょっと自分が一つ成長できたポイントとして少しきれいに見えるかなと思いまして最後に一つだけポジティブなことを言っておくと環境のやはりいろんなものを変えていった時にですね環境の変化が本当に大きかったなと思っていて皆さんもし機会があればぜひどんどん環境の変化を求めていったらいろんな経験ができると思っていて一番最新学院院院学にいましてワシントン大学にいながらちょっと引き詰まった��でメタでインターでインターンしたりそういったことをやっているうちにあとは最後は最後のサラドイツーでインターチャンをしたりマイクロソフトに行ったりして環境の変化に応じていろいろプロジェクトとかも楽しくできた方だと思うのでぜひいろんな日本いいところですし仙台は本当に素晴らしいところですけどもいろんな物理的にも環境を変えるのもいいことなのかなとまあじゃあせっかくせっかくまずは過去の話ということで一体一体私がPHリ始めた頃何が起こったかというとこれですねディープコンテクショナイントということでその前まではワーデンベリングというかも多分多分今の人知らないのかなみんな授業でやってますね教科書かしみたいな感じに単語をですねいろいろいろフラッシュファイアとかいろりやるときにベクトル化したいみたいなこういうことを今から言えばものすごい浅いニューラルネットワークみたいので周りの単語を予測することでベキトル化るよねみたいなそういったそういった言語学とかディスティブーション・マンティクスとか言ったりしますけどもそういったディスティスティブーションのスマンティングスクスクトがそういったりとかそういったディスティブーションオスなんですそうですねそういったと言ったりしますけどもそういった自然なことをやっていたというのがこれでぐちゃぐちゃぐちゃこういうことをみんな頑張ってたんですよねこれ最初ミコロフの2001年もっと前から多分あるんですがあと黒をウエクトルとかいろびやっていてこういうことやっていたんですが大体私がPシリア始めた頃ですねこれまさに実はワシント大学で私がちょうど入る直前に起こったことなんですがワシントン大学はまさにAI2でエルモンというのが出てくるこれこそ今もうあんまり知られてないのかもしれないですがエルモの研究というのがあってそれはですね要は今まで浅いに色な手に行っていたけどもっと深くして何日モデルにしていろやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりコーブの効果を使っていてそういうことがあったということがエレモだったりコーブでちょっとこれに似たようなアイデアがあってそういった時代に私はPGで始めたということでここで終わりだと思ったんですね私は実はもう完全にこれ以上これ以上間違うことはないんですが完全に間違っていると思うちょうどこのセバッシャン・ルー�のMVS-REといってどんどんビジョンみたいになってきたよねと結局当時ビジョンでよくやられていたのはイメージネットで大量に画像のクラジケーションとかを学習させててそのベクトルを使って他のタスクトスクとかを得たっていたんですがまさに同じことが同じことが起きていてまさに同じことが他のカスクタイトラッシングとかクエッションアンセリングとかマシントラーションとかをやらせるみたいなイメージネードみたいになったよねっていうことを言っていたということでこれがああよかったねと自然言語シェルもようやくビジョンに落ち着きましたと言ってたところこれは始まりでしたらなかったんですがちょっとその時私が私が言って何をやっていたのかというのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていてLも出てきた時にラングチモデルを基本的に英語でやってきたんですがマルチリンガルにやらないといけないよねっていうことを考えていてじゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングジコーラブラッシャンとかヒーブルとかヘブルとかどれぐらいバイリンガルでラグチモデルをトレーニングしてそれをそのベクトルを使うってことをやることをやることでそうすることでモノリンガルの時にバイリンガルにした方が圧倒的にスコアが上がるようねみたいなことをこの時考えてやっていましたこれがラクルの2018とかじゃあ2019か18かその辺の研究でした結局でもこの研究でした結局でもこの研究ってあんまり意味なかったですなぜかっていうと今反省すると結局さっきバイリンガルのグラフ見せましたけどちょっと科学的な指標にこだわってたんですよねじゃあバイリンガルで今だったら例えば英語があってそれに全部ごちゃまずしたいろんな言語を加えて言語モデル作ろうみたいな発想になるんですが当時はやっぱりちゃんと比べなきゃいけないでしょより多言語に大規模に拡張してしまって例えば日本語だけのモデロ日本語定語のモデル使っても助かる人って使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね今思えばもっと使いやすいものだったらというふうに思いましたし当時トランスフォーマってまだそこまで使われていなかったのでASDMとかを使ってやっていましたということで結局時代が読めなかったら負けましたということですねその負けた相手なんですがXLMのフェイスブックからFBスブックスタッチから出たらXMというのがあってこの人も本当に論文のよく分かんないしよく分かんないですけど実際に使えるものを作ってたんですね彼はそれをダウンロードしてサイベーションももちろんですしそれ以上にかく伝えのものを作った本当に素晴らしいなと思った次第ですコンピューターサインスのP資料をやるということで自分は科学者になるなと意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしてるということであと最後にタスクの選定をちょっと間違っていまして私たちはNARとかエネシャンティングルングがやらっていたんですねこれも結局まあいいんですけど当時ものすごい流行っていったのはクエスチアンスルで結局QAで結局QAの人たちはこういう本物読んでくれなかったんですよねその割にこういう論文を読んでくれてなので結局使われなくなってしまってその割にこういうロボンを読んでくれてなので結局使われなくなってしまって何か使う数は正義というかそういうことで結局インパクトを残せなかったなというのを今反省していますバーチャルのバートの時代に来たということでさすがにバートは皆さん知ってると思うんですが当初これ出た時はですねバートはただエルムを大きくしただけだよねというふうに思っていましたしこれ私のアドバイザーのアスミスとあともう一人ループゼルークゼロモイアンという人がいます。同じワシンケンターナイルの恐竜ですが今フェイスブックのディレクターとかNRPもリサーチャーしている人で彼はエレモの作者でもあり最近だとにかく大規模ーブ言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言ってたかというと単純なエルモのエクセンションなんかに大してベスペーパーも上げる必要ないしあんま興味見えようみたいなことをまあでも実際にこれったらベストペースタイプローパーを取った前なんですが実際撮りましたよねいかにこうくろうとか間違えたかとあとルークはちょっと面白くてちょっと見方が違ってですね彼はエルゴンの作者ですから素晴らしいと言ったけども自分の頑張ったエルボが1年が続くと思ってたのに結局1年続かなかったよねちょっと悲しいねみたいなループはしていてちょっと違う見方をしてるのかなというふうに思って面白かったんですがそのループもですね実はGPT2がちょうど出てきた時にこれタンダルタンデル何やってんだろうなんでこんなに騒いでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですね当てにならないと僕らになるということですねバートの被害になって当初はエレモンが大きくなったものだと思って行ったんですがもちろん違ったとNLPの世界を完全に変えてしまったというものなんですがもう一つちょっと面白かったなおまけの話として当時ハギンフェイストランスフォーマーズのライバリーのきっかけにブンのきっかけになったんですよねこれ昔ハイトウィン・フェイン・フェイン・フェス自体はキットボットとかの会社でもともとあったんですが彼らがバードはGoogleから出たので検査ブロードで吹かれてるそれ研究者みんな検査ブロード使いたくないんでパイトウトウ�を使いた時に彼らがそのパイトウォーチに書き起こしたコンバートしたものを出したそれがパイドチパートでありそしてそれが結局カニンペインペーストランスフォーマンスにつな���っていったということでこういうの商業向上というか社会の流れていは分からない思わないことでこう思う表記していくんだなというところですねその時私は何をやっていかかというと当時にマシントランスレーションやりたいということでマシントランスレーションのスピードアップとかですねこの2個目の論文はですね1個目のログのマークでいろいろスピードアップでこうなんか平列化とか一生懸命やってたんですね結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話もやってなんかちょっと怒られたようにしたんですがでも結局これが本当のある意味真実なのかなと思ってちょっと自己自己意味が実なのかなと思って自己議が出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT3の時代が来てフィーショットきて、だんだんこの時からだんだんクラスピケーションにリーナーがなくなってきていて、だんだんみんなジェネレーションをしよう、ジョンにしようっていう方向に来たというのが当時の中で、もちろん存じのものフィショットラーニングのでもあとグループとかオープンソースの方でも大学とか組織をまたいだプロジェクトが出てきたっていうのがこのキーピーピッジスティスティング時代ですがこの時の研究はバイディメンシャービーダーバーボードといって今までのビーガーボードというのはジネレーションのな形でそういうのをやったということであとはやはりジェネレーションにとってイバリエーションが大切だということでイメージ・キャグシュニングのイバリエーションとかも佐賀井先生と一緒にやっていたという感じのことをしていましたこれちょっと予言なんですがこういう佐賀吉さんのご提案で漫画を描いてみようということで漫画を描いてこの論文のPRをツイッターでしていたというこういういろんな楽しいことを本当に楽しくやってたということですはいでついにお待ちかねチャックGPTGPTGPT4の時代が来たということはまさにこれはまさにこれは社会実装の時代に来てしまったらともちろん研究も多数なんだけどもとにかく使ってどこが問題なのかということを洗い出していかないとなかなかベンチマークとかで現れないものかなということを感じていてそういった経営で企業して小島ともにやっていこうというふうに思い出たったと特に英語にNLPの業界は編集してますよねこれが大体インターネットユーザーの数で25%ぐらいインターネットユーザーは英語をしているんですが残念ながらやほとんどが英語でしか実験をしてなかったり英語についての論文だったりするということでこれはまず一気英語編の基盤モデルをどんどん作っていかなきゃないよねというふうに思っております結局自然言語�っていうのは何だったのかを振り返ってみると結局全てはスケールだったとこれはもう否定がしようがないなということでいろいろ私自身もいろいろ作りたくて頑張ってたんですが結局大きさで解決されてしまったことも多くてそこはもう認めたらおけないかなということで間違っていたと私自身は間違っていてそうですねどういうことですあともう一つ面白いと思ったのはやはり科学的なプロセスが違ス化ができるって書いたなということを例えばトランスフォーマーが2017年出てきた時に私はそのトランスフォーマーがこんなに広がると思わなかったっていうのも仕方ないから論文いくら読んでもよく分かんないですなんかそのアテンションのディペンネージがうんだなみたいなそこって多分こって多分コンスフォンの本質っていうのは今思えば当時のですねそうですねGPUとかTPUとかそういったそのパラレルの計算の訓練がしやすかったですねですねLSTMとかだとどうしても巨大化してしまうとどんどん時間がかってしまうけどトランスコマンをパラレルにできるからハードウェアとすごい相性が良いようにハードウェアを決定論みたいな形でハードルアによってトランスコムのすごさが余計リーズされていって似渡る方々と言われるんですがそういった経緯があるのかなということがあってだから分からわからなかったのも仕方ないのかなと思ったりもします他の例で言うと���えばアダムでうまくいかなかったらやめるということなので結局そこも庭とりと卵であっていろいろ予測するのは難しいよというふうに今思っていますちょっとこの非科学的な支配する世界ということなんですがでもよく考えてみるこれもそうなんですよねやっぱりコンピューターサイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよあの大学地にケミスティックスとか言わなくていい同じようにオープンって言りオープンじゃないかな実際クローズだということでそういうことだとアメリカのチェーンでセイクウェイっていうのがあるんですけどセーフェインは全然安全にないですよね大体危ないところにあるのでだから結局そういうもんなんだなということで言ではできないです専門家の知見というのは結構トランスフォーマーのポテンシャルを私は当時期づかなかったしあとチャットボットっていうのも意外でしたねやっぱりチャットって人間とチャットをめんどくさいねなんで機会としないかっていうのが当時の考えだったんですけど結局チャットボットでこんなに有名になったんだっていうのが本当に衝撃でしたしいかに私自身が人間を理解できてないかということですねということで何も分かってないまあでもとにかく過去の話をしてきましたが前に進んでいきたいというふうに思っております5年間を簡単にまとめると適度に環境を変えるのはプラスでしたしでも専門家ですらは見らないわからないのであんまり専門家の言うこととかあんまり専門家が言うこととか気にしないでくださいということですね最近なんか自分がいい人も論文言語悪い理由がするねまあねあともしたちはですねアイフェンじゃないかなバートとかってアイデオ自体は本当に基本的にエルムを大きくしていろいろ他のアイデアはあったんですけど結局そのマスクラングチモデルとか同じようなアイディアがあってアイディアだけじゃなくてエクセキューションの重要なのかなっていうことを思っていてでもこれって結局研究だけじゃなくて企業とかも見えると思うんですが例えば企業においても開かないのおいても必ずも早いもの勝ちじゃないのかなエルモンとかLモンとかあんなに早い段階で実はもっと先にも言って前にもあったんですがLモンとかエクセールドクとかありましたけど局パートナ全部持っていったりGPT3とかGP5が全部持ってったりですね結局早めの街の世界というよりもそういった不思議な神のみず知りみたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばグルーブルとかフェスブクって最初の検索エンジンでもないしフェスブックも最初のソーシャルメディアが何でもないわけでだからそういった不思議な力があるなというふうにも思いました最後に科学的指標というのも大切なんですがそれだけにこだわらずにやはりコンピュータサインティストはサインティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中に出していきましょうということを思っていますということでこれからは未来の話をしてきたいと思います大規模大規模ルの時代が来たと皆さん大規模現行形モデルどう思います?すごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくる時は基本的にチャットボットボットみたいなものを作ってみたいなものを自然言語だけじゃなくてソフトラインジネリングの世界でも自然言語も入力をすればHTMやCSSのコードを吐き出してソフトエンジネインリングをサポートしてくれるそれだけじゃなく文章の執筆要約構成メールの返信本当に反応的なものに使えるというのは間違いないなと思うんです大規模ゲイントモデルってそもそも何だったかっていうと皆さんご存知の通りものすごいシンプルに学習されたAIなわけですよね文章があってその文章の次の単語を予測すると例えば学習データの中に第一代大統領はジョージ・ワシントンなのでワシントンドンという言葉を予測するとなんでこんなシンプルなものが役に立つのかすごい不思議ですよく言われることなんですけど結局はスケーリング速度になるわけですですよく言われることなんですよく言われることなんですけど結度を学習する時って大きくわけで3つの要素がある学習するAIモデルの大きさそれに食べさせるデータの量この学習を行うコンピューターの資源と呼ばれますけどこの3つだものね何が申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習中で増やしていったけどか突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが反応的な性能を持ち始めるものだから今はみんな注目しているわけですこれを本当にこの傾向すごいスケーニング速を分かりやすく示したグラフがこうなんですけどこのグラフっていうのはX軸がまだモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども見ていただくとおりその傾向というのはログリニアなのがコンピューターの性能自体というのは皆さんご存じのムーアの法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えていると要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが反応せず何が関係あるかすごいスケッチなグラフで申し上げないんですけどもこれちょっと賛否両論あるグラフなのでちょっと反対意見がある人は後で個人的に来てるすごい傾向はうまく捉えていると思っていてこのグラフで何を表しているかというと8つタスクがあるんですけど例えば算数力みたいに大規模言語モデルが5たす6は11そういった算数の問題を答えられますタスクであったり多言語力英語でQAができるモデルがペルシャ語になった時に同じようなことができますか読解力っていうのはこういったタスクを見ていく時にここも同じなんですよY軸は使われたスーパーコンピューターの実装するX軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしてきた時に突如変異的に大企業保険のモデルがタスクの能力を得るポイントがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて突如変異点が来るとこれが反応性なんです結局計算資源を増やしていった時に突如変動力を持つそういったものが大規模デルモデルの反応性なんじゃないかなっていうのは私なりの捉え方ですここからはちょっと自分たちで大金5年モテルを学ぶっていう話をしたいんですが2019年から2022年何が起こっていたかというと一言で申し上げますと各国で大規模言語モデルの開発競争が起きていたアメリカですアメリカではマイクロソフト社インターインターインターインタストリーを中心に大規模なモデルの開発競争が大きぼみることが大きぼなスーパーコンピューターをオープンアン社に提供して当時GPT3英語メインの大規模型型モデルドを学習していた全く似たようなことが中国でも起こっていて中国では政府が所有しているスーパーコンピューターを用いて政府機関がGPT3を超えるようなスケールです世界で最大規模のパラメターの数の大規模型予見のモデルを中国語で学習しているこの動きってアメリカと中国だけじゃなくてヨーロッパでも大きいヨーロッパではフランス政府が所有するジョン・ゼープルト呼ばれるスーパーコンピューターがあるんですけどそれをハギングフェースと呼ばれるば皆さん個人のハギングフェイス社による貸し出すことによってハギングフェース者が多国籍用の大規模型モードルを学習していたこの多国寄り王って面白くて実はドイツが含まれていないのはフラスドイツの緊張感が現れそれ以上に重要な小話があって実はこのフランス政府がスーパーコンピューターをハギングフェスに貸し出す時にハギングフェスって当然グラントプロポーザルみたいなものを書いたんですよねこれこれこれこういう理由でオタクのセルファークターを使いたアゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーがフランスを食い尽くそうとしているのだから我々は独自でモデルを開発する必要があるみたいなことを言っていたんです日本を見てきた時に今でこそ本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな���定あったんですけど当時日本国内でハギングフェイスみたいな人はやらないんです最初に割れてくる疑問としてなぜ日本国内でできないのかできないのかまずそこをしっかりしたい大規模言語言語モデル学習で何が一番重要かというとやっぱりそれはスーパーコンピューターのリソースなんですが日本ってスーパーコンピューターがないかというと全然そんなことはないわけです一番分かりやすいところだと皆さんも研究で使われているかもしれませんABCIと呼ばれるGPUベースのスーパーコンピューターがあるとABCIS素晴らしいスーパーコピューターなんですけどね実は日本最大級のスーパーコンピューターってABCIじゃないんです不学って呼ばれるスーパーコンピューターで皆さん年齢的にちょうどベストヒットかなと思うんですけど以前民主党政権がありましてそこでレイホンさんという政治家がいらっしゃったりレイホさんが仕分け会議ということをやっていた時に1位じゃダメなんですか2位じゃダメなんですかっていったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を超っていたんですけど今はレアホンさんおっしゃる通りに2位になってしまっていますそういうスーパーコンピューター何が重要かというとこの富学っていうのは本当に化け物みたいな性能を持っていてギングフェッシャーがブルームと呼ばばれる大器オンゲングモデルを学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし前近を使えた場合は考えても10倍速いんです10倍速いっていうことは同じ計算をやった時に不学だと10倍早く計算が終わるでも深くって何がグレージーかっていうとCPUベースのスーパーポンピューターなんですよ一切GPUを搭載してないと皆さんCPUで大規模言語モデル学習したことあります大規模ゲームモデルじゃなくてもんですけどディープラウンドでCPUでやらないんです基本的にはGPUもし台所はTPUUAIに特化したハードウェアだったA100っていうのがデータセンターで最先端のGPUでもその一つ前は1本目まして前はA100というGPが最先頭に搭載されてるCPUって藤津A-6-4FXって言うんですけどAIの演算性能に限っていえば富岳のCPUって50倍遅いんですよ皆さん15万個のCPU使ったことありますか?多分ないと思うんですここで何が言いたいかというとぶっちゃけGPUがCPUが50個使って平列計算したら同じぐらいスピードが出るのねっていうのはまあちょっとクレージな間で佐賀な間にすごいご迷惑ってそういうことを当時考えていてそれをやるためのした分散併列学習というものになります今でその分散並列学学習ってすごいろいろオープンソースのパッケージが出てきて皆さんご存じかもしれないところで言うと例えばマイクソフト社のディークスピードであったりヘルビディア社のメガトロンLMっていうパッケージがあってこういったパッケージってデータパイルモデルパレールって呼ばれる分散変異例学種をサポートしてくんですけどCPUで動かったんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVではマイクロソフトに書いていただいた分散平列学習のパッケージをCPU向けに移植してちゃんと平列でCPUが計算できるかなということを試したいんです初期実験としては非常にCPUが計算できるかなということを試したいんですけど初期実験としては非常にいい結果が出てここなんですけどCPUの数を増やしていった時にシステム全体としての計算性度がどれぐらい上がるかなっていうのを見てこれログリニアなんですけどログリニアなんですけど特にCPUを先行わたりまで増やした段階ではその計算速度が1個だった時期と比べて1000倍近くなっていくとこれまで小典数学学習がすごいうまくいっているなっていう感触だったんですけれどもこれはあくまで初期の実験で当然うまくいかないこともあって一つはCPを大量に使うことでどういう問題があるかということなんですけどCPU例えば2個使っているだけだとCPU例えば2個使っているだけだとCPを1個同士がコミュニケーションすればいいだけなのでそれは問題ないとただCPを1000個とか1万個とか増やしていった時にやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分か���通りシステム全体としてその計算性能が上がるっていう時が若干落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションポストが上げられるようにしない人ってないよねそういったことも一つ課題化しているそれ以外にもすごい面白い発見もあってハードウェアって基本的に理論値と実測値というのは理論的にはこれだけ推量が出ますよ実測指っていうのは実際に使ってみたらこれだけしかスピードが出ませんでしたよ例えばトランスフォーマンの学習とかやる時にGPUの実測値って理論値の大体40%から50%ぐらい最近だと60%ぐらい出てるのかそのくらい出るかっていうとNVディアのソフティアのエンジニアの方々がものすごい波長い並々しい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションのこの特別なコードを使うことによって早くしましょうみたいなすごいなんかハンドウェビーなハードコアのソリューションがソフトチョイスタックマクウダレアの中にいっぱいあるんですよだからGPUは実測しているンジの幅がそんなに不実のCPUってそもそもそんなにAI学習を想定したものではなくてむしろシミュレーションとかそっちの方で使われていたのでそういった測定やストックが弱くて大規模な学習ができないのでこちらの日系新聞さんでカバーしていただいてそれこそ7社合同部屋せていただいているということなんですけれどもGPT浮学というプロジェクトが今格化いたしまして主要な期間でいうとそれこそ東北大工さん佐賀口先生のここで言うと栗田さんと佐々木職さんって言わせていただいていますけどそういった方々が中心になって協力していただいているとそれ以外にも東高台さんであったりとか理見サイバーエジェント名古屋大学富士通弊社言葉テキノロジーズが連携していけるようにそういったプロジェクトが本格化しましたこのGPT風学というプロジェクトは大きく分けて2つのチームがあって1つ目のチームはシステムチームと呼ばれるチームですこちらは区学場のインフラを整えているそこでAIの学習が効率的に行えるようにしようと思う具体的にどういったことを解決しようとしているかというと先ほどのスライドがあったとおりコミュニケーションコストの問題が解決しようであったりだったりだとか理論と実測値が小さくなるようにしようそういったことをやっていますNPチームの方には東北大学の方々が主導していただいてこちらでは日本データの準備であったりとかトークナイザーの開発そういったことをやりたいと思いますこちらのプロジェクトはまだ動いているので今後もどんどんニュースが出てくるかと思いますが皆さん温かく見守っていただければと思います栗田さんと久保育先生にはすごい思い出ますが一緒に頑張っていければということですそうですねここまでが富岳のお話し深くっていうのはすごいやっぱり面白いプロジェクトで今後今後今一番速いスーパーコンピューラだろう間違いなくAI性能に限っていえば富岳よりもっと速いスーパーコンピューターっていうのは1、2年で出てくると思うんですよ不学で何で恋愛学習をやる意味があるかっていうともっと速いスペースペーターが出てきた時に空学で学んだ知見を直接生かせるようにそういった書き橋に役割ですこれはすごいサイエンスとしてはエキサイティーになっている私と火災が考えていたのは大規模言語モデルっていうのはただすごい社会に使えるレベルになっているのでこれを実装しないとやっぱもったいないし実装してみたいな社会そういったことで言葉テクノロジーという企業を立ち上げましてちょっと思考実験をまずしてみたいので大規模言語モデル素素晴らしいすごいいろいろ使えることに果たして日本のビジネスに使えますかと弊社は言葉テクノロジーズというのは日本のビジネスと相手にいろいろとオペレーションをさせていただいている会社などこの時点ですでに日本国内の340社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったり旅行会社さんに大規模現行ゲームを持てるお宅どうお使い習い習えますかそういったことを聞いた時にこうく旅行計画を作ってそれをパンフレットでまとめるっていう業務よく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやる時に例えばGPP法を考えてみましょうプロプトかけますよこういったプロップをかけて渋谷駅から出発して火災の地元である奈良公園で日帰りで観光する計画を作ってパンプレットにしてくださいそこでは交通手段を含めてください東大寺も観光できるようにしてグルメ回りをしたいのでグルメマインまできるようにしていますじゃあGPT4は実際出てきたアウトペットなんですけど一番上を見るとすごい東京からなら伝統と自然の一日旅行くめちゃくちゃキャッチになったりとかこれだけ見ると日本のビジネスでもGPT4使えるじゃんと思う方も多いと思うんですけどその下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ伸ばしていっているとちょっとページ3スケジュールのとんでもないこと言うわけですよ朝7時渋谷市を近江大阪の新幹線に乗る渋谷駅に新幹線なんて撮ってないんですよこれはちょっとよろしくな。もっと面白いことが起こっていて11時半、長い人と並べ行く突っかせているかもです。まあグルメ回りしたいけどジョークとしては面白いですよジョークとしては一級でこんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事がなくなっちゃいます何が言いたいかというと大規模型言語ゲンガモデルってGPVP4に代表されるようにめちゃくちゃ反応的だと反応的なんですけども日本語の閉じたドメインのようなところでデプロイしてしまうとまだまだ業務に差し支えられる欠点があるそれ以外にもそもそもこれをやった理由っていうのは旅行会社さんがパンプレットを作るためですよパーフレットを作るためなんですけども現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないと結局パワープレットが必要な旅行会社さんの視点に立ってみたらこの生のペキストをマークダーを取ってきてそのパンフレットにもう1回リストラクシャーする作務が必要ですこういった現状の大規模言語言語モデルの欠陥を研究開発することによってどんどん直して直していく直して大規模言語モデルをアプリケーションとして分かりやすい形で企業さんに販売するそういったことをやっておりましてつい直近では米国で数億円規模の指導資金調達を完了して国内でも政府指導の補助金を今申請中加算からもありましたとおりつい先日東京オフィスを六本木に開設して取り組んでいるとエンジニアサイティストを始め徐々に10月始めた順次中チームチームとあるい年内には5人から12程度のチーム編成に生きればそういったふうに思っておりますそうですねこれが先ほど申し上げておりますでそうですねこれが先ほど申し上げた内容を少し細かくしたところなんですけれども研究開発としては例えば非英語圏の言語でも大規模言語ゲンゴモデルがしっかり使えるようにしたりとかそれこそ大規模言語モデルっていうのはリアルタイムな情報がすごい弱いわけですよね例えば東北大学から仙台駅に今行きたいとなったら大規模型言語モデルって基本的に今の時間を調べてそれに落ちた答えをしてくれるっていうのはなかなかないのでそういったところツールフォーマーといった論文がありますけどAPIコールを通じて解決することで大規模言語モデンリアル体制を持たせるであるそれ以外もマルチモダル能力でそういった研究開発をしておりますこういった研究開発した言葉フォーマンという名付けられて我々言葉フォーマーって呼んでいるんですけど弊社のシステム言葉フォーマーをユーザーの方々に分かりやすい形でパッケージング化してあげることによって例えばコールセンターであったりとかコンテンツ生成そういったものにして企業さんに販売していく今日のトークはお知らにしたいと思ってお弁者が最初に取り組んでいる教育分野のカスタマーさんと一緒にプロジェクトをやらせていただけるんですよね教育分野もちょ���とここはアカデミックトークなので名前も行ってしまいますが皆さんなんか寸大に行かれた方っていらっしゃいますかあまりないのかななるほどあまりないのかな寸大っていう塾があるんですけどまあ弊社のかすん大様とプロジェクトを一緒にやっておりましてここではどういうプロジェクトをやっているかというと生徒さんが塾の中でお使いにある練習問題とかそういったプロジェクトをやっているんですよ須大様が今度いった課題さんが今どういった課題を抱えてらっしゃるかというとこういった練習問題を作る時に基本的に教員の方々が指導で試験を作るとその結果ものすごい労力が費やされているんですよ例えばクレイジな話なんですけど共通テストの1個作るのに何時間かけていますかっていう話を聞いた時に1つのテストに300時間かけているらしいんです300時間それ年1回やるわけじゃないですかから何回も何回も繰り返す弊社がやっているのは本当にすごいシンプルに教員の方々が使えるようなシステムでここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんですよここではイメリカを初めて訪れますよというコンテクストで問題を作ってくださいその結果出てくるものが例えばこういうパーフレット形式のビューク今は共通テストってすごい情報分析に寄せたような問題が出ていて英語でもないこういうパンフレットを呼び解いてみたいな問題に鍛えてくださいみたいな問題があるんですだからこういうパーフェットみたいなものを直接出力することによって先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこういったパンフレットを作ってその後はそれに即した問題を先生方に生成していただくわけです質問の正々に進むというふうに進むとこういった感じで4択の問題がパーブレットに属した形で成長的にはPGFであるパーブレットであったり最終的にはPDFであったり出力するPDFはただに問題のコンテクストをつないだらけのものなんですけどワードで何で出力するかというとやっぱりAIが出力したものなので先生方が気に入らないものがありますそういったものが例えばワードだと直接先生方が手を加えるだけですぐに生徒さんに配られてもらってもそういったことを教育ドメンではやっておりますもう一つ紹介したいのがもう一つ紹介したいのが交通分グJR東様と一緒にプロジェクトルトをやっておりましてそこでやっていることとしてはカスタマーサポートの自動化というくとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやっているじゃないと思う方もいらっしゃると思うんです確かにその通りですカスタマーの方々が本当に多様なお問い合わせをしてくる本当に多様なお問い合わせをしてきた結果ちょっとGPT4をいじっただけだと想定解決できないような問題が出てくれば例えばその例をあげると渋谷駅でお裁表を忘れてしまったんですけどどうすればいいですかそんなチャットGPTに聞いても分からないですね何をやる必要があるかというと例えば大規模型語言語モイルが裏でAPIを呼んで例えばSQLのような報道を書いて例えばJR東の中にあるインターナルなデータベースにお問い合わせをして忘れ物状況を取得してそれを踏まえて返答を送らないといけないそういったことがないんですよもっとクレイジーになれると例えば何でしょうね渋谷駅から新宿研究に行きたいんだけどできるだけもうちょっと疲れてるだけもうちょっと疲れてるからあまり飛んでいない路線を選んでくださいみたいなことが気になる方もいるんですよそしたら何をする必要があるかもめちゃくちゃくちゃ難しいですよめちゃくちゃ難しいとでもなんかありがたいこととしてはJR東大久間って今各駅各列車にセンサーがついてて混雑状況が分かるんですよ結構我々頭がおかしいのでクレジなことを考えるわけですよもしテンサー情報に大規模型ボケグモデルが直接アクセスできてその混雑情報を取ってこれたらそういった座っていける路線は何ですかみたいに質問にも答えられますそういったことをここではやっていますすごい何だろう簡単に見えて難しいアプリケーションなん��これはめちゃくちゃエクサイティングですもう一転エクサイティングな点を上げるとするとやっぱりJRヒャスタマーのカスタマンセンターって皆さんちょっとお使いならないかもしれないんですけど結構その高齢の方々とかって電話を通じてアクセンターに電話をかけていらっしゃったりするんですかねその数で言うと1日大体数万件年間でいうとそれこそ数百万件数千万件ってなんていません弊社が開発した人がご視野児,"[16.60477614402771, 15.89296007156372, 15.998892784118652, 16.041422605514526, 16.003623485565186]"
-kotoba-tech/kotoba-whisper-v1.1,15,False,True,flash_attention_2,cuda:0,long_interview_1.mp3,True,256,17.634469079971314,0.37421288687576754,NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり。私たちが取り組んできたプロジェクトを中心に。ちょっと5年間をリフレクトして。どういうきっかけで言葉テクノロジスという企業を作るに至ったかなっていうのを。お話しさせていただければと思います。よろしくお願いいたしますそもそも、誰やっていう話だと思うんですけど。小島紀樹と申します。よろしくお願いいたします小島大学と申します私、コーネル大学を卒業しまして本当ディフェンスをやったのは？2、3週間前なんですけれどももともともとはコーネル大学って？ニューヨーク州の土田舎の伊阪という街にあるっていうイメージがある方も多いと思うんですけども。コーネル大学って、2つはイサカにあるんですけど。もう一つはニューヨーク市にある。インソ川の上に浮いているルーズ・ベルト島っていう。すごい細長い島があるんですけど。そこでPHEをやっておりました私は小島っていう名前なんですけども。本当にしょうもないネタを言うと小島の上でPHUが振り方そういう両面感となっております。私はPHの専門部屋としてはマルチモダリティーと呼ばれる自然言語のシステムに、どうやったら言語以外の情報を例えば、画像であったりとか、音声といったものを理解できるようにさせる。そういったことであったりとかインターナクティブラーニングと呼ばれる。最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういった検訓の方では、ハギングフェイスでちょっといろいろとプロジェクトでお世話になったりもしました。そうですね、学部から実はアメリカに行っていて。ミシガン州にあるミシガン大学アナーバーコっていうところがあるんですけども。そこで、学部をやっていて、高校まで日本に行きました。そういったところで、ちょっと火災にバトンガッチさせていただきます。今日はよろしくお願いします。はい、青木純吾といいます。トヨタ工業大学・鹿児島という。日本、名前から分かるとおりですね、日本のトヨタが昔出資をして今、独立な組織なんですが、そちらの方で。リサーチアシスト、プロフェッサーという職を持ちだから。小島と共に言葉、テクロジに取り組んでいるという状況です。私も本当にPHDも出来立て小屋というか最近取りまして先月8月に無事シアトルですねアトルにあるワシントン大学でコンピューサインスの博士課程を卒業しました。研究分野としては、最初の方は機械本屋だとかマシンチャンスレーションとか、あとは効率化とか言語制制制のイバリエーションとか、そういうことをやっておりました。ちょっと遡残るとですね実は私も暇と見た形で高校卒業後は、大学はアメリカの家康大学という統計会当時は統計にいたんですが。統計学部を卒業しまして。その後。その後ELELで働きながらワシンコ大学に進学したという経歴ですね最近、イエル大学も知名度がってきて。ちょっとよく分からない教授がいろんな番組でお話をしているという名前は誓いさせていただきますけども。まあ、なんか知名度ががってきてうれしいんですがここはイエドにタックスで。オフソードとか、ケンブリッシュの生まれて。これ、わざとなんかやりたりしてるんですよね。わざと古く見せるような。アメリカって新しい国なんでそういう感じてるという。でも、非常にきれいな感じがあります。これがTTIC東京都宮大学シパワークの中でこれもまた古いものと、また電波���下。なんかで、それを改造して大学になったの？しばらく日本にも非常につながりがあって古井先生というスピーチの対応ですね。つい、さっきになくなっちゃったんですが彼が昔、ここでプレゼントをやっていたということで。本当に日本のゆかりがあってなおかつ、私が実は今、パカルティーで唯一日本人なので、ちょっと責任感を持ちながらやってるという感じですね。これがそこになりで、ほとなり、ここにいるんだというと、まさに宇坂口さんとの佐賀井先生ですねすいませんつながりが、本当にこういったありがたい機会をいただいていて私は本当に2021年のちょうどコロナが終わった直前とか。みんな、大体オフィスに戻り始めた頃に。佐川口さんがAI2にいらしてそこで、インターのメンターを一緒にやろうということで。インターのメンターを最初3か月とやりつつでも、本当に楽しくて。いろいろパーテイムで練習しているうちに、もう1年ぐらい。もうちょっと長い日々で、一緒に研究をさせていただいて。本当に楽しい日々で。オフスがあって。私のアドバイザーノアスミスなんですけど、ノアスミスが出て。ノアスミスが出て。写真を撮って掘り出してきました。本当に懐かしくて。本当に昼ご飯を食べては雑談してですね。昼ご飯を食べてるうちに、論文がそれなりにかけてくるみたいなことをやっていて。大体雑談の中ににいろいろあったんですけど。最後の方が結構皆さんご存じですか?白い虚党の話をよくしてましてこれ、いろんなバージョンがあるんですけど。これ、あのカラスアトシャキっていう俳優がやっていたバージョンが2人ともすぐお気に入りで。広役とのバージョンどこが一番いいかというのを話し合っていて。坂口さん的には、後半のやっぱり財前教授になった後に。亡前教授になった後に財前教授なんですけど。なくなってこう。ちょっとネタバレになっちゃったな。そのあたりはダメだと。税務にこそ面白いことをおっしゃって。さすが、坂口さんの見るところは素晴らしいな、ということで。涙では泣かすだけじゃだらやっぱダメなんだなっていうことを感じましたねこれがいって撮って撮った写真で。そららどこかにいらっしゃると思うんですが。そんな感じで、すごいいところでしたね会社としましては、藤間と創業しまして。今は日本とアメリカの二極対戦みたいなクロスボーダーという形でやっていて。私自身T-Pに特殊もありますしあとはシアトルにと言いましたので米国シャトルに本社はあるんですが。それでも、うすでに東京の国民にオフィスを構えまして。日本の死者みたいな形で、今やろうという形で進めているということで、言葉と出申し進む会社ですね。基本的に下げ年語今、話題の大規模型言語モデルですね。LLの特に非英語圏語系のベース言語モデルの開発とか場によってはマルチモータルとか、そういったことを。もんど挑戦的にやっていきたいなと。もちろん、同時に、やはビジネスですのでアプリケーションの提供も行うことで。うまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっている。やっぱ初期市場としては今は日本を考えてまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりましたし、何かしら何かしらやっぱり日本の中でインモを作っていきたいなということで、今日本が初めてやっているという状況です資金調達とかいろいろ今、頑張ってやって終わってきているということですね。ちょっと今日の内容なんですが、ざっくり言って4部構成ぐらいになります。一部目はまさに私はもう5年間PHDがありましてこの5年間って恐らくNLPの歴史の中でも一番激動の5年間だったと思いますので運良くいいのか分悪いのか分からないですが。そのタイミングでPHDを終わった私から見た今思うと、こうだったよねみたいな話を、ちょっと過去の話を。ちょっと第1部では。第2部からはですね、もっと直近な話で。大金モデルの時代の到来ということで。私たちがどういうことを考えていたのか、ということを話したいと思います。それ、あとは、やはり前を期待したいということで、未来について話していきたいと思います��はい、ということではい、ということで。これはもう本当にもう私のPHLをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で。最初だけポジズニムな話でいこうと思います。一番最初にKHDDが始まる前にイエル大学にやっていたのは構造解析とかいわゆるシンタックスとか、パーショングとか、そういうことをやって。その後ですね、ワシントン大学に移動して。ずっと英語ばっかり。この構造解析とか、ずっと英語なので。英語ばっかり言う、よくないので、私自身多言語を。私た言語をやりたいなということで、多言語を解説にやることをやってきた。そのうちに、また、言語がやっているうちに他言語っているうちに。機械本やんでしょう？ということで、マシントランスレーションを毎回ありがし。その後に、どんどんマシントラスレーションの一般のことをやりじめてちょっとこれ見づらいんですが。モデルの高速化とか効率化とか、そういったことにやっていったり。大一部限をモデルに取り組むということで。無理やりまとなればだんだんオーディエンスが最終と比べると大きくなっていたな、ということで。これはちょっと自分が一つ成長できたポイントとして、少しきれいに見えるかなと思いまして。最後に一つだけポジティブなことを言っておくと。環境のやはりいろんなものを変えていった時にですね。環境の変化が本当に大きかったなと思っていて。皆さん、もし機会があれば、ぜひどんどん環境の変化を求めていったら。いろんな経験ができると思っていて。一番最新学院、院院学にいましてワシントン大学にいながら、ちょっと引き詰まったので。メタでインターでインターツしたり。そういったことをやっているうちに、あとは最後は最後の。さがアイツーでインターモンをしたり、マイクロソフトに行ったりして環境の変化に応じて、いろいろプロジェクトとかも。楽しくできた方だと思うので。ぜひいろんないろんな物理的にも璴らしいところですけどもいろんな物理的にも環境を変えるのもいいことなのかなと。まあ、じゃあ、せっかくせっかく、まずは過去の話ということで。一体一体私がPHリ始めた頃何が起こったかというとこれですね、ディープコンテクショナイントということで。その前まではワーデンベリングというかも多分。多分、今の人、知らないのかな？みんな、授業でやってますね。教科書かしみたいな感じに。単語をですね。いろいろいろフラッシュファイアとか。いろりやるときに。ベクトル化したいみたいな。ベキトロ化する方法が何個かあって。こういうことやって、今から言えば、ものすごい浅い。ニューラルネットワークみたいなので。周りの単語を予測することで。ベキトル化してるかってことは、周りの言葉が似ている単語は似たような出来てるんだりよねみたいな、そういった。そういった言語学とか、伝語学とかディスティブーズ・マンティクスとか言ったりしますけども。そういったディスティブーションオスなんです。そうですね、そういったと言ったりしますけども。そういった自然なことをやっていたというのが。これでぐちゃぐちゃぐちゃ、こういうことをみんな頑張ってたんですよねこれ、最初、ミコロフの2001年、もっと前から多分あるんですが。あと、黒をウエクルとか、いろいろやっていて。こういうことやっていたんですが大体私がPシリア始めた頃ですねこれまさに実はワシント大学で私がちょうど入る直前に起こったことなんですがワシントン大学はまさにAI2でエルモンというのが出てくるこれこそ、今、もうあんまり知られてないのかもしれないですが。エルモの研究というのがあって。それはですね要は今まで浅いに色な手に行っていたけど。もっと深くして。何日モデルにして。いろやっていって、その最後だったり、真ん中だったり。そこのベクトル表現を使っちゃおうみたいな話をしていて。そうすることで。QAだったりコーブの効果を使っていてそういうことがあったということが。エレモだったり。コーブでちょっと、これに似たようなアイデアがあって。そういった時代に私はPGで始めたということでここで終わりだと思ったんですね私は実はもう完全にこれ���上、これ以上間違うことはないんですが。完全に間違っていると思う。ちょうどこのセバッシャン・ルー�のMVS-REとか言ってどんどんビジョンみたいになってきたよねと。結局、当時、ビジョンでよくやられていたのは、イメージネットで大量に画像のクラジケーションとかを学習させてて。そのベクトルを使って、他のタスクトスクとかを得たっていたんですが。まさに同じことが同じことが起きていて。まさに同じことが、他のカスクタイトラッシングとか、クエッションアンセリングとか。マシントラーションとかをやらせるみたいなイメージネードみたいになったよねっていうことを言っていたということで、これがああ、よかったねと。自然言語シェルもようやくビジョンに落ち着きましたと言ってたところ。これは始まりでしたらなかったんですが。ちょっとその時、私が私が言って何をやっていたのかというのを振り返ると。さっきの流れでマルチリンガルにやりたいなと思っていて。Lも出てきた時にラングチモデルを基本的に英語でやってきたんですがマルチリンガルにやらないといけないよねっていうことを考えていてじゃあ、とりあえず、科学的にバイリンガルにすることによって。例えば、ローリソース、ラング、ジコーラ、ブラッシャンとか。ヒーブルとか、ヘブルとか。どれぐらいバイリンガルでラグチモデルをトレーニングしてそれをそのベクトルを使うってことをやることをやることで。そうすることで、モノリンガルの時にバイリングルにした方が合われた方が、圧倒的にスコアが上がるようねみたいなことを、この時、考えてやっていました。これがラクルの2018とか。じゃあ、2019か18かその辺の研究でした。結局、でも、この研究でした。結局、でも、この研究ってあんまり意味なかったです。なぜかっていうと、今、反省すると。結局、さっきバイリンガルのグラフ見せましたけど、ちょっと科学的な指標にこだわってたんですよねじゃあ、バイリンガルで今だったら例えば、英語があってそれに全部ごちゃまずしたいろんな言語を加えて、言語モデル作ろうみたいな発想になるんですが、当時はやっぱりちゃんと比べなきゃいけないでしょより多言語に大規模に拡張してしまって。例えば、日本語だけのモデロ。日本語定語のモデル使っても助かる人って。使う人って限られていて。例えば、全ての5言語とか、10言語とか入れていればですね。今思えば、もっと使いやすいものだったらというふうに思いましたし。当時、トランスフォーマって、まだそこまで使われていなかったので。ASDMとかを使ってやっていましたということで結局、時代が読めなかったら負けましたということですね。その負けた相手なんですがXLMのフェイスブックからFBスブックスタイから出たらXMというのがあってこの人にも論文もよく分かんないし。よく分かんないですけど。実際に使えるものを作ってたんですね、彼は。それをダウンロードして。サイベーションももちろんですし。それ以上にかく伝えのものを作った本当に素晴らしいなと思った次第ですコンピューターサインスのP資料をやるということで自分は科学者になるなと意気込んで、その時やっていたので。ちょっと本当は科学者を目指すべきじゃなかったなと。ちょっと若かったな、ということで。こういった反省をしてるということで。あと、最後に、タスクの選定をちょっと間違っていまして。私たちはNARとかエネシパーリングルングがでも、これも結局いいんですけど、当時、ものすごい流行っていったのはクエスチアンスルで。結局QAで結局QAの人たちはこういう本物読んでくれなかったんですよねその割に、こういう論文を読んでくれて。なので、結局、使われなくなってしまって。何か使う数は正義というか。そういうことで、結局、インパクトを残せなかったなというのを今、反省していますバーチャルのバートの時代に来たということでさすがにバートは皆さん知ってると思うんですが。当初、これ出た時はですねバートはただ、エルムを大きくしただけだよねというふうに思っていましたし。これ、私のアドバイザーのアスミスと。あともう一人ループズロモイアンという人がいます。同じワシンケンターナイルの恐竜ですが今フェイスブックのディレクターとかNRPもリサーチャーしている人で彼はエレモの作者でもあり。最近だとにかく、大規模変語言語モデルにおいて。いろんな研究をしてきた人なんですが。ノアはその時、何を言ってくだかというと。単純なエルモのエクセンションなんかに。大してベスペーパーも上げる必要ないし。あんま興味見えようみたいなことを。まあ、でも、実際にこれったらベストペースタイムを取った前なんですが。実際、撮りましたよね。いかにこうくろうとか、間違えたかと。あと、ルークはちょっと面白くて、ちょっと見方が違ってですね。彼はエルゴンの作者ですから素晴らしいと言ったけども自分の頑張ったエルボが1年が続くと思ってたのに。結局、1年続かなかったよねちょっと悲しいねみたいなループはしていて、ちょっと違う見方をしてるのかなというふうに思って面白かったんですが。そのループもですね実はGPT2がちょうど出てきた時にこれタンダルタンデルラでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですね。あってにならないと。僕らになるということですねで、えっとって当初はエレモンが大きくなったものだと思って行ったんですが。もちろん違ったとNLPの世界を完全に変えてしまったというものなんですがもう一つ、ちょっと面白かったなおまけの話として。当時、ハギン・フェイストランス・フォーマーズのライバリーのきっかけに。ブンのきっかけになったんですよね。これ、昔ハイトウィン・フェイン・フェイン・フェス自体はキットボットとかの会社でもともとあったんですが。彼らがバードはGoogleから出たので検査ブロードで吹かれてるそれ、研究者みんな検索を使いたくないんでパイトローチを使いた時に。彼らがそのパイトウォーチに書き起こしたコンバートしたものを出した。それがパイトチパートであり。そして、それが、結局、カニン・ペインペーストランスフォーマンスにつながっていったということで。こういうの商業向上というか。社会の流れているのは分からないと思わ�ところできっかけが生まれて思わない思わないことで、こう思う。共持着していくんだな、というところですね。その時、私は何をやっていかかというと。当時にやはりマシントランスレーションやりたいということで。マシントランスレーションのスピードアップとかですね。この2個目の論文はですね、1個目のログのマークで。いろいろスピードアップで、こうなんか平列化とか、一生懸命やってたんですね結局、なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃない？みたいな話もやって。なんかちょっと怒られたようにしたんですがでも、結局、これが本当のある意味真実なのかなと思って。ちょっと自己自己意味が実なのかなと思って、自己議が出して。良かったねということで、こういった研究をしていたという感じですね。でもまさに次はGPT3の時代が来てフィーショットラーニングだんだん。だんだん、この時から、だんだんクラシュニケーションに似たなくなってきて。だんだん、みんなジェネレーションをしようっていう方向に来たというのが当時の中で。もちろん、皆さん、ご存じのフフィショットラーニングのでも。あと、グループとか、オープンソースの方でも、大学とか、組織をまたいだプロジェクトが出てきたっていうのが。このキーピーピッジスティスティング時代ですが。この時の研究は、バイディメンシャービーザーバーバードといって。今までのビーガーボードというのは、ジェネレションのな形で。そういうのをやったということで。あとは、やはりジェネレーションにとってイバリエーションが大切だということで。イメージ・キャグシュニングのイバリエーションとかも。佐賀井先生と一緒にやっていたという感じのことをしていました。これちょっと予言なんですがこういう佐賀吉さんのご提案で漫画を描いてみようということで漫画を描いてこのロンガーのPRをツイッターでしていたというこういういろんな楽しいことを本当に楽しくやってたということですはいでついにお待ちかねチャックGPTGPTGPT4の時代が��たということはまさにこれはまさにこれは社会実装の時代に来てしまったらともちろん、研究も多数なんだけども。とにかく使って、どこが問題なのかっていかないかということを洗いらしていかないと。なかなかベンチマークとかで現れないものかなということを感じていてそういった経営で企業して、小島ともにやっていこうというふうに思い出たったと。特に英語にNLPの業界は編集してますよねこれが大体インターネットユーザーの数で。25%ぐらいインターネットユーザーは英語をしているんですが残念ながらや、ほとんどが英語でしか実験をしてなかったり。英語についての論文だったりするということで。これはまず一気、英語編の基盤モデルをどんどん作っていかなきゃないよねというふうに思っております。結局、自然言語�っていうのは何だったのかを振り返ってみると。結局、全てはスケールだったと、これはもう否定がしようがないなということで、いろいろ私自身もいろいろ作りたくて頑張ってたんですが。結局、大きさで解決されてしまったことも多くて。そこはもう認めたらおけないかなということで、間違っていたと。私自身は間違っていて。そうですね。どういうことです？あと、もう一つ面白いと思ったのは。やはり科学的なプロセスが違ス化ができるって書いたな、ということを。例えば、トランス・フォーマーが2017年出てきた時に私はそのトランスフォーマーがこんなに広がると思わなかったっていうのも仕方ないから。論文いくら読んでもよく分かんないです。なんかそのアテンションのディペンネージがうんだな、みたいな。そこって多分こって、多分コンスフォンの本質っていうのは？今思えば。当時のですね。そうですねGPUとかPPUとかそういったそのパラレルの計算の訓練がしやすかったですねですねLSTMとかだとどうしても巨大化してしまうとどんどん時間がかってしまうけどトランスコマーをパラレールにできるから。ハードウェアとすごい相性があるようにハードウェアー決定論みたいな形で。ハードルアによっていわたらないものでは、トランスコマスのすごさが余計リーズされていって。似渡る方々と言われるんですが。そういった経緯があるのかな、ということがあって。だから、分からわからなかったのも仕方ないのかなと思ったりもします。他の例で言うと例えば、アダムでうまくいかなかったらやめるということなので結局、そこも庭とりと卵であってい、ろいろ予測するのは難しいよというふうに今思っていますちょっと、この非科学的な支配する世界ということなんですが。でも、よく考えてみるこれもそうなんですよね。やっぱりコンピューター・サイエンスって言うんですよね。サイエンスって言うってことは、多分科学じゃないんですよ。あの大学地にケミスティックスとか。言わなくていい。同じようにオープンって言ってないから、実際クローズだということで。そういうことだったら、アメリカのチェーンで。セイクウェイっていうのがあるんですけど。セーフェイン全然、安全にはないですよね。大体危ないところにあるのでだから、結局、そういうもんなんだなということで。言ではできないです。専門家の知見というのは。結構、トランスフォーマーのポテンシャルを私は当時期づかなかったし。あと、チャットボットっていうのも意外でしたね。やっぱりチャットって、人間とチャットをめんどくさいね。なんで機会としないかっていうのが、当時の考えだったんですけど。結局、チャットボットでこんなに有名になったんだっていうのが、本当に衝撃でしたし。いかに、私自身が人間を理解できてないか、ということですね。ということで、何も分かってない。まあ、でも、とにかく過去の話をしてきましたが。前に進んでいきたいというふうに思っております。5年間を簡単にまとめると。適度に環境を変えるのはプラスでしたし。でも、専門家ですらは見らないわからないのであんまり専門家の言うこととか。あんまり専門家が言うこととか、気にしないでくださいということですね。最近、なんか自分がいいとも論文、言語、悪い理由がする。ねまあね。あともしたちはですね、アイフェン���ゃないかな。バートとかって、アイデオ自体は本当に。基本的にエルムを大きくして。いろいろ他のアイデアはあったんですけど。結局、そのマスクラングチモデルとか。同じようなアイディアがあって。アイディアだけじゃなくて、エクセキューションの重要なのかなっていうことを思っていて。でも、これって結局、研究だけじゃなくて企業とかも見えると思うんですが。例えば、企業においても開かないのおいても、必ずも早いもの勝ちじゃないのかな。エルモンとかLモンとかあんなに早い段階で実はもっと先にも言って前にもあったんですが。Lモンとかエクセールドクとかありましたけど局パートナ全部持っていったりGPT3とかGP5が全部持ってったりですね結局、早めの街の世界というよりも、そういった不思議な神のみず知りみたいなところがあって。常にそういったことには準備していかなきゃいけないのかなと思いますし。もちろん、企業の話でも、例えば、グルーブルとかフェスブクって最初の検索エンジンでもないし。フェスブックも最初のソーシャルメディアが何でもないわけで。だから、そういった不思議な力があるなというふうにも思いました。最後に、科学的指標というのも大切なんですが。それだけに、こだわらずに、やはりコンピュータサインティストは？サインティストというよりもエンジニアだと思っているので。しっかり皆さんが使えるものを作って。世の中にをしていきたいと思います。大規模大規模ルの時代が来たと。皆さん大規模現行ゲームモデルどう思います?すごい抽象的な質問なんですけど。本当にいろんなことに使えますよく新型でAIスタートアップが出てくる時は基本的にチャットボットボットみたいなものを作ってみたいなものを。自然言語だけじゃなくて。ソフトラインジネリングの世界でも、自然言語も入力をすれば。HTMやCSSのコードを吐き出してソフトエンジネインリングをサポートしてくれる。それだけじゃなく、文章の執筆要約構成。メールの返信。本当に反応的なものに使えるというのは間違いないなと思うんです。大規模ゲイントモデルって、そもそも何だったかっていうと。皆さん、ご存知の通り。ものすごいシンプルに学習されたAIなわけですよね文章があって、その文章の次の単語を予測すると。例えば、学習データの中に。第一代大統領はジョージ・ワシントンなので。ワシントンドンという言葉を予測するとなんでこんなシンプルなものが役に立つのか。すごい不思議です。よく言われることなんですけど結局はスケーディング速度になるわけです。AIのモデルを学習する時って大きくわけで3つの要素がある学習するAIモデルの大きさそれに食べさせるデータの量。この学習を行うコンピューターの資源と呼ばれますけど。この3つだものね。何が申し上げたいかと申し上げますと。この3つの要素を、それぞれ学習中で増やしていったけどか。突如、変異的にただ、単に次の単語を予測するだけだった。言語モデルと呼ばれるAIが反応的な性能を持ち始めるものだから、今はみんな注目しているわけです。これを本当にこの傾向すごいスケーニング速を分かりやすく示したグラフがこうなんですけど。このグラフっていうのはX軸がまだモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども。見ていただく、とり、その傾向というのは、ログリニアなのが。コンピューターの性能自体というのは？皆さん、ご存じの無我の法則というものに従っていて。1970年から2020年の50年間で10の7乗倍増えていると。要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが反応せず、何が関係あるか。すごいスケッチなグラフで申し上げないんですけども。これ、ちょっと賛否両論あるグラフなので。ちょっと反対意見がある人は、後で個人的に来てる。すごい傾向はうまく捉えていると思っていて。このグラフで何を表しているかというと、8つタスクがあるんですけど。例えば、算数力みたいに大規模言語モデルが5、たす6は11。そういった算数の問題を答えられますタスクであったり。多言語力。英語でQAができるモデルがペルシャ語になった時に同じようなことができますか？読解力っていうのは。こういったタスクを見ていく時に、ここも同じなんですよ。Y軸は使われたスーパーコンピューターの実装するX軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしてきた時に。突如、変異的に大企業保険のモデルが。タスクの能力を得るポイントがある。それも一つのタスクだけの話じゃなくて。あらゆるタスクにおいて。突如、変異点が来ると。これが反応性なんです。結局、計算資源を増やしていった時に。突如、変動力を持つ。そういったものが、大規模デルモデルの反応性なんじゃないかなっていうのは。私なりの捉え方ですここからはちょっと自分たちで大金5年モテルを学ぶっていう話をしたいんですが。2019年から2022年、何が起こっていたかというと。一言で申し上げますと、各国で大規模言語モデルの開発競争が起きていた。アメリカですアメリカではマイクロソフト社。インターインターインターインタストリーを中心に、大規模なモデルの開発競争が大きぼみることが大規模なスーパーコンピューターをオープンア社に提供して。当時GPT3英語メインの大規模型型型モールドを学習していた全く似たようなことが中国でも起こっていて。中国では政府が所有しているスーパーコンピューターを用いて。政府機関がGPT3を超えるようなスケールです世界で最大規模のパラメターの数の大規模型予見のモデルを中国語で学習している。この動きって、アメリカと中国だけじゃなくて、ヨーロッパでも大きい。ヨーロッパでは、フランス政府が所有するジョン・ゼープルト呼ばれるスーパーコンピューターがあるんですけど。それをハギングフェースと呼ばれるば、皆さん個人のハギング・フェイス社による。貸し出すことによってハギングフェース者が多国籍用の大規模型モードルを学習していた。この多国、寄与って面白くて。実は、ドイツが含まれていないのは、フラスドイツの緊張感が現れ。それ以上に重要な小話があって。実は、このフランス、政府がスーパーコンピューターを。ハギングフェスに貸し出す時に。ハギングフェスって？当然、グラントプロポーザルみたいなものを書いたんですよね。これ、これ、これ、こういう理由でオタクのセルファークターを使いたアゲメントが本当に生々しくて。アメリカと中国のAIのスーパーパワーがフランスを食い尽くそうとしているのだから我々は独自でモデルを開発する必要があるみたいなことを言っていたんです日本を見てきた時に、今でこそ、本当に坂口先生含め。いろんな方々と、素晴らしい努力のおかげで。日本国内でも国産のLLMを作ろうみたいな予定あったんですけど当時、日本国内でハギングフェイスみたいな人はやらないんです。最初に割れてくる疑問として。なぜ、日本国内でできないのかできないのかまず、そこをしっかりしたい。大規模言語、言語、モデル学習で何が一番重要かというと。やっぱりそれはスーパーコンピューターのリソースなんですが。日本ってスーパーコンピューターがないかというと、全然そんなことはないわけです一番分かりやすいところだと、皆さんも研究で使われているかもしれません。ABCIと呼ばれるGPUベースのスーパーコンピューターがあるとABCIS素晴らしいスーパーコピューターなんですけど実は、日本最大級のスーパーコンピューターって？Aじゃないんです不学って呼ばれるスーパーコンピューターで。皆さん、年齢的にちょうどベストヒットかなと思うんですけど。以前、民主党政権がありまして。そこで、レイ・ホンさんという政治家がいらっしゃったり。レイホさんが仕分け会議ということをやっていた時に。1位じゃダメなんですか、2位じゃダメなんですか？っていったコンピューターがスーパーコンピューターで。当時、世界最高の1位の性能を超っていたんですけど。今はレ・ア・ホンさんおっしゃる通りに2位になってしまっていますそういうスーパーコンピューター、何が重要かというと。この富学っていうのは、本当に化け物みたいな性能を持っていて。ギングフェッシャーがブルームと呼ばばれる大共謙ゲングモデル���学習した。ジョーンズAと呼ばれるスーパーコンピューターと比べてももし、前近を使えた場合は、考えても10倍速いんです。10倍速いっていうことは、同じ計算をやった時に。不学だと10倍早く計算が終わる。でも、深くって、何がグレージーかっていうと。CPUベースのスーパーポンピューターなんですよ一切GPUを搭載してないと皆さんCPUで大規模言語モデル学習したことあります大規模ゲームモデルじゃなくてもんですけどディープラウンドで。CPUでやらないんです基本的にはGPUもし台所はTPUUAIに特化したハードウェアでやるいないとこれが何が問題かっていうのを同数字を見ればすぐ明らかったと思うんですけど。NVDアのA-1-100っていうのがデータセンターで最先端のGPUでも、その一つ前は。1本目まして前はA100というGPが最先頭に搭載されてるCPUって藤津A-6-4FXって言うんですけどAIの演算性能に限っていえば富岳のCPUでMVではGPでGPの50倍遅いんですよ50倍遅いってことはGPでできる計算が50倍長くかかってしまうじゃあそもそもそもフラクって何がすごいなっていう話なんですけれども普段にてCPUが15万個あるんですよ皆さん15万個のCPU使ったことありますか?多分ないと思うんですここで何が言いたいかというと。ぶっちゃけGPUがCPUが50個使って。平列計算したら、同じぐらいスピードが出るのね、っていうのは。まあ、ちょっとクレージな間で、佐賀な間にすごいご迷惑って。そういうことを当時考えていて。それをやるためのした分、散・併列学習というものになります。今でその分、散並列、学学習ってすごいろいろオープンソースのパッケージが出てきて。皆さん、ご存じかもしれないところで言うと。例えばマイクソフト社のディークスピードであったりLVDA社のメガトロンLMっていうパッケージがあってこういったパッケージって。データパイルモデル、パレールパレールって呼ばれる？分散変異例学習をサポートしてくんですけどCPUで動かったんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVではマイクロソフトに書いていただいた分散平列学習のパッケージをCPU向けに移植してちゃんと平列でCPUが計算できるかなということを試したいんですけど初期実験としては、非常にいい結果が出て、ここなんですけど。CPUの数を増やしていった時にシステム全体としての計算性能がどれぐらい上がるかな？っていうのを見て、これ、ログリニアなんですけど。ログリニアなんですけど。特にCPUを先行わたりまで増やした段階ではその計算速度が1個だった時期が1倍近くなっていくと。これまで分散・余算、平列学習がすごいうまくいっているなっていう感触だったんですけれども。これは、あくまで初期の実験で、当然、うまくいかないこともあって。一つはCPを大量に使うことでどういう問題があるかということなんですけどCPU例えば2個使っているだけだとCPU例えば2個使っているだけだとCPを1個同士がコミュニケーションすればいいだけなのでそれは問題ないと。ただCPを1000個とか1万個とか増やしていった時にやっぱりコミュニケーションがすごいオーバーヘッドが出てきて。ここを見ても分かる通り、システム全体として。その計算性能が上がるっていう時が、若干落ち込んできてしまっていると。だから、一つ間違いなくあった課題としては。大量のCPUがあった時に効率的にコミュニケーションポストが上げられるようにしない人ってないよねそういったことも一つ課題化している。それ以外にも、すごい面白い発見もあって。ハードウェアって基本的に理論値と実測値というのは、理論的には、これだけ推量が出ますよ。実測指っていうのは？実際に使ってみたら、これだけしかスピードが出ませんでしたよ。例えば、トランスフォーマンの学習とかやる時に。GPUの実測値って理論値の大体40%から50%ぐらい最近だと60%ぐらい出てるのかそのくらい出るかっていうと。NVディアのソフティアのエンジニアの方々がものすごい波長い、並々しい努力をやっていて。例えば、トランスフォーマーでよく使う行列計算の64×64のディメンションの。この特別なコードを使うことによって、早くしましょうみたいな。すごいなんかハンドウェビーなハードコ���のソリューションがソフトチョイスタック。マクウダーレアのレアの中にいっぱいあるんですよ。だからGPUは実測している値の幅がそんなにCPUのCPUってそもそもそんなにAI学習を想定したものではなくてむしろ、シミュレーションとか、そっちの方で使われていたので。そういったソフテリア・ストストックが弱くて大規模な学習ができないので。こちらの日系新聞さんでカバーしていただいて。それこそ、7社合同部屋せていただいているということなんですけれども。GPT浮学というプロジェクトが今格化いたしまして主要な期間でいうと、それこそ東北大工さん。坂口先生のここで言うと、栗田さんと佐々木職さんって呼ばせていただいていますけど。そういった方々が中心になって協力していただいていると。それ以外にも東高台さんであったりとか。理見サイバーエジェント名古屋大学富士通。弊社言葉、テキノロジーズが連携していけるように。そういったプロジェクトが本格化しました。このGPT風学っていうプロジェクトは大きく分けて2つのチームがあって1つ目のチームは、システムチームと呼ばれるチームです。こちらは区学場のインフラを整えているそこでAIの学習が効率的に行えるようにしようと思う具体的にどういったことを解決しようとしているか、というと。先ほどのスライドがあったとおり、コミュニケーションコストの問題が解決しようであったりだったりだとか。理論と実測値が小さくなるようにしよう。そういったことをやっています。NPチームの方には東北大学の方々が主導していただいてこちらでは、日本データの準備であったりとか。トークナイザーの開発そういったことをやりたいと思います。こちらのプロジェクトはまだ動いているので。今後もどんどん。ニュースが出てくるかと思いますが。皆さん、温かく見守っていただければと思います。栗田さんと久保育先生にはすごい思い出ますが。一緒に頑張っていければということです。そうですね、ここまでが。富岳のお話し。深くっていうのはすごいやっぱり面白いプロジェクトで。今後、今後、今、一番速いスーパーコンピューラだろう。間違いなくAI性能に限っていえば富岳よりもっと速いスーパーコンビューターっていうのは？1、2年で出てくると思うんですよ不学で何で恋愛学習をやる意味があるかっていうと。もっと速いスーパープペーターが出てきた時に、空学で学んだ知見を直接生かせるように。そういった書き橋に役割です。これはすごいサイエンスとしてはエキサイティーになっている。私と火災が考えていたのは、大規模言語モデルっていうのは、ただ、すごい社会に使えるレベルになっているので。これを実装しないと、やっぱもったいないし。実装してみたいな社会。そういったことで、言葉、テクノロジーという企業を立ち上げまして。ちょっと思考実験をまずしてみたいので。大規模言語・モデル、素素晴らしい。すごいいろいろ使えることに。果たして、日本のビジネスに使えますかと。弊社は言葉、テクノロジーズというのは。日本のビジネスと相手にいろいろとオペレーションをさせていただいている会社など。この時点ですでに日本国内の340社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして、旅行会社さんといったドメインの方々がいらっしゃったり。旅行会社さんに大規模現行ゲームを持てる。お宅どうお使い習い習えますか？そういったことを聞いた時に、こうく旅行計画を作って。それをパンフレットでまとめるっていう業務。よく、最近は人力でやるので。それを生成AIでできるとすごいありがたいこういった業務をやる時に例えばGPP法を考えてみましょうプロプトかけますよこういったプロップをかけて。渋谷駅から出発して、火災の地元である奈良公園で日帰りで観光する計画を作って、パンプレットにしてください。そこでは、交通手段を含めてください。東大寺も観光できるようにして、グルメ回りをしたいので。グルメマインまできるようにしています。じゃあGPT4は実際出てきたアウトペットなんですけど一番上を見ると、すごい東京からならや伝統と自然の一日旅行その��を見ていくと、例えば、ページ1だったりとか。ページ2旅行の概要ページ3スケジュール。いろいろ伸ばしていっていると。ちょっとページ3スケジュールでとんでもないこと言うわけですよ。朝7時、渋谷市を近江、大阪の新幹線に乗る。渋谷駅に新幹線なんて撮ってないんですよ。これはちょっとよろしくな。もっと面白いことが起こっていて。11時半、長い人と並べる人がそうして斜めるつしかせてよるかもです。まあグルメ回りしたいけどジョークとしては面白いですよ。ジョークとしては、一級で、こんなことをカスタマーに提案したら？それこそ、旅行会社さんって仕事がなくなっちゃいます。何が言いたいかというと。大規模型言語ゲンガモデルってGPVP4に代表されるようにめちゃくちゃ反応的だと反応的なんですけども日本語の閉じたドメインのようなところでデプロイしてしまうと。まだまだ業務に差し支えられる欠点がある。それ以外にも、そもそもこれをやった理由っていうのは。旅行会社さんがパンプレットを作るためですよ。パーフレットを作るためなんですけども。現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないと。結局、パワープレットが必要な旅行会社さんの視点に立ってみたら。この生のペキストをマークダーを取ってきて。そのパンフレットに、もう1回、リストラクシャーする作務が必要ですこういった現状の大規模言語・言語モデルの。欠陥を研究、開発することによって。どんどん直して直していく。直して、大規模言語モデルをアプリケーションとして分かりやすい形で。企業さんに販売するそういったことをやっておりまして。つい直近では、米国で数億円規模の指導資金調達を完了して。国内でも政府指導の補助金を今、申請中。加瀬からもありましたとおり。つい先日、東京オフィスを六本木院に開設して取り組んでいると。エンジニアサイティストを始め、まじ々に10月始めた順次中、チームチームとあるい。年内には5人から12程度のチーム編成に生きればそういったふうに思っております。そうですね、これが先ほど申し上げておりますで、そうですね。これが先ほど申し上げた内容を少し細かくしたところなんですけれども。研究開発としては、例えば、非英語圏の言語でも大規模言語ゲンゴモデルがしっかり使えるようにしたりとか。それこそ、大規模言語モデルっていうのは、リアルタイムな情報がすごい弱いわけですよね例えば、東北大学から仙台駅に今行きたいとなったら。大規模型言語モデルって、基本的に今の時間を調べて。それに落ちた答えをしてくれるっていうのはなかなかないので。そういったところ、ツールフォーマーといった論文がありますけど。APIコールを通じて解決することで大規模言語モデンリアル体制を持たせるであるそれ以外もマルチモダル能力で。そういった研究開発をしております。こういった研究、開発した言葉、フォーマンという名付けられて。我々言葉フォーマーって呼んでいるんですけど。弊社のシステム、言葉フォーマーをユーザーの方々に分かりやすい形で、パッケージング化してあげることによって。例えば、コールセンターであったりとかコンテンツ生成。そういったものにして、企業さんに販売していく今日のトークはお知らにしたいと思って、お弁者が最初に取り組んでいる。教育分野のカスタマーさんと一緒にプロジェクトをやらせていただけるんですよね。教育分野もちょっとここはアカデミックトークなので。名前も行ってしまいますが。皆さん、なんか寸大に行かれた方っていらっしゃいますか？あまりないのかな、なるほど。あまりないのかな？寸大っていう塾があるんですけど。まあ、弊社のか、すん大様とプロジェクトを一緒にやっておりまして。ここでは、どういうプロジェクトをやっているか、というと。生徒さんが塾の中でお使いにある。練習問題とか。そういったプロジェクトをやっているんですよ。須大様が今度いった課題さんが今、どういった課題を抱えてらっしゃるかというと。こういった練習問題を作る時に。基本的に教員の方々が指導で試験を作る���。その結果、ものすごい労力が費やされているんですよ。例えば、クレイジな話なんですけど。共通テストの1個作るのに何時間かけていますか？っていう話を聞いた時に。1つのテストに300時間かけているらしいんです。300時間、それ年1回やるわけじゃないですか。何回も何回も繰り返す弊社がやっているのは、本当にすごいシンプルに教員の方々が使えるようなシステムで。ここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんですよ、ここでは。アメリカを初めて訪れますよというコンテクストで問題を作ってください。その結果、出てくるものが例えば、こういうパーフレット形式のビューク。今は共通テストってすごい情報分析に寄せたような問題が出ていて。英語でもないこういうパンフレットを呼び解いて。問題に鍛えてくださいみたいな問題の問題があるんです。だから、こういうパーフェットみたいなものを直接出力することによって。先生方が最小限の手を加えるだけで。実際に生徒さんがすぐ使えるものを作っていこういったパンフレットを作って。その後は、それに即した問題を先生方に生成していただくわけです。質問の正々に進むというふうに進むと。こういった感じで、4択の問題がパープレットに属した形で。成縁されて最終的にはPDFであったり出力する。PDFはただに問題のコンテクストをつないでだけのものなんですけど。ワードで何で出力するかというと、やっぱり。AIが出力したものなので先生方が気に入らないものがありますそういったものを、例えば、ワードだと直接、先生方が手を加えるだけで。すぐに生徒さんに配られてもらってもそういったことを教育ドメンではやっております。もう一つ紹介したいのがもう一つ紹介したいのが交通分グJR東様と一緒にプロジェクトルトをやっておりましてそこで、やっていることとしては。カスタマーサポートの自動化というくと、みんなチャットボットっていうのを思い浮かべるかなと思っていて。チャットボットって、今、どこでもやっているじゃないと思う方もいらっしゃると思うんです確かに、その通りです。ただJR東様のチャットボットってめちゃくちゃ難しいんですなんで難しいかっていうと。さまの方々が本当に多様なお、問い合わせをしてくる。本当に多様なお問い合わせをしてきた結果ちょっとGPT4をいじっただけだと想定解決できないような問題が出てくれば。例えば、その例をあげると、渋谷駅でお裁表を忘れてしまったんですけど。どうすればいいですか？そんなチャットGPTに聞いても分からないですね何をやる必要があるかというと。例えば、大規模型語言語モイルが裏で。APIを呼んで例えばSQLのような報道を書いて例えばJR東の中にあるインターナルなデータベースにお問い合わせをして忘れ物状況を取得してそれを踏まえて返答を送らないといけないそういったことがないんですよもっとクレイジーになれると。例えば、何でしょうね、渋谷駅から新宿研究に行きたいんだけど。できるだけもうちょっと疲れてるだけ、もうちょっと疲れてるから。あまり飛んでいない路線を選んでくださいみたいなことが気になる方もいるんですよ。そしたら、何をする必要があるかもめちゃくちゃくちゃ難しいですよ、めちゃくちゃ難しいと。でもなんかありがたいこととしてはJR東大久間って今各駅、各列車にセンサーがついてて。混雑状況が分かるんですよ。結構、我々頭がおかしいので、クレジなことを考えるわけですよ。もしテンサー情報に大規模型ボケグモデルが直接アクセスできて。その混雑情報を取って、これたら？そういった、座っていける路線は何ですか？みたいに質問にも答えられます。そういったことを、ここではやっています。すごい、何だろう簡単に見えて難しいアプリケーションなんで？これはめちゃくちゃエクサイティングです。もう一転エクサイティングな点を上げるとするとやっぱりJRヒャスタマーのカスタマンセンターって皆さん、ちょっとお使いにならないかもしれないんですけど。結構、その高齢の方々とかって。電話を通じて、アクセンターに電話をかけていらっしゃったりするんですかね。その数で言うと���1日大体数万件。年間でいうと、それこそ数百万件、数千万件って。なんていません。弊社が開発した人がご視野児。,"[18.294931173324585, 17.515852212905884, 17.49791431427002, 17.49921679496765, 17.364430904388428]"
-kotoba-tech/kotoba-whisper-v1.1,15,False,True,sdpa,cuda:0,long_interview_1.mp3,True,256,18.02405333518982,0.20277988430790378,NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり。私たちが取り組んできたプロジェクトを中心に。ちょっと5年間をリフレクトして。どういうきっかけで言葉、テクノロジスという企業を。作るに至ったかなっていうのを。お話しさせていただければと思います。よろしくお願いいたしますそもそも、誰やっていう話だと思うんですけど。小島紀樹と申します。よろしくお願いいたします小島大学と申します私、コーネル大学を卒業しまして本当ディフェンスをやったのは？2、3週間前なんですけれどももともともとはコーネル大学って？ニューヨーク州の土田舎の伊阪という街にあるっていうイメージがある方も多いと思うんですけども。コーネル大学って、2つはイサカにあるんですけど。もう一つはニューヨーク市にある。インソ川の上に浮いているルーズ・ベルト島っていう。すごい細長い島があるんですけど。そこでPHEをやっておりました私は小島っていう名前なんですけども。本当にしょうもないネタを言うと小島の上でPHUが振り方そういう四面間となっております。私はPHの専門部屋としてはマルチモダリティーと呼ばれる自然言語のシステムに、どうやったら言語以外の情報を例えば、画像であったりとか、音声といったものを理解できるようにさせる。そういったことであったりとかインターナクティブラーニングと呼ばれる。最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういった検訓の方では、ハギングフェイスでちょっといろいろとプロジェクトでお世話になったりもしました。そうですね、学部から実はアメリカに行っていて。ミシガン州にあるミシガン大学アナーバーコっていうところがあるんですけども。そこで、学部をやっていて、高校まで日本に行きました。そういったところで、ちょっと火災にバトンガッチさせていただきます。今日はよろしくお願いします。はい、青木純吾といいます。トヨタ工業大学・鹿児島という。日本、名前から分かるとおりですね、日本のトヨタが昔出資をして今、独立な組織なんですが、そちらの方で。リサーチアシスト、プロフェッサーという職を持ちだから。小島と共に言葉、テクロジに取り組んでいるという状況です。私も本当にPHDも出来立て小屋というか最近取りまして先月8月に無事シアトルですねアトルにあるワシントン大学でコンピューサインスの博士課程を卒業しました。研究分野としては、最初の方は機械本屋だとかマシンチャンスレーションとか、あとは効率化とか言語制制制のイバリエーションとか、そういうことをやっておりました。ちょっと遡残るとですね実は私も暇と見た形で高校卒業後は、大学はアメリカの家康大学という統計会当時は統計にいたんですが。統計学部を卒業しまして。その後。その後ELELで働きながらワシンコ大学に進学したという経歴ですね最近、イエル大学も知名度がってきて。ちょっとよく分からない教授がいろんな番組でお話をしているという名前は誓いさせていただきますけども。まあ、なんか知名度ががってきてうれしいんですがここはイエドにタックスで。オフソードとか、ケンブリッシュの生まれて。これ、わざとなんかやりたりしてるんですよね。わざと古く見せるような。アメリカって新しい国なんでそういう感じてるという。でも、非常にきれいな感じがあります。これがTTIC東京都宮大学シパワークの中でこれもまた古いものと、また電波等下なんかで、それを改造して大学になったと。しばらく日本にも非常につながりがあって古井先生というスピーチの対応ですね。つい、さっきになくなっちゃったんですが彼が昔、ここでプレゼントをやっていたということで。本当に日本のゆかりがあってなおかつ、私が実は今、パカルティーで唯一日本人���ので、ちょっと責任感を持ちながらやってるという感じですね。これがそこになりで、ほとなり、ここにいるんだというと、まさに宇坂口さんとの佐賀井先生ですねすいませんつながりが、本当にこういったありがたい機会をいただいていて私は本当に2021年のちょうどコロナが終わった直前とか。みんな、大体オフィスに戻り始めた頃に。佐川口さんがAI2にいらしてそこで、インターのメンターを一緒にやろうということで。インターのメンターを最初3か月とやりつつでも、本当に楽しくて。いろいろパーテイムで練習しているうちに、もう1年ぐらい。もうちょっと長い日々で、一緒に研究をさせていただいて。本当に楽しい日々で。オフスがあって。私のアドバイザーノアスミスなんですけど、ノアスミスが出て。ノアスミスが出て。写真を撮って掘り出してきました。本当に懐かしくて。本当に昼ご飯を食べては雑談してですね。昼ご飯を食べてるうちに、論文がそれなりにかけてくるみたいなことをやっていて。大体雑談の中ににいろいろあったんですけど。最後の方が結構皆さんご存じですか?白い虚党の話をよくしてましてこれ、いろんなバージョンがあるんですけど。これ、あのカラスアトシャキっていう俳優がやっていたバージョンが2人ともすぐお気に入りで。広役とのバージョンどこが一番いいかというのを話し合っていて。坂口さん的には、後半のやっぱり財前教授になった後に。亡前教授になった後に財前教授なんですけど。なくなってこう。ちょっとネタバレになっちゃったな。そのあたりはダメだと。税務にこそ面白いことをおっしゃって。さすが、坂口さんの見るところは素晴らしいな、ということで。涙では泣かすだけじゃ、やっぱダメなんだなっていうことを感じましたねこれがいって撮って撮った写真で。そららどこかにいらっしゃると思うんですが。そんな感じで、すごいいところでしたね会社としましては、藤間と創業しまして。今は日本とアメリカの二極対戦みたいなクロスボーダーという形でやっていて。私自身T-PICプロジションもありますしあとはシアトルに今、シャトルに本社はあるんですが。それでも、うすでに東京の国民にオフィスを構えまして。日本の死者みたいな形で、今やろうという形で進めているということで、言葉と出申しする会社ですね。基本的に下げ年語今、話題の大規模型言語モデルですね。LLの特に非英語圏語系のベース言語モデルの開発とか場によってはマルチモータルとか、そういったことを。もんど挑戦的にやっていきたいなと。もちろん、同時に、やはビジネスですのでアプリケーションの提供も行うことで。うまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっている。やっぱ初期市場としては今は日本を考えてまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりましたし、何かしらやはり日本の中でインモを作っていきたいなということで、今日本が初めてやっているという状況です資金調達とかいろいろ今、頑張ってやって終わってきているということですね。ちょっと今日の内容なんですが、ざっくり言って4部構成ぐらいになります。一部目はまさに私はもう5年間PHDがありましてこの5年間って恐らくNLPの歴史の中でも一番激動の5年間だったと思いますので運良くいいのか分悪いのか分からないですが。そのタイミングでPHDを終わった私から見た今思うと、こうだったよねみたいな話を、ちょっと過去の話を。ちょっと第1部では。第2部からはですね、もっと直近な話で。大金モデルの時代の到来ということで。私たちがどういうことを考えていたのか、ということを話したいと思います。それ、あとは、やはり前を行きたいということで。未来について話していきたいと思います。はい、ということで。ということで適広のPHD5年間ということでこれはもう本当にもう本当にもうはいということでこれはもう本当にもう私のPHLをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で。最初だけポジズニムな話でいこうと思います。一番最初にKHDDが始まる前にイエル大学にやっていたのは構造解析とかいわゆ���シンタックスとか、パーショングとか、そういうことをやって。その後ですね、ワシントン大学に移動して。ずっと英語ばっかり。この構造解析とか、ずっと英語なので。英語ばっかり言う、よくないので、私自身多言語を。私た言語をやりたいなということで、多言語を解説に伝うことをやってきた。そのうちに、他言語をやっているうちに。他言語というか、機械本やんでしょうということで。マシントランスレーションを毎回ありがし。その後に、どんどんマシントラスレーションの一般のことをやりじめてちょっとこれ見づらいんですが。モデルの高速化とか、効率化とか、そういったことにやっていったり大一部現をモデルに取り組むということで。無理やりまとなればだんだんオーディエンスが最終と比べると大きくなっていたな、ということで。これはちょっと自分が一つ成長できたポイントとして、少しきれいに見えるかなと思いまして。最後に一つだけポジティブなことを言っておくと。環境のやはりいろんなものを変えていった時にですね。環境の変化が本当に大きかったなと思っていて。皆さん、もし機会があれば、ぜひどんどん環境の変化を求めていったら。いろんな経験ができると思っていて。一番最新学院、院院学にいましてワシントン大学にいながら、ちょっと引き詰まったので。メタでインターでインターンしたり。そういったことをやっているうちに、あとは最後は最後の。サラドイツーでインターチャンをしたり、マイクロソフトに行ったりして環境の変化に応じて、いろいろプロジェクトとかも。楽しくできた方だと思うので。ぜひ、いろんな日本いいところですし、仙台は本当に素晴らしいところですけども。いろんな物理的にも環境を変えるのもいいことなのかなと。まあ、じゃあ、せっかくせっかく、まずは過去の話ということで。一体一体私がPHリ始めた頃何が起こったかというとこれですね、ディープコンテクショナイントということで。その前まではワーデンベリングというかも多分。多分、今の人、知らないのかな？みんな、授業でやってますね。教科書かしみたいな感じに。単語をですね。いろいろいろフラッシュファイアとか。いろりやるときに。ベクトル化したいみたいな。こういうことを今から言えば、ものすごい浅い。ニューラルネットワークみたいので。周りの単語を予測することで。ベキトル化るよねみたいな、そういった。そういった言語学とかディスティブーション・マンティクスとか言ったりしますけども。そういったディスティスティブーションのスマンティングスクスクトがそういったりとか、そういったディスティブーションオスなんです。そうですね、そういったと言ったりしますけども。そういった自然なことをやっていたというのが。これでぐちゃぐちゃぐちゃ、こういうことをみんな頑張ってたんですよねこれ、最初、ミコロフの2001年、もっと前から多分あるんですが。あと、黒をウエクトルとか、いろびやっていて。こういうことやっていたんですが大体私がPシリア始めた頃ですねこれまさに実はワシント大学で私がちょうど入る直前に起こったことなんですがワシントン大学はまさにAI2でエルモンというのが出てくるこれこそ今もうあんまり知られてないのかもしれないですがエルモの研究というのがあって。それはですね要は今まで浅いに色な手に行っていたけど。もっと深くして。何日モデルにして。いろやっていって、その最後だったり、真ん中だったり。そこのベクトル表現を使っちゃおうみたいな話をしていて。そうすることで。QAだったりコーブの効果を使っていてそういうことがあったということが。エレモだったり。コーブでちょっと、これに似たようなアイデアがあって。そういった時代に私はPGで始めたということでここで終わりだと思ったんですね私は実は。もう完全に、これ以上、これ以上間違うことはないんですが。完全に間違っていると思う。ちょうどこのセバッシャン・ルー�のMVS-REといってどんどんビジョンみたいになってきたよねと。結局、当時、ビジョンでよくやられていたのは、イメージネットで大量に画像のクラジケーションとかを学習させてて。���のベクトルを使って、他のタスクトスクとかを得たっていたんですが。まさに同じことが同じことが起きていて。まさに同じことが、他のカスクタイトラッシングとか、クエッションアンセリングとか。マシントラーションとかをやらせるみたいなイメージネードみたいになったよねっていうことを言っていたということで、これがああ、よかったねと。自然言語シェルもようやくビジョンに落ち着きましたと言ってたところ。これは始まりでしたらなかったんですが。ちょっとその時、私が私が言って何をやっていたのかというのを振り返ると。さっきの流れでマルチリンガルにやりたいなと思っていて。Lも出てきた時にラングチモデルを基本的に英語でやってきたんですがマルチリンガルにやらないといけないよねっていうことを考えていてじゃあ、とりあえず、科学的にバイリンガルにすることによって。例えば、ローリソース、ラング、ジコーラ、ブラッシャンとか。ヒーブルとか、ヘブルとか。どれぐらいバイリンガルでラグチモデルをトレーニングしてそれをそのベクトルを使うってことをやることをやることで。そうすることで、モノリンガルの時にバイリンガルにした方が圧倒的にスコアが上がるようねみたいなことを、この時、考えてやっていました。これがラクルの2018とか。じゃあ、2019か18かその辺の研究でした。結局、でも、この研究でした。結局、でも、この研究ってあんまり意味なかったです。なぜかっていうと、今、反省すると。結局、さっきバイリンガルのグラフ見せましたけど、ちょっと科学的な指標にこだわってたんですよねじゃあ、バイリンガルで今だったら例えば、英語があってそれに全部ごちゃまずしたいろんな言語を加えて、言語モデル作ろうみたいな発想になるんですが、当時はやっぱりちゃんと比べなきゃいけないでしょより多言語に大規模に拡張してしまって。例えば、日本語だけのモデロ。日本語定語のモデル使っても助かる人って。使う人って限られていて。例えば、全ての5言語とか、10言語とか入れていればですね。今思えば、もっと使いやすいものだったらというふうに思いましたし。当時、トランスフォーマって、まだそこまで使われていなかったので。ASDMとかを使ってやっていましたということで結局、時代が読めなかったら負けましたということですね。その負けた相手なんですがXLMのフェイスブックからFBスブックスタッチから出たらXMというのがあってこの人も本当に論文のよく分かんないし。よく分かんないですけど。実際に使えるものを作ってたんですね、彼は。それをダウンロードして。サイベーションももちろんですし。それ以上にかく伝えのものを作った本当に素晴らしいなと思った次第ですコンピューターサインスのP資料をやるということで自分は科学者になるなと意気込んで、その時やっていたので。ちょっと本当は科学者を目指すべきじゃなかったなと。ちょっと若かったな、ということで。こういった反省をしてるということで。あと、最後に、タスクの選定をちょっと間違っていまして。私たちはNARとかエネシャンティングルングがやらっていたんですねこれも結局、まあいいんですけど、当時、ものすごい流行っていったのはクエスチアンスルで。結局QAで結局QAの人たちはこういう本物読んでくれなかったんですよねその割に、こういう論文を読んでくれて。なので、結局、使われなくなってしまってその割にこういうロボンを読んでくれて。なので、結局、使われなくなってしまって。何か使う数は正義というか。そういうことで、結局、インパクトを残せなかったなというのを今、反省していますバーチャルのバートの時代に来たということでさすがにバートは皆さん知ってると思うんですが。当初、これ出た時はですねバートはただ、エルムを大きくしただけだよねというふうに思っていましたし。これ、私のアドバイザーのアスミスと。あともう一人ループゼルークゼロモイアンという人がいます。同じワシンケンターナイルの恐竜ですが今フェイスブックのディレクターとかNRPもリサーチャーしている人で彼はエレモの作者でもあり。最近だとにかく、大規模ーブ言語モデルにおいて。いろんな研究をしてきた人なんですが。ノアはその時、何を言ってたかというと。単純なエルモのエクセンションなんかに。大してベスペーパーも上げる必要ないし。あんま興味見えようみたいなことを。まあ、でも実際にこれったらベストペースタイプローパーを取った前なんですが。実際、撮りましたよね。いかにこうくろうとか、間違えたかと。あと、ルークはちょっと面白くて、ちょっと見方が違ってですね。彼はエルゴンの作者ですから素晴らしいと言ったけども自分の頑張ったエルボが1年が続くと思ってたのに。結局、1年続かなかったよねちょっと悲しいねみたいなループはしていて、ちょっと違う見方をしてるのかなというふうに思って面白かったんですが。そのループもですね実はGPT2がちょうど出てきた時にこれタンダルタンデル何やってんだろうなんでこんなに騒いでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですね当てにならないと。僕らになるということですねバートの被害になって当初はエレモンが大きくなったものだと思って行ったんですが。もちろん違ったとNLPの世界を完全に変えてしまったというものなんですがもう一つ、ちょっと面白かったなおまけの話として。当時、ハギン・フェイストランス・フォーマーズのライバリーのきっかけに。ブンのきっかけになったんですよね。これ、昔ハイトウィン・フェイン・フェイン・フェス自体はキットボットとかの会社でもともとあったんですが。彼らがバードはGoogleから出たので検査ブロードで吹かれてるそれ研究者、みんな検査ブロード使いたくないんで。パイトウトウ�を使いた時に。彼らがそのパイトウォーチに書き起こしたコンバートしたものを出した。それがパイドチパートであり。そして、それが、結局、カニン・ペインペーストランスフォーマンスにつながっていったということで。こういうの商業向上というか。社会の流れていは分からない思わないことで、こう思う表記していくんだな、というところですね。その時、私は何をやっていかかというと当時にマシントランスレーションやりたいということで。マシントランスレーションのスピードアップとかですね。この2個目の論文はですね、1個目のログのマークで。いろいろスピードアップで、こうなんか平列化とか、一生懸命やってたんですね結局、なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃない？みたいな話もやって。なんかちょっと怒られたようにしたんですがでも、結局、これが本当のある意味真実なのかなと思って。ちょっと自己自己意味が実なのかなと思って、自己議が出して。良かったねということで、こういった研究をしていたという感じですね。でもまさに次はGPT3の時代が来てフィーショットきて、だんだんこの時からだんだんクラスピケーションにリーナーがなくなってきていて、だんだんみんなジェネレーションをしよう、ジョンにしようっていう方向に来たというのが当時の中で、もちろん存じのものフィショットラーニングのでもあと、グループとか、オープンソースの方でも、大学とか、組織をまたいだプロジェクトが出てきたっていうのが。このキーピーピッジスティスティング時代ですが。この時の研究は、バイディメンシャービーダーバーボードといって。今までのビーガーボードというのは、ジネレーションのな形で。そういうのをやったということで。あとは、やはりジェネレーションにとってイバリエーションが大切だということで。イメージ・キャグシュニングのイバリエーションとかも。佐賀井先生と一緒にやっていたという感じのことをしていました。これちょっと予言なんですがこういう佐賀吉さんのご提案で漫画を描いてみようということで漫画を描いてこの論文のPRをツイッターでしていたというこういういろんな楽しいことを本当に楽しくやってたということですはいでついにお待ちかねチャックGPTGPTGPT4の時代が来たということはまさにこれはまさにこれは社会実装の時代に来てしまったらともちろん、研究も多数なんだけども。とにかく使って、どこが問題なのか、ということを洗い出していかないと。なかなかベンチ��ークとかで現れないものかなということを感じていてそういった経営で企業して、小島ともにやっていこうというふうに思い出たったと。特に英語にNLPの業界は編集してますよねこれが大体インターネットユーザーの数で。25%ぐらいインターネットユーザーは英語をしているんですが残念ながらや、ほとんどが英語でしか実験をしてなかったり。英語についての論文だったりするということで。これはまず一気、英語編の基盤モデルをどんどん作っていかなきゃないよねというふうに思っております。結局、自然言語�っていうのは何だったのかを振り返ってみると。結局、全てはスケールだったと、これはもう否定がしようがないなということで、いろいろ私自身もいろいろ作りたくて頑張ってたんですが。結局、大きさで解決されてしまったことも多くて。そこはもう認めたらおけないかなということで、間違っていたと。私自身は間違っていて。そうですね。どういうことです？あと、もう一つ面白いと思ったのは。やはり科学的なプロセスが違ス化ができるって書いたな、ということを。例えば、トランス・フォーマーが2017年出てきた時に私はそのトランスフォーマーがこんなに広がると思わなかったっていうのも仕方ないから。論文いくら読んでもよく分かんないです。なんかそのアテンションのディペンネージがうんだな、みたいな。そこって多分こって、多分コンスフォンの本質っていうのは？今思えば。当時のですね。そうですねGPUとかTPUとかそういったそのパラレルの計算の訓練がしやすかったですねですねLSTMとかだとどうしても巨大化してしまうとどんどん時間がかってしまうけどトランスコマンをパラレルにできるからハードウェアとすごい相性が良いようにハードウェアを決定論みたいな形でハードルアによってトランスコムのすごさが余計リーズされていって似渡る方々と言われるんですが。そういった経緯があるのかな、ということがあって。だから、分からわからなかったのも仕方ないのかなと思ったりもします。他の例で言うと例えば、アダムでうまくいかなかったらやめるということなので結局、そこも庭とりと卵であってい、ろいろ予測するのは難しいよというふうに今思っていますちょっと、この非科学的な支配する世界ということなんですが。でも、よく考えてみるこれもそうなんですよね。やっぱりコンピューター・サイエンスって言うんですよね。サイエンスって言うってことは、多分科学じゃないんですよ。あの大学地にケミスティックスとか。言わなくていい。同じようにオープンって言り、オープンじゃないかな。実際、クローズだということで。そういうことだと、アメリカのチェーンで。セイクウェイっていうのがあるんですけど。セーフェインは全然安全にないですよね。大体危ないところにあるのでだから、結局、そういうもんなんだなということで。言ではできないです。専門家の知見というのは。結構、トランスフォーマーのポテンシャルを私は当時期づかなかったし。あと、チャットボットっていうのも意外でしたね。やっぱりチャットって、人間とチャットをめんどくさいね。なんで機会としないかっていうのが、当時の考えだったんですけど。結局、チャットボットでこんなに有名になったんだっていうのが、本当に衝撃でしたし。いかに、私自身が人間を理解できてないか、ということですね。ということで、何も分かってない。まあ、でも、とにかく過去の話をしてきましたが。前に進んでいきたいというふうに思っております。5年間を簡単にまとめると。適度に環境を変えるのはプラスでしたし。でも、専門家ですらは見らないわからないのであんまり専門家の言うこととか。あんまり専門家が言うこととか、気にしないでくださいということですね。最近、なんか自分がいい人も論文、言語、悪い理由がする。ねまあね。あともしたちはですね、アイフェンじゃないかな。バートとかって、アイデオ自体は本当に。基本的にエルムを大きくして。いろいろ他のアイデアはあったんですけど。結局、そのマスクラングチモデルとか。同じようなアイディアがあって。アイディアだけじゃなくて、エクセキュー���ョンの重要なのかなっていうことを思っていて。でも、これって結局、研究だけじゃなくて企業とかも見えると思うんですが。例えば、企業においても開かないのおいても、必ずも早いもの勝ちじゃないのかな。エルモンとかLモンとかあんなに早い段階で実はもっと先にも言って前にもあったんですが。Lモンとかエクセールドクとかありましたけど局パートナ全部持っていったりGPT3とかGP5が全部持ってったりですね結局、早めの街の世界というよりも、そういった不思議な神のみず知りみたいなところがあって。常にそういったことには準備していかなきゃいけないのかなと思いますし。もちろん、企業の話でも、例えば、グルーブルとかフェスブクって最初の検索エンジンでもないし。フェスブックも最初のソーシャルメディアが何でもないわけで。だから、そういった不思議な力があるなというふうにも思いました。最後に、科学的指標というのも大切なんですが。それだけに、こだわらずに、やはりコンピュータサインティストは？サインティストというよりもエンジニアだと思っているので。しっかり皆さんが使えるものを作って。世の中に出していきましょうということを思っていますということで。これからは未来の話をしてきたいと思います。大規模大規模ルの時代が来たと。皆さん大規模現行形モデルどう思います?すごい抽象的な質問なんですけど。本当にいろんなことに使えますよく新型でAIスタートアップが出てくる時は基本的にチャットボットボットみたいなものを作ってみたいなものを。自然言語だけじゃなくて。ソフトラインジネリングの世界でも、自然言語も入力をすれば。HTMやCSSのコードを吐き出してソフトエンジネインリングをサポートしてくれる。それだけじゃなく、文章の執筆要約構成。メールの返信。本当に反応的なものに使えるというのは間違いないなと思うんです。大規模ゲイントモデルって、そもそも何だったかっていうと。皆さん、ご存知の通り。ものすごいシンプルに学習されたAIなわけですよね文章があって、その文章の次の単語を予測すると。例えば、学習データの中に。第一代大統領はジョージ・ワシントンなので。ワシントンドンという言葉を予測するとなんでこんなシンプルなものが役に立つのか。すごい不思議です。よく言われることなんですけど結局はスケーリング速度になるわけです。です、よく言われることなんですよく言われることなんですけど結度を学習する時って、大きくわけで、3つの要素がある。学習するAIモデルの大きさそれに食べさせるデータの量。この学習を行うコンピューターの資源と呼ばれますけど。この3つだものね。何が申し上げたいかと申し上げますと。この3つの要素を、それぞれ学習中で増やしていったけどか。突如、変異的にただ、単に次の単語を予測するだけだった。言語モデルと呼ばれるAIが反応的な性能を持ち始めるものだから、今はみんな注目しているわけです。これを本当にこの傾向すごいスケーニング速を分かりやすく示したグラフがこうなんですけど。このグラフっていうのはX軸がまだモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども。見ていただくとおり、その傾向というのはログリニアなのが。コンピューターの性能自体というのは？皆さん、ご存じのムーアの法則というものに従っていて。1970年から2020年の50年間で10の7乗倍増えていると。要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが反応せず、何が関係あるか。すごいスケッチなグラフで申し上げないんですけども。これ、ちょっと賛否両論あるグラフなので。ちょっと反対意見がある人は、後で個人的に来てる。すごい傾向はうまく捉えていると思っていて。このグラフで何を表しているかというと、8つタスクがあるんですけど。例えば、算数力みたいに大規模言語モデルが5、たす6は11。そういった算数の問題を答えられますタスクであったり。多言語力。英語でQAができるモデルがペルシャ語になった時に同じようなことができますか？読解力っていうのは。こういったタスクを見ていく時に、ここも同じなんですよ。Y軸は使われたスーパーコンピューターの実装するX軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしてきた時に。突如、変異的に大企業保険のモデルが。タスクの能力を得るポイントがある。それも一つのタスクだけの話じゃなくて。あらゆるタスクにおいて。突如、変異点が来ると。これが反応性なんです。結局、計算資源を増やしていった時に。突如、変動力を持つ。そういったものが、大規模デルモデルの反応性なんじゃないかなっていうのは。私なりの捉え方ですここからはちょっと自分たちで大金5年モテルを学ぶっていう話をしたいんですが。2019年から2022年、何が起こっていたかというと。一言で申し上げますと、各国で大規模言語モデルの開発競争が起きていた。アメリカですアメリカではマイクロソフト社。インターインターインターインタストリーを中心に大規模なモデルの開発競争が大きぼみることが大きぼなスーパーコンピューターをオープンアン社に提供して。当時GPT3英語メインの大規模型型モデルドを学習していた全く似たようなことが中国でも起こっていて。中国では政府が所有しているスーパーコンピューターを用いて。政府機関がGPT3を超えるようなスケールです世界で最大規模のパラメターの数の大規模型予見のモデルを中国語で学習している。この動きって、アメリカと中国だけじゃなくて、ヨーロッパでも大きい。ヨーロッパでは、フランス政府が所有するジョン・ゼープルト呼ばれるスーパーコンピューターがあるんですけど。それをハギングフェースと呼ばれるば、皆さん個人のハギング・フェイス社による。貸し出すことによってハギングフェース者が多国籍用の大規模型モードルを学習していた。この多国、寄り王って面白くて。実は、ドイツが含まれていないのは、フラスドイツの緊張感が現れ。それ以上に重要な小話があって。実は、このフランス、政府がスーパーコンピューターを。ハギングフェスに貸し出す時に。ハギングフェスって？当然、グラントプロポーザルみたいなものを書いたんですよね。これ、これ、これ、こういう理由でオタクのセルファークターを使いたアゲメントが本当に生々しくて。アメリカと中国のAIのスーパーパワーがフランスを食い尽くそうとしているのだから我々は独自でモデルを開発する必要があるみたいなことを言っていたんです日本を見てきた時に、今でこそ、本当に坂口先生含め。いろんな方々と、素晴らしい努力のおかげで。日本国内でも国産のLLMを作ろうみたいな予定あったんですけど当時、日本国内でハギングフェイスみたいな人はやらないんです。最初に割れてくる疑問として。なぜ、日本国内でできないのかできないのかまず、そこをしっかりしたい。大規模言語、言語、モデル学習で何が一番重要かというと。やっぱりそれはスーパーコンピューターのリソースなんですが。日本ってスーパーコンピューターがないかというと、全然そんなことはないわけです一番分かりやすいところだと、皆さんも研究で使われているかもしれません。ABCIと呼ばれるGPUベースのスーパーコンピューターがあるとABCIS素晴らしいスーパーコピューターなんですけどね実は、日本最大級のスーパーコンピューターって？ABCIじゃないんです不学って呼ばれるスーパーコンピューターで。皆さん、年齢的にちょうどベストヒットかなと思うんですけど。以前、民主党政権がありまして。そこで、レイ・ホンさんという政治家がいらっしゃったり。レイホさんが仕分け会議ということをやっていた時に。1位じゃダメなんですか、2位じゃダメなんですか？っていったコンピューターがスーパーコンピューターで。当時、世界最高の1位の性能を超っていたんですけど。今はレ・ア・ホンさんおっしゃる通りに2位になってしまっていますそういうスーパーコンピューター、何が重要かというと。この富学っていうのは、本当に化け物みたいな性能を持っていて。ギングフェッシャーがブルームと呼ばばれる大器オンゲングモデルを学習した。ジョーンズAと呼ばれるスーパーコンピューターと比べてももし、前近を使えた場合は、考��ても10倍速いんです。10倍速いっていうことは、同じ計算をやった時に。不学だと10倍早く計算が終わる。でも、深くって、何がグレージーかっていうと。CPUベースのスーパーポンピューターなんですよ一切GPUを搭載してないと皆さんCPUで大規模言語モデル学習したことあります大規模ゲームモデルじゃなくてもんですけどディープラウンドで。CPUでやらないんです基本的にはGPUもし台所はTPUUAIに特化したハードウェアだったA100っていうのがデータセンターで最先端のGPUでも、その一つ前は。1本目まして前はA100というGPが最先頭に搭載されてるCPUって藤津A-6-4FXって言うんですけどAIの演算性能に限っていえば富岳のCPUって50倍遅いんですよ。皆さん15万個のCPU使ったことありますか?多分ないと思うんですここで何が言いたいかというと。ぶっちゃけGPUがCPUが50個使って。平列計算したら、同じぐらいスピードが出るのね、っていうのは。まあ、ちょっとクレージな間で、佐賀な間にすごいご迷惑って。そういうことを当時考えていて。それをやるためのした分、散・併列学習というものになります。今でその分、散並列、学学習ってすごいろいろオープンソースのパッケージが出てきて。皆さん、ご存じかもしれないところで言うと。例えばマイクソフト社のディークスピードであったりヘルビディア社のメガトロンLMっていうパッケージがあってこういったパッケージって、データパイルモデルパレールって呼ばれる？分散変異例学種をサポートしてくんですけどCPUで動かったんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVではマイクロソフトに書いていただいた分散平列学習のパッケージをCPU向けに移植してちゃんと平列でCPUが計算できるかなということを試したいんです初期実験としては非常にCPUが計算できるかなということを試したいんですけど初期実験としては、非常にいい結果が出て、ここなんですけど。CPUの数を増やしていった時にシステム全体としての計算性度がどれぐらい上がるかなっていうのを見て、これ、ログリニアなんですけど。ログリニアなんですけど。特にCPUを先行わたりまで増やした段階ではその計算速度が1個だった時期と比べて。1000倍近くなっていくと。これまで小典数学学習がすごいうまくいっているなっていう感触だったんですけれども。これは、あくまで初期の実験で、当然、うまくいかないこともあって。一つはCPを大量に使うことでどういう問題があるかということなんですけどCPU例えば2個使っているだけだとCPU例えば2個使っているだけだとCPを1個同士がコミュニケーションすればいいだけなのでそれは問題ないと。ただCPを1000個とか1万個とか増やしていった時にやっぱりコミュニケーションがすごいオーバーヘッドが出てきて。ここを見ても分かる通り、システム全体として。その計算性能が上がるっていう時が、若干落ち込んできてしまっていると。だから、一つ間違いなくあった課題としては。大量のCPUがあった時に効率的にコミュニケーションポストが上げられるようにしない人ってないよねそういったことも一つ課題化している。それ以外にも、すごい面白い発見もあって。ハードウェアって基本的に理論値と実測値というのは、理論的には、これだけ推量が出ますよ。実測指っていうのは？実際に使ってみたら、これだけしかスピードが出ませんでしたよ。例えば、トランスフォーマンの学習とかやる時に。GPUの実測値って理論値の大体40%から50%ぐらい最近だと60%ぐらい出てるのかそのくらい出るかっていうと。NVディアのソフティアのエンジニアの方々がものすごい波長い、並々しい努力をやっていて。例えば、トランスフォーマーでよく使う行列計算の64×64のディメンションの。この特別なコードを使うことによって、早くしましょうみたいな。すごいなんかハンドウェビーなハードコアのソリューションがソフトチョイスタック。マクウダレアの中にいっぱいあるんですよ。だからGPUは実測しているンジの幅がそんなに不実のCPUってそもそもそんなにAI学習を想定したものではなくてむしろ、シミュレーションとか、そっちの方で使われていたので。そういった測定やストックが弱くて、大���模な学習ができないので。こちらの日系新聞さんでカバーしていただいて。それこそ、7社合同部屋せていただいているということなんですけれども。GPT浮学というプロジェクトが今格化いたしまして主要な期間でいうと、それこそ東北大工さん。佐賀口先生のここで言うと、栗田さんと佐々木職さんって言わせていただいていますけど。そういった方々が中心になって協力していただいていると。それ以外にも東高台さんであったりとか。理見サイバーエジェント名古屋大学富士通。弊社言葉、テキノロジーズが連携していけるように。そういったプロジェクトが本格化しました。このGPT風学というプロジェクトは大きく分けて2つのチームがあって1つ目のチームは、システムチームと呼ばれるチームです。こちらは区学場のインフラを整えているそこでAIの学習が効率的に行えるようにしようと思う具体的にどういったことを解決しようとしているか、というと。先ほどのスライドがあったとおり、コミュニケーションコストの問題が解決しようであったりだったりだとか。理論と実測値が小さくなるようにしよう。そういったことをやっています。NPチームの方には東北大学の方々が主導していただいてこちらでは、日本データの準備であったりとか。トークナイザーの開発そういったことをやりたいと思います。こちらのプロジェクトはまだ動いているので。今後もどんどん。ニュースが出てくるかと思いますが。皆さん、温かく見守っていただければと思います。栗田さんと久保育先生にはすごい思い出ますが。一緒に頑張っていければということです。そうですね、ここまでが。富岳のお話し。深くっていうのはすごいやっぱり面白いプロジェクトで。今後、今後、今、一番速いスーパーコンピューラだろう。間違いなくAI性能に限っていえば富岳よりもっと速いスーパーコンピューターっていうのは？1、2年で出てくると思うんですよ不学で何で恋愛学習をやる意味があるかっていうと。もっと速いスペースペーターが出てきた時に、空学で学んだ知見を直接生かせるように。そういった書き橋に役割です。これはすごいサイエンスとしてはエキサイティーになっている。私と火災が考えていたのは、大規模言語モデルっていうのは、ただ、すごい社会に使えるレベルになっているので。これを実装しないと、やっぱもったいないし。実装してみたいな社会。そういったことで、言葉、テクノロジーという企業を立ち上げまして。ちょっと思考実験をまずしてみたいので。大規模言語・モデル、素素晴らしい。すごいいろいろ使えることに。果たして、日本のビジネスに使えますかと。弊社は言葉、テクノロジーズというのは。日本のビジネスと相手にいろいろとオペレーションをさせていただいている会社など。この時点ですでに日本国内の340社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして、旅行会社さんといったドメインの方々がいらっしゃったり。旅行会社さんに大規模現行ゲームを持てる。お宅どうお使い習い習えますか？そういったことを聞いた時に、こうく旅行計画を作って。それをパンフレットでまとめるっていう業務。よく、最近は人力でやるので。それを生成AIでできるとすごいありがたいこういった業務をやる時に例えばGPP法を考えてみましょうプロプトかけますよこういったプロップをかけて。渋谷駅から出発して、火災の地元である奈良公園で日帰りで観光する計画を作って、パンプレットにしてください。そこでは、交通手段を含めてください。東大寺も観光できるようにして、グルメ回りをしたいので。グルメマインまできるようにしています。じゃあGPT4は実際出てきたアウトペットなんですけど一番上を見るとすごい東京からなら伝統と自然の一日旅行くめちゃくちゃキャッチになったりとかこれだけ見ると日本のビジネスでもGPT4使えるじゃんと思う方も多いと思うんですけどその下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュール。いろいろ伸ばしていっていると。ちょっとページ3スケジュールのとんでもないこと言うわけですよ。朝7時、渋谷市を���江、大阪の新幹線に乗る。渋谷駅に新幹線なんて撮ってないんですよ。これはちょっとよろしくな。もっと面白いことが起こっていて。11時半、長い人と並べ行く突っかせているかもです。まあグルメ回りしたいけどジョークとしては面白いですよ。ジョークとしては、一級で、こんなことをカスタマーに提案したら？それこそ、旅行会社さんって仕事がなくなっちゃいます。何が言いたいかというと。大規模型言語ゲンガモデルってGPVP4に代表されるようにめちゃくちゃ反応的だと反応的なんですけども日本語の閉じたドメインのようなところでデプロイしてしまうと。まだまだ業務に差し支えられる欠点がある。それ以外にも、そもそもこれをやった理由っていうのは。旅行会社さんがパンプレットを作るためですよ。パーフレットを作るためなんですけども。現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないと。結局、パワープレットが必要な旅行会社さんの視点に立ってみたら。この生のペキストをマークダーを取ってきて。そのパンフレットに、もう1回、リストラクシャーする作務が必要ですこういった現状の大規模言語・言語モデルの。欠陥を研究、開発することによって。どんどん直して直していく。直して、大規模言語モデルをアプリケーションとして分かりやすい形で。企業さんに販売するそういったことをやっておりまして。つい直近では、米国で数億円規模の指導資金調達を完了して。国内でも政府指導の補助金を今、申請中。加算からもありましたとおり。つい先日、東京オフィスを六本木に開設して取り組んでいると。エンジニアサイティストを始め、徐々に10月始めた順次中、チームチームとあるい。年内には5人から12程度のチーム編成に生きればそういったふうに思っております。そうですね、これが先ほど申し上げておりますで、そうですね。これが先ほど申し上げた内容を少し細かくしたところなんですけれども。研究開発としては、例えば、非英語圏の言語でも大規模言語ゲンゴモデルがしっかり使えるようにしたりとか。それこそ、大規模言語モデルっていうのは、リアルタイムな情報がすごい弱いわけですよね例えば、東北大学から仙台駅に今行きたいとなったら。大規模型言語モデルって、基本的に今の時間を調べて。それに落ちた答えをしてくれるっていうのはなかなかないので。そういったところ、ツールフォーマーといった論文がありますけど。APIコールを通じて解決することで大規模言語モデンリアル体制を持たせるであるそれ以外もマルチモダル能力で。そういった研究開発をしております。こういった研究、開発した言葉、フォーマンという名付けられて。我々言葉フォーマーって呼んでいるんですけど。弊社のシステム、言葉フォーマーをユーザーの方々に分かりやすい形で、パッケージング化してあげることによって。例えば、コールセンターであったりとかコンテンツ生成。そういったものにして、企業さんに販売していく今日のトークはお知らにしたいと思って、お弁者が最初に取り組んでいる。教育分野のカスタマーさんと一緒にプロジェクトをやらせていただけるんですよね。教育分野もちょっとここはアカデミックトークなので。名前も行ってしまいますが。皆さん、なんか寸大に行かれた方っていらっしゃいますか？あまりないのかな、なるほど。あまりないのかな？寸大っていう塾があるんですけど。まあ、弊社のか、すん大様とプロジェクトを一緒にやっておりまして。ここでは、どういうプロジェクトをやっているか、というと。生徒さんが塾の中でお使いにある。練習問題とか。そういったプロジェクトをやっているんですよ。須大様が今度いった課題さんが今、どういった課題を抱えてらっしゃるかというと。こういった練習問題を作る時に。基本的に教員の方々が指導で試験を作ると。その結果、ものすごい労力が費やされているんですよ。例えば、クレイジな話なんですけど。共通テストの1個作るのに何時間かけていますか？っていう話を聞いた時に。1つのテストに300時間かけているらしいんです。300時間、それ年1回やるわけじゃないですかから何回も何回も繰り返す弊社がやっているのは本当にすごいシンプルに教員の方々が使えるようなシステムで。ここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんですよ、ここでは。イメリカを初めて訪れますよというコンテクストで問題を作ってください。その結果、出てくるものが例えば、こういうパーフレット形式のビューク。今は共通テストってすごい情報分析に寄せたような問題が出ていて。英語でもないこういうパンフレットを呼び解いて。みたいな問題に鍛えてくださいみたいな問題があるんです。だから、こういうパーフェットみたいなものを直接出力することによって。先生方が最小限の手を加えるだけで。実際に生徒さんがすぐ使えるものを作っていこういったパンフレットを作って。その後は、それに即した問題を先生方に生成していただくわけです。質問の正々に進むというふうに進むと。こういった感じで、4択の問題がパーブレットに属した形で。成長的にはPGFであるパーブレットであったり最終的にはPDFであったり出力する。PDFはただに問題のコンテクストをつないだらけのものなんですけどワードで何で出力するかというと、やっぱり。AIが出力したものなので先生方が気に入らないものがありますそういったものが、例えば、ワードだと直接、先生方が手を加えるだけで。すぐに生徒さんに配られてもらってもそういったことを教育ドメンではやっております。もう一つ紹介したいのがもう一つ紹介したいのが交通分グJR東様と一緒にプロジェクトルトをやっておりましてそこで、やっていることとしては。カスタマーサポートの自動化というくと、みんなチャットボットっていうのを思い浮かべるかなと思っていて。チャットボットって、今、どこでもやっているじゃない？と思う方もいらっしゃると思うんです確かに、その通りですカスタマーの方々が本当に多様なお、問い合わせをしてくる。本当に多様なお問い合わせをしてきた結果ちょっとGPT4をいじっただけだと想定解決できないような問題が出てくれば。例えば、その例をあげると、渋谷駅でお裁表を忘れてしまったんですけど。どうすればいいですか？そんなチャットGPTに聞いても分からないですね何をやる必要があるかというと。例えば、大規模型語言語モイルが裏で。APIを呼んで例えばSQLのような報道を書いて例えばJR東の中にあるインターナルなデータベースにお問い合わせをして忘れ物状況を取得してそれを踏まえて返答を送らないといけないそういったことがないんですよもっとクレイジーになれると。例えば、何でしょうね、渋谷駅から新宿研究に行きたいんだけど。できるだけもうちょっと疲れてるだけ、もうちょっと疲れてるから。あまり飛んでいない路線を選んでくださいみたいなことが気になる方もいるんですよ。そしたら、何をする必要があるかもめちゃくちゃくちゃ難しいですよ、めちゃくちゃ難しいと。でもなんかありがたいこととしてはJR東大久間って今各駅、各列車にセンサーがついてて。混雑状況が分かるんですよ。結構、我々頭がおかしいので、クレジなことを考えるわけですよ。もしテンサー情報に大規模型ボケグモデルが直接アクセスできて。その混雑情報を取って、これたら？そういった、座っていける路線は何ですか？みたいに質問にも答えられます。そういったことを、ここではやっています。すごい、何だろう簡単に見えて難しいアプリケーションなんで？これはめちゃくちゃエクサイティングです。もう一転エクサイティングな点を上げるとするとやっぱりJRヒャスタマーのカスタマンセンターって皆さん、ちょっとお使いならないかもしれないんですけど。結構、その高齢の方々とかって。電話を通じて、アクセンターに電話をかけていらっしゃったりするんですかね。その数で言うと、1日大体数万件。年間でいうと、それこそ数百万件、数千万件って。なんていません。弊社が開発した人がご視野児。,"[18.34075951576233, 17.888415813446045, 17.907806873321533, 18.11445140838623, 17.86883306503296]"
-kotoba-tech/kotoba-whisper-v1.1,15,False,True,,cuda:0,long_interview_1.mp3,True,256,17.70981011390686,0.37067887702647784,NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり。私たちが取り組んできたプロジェクトを中心に。ちょっと5年間をリフレクトして。どういうきっかけで言葉、テクノロジスという企業を。作るに至ったかなっていうのを。お話しさせていただければと思います。よろしくお願いいたしますそもそも、誰やっていう話だと思うんですけど。小島紀樹と申します。よろしくお願いいたします小島大学と申します私、コーネル大学を卒業しまして本当ディフェンスをやったのは？2、3週間前なんですけれどももともともとはコーネル大学って？ニューヨーク州の土田舎の伊阪という街にあるっていうイメージがある方も多いと思うんですけども。コーネル大学って、2つはイサカにあるんですけど。もう一つはニューヨーク市にある。インソ川の上に浮いているルーズ・ベルト島っていう。すごい細長い島があるんですけど。そこでPHEをやっておりました私は小島っていう名前なんですけども。本当にしょうもないネタを言うと小島の上でPHUが振り方そういう四面間となっております。私はPHの専門部屋としてはマルチモダリティーと呼ばれる自然言語のシステムに、どうやったら言語以外の情報を例えば、画像であったりとか、音声といったものを理解できるようにさせる。そういったことであったりとかインターナクティブラーニングと呼ばれる。最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういった検訓の方では、ハギングフェイスでちょっといろいろとプロジェクトでお世話になったりもしました。そうですね、学部から実はアメリカに行っていて。ミシガン州にあるミシガン大学アナーバーコっていうところがあるんですけども。そこで、学部をやっていて、高校まで日本に行きました。そういったところで、ちょっと火災にバトンガッチさせていただきます。今日はよろしくお願いします。はい、青木純吾といいます。トヨタ工業大学・鹿児島という。日本、名前から分かるとおりですね、日本のトヨタが昔出資をして今、独立な組織なんですが、そちらの方で。リサーチアシスト、プロフェッサーという職を持ちだから。小島と共に言葉、テクロジに取り組んでいるという状況です。私も本当にPHDも出来立て小屋というか最近取りまして先月8月に無事シアトルですねアトルにあるワシントン大学でコンピューサインスの博士課程を卒業しました。研究分野としては、最初の方は機械本屋だとかマシンチャンスレーションとか、あとは効率化とか言語制制制のイバリエーションとか、そういうことをやっておりました。ちょっと遡残るとですね実は私も暇と見た形で高校卒業後は、大学はアメリカの家康大学という統計会当時は統計にいたんですが。統計学部を卒業しまして。その後。その後ELELで働きながらワシンコ大学に進学したという経歴ですね最近、イエル大学も知名度がってきて。ちょっとよく分からない教授がいろんな番組でお話をしているという名前は誓いさせていただきますけども。まあ、なんか知名度ががってきてうれしいんですがここはイエドにタックスで。オフソードとか、ケンブリッシュの生まれて。これ、わざとなんかやりたりしてるんですよね。わざと古く見せるような。アメリカって新しい国なんでそういう感じてるという。でも、非常にきれいな感じがあります。これがTTIC東京都宮大学シパワークの中でこれもまた古いものと、また電波等下なんかで、それを改造して大学になったと。しばらく日本にも非常につながりがあって古井先生というスピーチの対応ですね。つい、さっきになくなっちゃったんですが彼が昔、ここでプレゼントをやっていたということで。本当に日本のゆかりがあってなおかつ、私が実は今、パカルティーで唯一日本人なので、ちょっと責任感を持ちながらやってるという感じですね。これがそこになりで、ほとなり、ここにいるんだというと、まさに宇坂口さんとの佐賀井先生ですねすいませんつながりが、本当にこういったありがたい機会をいただいていて私は本当に2021年のちょうどコロナが終わ��た直前とか。みんな、大体オフィスに戻り始めた頃に。佐川口さんがAI2にいらしてそこで、インターのメンターを一緒にやろうということで。インターのメンターを最初3か月とやりつつでも、本当に楽しくて。いろいろパーテイムで練習しているうちに、もう1年ぐらい。もうちょっと長い日々で、一緒に研究をさせていただいて。本当に楽しい日々で。オフスがあって。私のアドバイザーノアスミスなんですけど、ノアスミスが出て。ノアスミスが出て。写真を撮って掘り出してきました。本当に懐かしくて。本当に昼ご飯を食べては雑談してですね。昼ご飯を食べてるうちに、論文がそれなりにかけてくるみたいなことをやっていて。大体雑談の中ににいろいろあったんですけど。最後の方が結構皆さんご存じですか?白い虚党の話をよくしてましてこれ、いろんなバージョンがあるんですけど。これ、あのカラスアトシャキっていう俳優がやっていたバージョンが2人ともすぐお気に入りで。広役とのバージョンどこが一番いいかというのを話し合っていて。坂口さん的には、後半のやっぱり財前教授になった後に。亡前教授になった後に財前教授なんですけど。なくなってこう。ちょっとネタバレになっちゃったな。そのあたりはダメだと。税務にこそ面白いことをおっしゃって。さすが、坂口さんの見るところは素晴らしいな、ということで。涙では泣かすだけじゃ、やっぱダメなんだなっていうことを感じましたねこれがいって撮って撮った写真で。そららどこかにいらっしゃると思うんですが。そんな感じで、すごいいところでしたね会社としましては、藤間と創業しまして。今は日本とアメリカの二極対戦みたいなクロスボーダーという形でやっていて。私自身T-PICプロジションもありますしあとはシアトルに今、シャトルに本社はあるんですが。それでも、うすでに東京の国民にオフィスを構えまして。日本の死者みたいな形で、今やろうという形で進めているということで、言葉と出申しする会社ですね。基本的に下げ年語今、話題の大規模型言語モデルですね。LLの特に非英語圏語系のベース言語モデルの開発とか場によってはマルチモータルとか、そういったことを。もんど挑戦的にやっていきたいなと。もちろん、同時に、やはビジネスですのでアプリケーションの提供も行うことで。うまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっている。やっぱ初期市場としては今は日本を考えてまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりましたし、何かしらやはり日本の中でインモを作っていきたいなということで、今日本が初めてやっているという状況です資金調達とかいろいろ今、頑張ってやって終わってきているということですね。ちょっと今日の内容なんですが、ざっくり言って4部構成ぐらいになります。一部目はまさに私はもう5年間PHDがありましてこの5年間って恐らくNLPの歴史の中でも一番激動の5年間だったと思いますので運良くいいのか分悪いのか分からないですが。そのタイミングでPHDを終わった私から見た今思うと、こうだったよねみたいな話を、ちょっと過去の話を。ちょっと第1部では。第2部からはですね、もっと直近な話で。大金モデルの時代の到来ということで。私たちがどういうことを考えていたのか、ということを話したいと思います。それ、あとは、やはり前を行きたいということで。未来について話していきたいと思います。はい、ということで。ということで適広のPHD5年間ということでこれはもう本当にもう本当にもうはいということでこれはもう本当にもう私のPHLをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で。最初だけポジズニムな話でいこうと思います。一番最初にKHDDが始まる前にイエル大学にやっていたのは構造解析とかいわゆるシンタックスとか、パーショングとか、そういうことをやって。その後ですね、ワシントン大学に移動して。ずっと英語ばっかり。この構造解析とか、ずっと英語なので。英語ばっかり言う、よくないので、私自身多言語を。私た言語をやりたいなということで、多言語を解説に伝うことをやってきた。そのうちに、他言語をやっているうちに。他言語というか、機械本やんでしょうということで。マシントランスレーションを毎回ありがし。その後に、どんどんマシントラスレーションの一般のことをやりじめてちょっとこれ見づらいんですが。モデルの高速化とか、効率化とか、そういったことにやっていったり大一部現をモデルに取り組むということで。無理やりまとなればだんだんオーディエンスが最終と比べると大きくなっていたな、ということで。これはちょっと自分が一つ成長できたポイントとして、少しきれいに見えるかなと思いまして。最後に一つだけポジティブなことを言っておくと。環境のやはりいろんなものを変えていった時にですね。環境の変化が本当に大きかったなと思っていて。皆さん、もし機会があれば、ぜひどんどん環境の変化を求めていったら。いろんな経験ができると思っていて。一番最新学院、院院学にいましてワシントン大学にいながら、ちょっと引き詰まったので。メタでインターでインターンしたり。そういったことをやっているうちに、あとは最後は最後の。サラドイツーでインターチャンをしたり、マイクロソフトに行ったりして環境の変化に応じて、いろいろプロジェクトとかも。楽しくできた方だと思うので。ぜひ、いろんな日本いいところですし、仙台は本当に素晴らしいところですけども。いろんな物理的にも環境を変えるのもいいことなのかなと。まあ、じゃあ、せっかくせっかく、まずは過去の話ということで。一体一体私がPHリ始めた頃何が起こったかというとこれですね、ディープコンテクショナイントということで。その前まではワーデンベリングというかも多分。多分、今の人、知らないのかな？みんな、授業でやってますね。教科書かしみたいな感じに。単語をですね。いろいろいろフラッシュファイアとか。いろりやるときに。ベクトル化したいみたいな。こういうことを今から言えば、ものすごい浅い。ニューラルネットワークみたいので。周りの単語を予測することで。ベキトル化るよねみたいな、そういった。そういった言語学とかディスティブーション・マンティクスとか言ったりしますけども。そういったディスティスティブーションのスマンティングスクスクトがそういったりとか、そういったディスティブーションオスなんです。そうですね、そういったと言ったりしますけども。そういった自然なことをやっていたというのが。これでぐちゃぐちゃぐちゃ、こういうことをみんな頑張ってたんですよねこれ、最初、ミコロフの2001年、もっと前から多分あるんですが。あと、黒をウエクトルとか、いろびやっていて。こういうことやっていたんですが大体私がPシリア始めた頃ですねこれまさに実はワシント大学で私がちょうど入る直前に起こったことなんですがワシントン大学はまさにAI2でエルモンというのが出てくるこれこそ今もうあんまり知られてないのかもしれないですがエルモの研究というのがあって。それはですね要は今まで浅いに色な手に行っていたけど。もっと深くして。何日モデルにして。いろやっていって、その最後だったり、真ん中だったり。そこのベクトル表現を使っちゃおうみたいな話をしていて。そうすることで。QAだったりコーブの効果を使っていてそういうことがあったということが。エレモだったり。コーブでちょっと、これに似たようなアイデアがあって。そういった時代に私はPGで始めたということでここで終わりだと思ったんですね私は実は。もう完全に、これ以上、これ以上間違うことはないんですが。完全に間違っていると思う。ちょうどこのセバッシャン・ルー�のMVS-REといってどんどんビジョンみたいになってきたよねと。結局、当時、ビジョンでよくやられていたのは、イメージネットで大量に画像のクラジケーションとかを学習させてて。そのベクトルを使って、他のタスクトスクとかを得たっていたんですが。まさに同じことが同じことが起きていて。まさに同じことが、他のカスクタイトラッシングとか、クエッションアンセリングとか。マシントラーションとかをやらせるみたいなイメージネードみたいになったよねっていうことを言っていたということで、これがああ、よかったねと。自然言語シェルもようやくビジョンに落ち着きましたと言ってたところ。これは始まりでしたらなかったんですが。ちょっとその時、私が私が言って何をやっていたのかというのを振り返ると。さっきの流れでマルチリンガルにやりたいなと思っていて。Lも出てきた時にラングチモデルを基本的に英語でやってきたんですがマルチリンガルにやらないといけないよねっていうことを考えていてじゃあ、とりあえず、科学的にバイリンガルにすることによって。例えば、ローリソース、ラング、ジコーラ、ブラッシャンとか。ヒーブルとか、ヘブルとか。どれぐらいバイリンガルでラグチモデルをトレーニングしてそれをそのベクトルを使うってことをやることをやることで。そうすることで、モノリンガルの時にバイリンガルにした方が圧倒的にスコアが上がるようねみたいなことを、この時、考えてやっていました。これがラクルの2018とか。じゃあ、2019か18かその辺の研究でした。結局、でも、この研究でした。結局、でも、この研究ってあんまり意味なかったです。なぜかっていうと、今、反省すると。結局、さっきバイリンガルのグラフ見せましたけど、ちょっと科学的な指標にこだわってたんですよねじゃあ、バイリンガルで今だったら例えば、英語があってそれに全部ごちゃまずしたいろんな言語を加えて、言語モデル作ろうみたいな発想になるんですが、当時はやっぱりちゃんと比べなきゃいけないでしょより多言語に大規模に拡張してしまって。例えば、日本語だけのモデロ。日本語定語のモデル使っても助かる人って。使う人って限られていて。例えば、全ての5言語とか、10言語とか入れていればですね。今思えば、もっと使いやすいものだったらというふうに思いましたし。当時、トランスフォーマって、まだそこまで使われていなかったので。ASDMとかを使ってやっていましたということで結局、時代が読めなかったら負けましたということですね。その負けた相手なんですがXLMのフェイスブックからFBスブックスタッチから出たらXMというのがあってこの人も本当に論文のよく分かんないし。よく分かんないですけど。実際に使えるものを作ってたんですね、彼は。それをダウンロードして。サイベーションももちろんですし。それ以上にかく伝えのものを作った本当に素晴らしいなと思った次第ですコンピューターサインスのP資料をやるということで自分は科学者になるなと意気込んで、その時やっていたので。ちょっと本当は科学者を目指すべきじゃなかったなと。ちょっと若かったな、ということで。こういった反省をしてるということで。あと、最後に、タスクの選定をちょっと間違っていまして。私たちはNARとかエネシャンティングルングがやらっていたんですねこれも結局、まあいいんですけど、当時、ものすごい流行っていったのはクエスチアンスルで。結局QAで結局QAの人たちはこういう本物読んでくれなかったんですよねその割に、こういう論文を読んでくれて。なので、結局、使われなくなってしまってその割にこういうロボンを読んでくれて。なので、結局、使われなくなってしまって。何か使う数は正義というか。そういうことで、結局、インパクトを残せなかったなというのを今、反省していますバーチャルのバートの時代に来たということでさすがにバートは皆さん知ってると思うんですが。当初、これ出た時はですねバートはただ、エルムを大きくしただけだよねというふうに思っていましたし。これ、私のアドバイザーのアスミスと。あともう一人ループゼルークゼロモイアンという人がいます。同じワシンケンターナイルの恐竜ですが今フェイスブックのディレクターとかNRPもリサーチャーしている人で彼はエレモの作者でもあり。最近だとにかく、大規模ーブ言語モデルにおいて。いろんな研究をしてきた人なんですが。ノアはその時、何を言ってたかというと。単純なエルモのエクセンションなんかに。大してベスペーパーも上げる必要ないし。あんま興味見えようみたいなことを。まあ、でも実際にこれったらベストペースタイプローパーを取った前なん��すが。実際、撮りましたよね。いかにこうくろうとか、間違えたかと。あと、ルークはちょっと面白くて、ちょっと見方が違ってですね。彼はエルゴンの作者ですから素晴らしいと言ったけども自分の頑張ったエルボが1年が続くと思ってたのに。結局、1年続かなかったよねちょっと悲しいねみたいなループはしていて、ちょっと違う見方をしてるのかなというふうに思って面白かったんですが。そのループもですね実はGPT2がちょうど出てきた時にこれタンダルタンデル何やってんだろうなんでこんなに騒いでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですね当てにならないと。僕らになるということですねバートの被害になって当初はエレモンが大きくなったものだと思って行ったんですが。もちろん違ったとNLPの世界を完全に変えてしまったというものなんですがもう一つ、ちょっと面白かったなおまけの話として。当時、ハギン・フェイストランス・フォーマーズのライバリーのきっかけに。ブンのきっかけになったんですよね。これ、昔ハイトウィン・フェイン・フェイン・フェス自体はキットボットとかの会社でもともとあったんですが。彼らがバードはGoogleから出たので検査ブロードで吹かれてるそれ研究者、みんな検査ブロード使いたくないんで。パイトウトウ�を使いた時に。彼らがそのパイトウォーチに書き起こしたコンバートしたものを出した。それがパイドチパートであり。そして、それが、結局、カニン・ペインペーストランスフォーマンスにつながっていったということで。こういうの商業向上というか。社会の流れていは分からない思わないことで、こう思う表記していくんだな、というところですね。その時、私は何をやっていかかというと当時にマシントランスレーションやりたいということで。マシントランスレーションのスピードアップとかですね。この2個目の論文はですね、1個目のログのマークで。いろいろスピードアップで、こうなんか平列化とか、一生懸命やってたんですね結局、なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃない？みたいな話もやって。なんかちょっと怒られたようにしたんですがでも、結局、これが本当のある意味真実なのかなと思って。ちょっと自己自己意味が実なのかなと思って、自己議が出して。良かったねということで、こういった研究をしていたという感じですね。でもまさに次はGPT3の時代が来てフィーショットきて、だんだんこの時からだんだんクラスピケーションにリーナーがなくなってきていて、だんだんみんなジェネレーションをしよう、ジョンにしようっていう方向に来たというのが当時の中で、もちろん存じのものフィショットラーニングのでもあと、グループとか、オープンソースの方でも、大学とか、組織をまたいだプロジェクトが出てきたっていうのが。このキーピーピッジスティスティング時代ですが。この時の研究は、バイディメンシャービーダーバーボードといって。今までのビーガーボードというのは、ジネレーションのな形で。そういうのをやったということで。あとは、やはりジェネレーションにとってイバリエーションが大切だということで。イメージ・キャグシュニングのイバリエーションとかも。佐賀井先生と一緒にやっていたという感じのことをしていました。これちょっと予言なんですがこういう佐賀吉さんのご提案で漫画を描いてみようということで漫画を描いてこの論文のPRをツイッターでしていたというこういういろんな楽しいことを本当に楽しくやってたということですはいでついにお待ちかねチャックGPTGPTGPT4の時代が来たということはまさにこれはまさにこれは社会実装の時代に来てしまったらともちろん、研究も多数なんだけども。とにかく使って、どこが問題なのか、ということを洗い出していかないと。なかなかベンチマークとかで現れないものかなということを感じていてそういった経営で企業して、小島ともにやっていこうというふうに思い出たったと。特に英語にNLPの業界は編集してますよねこれが大体インターネットユーザーの数で。25%ぐらいインターネットユーザーは英語をしているんですが���念ながらや、ほとんどが英語でしか実験をしてなかったり。英語についての論文だったりするということで。これはまず一気、英語編の基盤モデルをどんどん作っていかなきゃないよねというふうに思っております。結局、自然言語�っていうのは何だったのかを振り返ってみると。結局、全てはスケールだったと、これはもう否定がしようがないなということで、いろいろ私自身もいろいろ作りたくて頑張ってたんですが。結局、大きさで解決されてしまったことも多くて。そこはもう認めたらおけないかなということで、間違っていたと。私自身は間違っていて。そうですね。どういうことです？あと、もう一つ面白いと思ったのは。やはり科学的なプロセスが違ス化ができるって書いたな、ということを。例えば、トランス・フォーマーが2017年出てきた時に私はそのトランスフォーマーがこんなに広がると思わなかったっていうのも仕方ないから。論文いくら読んでもよく分かんないです。なんかそのアテンションのディペンネージがうんだな、みたいな。そこって多分こって、多分コンスフォンの本質っていうのは？今思えば。当時のですね。そうですねGPUとかTPUとかそういったそのパラレルの計算の訓練がしやすかったですねですねLSTMとかだとどうしても巨大化してしまうとどんどん時間がかってしまうけどトランスコマンをパラレルにできるからハードウェアとすごい相性が良いようにハードウェアを決定論みたいな形でハードルアによってトランスコムのすごさが余計リーズされていって似渡る方々と言われるんですが。そういった経緯があるのかな、ということがあって。だから、分からわからなかったのも仕方ないのかなと思ったりもします。他の例で言うと例えば、アダムでうまくいかなかったらやめるということなので結局、そこも庭とりと卵であってい、ろいろ予測するのは難しいよというふうに今思っていますちょっと、この非科学的な支配する世界ということなんですが。でも、よく考えてみるこれもそうなんですよね。やっぱりコンピューター・サイエンスって言うんですよね。サイエンスって言うってことは、多分科学じゃないんですよ。あの大学地にケミスティックスとか。言わなくていい。同じようにオープンって言り、オープンじゃないかな。実際、クローズだということで。そういうことだと、アメリカのチェーンで。セイクウェイっていうのがあるんですけど。セーフェインは全然安全にないですよね。大体危ないところにあるのでだから、結局、そういうもんなんだなということで。言ではできないです。専門家の知見というのは。結構、トランスフォーマーのポテンシャルを私は当時期づかなかったし。あと、チャットボットっていうのも意外でしたね。やっぱりチャットって、人間とチャットをめんどくさいね。なんで機会としないかっていうのが、当時の考えだったんですけど。結局、チャットボットでこんなに有名になったんだっていうのが、本当に衝撃でしたし。いかに、私自身が人間を理解できてないか、ということですね。ということで、何も分かってない。まあ、でも、とにかく過去の話をしてきましたが。前に進んでいきたいというふうに思っております。5年間を簡単にまとめると。適度に環境を変えるのはプラスでしたし。でも、専門家ですらは見らないわからないのであんまり専門家の言うこととか。あんまり専門家が言うこととか、気にしないでくださいということですね。最近、なんか自分がいい人も論文、言語、悪い理由がする。ねまあね。あともしたちはですね、アイフェンじゃないかな。バートとかって、アイデオ自体は本当に。基本的にエルムを大きくして。いろいろ他のアイデアはあったんですけど。結局、そのマスクラングチモデルとか。同じようなアイディアがあって。アイディアだけじゃなくて、エクセキューションの重要なのかなっていうことを思っていて。でも、これって結局、研究だけじゃなくて企業とかも見えると思うんですが。例えば、企業においても開かないのおいても、必ずも早いもの勝ちじゃないのかな。エルモンとかLモンとかあんなに早い段階で実はもっと先にも言って前��もあったんですが。Lモンとかエクセールドクとかありましたけど局パートナ全部持っていったりGPT3とかGP5が全部持ってったりですね結局、早めの街の世界というよりも、そういった不思議な神のみず知りみたいなところがあって。常にそういったことには準備していかなきゃいけないのかなと思いますし。もちろん、企業の話でも、例えば、グルーブルとかフェスブクって最初の検索エンジンでもないし。フェスブックも最初のソーシャルメディアが何でもないわけで。だから、そういった不思議な力があるなというふうにも思いました。最後に、科学的指標というのも大切なんですが。それだけに、こだわらずに、やはりコンピュータサインティストは？サインティストというよりもエンジニアだと思っているので。しっかり皆さんが使えるものを作って。世の中に出していきましょうということを思っていますということで。これからは未来の話をしてきたいと思います。大規模大規模ルの時代が来たと。皆さん大規模現行形モデルどう思います?すごい抽象的な質問なんですけど。本当にいろんなことに使えますよく新型でAIスタートアップが出てくる時は基本的にチャットボットボットみたいなものを作ってみたいなものを。自然言語だけじゃなくて。ソフトラインジネリングの世界でも、自然言語も入力をすれば。HTMやCSSのコードを吐き出してソフトエンジネインリングをサポートしてくれる。それだけじゃなく、文章の執筆要約構成。メールの返信。本当に反応的なものに使えるというのは間違いないなと思うんです。大規模ゲイントモデルって、そもそも何だったかっていうと。皆さん、ご存知の通り。ものすごいシンプルに学習されたAIなわけですよね文章があって、その文章の次の単語を予測すると。例えば、学習データの中に。第一代大統領はジョージ・ワシントンなので。ワシントンドンという言葉を予測するとなんでこんなシンプルなものが役に立つのか。すごい不思議です。よく言われることなんですけど結局はスケーリング速度になるわけです。です、よく言われることなんですよく言われることなんですけど結度を学習する時って、大きくわけで、3つの要素がある。学習するAIモデルの大きさそれに食べさせるデータの量。この学習を行うコンピューターの資源と呼ばれますけど。この3つだものね。何が申し上げたいかと申し上げますと。この3つの要素を、それぞれ学習中で増やしていったけどか。突如、変異的にただ、単に次の単語を予測するだけだった。言語モデルと呼ばれるAIが反応的な性能を持ち始めるものだから、今はみんな注目しているわけです。これを本当にこの傾向すごいスケーニング速を分かりやすく示したグラフがこうなんですけど。このグラフっていうのはX軸がまだモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども。見ていただくとおり、その傾向というのはログリニアなのが。コンピューターの性能自体というのは？皆さん、ご存じのムーアの法則というものに従っていて。1970年から2020年の50年間で10の7乗倍増えていると。要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが反応せず、何が関係あるか。すごいスケッチなグラフで申し上げないんですけども。これ、ちょっと賛否両論あるグラフなので。ちょっと反対意見がある人は、後で個人的に来てる。すごい傾向はうまく捉えていると思っていて。このグラフで何を表しているかというと、8つタスクがあるんですけど。例えば、算数力みたいに大規模言語モデルが5、たす6は11。そういった算数の問題を答えられますタスクであったり。多言語力。英語でQAができるモデルがペルシャ語になった時に同じようなことができますか？読解力っていうのは。こういったタスクを見ていく時に、ここも同じなんですよ。Y軸は使われたスーパーコンピューターの実装するX軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしてきた時に。突如、変異的に大企業保険のモデルが。タスクの能力を得るポイントがある。それも一つのタスクだけの話じゃなくて。あらゆるタスクにおいて。突如、変異点が来ると。これが反応性なんです。結局、計算資源を増やしていった時に。突如、変動力を持つ。そういったものが、大規模デルモデルの反応性なんじゃないかなっていうのは。私なりの捉え方ですここからはちょっと自分たちで大金5年モテルを学ぶっていう話をしたいんですが。2019年から2022年、何が起こっていたかというと。一言で申し上げますと、各国で大規模言語モデルの開発競争が起きていた。アメリカですアメリカではマイクロソフト社。インターインターインターインタストリーを中心に大規模なモデルの開発競争が大きぼみることが大きぼなスーパーコンピューターをオープンアン社に提供して。当時GPT3英語メインの大規模型型モデルドを学習していた全く似たようなことが中国でも起こっていて。中国では政府が所有しているスーパーコンピューターを用いて。政府機関がGPT3を超えるようなスケールです世界で最大規模のパラメターの数の大規模型予見のモデルを中国語で学習している。この動きって、アメリカと中国だけじゃなくて、ヨーロッパでも大きい。ヨーロッパでは、フランス政府が所有するジョン・ゼープルト呼ばれるスーパーコンピューターがあるんですけど。それをハギングフェースと呼ばれるば、皆さん個人のハギング・フェイス社による。貸し出すことによってハギングフェース者が多国籍用の大規模型モードルを学習していた。この多国、寄り王って面白くて。実は、ドイツが含まれていないのは、フラスドイツの緊張感が現れ。それ以上に重要な小話があって。実は、このフランス、政府がスーパーコンピューターを。ハギングフェスに貸し出す時に。ハギングフェスって？当然、グラントプロポーザルみたいなものを書いたんですよね。これ、これ、これ、こういう理由でオタクのセルファークターを使いたアゲメントが本当に生々しくて。アメリカと中国のAIのスーパーパワーがフランスを食い尽くそうとしているのだから我々は独自でモデルを開発する必要があるみたいなことを言っていたんです日本を見てきた時に、今でこそ、本当に坂口先生含め。いろんな方々と、素晴らしい努力のおかげで。日本国内でも国産のLLMを作ろうみたいな予定あったんですけど当時、日本国内でハギングフェイスみたいな人はやらないんです。最初に割れてくる疑問として。なぜ、日本国内でできないのかできないのかまず、そこをしっかりしたい。大規模言語、言語、モデル学習で何が一番重要かというと。やっぱりそれはスーパーコンピューターのリソースなんですが。日本ってスーパーコンピューターがないかというと、全然そんなことはないわけです一番分かりやすいところだと、皆さんも研究で使われているかもしれません。ABCIと呼ばれるGPUベースのスーパーコンピューターがあるとABCIS素晴らしいスーパーコピューターなんですけどね実は、日本最大級のスーパーコンピューターって？ABCIじゃないんです不学って呼ばれるスーパーコンピューターで。皆さん、年齢的にちょうどベストヒットかなと思うんですけど。以前、民主党政権がありまして。そこで、レイ・ホンさんという政治家がいらっしゃったり。レイホさんが仕分け会議ということをやっていた時に。1位じゃダメなんですか、2位じゃダメなんですか？っていったコンピューターがスーパーコンピューターで。当時、世界最高の1位の性能を超っていたんですけど。今はレ・ア・ホンさんおっしゃる通りに2位になってしまっていますそういうスーパーコンピューター、何が重要かというと。この富学っていうのは、本当に化け物みたいな性能を持っていて。ギングフェッシャーがブルームと呼ばばれる大器オンゲングモデルを学習した。ジョーンズAと呼ばれるスーパーコンピューターと比べてももし、前近を使えた場合は、考えても10倍速いんです。10倍速いっていうことは、同じ計算をやった時に。不学だと10倍早く計算が終わる。でも、深くって、何がグレージーかっていうと。CPUベースのスーパーポンピューターなんですよ一切GPUを搭載してないと皆さんCPUで大規模言語モデル学習したことあります大規模���ームモデルじゃなくてもんですけどディープラウンドで。CPUでやらないんです基本的にはGPUもし台所はTPUUAIに特化したハードウェアだったA100っていうのがデータセンターで最先端のGPUでも、その一つ前は。1本目まして前はA100というGPが最先頭に搭載されてるCPUって藤津A-6-4FXって言うんですけどAIの演算性能に限っていえば富岳のCPUって50倍遅いんですよ。皆さん15万個のCPU使ったことありますか?多分ないと思うんですここで何が言いたいかというと。ぶっちゃけGPUがCPUが50個使って。平列計算したら、同じぐらいスピードが出るのね、っていうのは。まあ、ちょっとクレージな間で、佐賀な間にすごいご迷惑って。そういうことを当時考えていて。それをやるためのした分、散・併列学習というものになります。今でその分、散並列、学学習ってすごいろいろオープンソースのパッケージが出てきて。皆さん、ご存じかもしれないところで言うと。例えばマイクソフト社のディークスピードであったりヘルビディア社のメガトロンLMっていうパッケージがあってこういったパッケージって、データパイルモデルパレールって呼ばれる？分散変異例学種をサポートしてくんですけどCPUで動かったんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVではマイクロソフトに書いていただいた分散平列学習のパッケージをCPU向けに移植してちゃんと平列でCPUが計算できるかなということを試したいんです初期実験としては非常にCPUが計算できるかなということを試したいんですけど初期実験としては、非常にいい結果が出て、ここなんですけど。CPUの数を増やしていった時にシステム全体としての計算性度がどれぐらい上がるかなっていうのを見て、これ、ログリニアなんですけど。ログリニアなんですけど。特にCPUを先行わたりまで増やした段階ではその計算速度が1個だった時期と比べて。1000倍近くなっていくと。これまで小典数学学習がすごいうまくいっているなっていう感触だったんですけれども。これは、あくまで初期の実験で、当然、うまくいかないこともあって。一つはCPを大量に使うことでどういう問題があるかということなんですけどCPU例えば2個使っているだけだとCPU例えば2個使っているだけだとCPを1個同士がコミュニケーションすればいいだけなのでそれは問題ないと。ただCPを1000個とか1万個とか増やしていった時にやっぱりコミュニケーションがすごいオーバーヘッドが出てきて。ここを見ても分かる通り、システム全体として。その計算性能が上がるっていう時が、若干落ち込んできてしまっていると。だから、一つ間違いなくあった課題としては。大量のCPUがあった時に効率的にコミュニケーションポストが上げられるようにしない人ってないよねそういったことも一つ課題化している。それ以外にも、すごい面白い発見もあって。ハードウェアって基本的に理論値と実測値というのは、理論的には、これだけ推量が出ますよ。実測指っていうのは？実際に使ってみたら、これだけしかスピードが出ませんでしたよ。例えば、トランスフォーマンの学習とかやる時に。GPUの実測値って理論値の大体40%から50%ぐらい最近だと60%ぐらい出てるのかそのくらい出るかっていうと。NVディアのソフティアのエンジニアの方々がものすごい波長い、並々しい努力をやっていて。例えば、トランスフォーマーでよく使う行列計算の64×64のディメンションの。この特別なコードを使うことによって、早くしましょうみたいな。すごいなんかハンドウェビーなハードコアのソリューションがソフトチョイスタック。マクウダレアの中にいっぱいあるんですよ。だからGPUは実測しているンジの幅がそんなに不実のCPUってそもそもそんなにAI学習を想定したものではなくてむしろ、シミュレーションとか、そっちの方で使われていたので。そういった測定やストックが弱くて、大規模な学習ができないので。こちらの日系新聞さんでカバーしていただいて。それこそ、7社合同部屋せていただいているということなんですけれども。GPT浮学というプロジェクトが今格化いたしまして主要な期間でいうと、それこそ東北大工さん。佐賀口先生のここで言うと、栗田さ��と佐々木職さんって言わせていただいていますけど。そういった方々が中心になって協力していただいていると。それ以外にも東高台さんであったりとか。理見サイバーエジェント名古屋大学富士通。弊社言葉、テキノロジーズが連携していけるように。そういったプロジェクトが本格化しました。このGPT風学というプロジェクトは大きく分けて2つのチームがあって1つ目のチームは、システムチームと呼ばれるチームです。こちらは区学場のインフラを整えているそこでAIの学習が効率的に行えるようにしようと思う具体的にどういったことを解決しようとしているか、というと。先ほどのスライドがあったとおり、コミュニケーションコストの問題が解決しようであったりだったりだとか。理論と実測値が小さくなるようにしよう。そういったことをやっています。NPチームの方には東北大学の方々が主導していただいてこちらでは、日本データの準備であったりとか。トークナイザーの開発そういったことをやりたいと思います。こちらのプロジェクトはまだ動いているので。今後もどんどん。ニュースが出てくるかと思いますが。皆さん、温かく見守っていただければと思います。栗田さんと久保育先生にはすごい思い出ますが。一緒に頑張っていければということです。そうですね、ここまでが。富岳のお話し。深くっていうのはすごいやっぱり面白いプロジェクトで。今後、今後、今、一番速いスーパーコンピューラだろう。間違いなくAI性能に限っていえば富岳よりもっと速いスーパーコンピューターっていうのは？1、2年で出てくると思うんですよ不学で何で恋愛学習をやる意味があるかっていうと。もっと速いスペースペーターが出てきた時に、空学で学んだ知見を直接生かせるように。そういった書き橋に役割です。これはすごいサイエンスとしてはエキサイティーになっている。私と火災が考えていたのは、大規模言語モデルっていうのは、ただ、すごい社会に使えるレベルになっているので。これを実装しないと、やっぱもったいないし。実装してみたいな社会。そういったことで、言葉、テクノロジーという企業を立ち上げまして。ちょっと思考実験をまずしてみたいので。大規模言語・モデル、素素晴らしい。すごいいろいろ使えることに。果たして、日本のビジネスに使えますかと。弊社は言葉、テクノロジーズというのは。日本のビジネスと相手にいろいろとオペレーションをさせていただいている会社など。この時点ですでに日本国内の340社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして、旅行会社さんといったドメインの方々がいらっしゃったり。旅行会社さんに大規模現行ゲームを持てる。お宅どうお使い習い習えますか？そういったことを聞いた時に、こうく旅行計画を作って。それをパンフレットでまとめるっていう業務。よく、最近は人力でやるので。それを生成AIでできるとすごいありがたいこういった業務をやる時に例えばGPP法を考えてみましょうプロプトかけますよこういったプロップをかけて。渋谷駅から出発して、火災の地元である奈良公園で日帰りで観光する計画を作って、パンプレットにしてください。そこでは、交通手段を含めてください。東大寺も観光できるようにして、グルメ回りをしたいので。グルメマインまできるようにしています。じゃあGPT4は実際出てきたアウトペットなんですけど一番上を見るとすごい東京からなら伝統と自然の一日旅行くめちゃくちゃキャッチになったりとかこれだけ見ると日本のビジネスでもGPT4使えるじゃんと思う方も多いと思うんですけどその下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュール。いろいろ伸ばしていっていると。ちょっとページ3スケジュールのとんでもないこと言うわけですよ。朝7時、渋谷市を近江、大阪の新幹線に乗る。渋谷駅に新幹線なんて撮ってないんですよ。これはちょっとよろしくな。もっと面白いことが起こっていて。11時半、長い人と並べ行く突っかせているかもです。まあグルメ回りしたいけどジョークとしては面白いですよ。ジョークとしては、一級で、こん���ことをカスタマーに提案したら？それこそ、旅行会社さんって仕事がなくなっちゃいます。何が言いたいかというと。大規模型言語ゲンガモデルってGPVP4に代表されるようにめちゃくちゃ反応的だと反応的なんですけども日本語の閉じたドメインのようなところでデプロイしてしまうと。まだまだ業務に差し支えられる欠点がある。それ以外にも、そもそもこれをやった理由っていうのは。旅行会社さんがパンプレットを作るためですよ。パーフレットを作るためなんですけども。現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないと。結局、パワープレットが必要な旅行会社さんの視点に立ってみたら。この生のペキストをマークダーを取ってきて。そのパンフレットに、もう1回、リストラクシャーする作務が必要ですこういった現状の大規模言語・言語モデルの。欠陥を研究、開発することによって。どんどん直して直していく。直して、大規模言語モデルをアプリケーションとして分かりやすい形で。企業さんに販売するそういったことをやっておりまして。つい直近では、米国で数億円規模の指導資金調達を完了して。国内でも政府指導の補助金を今、申請中。加算からもありましたとおり。つい先日、東京オフィスを六本木に開設して取り組んでいると。エンジニアサイティストを始め、徐々に10月始めた順次中、チームチームとあるい。年内には5人から12程度のチーム編成に生きればそういったふうに思っております。そうですね、これが先ほど申し上げておりますで、そうですね。これが先ほど申し上げた内容を少し細かくしたところなんですけれども。研究開発としては、例えば、非英語圏の言語でも大規模言語ゲンゴモデルがしっかり使えるようにしたりとか。それこそ、大規模言語モデルっていうのは、リアルタイムな情報がすごい弱いわけですよね例えば、東北大学から仙台駅に今行きたいとなったら。大規模型言語モデルって、基本的に今の時間を調べて。それに落ちた答えをしてくれるっていうのはなかなかないので。そういったところ、ツールフォーマーといった論文がありますけど。APIコールを通じて解決することで大規模言語モデンリアル体制を持たせるであるそれ以外もマルチモダル能力で。そういった研究開発をしております。こういった研究、開発した言葉、フォーマンという名付けられて。我々言葉フォーマーって呼んでいるんですけど。弊社のシステム、言葉フォーマーをユーザーの方々に分かりやすい形で、パッケージング化してあげることによって。例えば、コールセンターであったりとかコンテンツ生成。そういったものにして、企業さんに販売していく今日のトークはお知らにしたいと思って、お弁者が最初に取り組んでいる。教育分野のカスタマーさんと一緒にプロジェクトをやらせていただけるんですよね。教育分野もちょっとここはアカデミックトークなので。名前も行ってしまいますが。皆さん、なんか寸大に行かれた方っていらっしゃいますか？あまりないのかな、なるほど。あまりないのかな？寸大っていう塾があるんですけど。まあ、弊社のか、すん大様とプロジェクトを一緒にやっておりまして。ここでは、どういうプロジェクトをやっているか、というと。生徒さんが塾の中でお使いにある。練習問題とか。そういったプロジェクトをやっているんですよ。須大様が今度いった課題さんが今、どういった課題を抱えてらっしゃるかというと。こういった練習問題を作る時に。基本的に教員の方々が指導で試験を作ると。その結果、ものすごい労力が費やされているんですよ。例えば、クレイジな話なんですけど。共通テストの1個作るのに何時間かけていますか？っていう話を聞いた時に。1つのテストに300時間かけているらしいんです。300時間、それ年1回やるわけじゃないですかから何回も何回も繰り返す弊社がやっているのは本当にすごいシンプルに教員の方々が使えるようなシステムで。ここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんですよ、ここでは。イメリカを初めて訪れます���というコンテクストで問題を作ってください。その結果、出てくるものが例えば、こういうパーフレット形式のビューク。今は共通テストってすごい情報分析に寄せたような問題が出ていて。英語でもないこういうパンフレットを呼び解いて。みたいな問題に鍛えてくださいみたいな問題があるんです。だから、こういうパーフェットみたいなものを直接出力することによって。先生方が最小限の手を加えるだけで。実際に生徒さんがすぐ使えるものを作っていこういったパンフレットを作って。その後は、それに即した問題を先生方に生成していただくわけです。質問の正々に進むというふうに進むと。こういった感じで、4択の問題がパーブレットに属した形で。成長的にはPGFであるパーブレットであったり最終的にはPDFであったり出力する。PDFはただに問題のコンテクストをつないだらけのものなんですけどワードで何で出力するかというと、やっぱり。AIが出力したものなので先生方が気に入らないものがありますそういったものが、例えば、ワードだと直接、先生方が手を加えるだけで。すぐに生徒さんに配られてもらってもそういったことを教育ドメンではやっております。もう一つ紹介したいのがもう一つ紹介したいのが交通分グJR東様と一緒にプロジェクトルトをやっておりましてそこで、やっていることとしては。カスタマーサポートの自動化というくと、みんなチャットボットっていうのを思い浮かべるかなと思っていて。チャットボットって、今、どこでもやっているじゃない？と思う方もいらっしゃると思うんです確かに、その通りですカスタマーの方々が本当に多様なお、問い合わせをしてくる。本当に多様なお問い合わせをしてきた結果ちょっとGPT4をいじっただけだと想定解決できないような問題が出てくれば。例えば、その例をあげると、渋谷駅でお裁表を忘れてしまったんですけど。どうすればいいですか？そんなチャットGPTに聞いても分からないですね何をやる必要があるかというと。例えば、大規模型語言語モイルが裏で。APIを呼んで例えばSQLのような報道を書いて例えばJR東の中にあるインターナルなデータベースにお問い合わせをして忘れ物状況を取得してそれを踏まえて返答を送らないといけないそういったことがないんですよもっとクレイジーになれると。例えば、何でしょうね、渋谷駅から新宿研究に行きたいんだけど。できるだけもうちょっと疲れてるだけ、もうちょっと疲れてるから。あまり飛んでいない路線を選んでくださいみたいなことが気になる方もいるんですよ。そしたら、何をする必要があるかもめちゃくちゃくちゃ難しいですよ、めちゃくちゃ難しいと。でもなんかありがたいこととしてはJR東大久間って今各駅、各列車にセンサーがついてて。混雑状況が分かるんですよ。結構、我々頭がおかしいので、クレジなことを考えるわけですよ。もしテンサー情報に大規模型ボケグモデルが直接アクセスできて。その混雑情報を取って、これたら？そういった、座っていける路線は何ですか？みたいに質問にも答えられます。そういったことを、ここではやっています。すごい、何だろう簡単に見えて難しいアプリケーションなんで？これはめちゃくちゃエクサイティングです。もう一転エクサイティングな点を上げるとするとやっぱりJRヒャスタマーのカスタマンセンターって皆さん、ちょっとお使いならないかもしれないんですけど。結構、その高齢の方々とかって。電話を通じて、アクセンターに電話をかけていらっしゃったりするんですかね。その数で言うと、1日大体数万件。年間でいうと、それこそ数百万件、数千万件って。なんていません。弊社が開発した人がご視野児。,"[18.362802028656006, 17.600308895111084, 17.594009399414062, 17.552326440811157, 17.439603805541992]"
-kotoba-tech/kotoba-whisper-v1.0,15,,,flash_attention_2,cuda:0,long_interview_1.mp3,True,256,15.530676031112671,0.3633174816819969,NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心にちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジスという企業を作るに至ったかなっていうのをお話しさ���ていただければと思いますよろしくお願いいたしますそもそも誰やっていう話だと思うんですけど小島紀樹と申しますよろしくお願いいたします小島大学と申します私、コーネル大学を卒業しまして本当ディフェンスをやったのは2、3週間前なんですけれどももともともとはコーネル大学ってニューヨーク州の土田舎の伊阪という街にあるっていうイメージがある方も多いと思うんですけどもコーネル大学って2つはイサカにあるんですけどもう一つはニューヨーク市にあるインソ川の上に浮いているルーズベルト島っていうすごい細長い島があるんですけどそこでPHEをやっておりました私は小島っていう名前なんですけども本当にしょうもないネタを言うと小島の上でPHUが振り方そういう両面感となっております私はPHの専門部屋としてはマルチモダリティーと呼ばれる自然言語のシステムにどうやったら言語以外の情報を例えば画像であったりとか音声といったものを理解できるようにさせるそういったことであったりとかインターナクティブラーニングと呼ばれる最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういった検訓の方ではハギングフェイスでちょっといろいろとプロジェクトでお世話になったりもしましたそうですね学部から実はアメリカに行っていてミシガン州にあるミシガン大学アナーバーコっていうところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンガッチさせていただきます今日はよろしくお願いしますはい、青木純吾といいます。トヨタ工業大学鹿児島という日本、名前から分かるとおりですね、日本のトヨタが昔出資をして今独立な組織なんですがそちらの方でリサーチアシストプロフェッサーという職を持ちだから小島と共に言葉テクロジに取り組んでいるという状況です私も本当にPHDも出来立て小屋というか最近取りまして先月8月に無事シアトルですねアトルにあるワシントン大学でコンピューサインスの博士課程を卒業しました研究分野としては最初の方は機械本屋だとかマシンチャンスレーションとかあとは効率化とか言語制制制のイバリエーションとかそういうことをやっておりましたちょっと遡残るとですね実は私も暇と見た形で高校卒業後は大学はアメリカの家康大学という統計会当時は統計にいたんですが統計学部を卒業しましてその後その後ELELで働きながらワシンコ大学に進学したという経歴ですね最近イエル大学も知名度がってきてちょっとよく分からない教授がいろんな番組でお話をしているという名前は誓いさせていただきますけどもまあなんか知名度ががってきてうれしいんですがここはイエドにタックスでオフソードとかケンブリッシュの生まれてこれわざとなんかやりたりしてるんですよねわざと古く見せるようなアメリカって新しい国なんでそういう感じてるというでも非常にきれいな感じがありますこれがTTIC東京都宮大学シパワークの中でこれもまた古いものとまた電波等下なんかでそれを改造して大学になったのしばらく日本にも非常につながりがあって古井先生というスピーチの対応ですねついさっきになくなっちゃったんですが彼が昔ここでプレゼントをやっていたということで本当に日本のゆかりがあってなおかつ私が実は今パカルティーで唯一日本人なのでちょっと責任感を持ちながらやってるという感じですねこれがそこになりでほとなりここにいるんだというとまさに宇坂口さんとの佐賀井先生ですねすいませんつながりが本当にこういったありがたい機会をいただいていて私は本当に2021年のちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に佐川口さんがAI2にいらしてそこでインターのメンターを一緒にやろうということでインターのメンターを最初3か月とやりつつでも本当に楽しくていろいろパーテイムで練習しているうちにもう1年ぐらいもうちょっと長い日々で一緒に研究をさせていただいて本当に楽しい日々でオフスがあって私のアドバイザーノアスミスなんですけどノアスミスが出てノアスミスが出て写真を撮って掘り出してきました本当に懐かしくて本当に昼ご飯を食べては雑談してですね昼ご飯を食べてるうちに論文がそれなりにかけてくるみたいなことをやっていて大体雑談の中ににいろいろあったんですけど最後の方が結構皆さんご存じですか?白い虚党の話をよくしてましてこれいろんなバージョンがあるんですけどこれあのカラスアトシャキっていう俳優がやっていたバージョンが2人ともすぐお気に入りで広役とのバージョンどこが一番いいかというのを話し合っていて坂口さん的には後半のやっぱり財前教授になった後に亡前教授になった後に財前教授なんですけどなくなってこうちょっとネタバレになっちゃったなそのあたりはダメだと税務にこそ面白いことをおっしゃってさすが坂口さんの見るところは素晴らしいなということで涙では泣かすだけじゃだらやっぱダメなんだなっていうことを感じましたねこれがいって撮って撮った写真でそららどこかにいらっしゃると思うんですがそんな感じですごいいところでしたね会社としましては藤間と創業しまして今は日本とアメリカの二極対戦みたいなクロスボーダーという形でやっていて私自身T-Pに特殊もありますしあとはシアトルにと言いましたので米国シャトルに本社はあるんですがそれでもうすでに東京の国民にオフィスを構えまして日本の死者みたいな形で今やろうという形で進めているということで言葉と出申し進む会社ですね基本的に下げ年語今話題の大規模型言語モデルですねLLの特に非英語圏語系のベース言語モデルの開発とか場によってはマルチモータルとかそういったことをもんど挑戦的にやっていきたいなともちろん同時にやはビジネスですのでアプリケーションの提供も行うことでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっているやっぱ初期市場としては今は日本を考えてまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりましたし、何かしら何かしらやっぱり日本の中でインモを作っていきたいなということで、今日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになります一部目はまさに私はもう5年間PHDがありましてこの5年間って恐らくNLPの歴史の中でも一番激動の5年間だったと思いますので運良くいいのか分悪いのか分からないですがそのタイミングでPHDを終わった私から見た今思うとこうだったよねみたいな話をちょっと過去の話をちょっと第1部では第2部からはですねもっと直近な話で大金モデルの時代の到来ということで私たちがどういうことを考えていたのかということを話したいと思いますそれあとはやはり前を期待したいということで未来について話していきたいと思いますはいということではいということでこれはもう本当にもう私のPHLをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で最初だけポジズニムな話でいこうと思います一番最初にKHDDが始まる前にイエル大学にやっていたのは構造解析とかいわゆるシンタックスとかパーショングとかそういうことをやってその後ですねワシントン大学に移動してずっと英語ばっかりこの構造解析とかずっと英語なので英語ばっかり言うよくないので私自身多言語を私た言語をやりたいなということで多言語を解説にやることをやってきたそのうちにまた言語がやっているうちに他言語っているうちに機械本やんでしょうということでマシントランスレーションを毎回ありがしその後にどんどんマシントラスレーションの一般のことをやりじめてちょっとこれ見づらいんですがモデルの高速化とか効率化とかそういったことにやっていったり大一部限をモデルに取り組むということで無理やりまとなればだんだんオーディエンスが最終と比べると大きくなっていたなということでこれはちょっと自分が一つ成長できたポイントとして少しきれいに見えるかなと思いまして最後に一つだけポジティブなことを言っておくと環境のやはりいろんなものを変えていった時にですね環境の変化が本当に大きかったなと思っていて皆さんもし機会があればぜひどんどん環境の変化を求めていったらいろんな経験ができると思っていて一番最新学院院院学にいましてワシントン大学にいながらちょっと引き詰まったのでメタでインターでインターツしたりそういったことをやっているうちにあとは最後は最後のさがアイツーでインターモンをしたりマイクロソフトに行ったりして環境の変化に応じていろいろプロジェクトとかも楽しくできた方だと思うのでぜひいろんないろんな物理的にも璴らしいところですけどもいろんな物理的にも環境を変えるのもいいことなのかなとまあじゃあせっかくせっかくまずは過去の話ということで一体一体私がPHリ始めた頃何が起こったかというとこれですねディープコンテクショナイントということでその前まではワーデンベリングというかも多分多分今の人知らないのかなみんな授業でやってますね教科書かしみたいな感じに単語をですねいろいろいろフラッシュファイアとかいろりやるときにベクトル化したいみたいなベキトロ化する方法が何個かあってこういうことやって今から言えばものすごい浅いニューラルネットワークみたいなので周りの単語を予測することでベキトル化してるかってことは周りの言葉が似ている単語は似たような出来てるんだりよねみたいなそういったそういった言語学とか伝語学とかディスティブーズマンティクスとか言ったりしますけどもそういったディスティブーションオスなんですそうですねそういったと言ったりしますけどもそういった自然なことをやっていたというのがこれでぐちゃぐちゃぐちゃこういうことをみんな頑張ってたんですよねこれ最初ミコロフの2001年もっと前から多分あるんですがあと黒をウエクルとかいろいろやっていてこういうことやっていたんですが大体私がPシリア始めた頃ですねこれまさに実はワシント大学で私がちょうど入る直前に起こったことなんですがワシントン大学はまさにAI2でエルモンというのが出てくるこれこそ今もうあんまり知られてないのかもしれないですがエルモの研究というのがあってそれはですね要は今まで浅いに色な手に行っていたけどもっと深くして何日モデルにしていろやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりコーブの効果を使っていてそういうことがあったということがエレモだったりコーブでちょっとこれに似たようなアイデアがあってそういった時代に私はPGで始めたということでここで終わりだと思ったんですね私は実はもう完全にこれ以上これ以上間違うことはないんですが完全に間違っていると思うちょうどこのセバッシャン・ルー�のMVS-REとか言ってどんどんビジョンみたいになってきたよねと結局当時ビジョンでよくやられていたのはイメージネットで大量に画像のクラジケーションとかを学習させててそのベクトルを使って他のタスクトスクとかを得たっていたんですがまさに同じことが同じことが起きていてまさに同じことが他のカスクタイトラッシングとかクエッションアンセリングとかマシントラーションとかをやらせるみたいなイメージネードみたいになったよねっていうことを言っていたということでこれがああよかったねと自然言語シェルもようやくビジョンに落ち着きましたと言ってたところこれは始まりでしたらなかったんですがちょっとその時私が私が言って何をやっていたのかというのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていてLも出てきた時にラングチモデルを基本的に英語でやってきたんですがマルチリンガルにやらないといけないよねっていうことを考えていてじゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングジコーラブラッシャンとかヒーブルとかヘブルとかどれぐらいバイリンガルでラグチモデルをトレーニングしてそれをそのベクトルを使うってことをやることをやることでそうすることでモノリンガルの時にバイリングルにした方が合われた方が圧倒的にスコアが上がるようねみたいなことをこの時考えてやっていましたこれがラクルの2018とかじゃあ2019か18かその辺の研究でした結局で���この研究でした結局でもこの研究ってあんまり意味なかったですなぜかっていうと今反省すると結局さっきバイリンガルのグラフ見せましたけどちょっと科学的な指標にこだわってたんですよねじゃあバイリンガルで今だったら例えば英語があってそれに全部ごちゃまずしたいろんな言語を加えて言語モデル作ろうみたいな発想になるんですが当時はやっぱりちゃんと比べなきゃいけないでしょより多言語に大規模に拡張してしまって例えば日本語だけのモデロ日本語定語のモデル使っても助かる人って使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね今思えばもっと使いやすいものだったらというふうに思いましたし当時トランスフォーマってまだそこまで使われていなかったのでASDMとかを使ってやっていましたということで結局時代が読めなかったら負けましたということですねその負けた相手なんですがXLMのフェイスブックからFBスブックスタイから出たらXMというのがあってこの人にも論文もよく分かんないしよく分かんないですけど実際に使えるものを作ってたんですね彼はそれをダウンロードしてサイベーションももちろんですしそれ以上にかく伝えのものを作った本当に素晴らしいなと思った次第ですコンピューターサインスのP資料をやるということで自分は科学者になるなと意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしてるということであと最後にタスクの選定をちょっと間違っていまして私たちはNARとかエネシパーリングルングがでもこれも結局いいんですけど当時ものすごい流行っていったのはクエスチアンスルで結局QAで結局QAの人たちはこういう本物読んでくれなかったんですよねその割にこういう論文を読んでくれてなので結局使われなくなってしまって何か使う数は正義というかそういうことで結局インパクトを残せなかったなというのを今反省していますバーチャルのバートの時代に来たということでさすがにバートは皆さん知ってると思うんですが当初これ出た時はですねバートはただエルムを大きくしただけだよねというふうに思っていましたしこれ私のアドバイザーのアスミスとあともう一人ループズロモイアンという人がいます。同じワシンケンターナイルの恐竜ですが今フェイスブックのディレクターとかNRPもリサーチャーしている人で彼はエレモの作者でもあり最近だとにかく大規模変語言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言ってくだかというと単純なエルモのエクセンションなんかに大してベスペーパーも上げる必要ないしあんま興味見えようみたいなことをまあでも実際にこれったらベストペースタイムを取った前なんですが実際撮りましたよねいかにこうくろうとか間違えたかとあとルークはちょっと面白くてちょっと見方が違ってですね彼はエルゴンの作者ですから素晴らしいと言ったけども自分の頑張ったエルボが1年が続くと思ってたのに結局1年続かなかったよねちょっと悲しいねみたいなループはしていてちょっと違う見方をしてるのかなというふうに思って面白かったんですがそのループもですね実はGPT2がちょうど出てきた時にこれタンダルタンデルラでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですねあってにならないと僕らになるということですねでえっとって当初はエレモンが大きくなったものだと思って行ったんですがもちろん違ったとNLPの世界を完全に変えてしまったというものなんですがもう一つちょっと面白かったなおまけの話として当時ハギンフェイストランスフォーマーズのライバリーのきっかけにブンのきっかけになったんですよねこれ昔ハイトウィン・フェイン・フェイン・フェス自体はキットボットとかの会社でもともとあったんですが彼らがバードはGoogleから出たので検査ブロードで吹かれてるそれ研究者みんな検索を使いたくないんでパイトローチを使いた時に彼らがそのパイトウォーチに書き起こしたコンバートしたものを出したそれがパイトチパートでありそしてそれが結局カニンペインペーストランス��ォーマンスにつながっていったということでこういうの商業向上というか社会の流れているのは分からないと思わ�ところできっかけが生まれて思わない思わないことでこう思う共持着していくんだなというところですねその時私は何をやっていかかというと当時にやはりマシントランスレーションやりたいということでマシントランスレーションのスピードアップとかですねこの2個目の論文はですね1個目のログのマークでいろいろスピードアップでこうなんか平列化とか一生懸命やってたんですね結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話もやってなんかちょっと怒られたようにしたんですがでも結局これが本当のある意味真実なのかなと思ってちょっと自己自己意味が実なのかなと思って自己議が出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT3の時代が来てフィーショットラーニングだんだんだんだんこの時からだんだんクラシュニケーションに似たなくなってきてだんだんみんなジェネレーションをしようっていう方向に来たというのが当時の中でもちろん皆さんご存じのフフィショットラーニングのでもあとグループとかオープンソースの方でも大学とか組織をまたいだプロジェクトが出てきたっていうのがこのキーピーピッジスティスティング時代ですがこの時の研究はバイディメンシャービーザーバーバードといって今までのビーガーボードというのはジェネレションのな形でそういうのをやったということであとはやはりジェネレーションにとってイバリエーションが大切だということでイメージ・キャグシュニングのイバリエーションとかも佐賀井先生と一緒にやっていたという感じのことをしていましたこれちょっと予言なんですがこういう佐賀吉さんのご提案で漫画を描いてみようということで漫画を描いてこのロンガーのPRをツイッターでしていたというこういういろんな楽しいことを本当に楽しくやってたということですはいでついにお待ちかねチャックGPTGPTGPT4の時代が来たということはまさにこれはまさにこれは社会実装の時代に来てしまったらともちろん研究も多数なんだけどもとにかく使ってどこが問題なのかっていかないかということを洗いらしていかないとなかなかベンチマークとかで現れないものかなということを感じていてそういった経営で企業して小島ともにやっていこうというふうに思い出たったと特に英語にNLPの業界は編集してますよねこれが大体インターネットユーザーの数で25%ぐらいインターネットユーザーは英語をしているんですが残念ながらやほとんどが英語でしか実験をしてなかったり英語についての論文だったりするということでこれはまず一気英語編の基盤モデルをどんどん作っていかなきゃないよねというふうに思っております結局自然言語�っていうのは何だったのかを振り返ってみると結局全てはスケールだったとこれはもう否定がしようがないなということでいろいろ私自身もいろいろ作りたくて頑張ってたんですが結局大きさで解決されてしまったことも多くてそこはもう認めたらおけないかなということで間違っていたと私自身は間違っていてそうですねどういうことですあともう一つ面白いと思ったのはやはり科学的なプロセスが違ス化ができるって書いたなということを例えばトランスフォーマーが2017年出てきた時に私はそのトランスフォーマーがこんなに広がると思わなかったっていうのも仕方ないから論文いくら読んでもよく分かんないですなんかそのアテンションのディペンネージがうんだなみたいなそこって多分こって多分コンスフォンの本質っていうのは今思えば当時のですねそうですねGPUとかPPUとかそういったそのパラレルの計算の訓練がしやすかったですねですねLSTMとかだとどうしても巨大化してしまうとどんどん時間がかってしまうけどトランスコマーをパラレールにできるからハードウェアとすごい相性があるようにハードウェアー決定論みたいな形でハードルアによっていわたらないものではトランスコマスのすごさが余計リーズされていって似渡る方々と言われるんですがそういった経緯が��るのかなということがあってだから分からわからなかったのも仕方ないのかなと思ったりもします他の例で言うと例えばアダムでうまくいかなかったらやめるということなので結局そこも庭とりと卵であっていろいろ予測するのは難しいよというふうに今思っていますちょっとこの非科学的な支配する世界ということなんですがでもよく考えてみるこれもそうなんですよねやっぱりコンピューターサイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよあの大学地にケミスティックスとか言わなくていい同じようにオープンって言ってないから実際クローズだということでそういうことだったらアメリカのチェーンでセイクウェイっていうのがあるんですけどセーフェイン全然安全にはないですよね大体危ないところにあるのでだから結局そういうもんなんだなということで言ではできないです専門家の知見というのは結構トランスフォーマーのポテンシャルを私は当時期づかなかったしあとチャットボットっていうのも意外でしたねやっぱりチャットって人間とチャットをめんどくさいねなんで機会としないかっていうのが当時の考えだったんですけど結局チャットボットでこんなに有名になったんだっていうのが本当に衝撃でしたしいかに私自身が人間を理解できてないかということですねということで何も分かってないまあでもとにかく過去の話をしてきましたが前に進んでいきたいというふうに思っております5年間を簡単にまとめると適度に環境を変えるのはプラスでしたしでも専門家ですらは見らないわからないのであんまり専門家の言うこととかあんまり専門家が言うこととか気にしないでくださいということですね最近なんか自分がいいとも論文言語悪い理由がするねまあねあともしたちはですねアイフェンじゃないかなバートとかってアイデオ自体は本当に基本的にエルムを大きくしていろいろ他のアイデアはあったんですけど結局そのマスクラングチモデルとか同じようなアイディアがあってアイディアだけじゃなくてエクセキューションの重要なのかなっていうことを思っていてでもこれって結局研究だけじゃなくて企業とかも見えると思うんですが例えば企業においても開かないのおいても必ずも早いもの勝ちじゃないのかなエルモンとかLモンとかあんなに早い段階で実はもっと先にも言って前にもあったんですがLモンとかエクセールドクとかありましたけど局パートナ全部持っていったりGPT3とかGP5が全部持ってったりですね結局早めの街の世界というよりもそういった不思議な神のみず知りみたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばグルーブルとかフェスブクって最初の検索エンジンでもないしフェスブックも最初のソーシャルメディアが何でもないわけでだからそういった不思議な力があるなというふうにも思いました最後に科学的指標というのも大切なんですがそれだけにこだわらずにやはりコンピュータサインティストはサインティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中にをしていきたいと思います大規模大規模ルの時代が来たと皆さん大規模現行ゲームモデルどう思います?すごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくる時は基本的にチャットボットボットみたいなものを作ってみたいなものを自然言語だけじゃなくてソフトラインジネリングの世界でも自然言語も入力をすればHTMやCSSのコードを吐き出してソフトエンジネインリングをサポートしてくれるそれだけじゃなく文章の執筆要約構成メールの返信本当に反応的なものに使えるというのは間違いないなと思うんです大規模ゲイントモデルってそもそも何だったかっていうと皆さんご存知の通りものすごいシンプルに学習されたAIなわけですよね文章があってその文章の次の単語を予測すると例えば学習データの中に第一代大統領はジョージ・ワシントンなのでワシントンドンという言葉を予測するとなんでこんなシンプルなものが役に立つのかすごい不思議ですよく���われることなんですけど結局はスケーディング速度になるわけですAIのモデルを学習する時って大きくわけで3つの要素がある学習するAIモデルの大きさそれに食べさせるデータの量この学習を行うコンピューターの資源と呼ばれますけどこの3つだものね何が申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習中で増やしていったけどか突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが反応的な性能を持ち始めるものだから今はみんな注目しているわけですこれを本当にこの傾向すごいスケーニング速を分かりやすく示したグラフがこうなんですけどこのグラフっていうのはX軸がまだモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども見ていただくとりその傾向というのはログリニアなのがコンピューターの性能自体というのは皆さんご存じの無我の法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えていると要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが反応せず何が関係あるかすごいスケッチなグラフで申し上げないんですけどもこれちょっと賛否両論あるグラフなのでちょっと反対意見がある人は後で個人的に来てるすごい傾向はうまく捉えていると思っていてこのグラフで何を表しているかというと8つタスクがあるんですけど例えば算数力みたいに大規模言語モデルが5たす6は11そういった算数の問題を答えられますタスクであったり多言語力英語でQAができるモデルがペルシャ語になった時に同じようなことができますか読解力っていうのはこういったタスクを見ていく時にここも同じなんですよY軸は使われたスーパーコンピューターの実装するX軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしてきた時に突如変異的に大企業保険のモデルがタスクの能力を得るポイントがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて突如変異点が来るとこれが反応性なんです結局計算資源を増やしていった時に突如変動力を持つそういったものが大規模デルモデルの反応性なんじゃないかなっていうのは私なりの捉え方ですここからはちょっと自分たちで大金5年モテルを学ぶっていう話をしたいんですが2019年から2022年何が起こっていたかというと一言で申し上げますと各国で大規模言語モデルの開発競争が起きていたアメリカですアメリカではマイクロソフト社インターインターインターインタストリーを中心に大規模なモデルの開発競争が大きぼみることが大規模なスーパーコンピューターをオープンア社に提供して当時GPT3英語メインの大規模型型型モールドを学習していた全く似たようなことが中国でも起こっていて中国では政府が所有しているスーパーコンピューターを用いて政府機関がGPT3を超えるようなスケールです世界で最大規模のパラメターの数の大規模型予見のモデルを中国語で学習しているこの動きってアメリカと中国だけじゃなくてヨーロッパでも大きいヨーロッパではフランス政府が所有するジョン・ゼープルト呼ばれるスーパーコンピューターがあるんですけどそれをハギングフェースと呼ばれるば皆さん個人のハギングフェイス社による貸し出すことによってハギングフェース者が多国籍用の大規模型モードルを学習していたこの多国寄与って面白くて実はドイツが含まれていないのはフラスドイツの緊張感が現れそれ以上に重要な小話があって実はこのフランス政府がスーパーコンピューターをハギングフェスに貸し出す時にハギングフェスって当然グラントプロポーザルみたいなものを書いたんですよねこれこれこれこういう理由でオタクのセルファークターを使いたアゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーがフランスを食い尽くそうとしているのだから我々は独自でモデルを開発する必要があるみたいなことを言っていたんです日本を見てきた時に今でこそ本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな予定あったんですけど当時日本国内でハギングフェイスみたいな人はやらないんです最初に割れてくる疑問としてなぜ日本国内でできないのかできないのかまずそこをしっかりしたい大規模言語言語モデル学習で何が一番重要かというとやっぱりそれはスーパーコンピューターのリソースなんですが日本ってスーパーコンピューターがないかというと全然そんなことはないわけです一番分かりやすいところだと皆さんも研究で使われているかもしれませんABCIと呼ばれるGPUベースのスーパーコンピューターがあるとABCIS素晴らしいスーパーコピューターなんですけど実は日本最大級のスーパーコンピューターってAじゃないんです不学って呼ばれるスーパーコンピューターで皆さん年齢的にちょうどベストヒットかなと思うんですけど以前民主党政権がありましてそこでレイホンさんという政治家がいらっしゃったりレイホさんが仕分け会議ということをやっていた時に1位じゃダメなんですか2位じゃダメなんですかっていったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を超っていたんですけど今はレアホンさんおっしゃる通りに2位になってしまっていますそういうスーパーコンピューター何が重要かというとこの富学っていうのは本当に化け物みたいな性能を持っていてギングフェッシャーがブルームと呼ばばれる大共謙ゲングモデルを学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし前近を使えた場合は考えても10倍速いんです10倍速いっていうことは同じ計算をやった時に不学だと10倍早く計算が終わるでも深くって何がグレージーかっていうとCPUベースのスーパーポンピューターなんですよ一切GPUを搭載してないと皆さんCPUで大規模言語モデル学習したことあります大規模ゲームモデルじゃなくてもんですけどディープラウンドでCPUでやらないんです基本的にはGPUもし台所はTPUUAIに特化したハードウェアでやるいないとこれが何が問題かっていうのを同数字を見ればすぐ明らかったと思うんですけどNVDアのA-1-100っていうのがデータセンターで最先端のGPUでもその一つ前は1本目まして前はA100というGPが最先頭に搭載されてるCPUって藤津A-6-4FXって言うんですけどAIの演算性能に限っていえば富岳のCPUでMVではGPでGPの50倍遅いんですよ50倍遅いってことはGPでできる計算が50倍長くかかってしまうじゃあそもそもそもフラクって何がすごいなっていう話なんですけれども普段にてCPUが15万個あるんですよ皆さん15万個のCPU使ったことありますか?多分ないと思うんですここで何が言いたいかというとぶっちゃけGPUがCPUが50個使って平列計算したら同じぐらいスピードが出るのねっていうのはまあちょっとクレージな間で佐賀な間にすごいご迷惑ってそういうことを当時考えていてそれをやるためのした分散併列学習というものになります今でその分散並列学学習ってすごいろいろオープンソースのパッケージが出てきて皆さんご存じかもしれないところで言うと例えばマイクソフト社のディークスピードであったりLVDA社のメガトロンLMっていうパッケージがあってこういったパッケージってデータパイルモデルパレールパレールって呼ばれる分散変異例学習をサポートしてくんですけどCPUで動かったんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVではマイクロソフトに書いていただいた分散平列学習のパッケージをCPU向けに移植してちゃんと平列でCPUが計算できるかなということを試したいんですけど初期実験としては非常にいい結果が出てここなんですけどCPUの数を増やしていった時にシステム全体としての計算性能がどれぐらい上がるかなっていうのを見てこれログリニアなんですけどログリニアなんですけど特にCPUを先行わたりまで増やした段階ではその計算速度が1個だった時期が1倍近くなっていくとこれまで分散余算平列学習がすごいうまくいっているなっていう感触だったんですけれどもこれはあくまで初期の実験で当然うまくいかないこともあって一つはCPを大量に使うことでどういう問題があるかということなんですけどCPU例えば2個使っているだけだとCPU例えば2個使っているだけだとCPを1個同士がコミュニケーションすれば���いだけなのでそれは問題ないとただCPを1000個とか1万個とか増やしていった時にやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分かる通りシステム全体としてその計算性能が上がるっていう時が若干落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションポストが上げられるようにしない人ってないよねそういったことも一つ課題化しているそれ以外にもすごい面白い発見もあってハードウェアって基本的に理論値と実測値というのは理論的にはこれだけ推量が出ますよ実測指っていうのは実際に使ってみたらこれだけしかスピードが出ませんでしたよ例えばトランスフォーマンの学習とかやる時にGPUの実測値って理論値の大体40%から50%ぐらい最近だと60%ぐらい出てるのかそのくらい出るかっていうとNVディアのソフティアのエンジニアの方々がものすごい波長い並々しい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションのこの特別なコードを使うことによって早くしましょうみたいなすごいなんかハンドウェビーなハードコアのソリューションがソフトチョイスタックマクウダーレアのレアの中にいっぱいあるんですよだからGPUは実測している値の幅がそんなにCPUのCPUってそもそもそんなにAI学習を想定したものではなくてむしろシミュレーションとかそっちの方で使われていたのでそういったソフテリアストストックが弱くて大規模な学習ができないのでこちらの日系新聞さんでカバーしていただいてそれこそ7社合同部屋せていただいているということなんですけれどもGPT浮学というプロジェクトが今格化いたしまして主要な期間でいうとそれこそ東北大工さん坂口先生のここで言うと栗田さんと佐々木職さんって呼ばせていただいていますけどそういった方々が中心になって協力していただいているとそれ以外にも東高台さんであったりとか理見サイバーエジェント名古屋大学富士通弊社言葉テキノロジーズが連携していけるようにそういったプロジェクトが本格化しましたこのGPT風学っていうプロジェクトは大きく分けて2つのチームがあって1つ目のチームはシステムチームと呼ばれるチームですこちらは区学場のインフラを整えているそこでAIの学習が効率的に行えるようにしようと思う具体的にどういったことを解決しようとしているかというと先ほどのスライドがあったとおりコミュニケーションコストの問題が解決しようであったりだったりだとか理論と実測値が小さくなるようにしようそういったことをやっていますNPチームの方には東北大学の方々が主導していただいてこちらでは日本データの準備であったりとかトークナイザーの開発そういったことをやりたいと思いますこちらのプロジェクトはまだ動いているので今後もどんどんニュースが出てくるかと思いますが皆さん温かく見守っていただければと思います栗田さんと久保育先生にはすごい思い出ますが一緒に頑張っていければということですそうですねここまでが富岳のお話し深くっていうのはすごいやっぱり面白いプロジェクトで今後今後今一番速いスーパーコンピューラだろう間違いなくAI性能に限っていえば富岳よりもっと速いスーパーコンビューターっていうのは1、2年で出てくると思うんですよ不学で何で恋愛学習をやる意味があるかっていうともっと速いスーパープペーターが出てきた時に空学で学んだ知見を直接生かせるようにそういった書き橋に役割ですこれはすごいサイエンスとしてはエキサイティーになっている私と火災が考えていたのは大規模言語モデルっていうのはただすごい社会に使えるレベルになっているのでこれを実装しないとやっぱもったいないし実装してみたいな社会そういったことで言葉テクノロジーという企業を立ち上げましてちょっと思考実験をまずしてみたいので大規模言語モデル素素晴らしいすごいいろいろ使えることに果たして日本のビジネスに使えますかと弊社は言葉テクノロジーズというのは日本のビジネスと相手にいろいろとオペレーションをさせていただいている会社などこの時点ですでに日本国内の340社の企業��んとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったり旅行会社さんに大規模現行ゲームを持てるお宅どうお使い習い習えますかそういったことを聞いた時にこうく旅行計画を作ってそれをパンフレットでまとめるっていう業務よく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやる時に例えばGPP法を考えてみましょうプロプトかけますよこういったプロップをかけて渋谷駅から出発して火災の地元である奈良公園で日帰りで観光する計画を作ってパンプレットにしてくださいそこでは交通手段を含めてください東大寺も観光できるようにしてグルメ回りをしたいのでグルメマインまできるようにしていますじゃあGPT4は実際出てきたアウトペットなんですけど一番上を見るとすごい東京からならや伝統と自然の一日旅行その下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ伸ばしていっているとちょっとページ3スケジュールでとんでもないこと言うわけですよ朝7時渋谷市を近江大阪の新幹線に乗る渋谷駅に新幹線なんて撮ってないんですよこれはちょっとよろしくな。もっと面白いことが起こっていて11時半、長い人と並べる人がそうして斜めるつしかせてよるかもです。まあグルメ回りしたいけどジョークとしては面白いですよジョークとしては一級でこんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事がなくなっちゃいます何が言いたいかというと大規模型言語ゲンガモデルってGPVP4に代表されるようにめちゃくちゃ反応的だと反応的なんですけども日本語の閉じたドメインのようなところでデプロイしてしまうとまだまだ業務に差し支えられる欠点があるそれ以外にもそもそもこれをやった理由っていうのは旅行会社さんがパンプレットを作るためですよパーフレットを作るためなんですけども現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないと結局パワープレットが必要な旅行会社さんの視点に立ってみたらこの生のペキストをマークダーを取ってきてそのパンフレットにもう1回リストラクシャーする作務が必要ですこういった現状の大規模言語言語モデルの欠陥を研究開発することによってどんどん直して直していく直して大規模言語モデルをアプリケーションとして分かりやすい形で企業さんに販売するそういったことをやっておりましてつい直近では米国で数億円規模の指導資金調達を完了して国内でも政府指導の補助金を今申請中加瀬からもありましたとおりつい先日東京オフィスを六本木院に開設して取り組んでいるとエンジニアサイティストを始めまじ々に10月始めた順次中チームチームとあるい年内には5人から12程度のチーム編成に生きればそういったふうに思っておりますそうですねこれが先ほど申し上げておりますでそうですねこれが先ほど申し上げた内容を少し細かくしたところなんですけれども研究開発としては例えば非英語圏の言語でも大規模言語ゲンゴモデルがしっかり使えるようにしたりとかそれこそ大規模言語モデルっていうのはリアルタイムな情報がすごい弱いわけですよね例えば東北大学から仙台駅に今行きたいとなったら大規模型言語モデルって基本的に今の時間を調べてそれに落ちた答えをしてくれるっていうのはなかなかないのでそういったところツールフォーマーといった論文がありますけどAPIコールを通じて解決することで大規模言語モデンリアル体制を持たせるであるそれ以外もマルチモダル能力でそういった研究開発をしておりますこういった研究開発した言葉フォーマンという名付けられて我々言葉フォーマーって呼んでいるんですけど弊社のシステム言葉フォーマーをユーザーの方々に分かりやすい形でパッケージング化してあげることによって例えばコールセンターであったりとかコンテンツ生成そういったものにして企業さんに販売していく今日のトークはお知らにしたいと思ってお弁者が最初に取り組んでいる教育分野のカスタマ���さんと一緒にプロジェクトをやらせていただけるんですよね教育分野もちょっとここはアカデミックトークなので名前も行ってしまいますが皆さんなんか寸大に行かれた方っていらっしゃいますかあまりないのかななるほどあまりないのかな寸大っていう塾があるんですけどまあ弊社のかすん大様とプロジェクトを一緒にやっておりましてここではどういうプロジェクトをやっているかというと生徒さんが塾の中でお使いにある練習問題とかそういったプロジェクトをやっているんですよ須大様が今度いった課題さんが今どういった課題を抱えてらっしゃるかというとこういった練習問題を作る時に基本的に教員の方々が指導で試験を作るとその結果ものすごい労力が費やされているんですよ例えばクレイジな話なんですけど共通テストの1個作るのに何時間かけていますかっていう話を聞いた時に1つのテストに300時間かけているらしいんです300時間それ年1回やるわけじゃないですか何回も何回も繰り返す弊社がやっているのは本当にすごいシンプルに教員の方々が使えるようなシステムでここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんですよここではアメリカを初めて訪れますよというコンテクストで問題を作ってくださいその結果出てくるものが例えばこういうパーフレット形式のビューク今は共通テストってすごい情報分析に寄せたような問題が出ていて英語でもないこういうパンフレットを呼び解いて問題に鍛えてくださいみたいな問題の問題があるんですだからこういうパーフェットみたいなものを直接出力することによって先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこういったパンフレットを作ってその後はそれに即した問題を先生方に生成していただくわけです質問の正々に進むというふうに進むとこういった感じで4択の問題がパープレットに属した形で成縁されて最終的にはPDFであったり出力するPDFはただに問題のコンテクストをつないでだけのものなんですけどワードで何で出力するかというとやっぱりAIが出力したものなので先生方が気に入らないものがありますそういったものを例えばワードだと直接先生方が手を加えるだけですぐに生徒さんに配られてもらってもそういったことを教育ドメンではやっておりますもう一つ紹介したいのがもう一つ紹介したいのが交通分グJR東様と一緒にプロジェクトルトをやっておりましてそこでやっていることとしてはカスタマーサポートの自動化というくとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやっているじゃないと思う方もいらっしゃると思うんです確かにその通りですただJR東様のチャットボットってめちゃくちゃ難しいんですなんで難しいかっていうとさまの方々が本当に多様なお問い合わせをしてくる本当に多様なお問い合わせをしてきた結果ちょっとGPT4をいじっただけだと想定解決できないような問題が出てくれば例えばその例をあげると渋谷駅でお裁表を忘れてしまったんですけどどうすればいいですかそんなチャットGPTに聞いても分からないですね何をやる必要があるかというと例えば大規模型語言語モイルが裏でAPIを呼んで例えばSQLのような報道を書いて例えばJR東の中にあるインターナルなデータベースにお問い合わせをして忘れ物状況を取得してそれを踏まえて返答を送らないといけないそういったことがないんですよもっとクレイジーになれると例えば何でしょうね渋谷駅から新宿研究に行きたいんだけどできるだけもうちょっと疲れてるだけもうちょっと疲れてるからあまり飛んでいない路線を選んでくださいみたいなことが気になる方もいるんですよそしたら何をする必要があるかもめちゃくちゃくちゃ難しいですよめちゃくちゃ難しいとでもなんかありがたいこととしてはJR東大久間って今各駅各列車にセンサーがついてて混雑状況が分かるんですよ結構我々頭がおかしいのでクレジなことを考えるわけですよもしテンサー情報に大規模型ボケグモデルが直接アクセスできてその混雑情報を取ってこれたらそういった座っていける路線は何ですかみたいに質問にも答えられますそういったことをここではやっていますすごい何だろう簡単に見えて難しいアプリケーションなんでこれはめちゃくちゃエクサイティングですもう一転エクサイティングな点を上げるとするとやっぱりJRヒャスタマーのカスタマンセンターって皆さんちょっとお使いにならないかもしれないんですけど結構その高齢の方々とかって電話を通じてアクセンターに電話をかけていらっしゃったりするんですかねその数で言うと1日大体数万件年間でいうとそれこそ数百万件数千万件ってなんていません弊社が開発した人がご視野児,"[16.119226217269897, 15.388941764831543, 15.455092668533325, 15.553504943847656, 15.136614561080933]"
-kotoba-tech/kotoba-whisper-v1.0,15,,,sdpa,cuda:0,long_interview_1.mp3,True,256,15.825398015975953,0.2933998625987351,NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心にちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジスという企業を作るに至ったかなっていうのをお話しさせていただければと思いますよろしくお願いいたしますそもそも誰やっていう話だと思うんですけど小島紀樹と申しますよろしくお願いいたします小島大学と申します私、コーネル大学を卒業しまして本当ディフェンスをやったのは2、3週間前なんですけれどももともともとはコーネル大学ってニューヨーク州の土田舎の伊阪という街にあるっていうイメージがある方も多いと思うんですけどもコーネル大学って2つはイサカにあるんですけどもう一つはニューヨーク市にあるインソ川の上に浮いているルーズベルト島っていうすごい細長い島があるんですけどそこでPHEをやっておりました私は小島っていう名前なんですけども本当にしょうもないネタを言うと小島の上でPHUが振り方そういう四面間となっております私はPHの専門部屋としてはマルチモダリティーと呼ばれる自然言語のシステムにどうやったら言語以外の情報を例えば画像であったりとか音声といったものを理解できるようにさせるそういったことであったりとかインターナクティブラーニングと呼ばれる最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういった検訓の方ではハギングフェイスでちょっといろいろとプロジェクトでお世話になったりもしましたそうですね学部から実はアメリカに行っていてミシガン州にあるミシガン大学アナーバーコっていうところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンガッチさせていただきます今日はよろしくお願いしますはい、青木純吾といいます。トヨタ工業大学鹿児島という日本、名前から分かるとおりですね、日本のトヨタが昔出資をして今独立な組織なんですがそちらの方でリサーチアシストプロフェッサーという職を持ちだから小島と共に言葉テクロジに取り組んでいるという状況です私も本当にPHDも出来立て小屋というか最近取りまして先月8月に無事シアトルですねアトルにあるワシントン大学でコンピューサインスの博士課程を卒業しました研究分野としては最初の方は機械本屋だとかマシンチャンスレーションとかあとは効率化とか言語制制制のイバリエーションとかそういうことをやっておりましたちょっと遡残るとですね実は私も暇と見た形で高校卒業後は大学はアメリカの家康大学という統計会当時は統計にいたんですが統計学部を卒業しましてその後その後ELELで働きながらワシンコ大学に進学したという経歴ですね最近イエル大学も知名度がってきてちょっとよく分からない教授がいろんな番組でお話をしているという名前は誓いさせていただきますけどもまあなんか知名度ががってきてうれしいんですがここはイエドにタックスでオフソードとかケンブリッシュの生まれてこれわざとなんかやりたりしてるんですよねわざと古く見せるようなアメリカって新しい国なんでそういう感じてるというでも非常にきれいな感じがありますこれがTTIC東京都宮大学シパワークの中でこれもまた古いものとまた電波等下なんかでそれを改造して大学になったと��ばらく日本にも非常につながりがあって古井先生というスピーチの対応ですねついさっきになくなっちゃったんですが彼が昔ここでプレゼントをやっていたということで本当に日本のゆかりがあってなおかつ私が実は今パカルティーで唯一日本人なのでちょっと責任感を持ちながらやってるという感じですねこれがそこになりでほとなりここにいるんだというとまさに宇坂口さんとの佐賀井先生ですねすいませんつながりが本当にこういったありがたい機会をいただいていて私は本当に2021年のちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に佐川口さんがAI2にいらしてそこでインターのメンターを一緒にやろうということでインターのメンターを最初3か月とやりつつでも本当に楽しくていろいろパーテイムで練習しているうちにもう1年ぐらいもうちょっと長い日々で一緒に研究をさせていただいて本当に楽しい日々でオフスがあって私のアドバイザーノアスミスなんですけどノアスミスが出てノアスミスが出て写真を撮って掘り出してきました本当に懐かしくて本当に昼ご飯を食べては雑談してですね昼ご飯を食べてるうちに論文がそれなりにかけてくるみたいなことをやっていて大体雑談の中ににいろいろあったんですけど最後の方が結構皆さんご存じですか?白い虚党の話をよくしてましてこれいろんなバージョンがあるんですけどこれあのカラスアトシャキっていう俳優がやっていたバージョンが2人ともすぐお気に入りで広役とのバージョンどこが一番いいかというのを話し合っていて坂口さん的には後半のやっぱり財前教授になった後に亡前教授になった後に財前教授なんですけどなくなってこうちょっとネタバレになっちゃったなそのあたりはダメだと税務にこそ面白いことをおっしゃってさすが坂口さんの見るところは素晴らしいなということで涙では泣かすだけじゃやっぱダメなんだなっていうことを感じましたねこれがいって撮って撮った写真でそららどこかにいらっしゃると思うんですがそんな感じですごいいところでしたね会社としましては藤間と創業しまして今は日本とアメリカの二極対戦みたいなクロスボーダーという形でやっていて私自身T-PICプロジションもありますしあとはシアトルに今シャトルに本社はあるんですがそれでもうすでに東京の国民にオフィスを構えまして日本の死者みたいな形で今やろうという形で進めているということで言葉と出申しする会社ですね基本的に下げ年語今話題の大規模型言語モデルですねLLの特に非英語圏語系のベース言語モデルの開発とか場によってはマルチモータルとかそういったことをもんど挑戦的にやっていきたいなともちろん同時にやはビジネスですのでアプリケーションの提供も行うことでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっているやっぱ初期市場としては今は日本を考えてまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりましたし、何かしらやはり日本の中でインモを作っていきたいなということで、今日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになります一部目はまさに私はもう5年間PHDがありましてこの5年間って恐らくNLPの歴史の中でも一番激動の5年間だったと思いますので運良くいいのか分悪いのか分からないですがそのタイミングでPHDを終わった私から見た今思うとこうだったよねみたいな話をちょっと過去の話をちょっと第1部では第2部からはですねもっと直近な話で大金モデルの時代の到来ということで私たちがどういうことを考えていたのかということを話したいと思いますそれあとはやはり前を行きたいということで未来について話していきたいと思いますはいということでということで適広のPHD5年間ということでこれはもう本当にもう本当にもうはいということでこれはもう本当にもう私のPHLをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で最初だけポジズニムな話でいこうと思います一番最初にKHDDが始まる前��イエル大学にやっていたのは構造解析とかいわゆるシンタックスとかパーショングとかそういうことをやってその後ですねワシントン大学に移動してずっと英語ばっかりこの構造解析とかずっと英語なので英語ばっかり言うよくないので私自身多言語を私た言語をやりたいなということで多言語を解説に伝うことをやってきたそのうちに他言語をやっているうちに他言語というか機械本やんでしょうということでマシントランスレーションを毎回ありがしその後にどんどんマシントラスレーションの一般のことをやりじめてちょっとこれ見づらいんですがモデルの高速化とか効率化とかそういったことにやっていったり大一部現をモデルに取り組むということで無理やりまとなればだんだんオーディエンスが最終と比べると大きくなっていたなということでこれはちょっと自分が一つ成長できたポイントとして少しきれいに見えるかなと思いまして最後に一つだけポジティブなことを言っておくと環境のやはりいろんなものを変えていった時にですね環境の変化が本当に大きかったなと思っていて皆さんもし機会があればぜひどんどん環境の変化を求めていったらいろんな経験ができると思っていて一番最新学院院院学にいましてワシントン大学にいながらちょっと引き詰まったのでメタでインターでインターンしたりそういったことをやっているうちにあとは最後は最後のサラドイツーでインターチャンをしたりマイクロソフトに行ったりして環境の変化に応じていろいろプロジェクトとかも楽しくできた方だと思うのでぜひいろんな日本いいところですし仙台は本当に素晴らしいところですけどもいろんな物理的にも環境を変えるのもいいことなのかなとまあじゃあせっかくせっかくまずは過去の話ということで一体一体私がPHリ始めた頃何が起こったかというとこれですねディープコンテクショナイントということでその前まではワーデンベリングというかも多分多分今の人知らないのかなみんな授業でやってますね教科書かしみたいな感じに単語をですねいろいろいろフラッシュファイアとかいろりやるときにベクトル化したいみたいなこういうことを今から言えばものすごい浅いニューラルネットワークみたいので周りの単語を予測することでベキトル化るよねみたいなそういったそういった言語学とかディスティブーション・マンティクスとか言ったりしますけどもそういったディスティスティブーションのスマンティングスクスクトがそういったりとかそういったディスティブーションオスなんですそうですねそういったと言ったりしますけどもそういった自然なことをやっていたというのがこれでぐちゃぐちゃぐちゃこういうことをみんな頑張ってたんですよねこれ最初ミコロフの2001年もっと前から多分あるんですがあと黒をウエクトルとかいろびやっていてこういうことやっていたんですが大体私がPシリア始めた頃ですねこれまさに実はワシント大学で私がちょうど入る直前に起こったことなんですがワシントン大学はまさにAI2でエルモンというのが出てくるこれこそ今もうあんまり知られてないのかもしれないですがエルモの研究というのがあってそれはですね要は今まで浅いに色な手に行っていたけどもっと深くして何日モデルにしていろやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりコーブの効果を使っていてそういうことがあったということがエレモだったりコーブでちょっとこれに似たようなアイデアがあってそういった時代に私はPGで始めたということでここで終わりだと思ったんですね私は実はもう完全にこれ以上これ以上間違うことはないんですが完全に間違っていると思うちょうどこのセバッシャン・ルー�のMVS-REといってどんどんビジョンみたいになってきたよねと結局当時ビジョンでよくやられていたのはイメージネットで大量に画像のクラジケーションとかを学習させててそのベクトルを使って他のタスクトスクとかを得たっていたんですがまさに同じことが同じことが起きていてまさに同じことが他のカスクタイトラッシングとかクエッションアンセリングと��マシントラーションとかをやらせるみたいなイメージネードみたいになったよねっていうことを言っていたということでこれがああよかったねと自然言語シェルもようやくビジョンに落ち着きましたと言ってたところこれは始まりでしたらなかったんですがちょっとその時私が私が言って何をやっていたのかというのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていてLも出てきた時にラングチモデルを基本的に英語でやってきたんですがマルチリンガルにやらないといけないよねっていうことを考えていてじゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングジコーラブラッシャンとかヒーブルとかヘブルとかどれぐらいバイリンガルでラグチモデルをトレーニングしてそれをそのベクトルを使うってことをやることをやることでそうすることでモノリンガルの時にバイリンガルにした方が圧倒的にスコアが上がるようねみたいなことをこの時考えてやっていましたこれがラクルの2018とかじゃあ2019か18かその辺の研究でした結局でもこの研究でした結局でもこの研究ってあんまり意味なかったですなぜかっていうと今反省すると結局さっきバイリンガルのグラフ見せましたけどちょっと科学的な指標にこだわってたんですよねじゃあバイリンガルで今だったら例えば英語があってそれに全部ごちゃまずしたいろんな言語を加えて言語モデル作ろうみたいな発想になるんですが当時はやっぱりちゃんと比べなきゃいけないでしょより多言語に大規模に拡張してしまって例えば日本語だけのモデロ日本語定語のモデル使っても助かる人って使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね今思えばもっと使いやすいものだったらというふうに思いましたし当時トランスフォーマってまだそこまで使われていなかったのでASDMとかを使ってやっていましたということで結局時代が読めなかったら負けましたということですねその負けた相手なんですがXLMのフェイスブックからFBスブックスタッチから出たらXMというのがあってこの人も本当に論文のよく分かんないしよく分かんないですけど実際に使えるものを作ってたんですね彼はそれをダウンロードしてサイベーションももちろんですしそれ以上にかく伝えのものを作った本当に素晴らしいなと思った次第ですコンピューターサインスのP資料をやるということで自分は科学者になるなと意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしてるということであと最後にタスクの選定をちょっと間違っていまして私たちはNARとかエネシャンティングルングがやらっていたんですねこれも結局まあいいんですけど当時ものすごい流行っていったのはクエスチアンスルで結局QAで結局QAの人たちはこういう本物読んでくれなかったんですよねその割にこういう論文を読んでくれてなので結局使われなくなってしまってその割にこういうロボンを読んでくれてなので結局使われなくなってしまって何か使う数は正義というかそういうことで結局インパクトを残せなかったなというのを今反省していますバーチャルのバートの時代に来たということでさすがにバートは皆さん知ってると思うんですが当初これ出た時はですねバートはただエルムを大きくしただけだよねというふうに思っていましたしこれ私のアドバイザーのアスミスとあともう一人ループゼルークゼロモイアンという人がいます。同じワシンケンターナイルの恐竜ですが今フェイスブックのディレクターとかNRPもリサーチャーしている人で彼はエレモの作者でもあり最近だとにかく大規模ーブ言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言ってたかというと単純なエルモのエクセンションなんかに大してベスペーパーも上げる必要ないしあんま興味見えようみたいなことをまあでも実際にこれったらベストペースタイプローパーを取った前なんですが実際撮りましたよねいかにこうくろうとか間違えたかとあとルークはちょっと面白くてちょっと見方が違ってですね彼はエルゴンの作者ですか���素晴らしいと言ったけども自分の頑張ったエルボが1年が続くと思ってたのに結局1年続かなかったよねちょっと悲しいねみたいなループはしていてちょっと違う見方をしてるのかなというふうに思って面白かったんですがそのループもですね実はGPT2がちょうど出てきた時にこれタンダルタンデル何やってんだろうなんでこんなに騒いでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですね当てにならないと僕らになるということですねバートの被害になって当初はエレモンが大きくなったものだと思って行ったんですがもちろん違ったとNLPの世界を完全に変えてしまったというものなんですがもう一つちょっと面白かったなおまけの話として当時ハギンフェイストランスフォーマーズのライバリーのきっかけにブンのきっかけになったんですよねこれ昔ハイトウィン・フェイン・フェイン・フェス自体はキットボットとかの会社でもともとあったんですが彼らがバードはGoogleから出たので検査ブロードで吹かれてるそれ研究者みんな検査ブロード使いたくないんでパイトウトウ�を使いた時に彼らがそのパイトウォーチに書き起こしたコンバートしたものを出したそれがパイドチパートでありそしてそれが結局カニンペインペーストランスフォーマンスにつながっていったということでこういうの商業向上というか社会の流れていは分からない思わないことでこう思う表記していくんだなというところですねその時私は何をやっていかかというと当時にマシントランスレーションやりたいということでマシントランスレーションのスピードアップとかですねこの2個目の論文はですね1個目のログのマークでいろいろスピードアップでこうなんか平列化とか一生懸命やってたんですね結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話もやってなんかちょっと怒られたようにしたんですがでも結局これが本当のある意味真実なのかなと思ってちょっと自己自己意味が実なのかなと思って自己議が出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT3の時代が来てフィーショットきて、だんだんこの時からだんだんクラスピケーションにリーナーがなくなってきていて、だんだんみんなジェネレーションをしよう、ジョンにしようっていう方向に来たというのが当時の中で、もちろん存じのものフィショットラーニングのでもあとグループとかオープンソースの方でも大学とか組織をまたいだプロジェクトが出てきたっていうのがこのキーピーピッジスティスティング時代ですがこの時の研究はバイディメンシャービーダーバーボードといって今までのビーガーボードというのはジネレーションのな形でそういうのをやったということであとはやはりジェネレーションにとってイバリエーションが大切だということでイメージ・キャグシュニングのイバリエーションとかも佐賀井先生と一緒にやっていたという感じのことをしていましたこれちょっと予言なんですがこういう佐賀吉さんのご提案で漫画を描いてみようということで漫画を描いてこの論文のPRをツイッターでしていたというこういういろんな楽しいことを本当に楽しくやってたということですはいでついにお待ちかねチャックGPTGPTGPT4の時代が来たということはまさにこれはまさにこれは社会実装の時代に来てしまったらともちろん研究も多数なんだけどもとにかく使ってどこが問題なのかということを洗い出していかないとなかなかベンチマークとかで現れないものかなということを感じていてそういった経営で企業して小島ともにやっていこうというふうに思い出たったと特に英語にNLPの業界は編集してますよねこれが大体インターネットユーザーの数で25%ぐらいインターネットユーザーは英語をしているんですが残念ながらやほとんどが英語でしか実験をしてなかったり英語についての論文だったりするということでこれはまず一気英語編の基盤モデルをどんどん作っていかなきゃないよねというふうに思っております結局自然言語�っていうのは何だったのかを振り返ってみると結局全てはスケールだったとこれはもう否定がしようがないなということでいろいろ私自身もいろいろ作りたくて頑張ってたんですが結局大きさで解決されてしまったことも多くてそこはもう認めたらおけないかなということで間違っていたと私自身は間違っていてそうですねどういうことですあともう一つ面白いと思ったのはやはり科学的なプロセスが違ス化ができるって書いたなということを例えばトランスフォーマーが2017年出てきた時に私はそのトランスフォーマーがこんなに広がると思わなかったっていうのも仕方ないから論文いくら読んでもよく分かんないですなんかそのアテンションのディペンネージがうんだなみたいなそこって多分こって多分コンスフォンの本質っていうのは今思えば当時のですねそうですねGPUとかTPUとかそういったそのパラレルの計算の訓練がしやすかったですねですねLSTMとかだとどうしても巨大化してしまうとどんどん時間がかってしまうけどトランスコマンをパラレルにできるからハードウェアとすごい相性が良いようにハードウェアを決定論みたいな形でハードルアによってトランスコムのすごさが余計リーズされていって似渡る方々と言われるんですがそういった経緯があるのかなということがあってだから分からわからなかったのも仕方ないのかなと思ったりもします他の例で言うと例えばアダムでうまくいかなかったらやめるということなので結局そこも庭とりと卵であっていろいろ予測するのは難しいよというふうに今思っていますちょっとこの非科学的な支配する世界ということなんですがでもよく考えてみるこれもそうなんですよねやっぱりコンピューターサイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよあの大学地にケミスティックスとか言わなくていい同じようにオープンって言りオープンじゃないかな実際クローズだということでそういうことだとアメリカのチェーンでセイクウェイっていうのがあるんですけどセーフェインは全然安全にないですよね大体危ないところにあるのでだから結局そういうもんなんだなということで言ではできないです専門家の知見というのは結構トランスフォーマーのポテンシャルを私は当時期づかなかったしあとチャットボットっていうのも意外でしたねやっぱりチャットって人間とチャットをめんどくさいねなんで機会としないかっていうのが当時の考えだったんですけど結局チャットボットでこんなに有名になったんだっていうのが本当に衝撃でしたしいかに私自身が人間を理解できてないかということですねということで何も分かってないまあでもとにかく過去の話をしてきましたが前に進んでいきたいというふうに思っております5年間を簡単にまとめると適度に環境を変えるのはプラスでしたしでも専門家ですらは見らないわからないのであんまり専門家の言うこととかあんまり専門家が言うこととか気にしないでくださいということですね最近なんか自分がいい人も論文言語悪い理由がするねまあねあともしたちはですねアイフェンじゃないかなバートとかってアイデオ自体は本当に基本的にエルムを大きくしていろいろ他のアイデアはあったんですけど結局そのマスクラングチモデルとか同じようなアイディアがあってアイディアだけじゃなくてエクセキューションの重要なのかなっていうことを思っていてでもこれって結局研究だけじゃなくて企業とかも見えると思うんですが例えば企業においても開かないのおいても必ずも早いもの勝ちじゃないのかなエルモンとかLモンとかあんなに早い段階で実はもっと先にも言って前にもあったんですがLモンとかエクセールドクとかありましたけど局パートナ全部持っていったりGPT3とかGP5が全部持ってったりですね結局早めの街の世界というよりもそういった不思議な神のみず知りみたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばグルーブルとかフェスブクって最初の検索エンジンでもないしフェスブックも最初のソーシャルメディアが何でもないわけでだからそういった不思議な力があるなというふうにも思いました最後に科学的指標というのも大切なんですがそれだ��にこだわらずにやはりコンピュータサインティストはサインティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中に出していきましょうということを思っていますということでこれからは未来の話をしてきたいと思います大規模大規模ルの時代が来たと皆さん大規模現行形モデルどう思います?すごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくる時は基本的にチャットボットボットみたいなものを作ってみたいなものを自然言語だけじゃなくてソフトラインジネリングの世界でも自然言語も入力をすればHTMやCSSのコードを吐き出してソフトエンジネインリングをサポートしてくれるそれだけじゃなく文章の執筆要約構成メールの返信本当に反応的なものに使えるというのは間違いないなと思うんです大規模ゲイントモデルってそもそも何だったかっていうと皆さんご存知の通りものすごいシンプルに学習されたAIなわけですよね文章があってその文章の次の単語を予測すると例えば学習データの中に第一代大統領はジョージ・ワシントンなのでワシントンドンという言葉を予測するとなんでこんなシンプルなものが役に立つのかすごい不思議ですよく言われることなんですけど結局はスケーリング速度になるわけですですよく言われることなんですよく言われることなんですけど結度を学習する時って大きくわけで3つの要素がある学習するAIモデルの大きさそれに食べさせるデータの量この学習を行うコンピューターの資源と呼ばれますけどこの3つだものね何が申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習中で増やしていったけどか突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが反応的な性能を持ち始めるものだから今はみんな注目しているわけですこれを本当にこの傾向すごいスケーニング速を分かりやすく示したグラフがこうなんですけどこのグラフっていうのはX軸がまだモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども見ていただくとおりその傾向というのはログリニアなのがコンピューターの性能自体というのは皆さんご存じのムーアの法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えていると要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが反応せず何が関係あるかすごいスケッチなグラフで申し上げないんですけどもこれちょっと賛否両論あるグラフなのでちょっと反対意見がある人は後で個人的に来てるすごい傾向はうまく捉えていると思っていてこのグラフで何を表しているかというと8つタスクがあるんですけど例えば算数力みたいに大規模言語モデルが5たす6は11そういった算数の問題を答えられますタスクであったり多言語力英語でQAができるモデルがペルシャ語になった時に同じようなことができますか読解力っていうのはこういったタスクを見ていく時にここも同じなんですよY軸は使われたスーパーコンピューターの実装するX軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしてきた時に突如変異的に大企業保険のモデルがタスクの能力を得るポイントがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて突如変異点が来るとこれが反応性なんです結局計算資源を増やしていった時に突如変動力を持つそういったものが大規模デルモデルの反応性なんじゃないかなっていうのは私なりの捉え方ですここからはちょっと自分たちで大金5年モテルを学ぶっていう話をしたいんですが2019年から2022年何が起こっていたかというと一言で申し上げますと各国で大規模言語モデルの開発競争が起きていたアメリカですアメリカではマイクロソフト社インターインターインターインタストリーを中心に大規模なモデルの開発競争が大きぼみることが大きぼなスーパーコンピューターをオープンアン社に提供して当時GPT3英語メインの大規模型型モデルドを学習していた全く似たようなことが中国でも起こっていて中国では政府が所有し���いるスーパーコンピューターを用いて政府機関がGPT3を超えるようなスケールです世界で最大規模のパラメターの数の大規模型予見のモデルを中国語で学習しているこの動きってアメリカと中国だけじゃなくてヨーロッパでも大きいヨーロッパではフランス政府が所有するジョン・ゼープルト呼ばれるスーパーコンピューターがあるんですけどそれをハギングフェースと呼ばれるば皆さん個人のハギングフェイス社による貸し出すことによってハギングフェース者が多国籍用の大規模型モードルを学習していたこの多国寄り王って面白くて実はドイツが含まれていないのはフラスドイツの緊張感が現れそれ以上に重要な小話があって実はこのフランス政府がスーパーコンピューターをハギングフェスに貸し出す時にハギングフェスって当然グラントプロポーザルみたいなものを書いたんですよねこれこれこれこういう理由でオタクのセルファークターを使いたアゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーがフランスを食い尽くそうとしているのだから我々は独自でモデルを開発する必要があるみたいなことを言っていたんです日本を見てきた時に今でこそ本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな予定あったんですけど当時日本国内でハギングフェイスみたいな人はやらないんです最初に割れてくる疑問としてなぜ日本国内でできないのかできないのかまずそこをしっかりしたい大規模言語言語モデル学習で何が一番重要かというとやっぱりそれはスーパーコンピューターのリソースなんですが日本ってスーパーコンピューターがないかというと全然そんなことはないわけです一番分かりやすいところだと皆さんも研究で使われているかもしれませんABCIと呼ばれるGPUベースのスーパーコンピューターがあるとABCIS素晴らしいスーパーコピューターなんですけどね実は日本最大級のスーパーコンピューターってABCIじゃないんです不学って呼ばれるスーパーコンピューターで皆さん年齢的にちょうどベストヒットかなと思うんですけど以前民主党政権がありましてそこでレイホンさんという政治家がいらっしゃったりレイホさんが仕分け会議ということをやっていた時に1位じゃダメなんですか2位じゃダメなんですかっていったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を超っていたんですけど今はレアホンさんおっしゃる通りに2位になってしまっていますそういうスーパーコンピューター何が重要かというとこの富学っていうのは本当に化け物みたいな性能を持っていてギングフェッシャーがブルームと呼ばばれる大器オンゲングモデルを学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし前近を使えた場合は考えても10倍速いんです10倍速いっていうことは同じ計算をやった時に不学だと10倍早く計算が終わるでも深くって何がグレージーかっていうとCPUベースのスーパーポンピューターなんですよ一切GPUを搭載してないと皆さんCPUで大規模言語モデル学習したことあります大規模ゲームモデルじゃなくてもんですけどディープラウンドでCPUでやらないんです基本的にはGPUもし台所はTPUUAIに特化したハードウェアだったA100っていうのがデータセンターで最先端のGPUでもその一つ前は1本目まして前はA100というGPが最先頭に搭載されてるCPUって藤津A-6-4FXって言うんですけどAIの演算性能に限っていえば富岳のCPUって50倍遅いんですよ皆さん15万個のCPU使ったことありますか?多分ないと思うんですここで何が言いたいかというとぶっちゃけGPUがCPUが50個使って平列計算したら同じぐらいスピードが出るのねっていうのはまあちょっとクレージな間で佐賀な間にすごいご迷惑ってそういうことを当時考えていてそれをやるためのした分散併列学習というものになります今でその分散並列学学習ってすごいろいろオープンソースのパッケージが出てきて皆さんご存じかもしれないところで言うと例えばマイクソフト社のディークスピードであったりヘルビディア社のメガトロンLMっていうパッケージがあってこういったパッケージってデータパイルモデルパレールって呼ばれ���分散変異例学種をサポートしてくんですけどCPUで動かったんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVではマイクロソフトに書いていただいた分散平列学習のパッケージをCPU向けに移植してちゃんと平列でCPUが計算できるかなということを試したいんです初期実験としては非常にCPUが計算できるかなということを試したいんですけど初期実験としては非常にいい結果が出てここなんですけどCPUの数を増やしていった時にシステム全体としての計算性度がどれぐらい上がるかなっていうのを見てこれログリニアなんですけどログリニアなんですけど特にCPUを先行わたりまで増やした段階ではその計算速度が1個だった時期と比べて1000倍近くなっていくとこれまで小典数学学習がすごいうまくいっているなっていう感触だったんですけれどもこれはあくまで初期の実験で当然うまくいかないこともあって一つはCPを大量に使うことでどういう問題があるかということなんですけどCPU例えば2個使っているだけだとCPU例えば2個使っているだけだとCPを1個同士がコミュニケーションすればいいだけなのでそれは問題ないとただCPを1000個とか1万個とか増やしていった時にやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分かる通りシステム全体としてその計算性能が上がるっていう時が若干落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションポストが上げられるようにしない人ってないよねそういったことも一つ課題化しているそれ以外にもすごい面白い発見もあってハードウェアって基本的に理論値と実測値というのは理論的にはこれだけ推量が出ますよ実測指っていうのは実際に使ってみたらこれだけしかスピードが出ませんでしたよ例えばトランスフォーマンの学習とかやる時にGPUの実測値って理論値の大体40%から50%ぐらい最近だと60%ぐらい出てるのかそのくらい出るかっていうとNVディアのソフティアのエンジニアの方々がものすごい波長い並々しい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションのこの特別なコードを使うことによって早くしましょうみたいなすごいなんかハンドウェビーなハードコアのソリューションがソフトチョイスタックマクウダレアの中にいっぱいあるんですよだからGPUは実測しているンジの幅がそんなに不実のCPUってそもそもそんなにAI学習を想定したものではなくてむしろシミュレーションとかそっちの方で使われていたのでそういった測定やストックが弱くて大規模な学習ができないのでこちらの日系新聞さんでカバーしていただいてそれこそ7社合同部屋せていただいているということなんですけれどもGPT浮学というプロジェクトが今格化いたしまして主要な期間でいうとそれこそ東北大工さん佐賀口先生のここで言うと栗田さんと佐々木職さんって言わせていただいていますけどそういった方々が中心になって協力していただいているとそれ以外にも東高台さんであったりとか理見サイバーエジェント名古屋大学富士通弊社言葉テキノロジーズが連携していけるようにそういったプロジェクトが本格化しましたこのGPT風学というプロジェクトは大きく分けて2つのチームがあって1つ目のチームはシステムチームと呼ばれるチームですこちらは区学場のインフラを整えているそこでAIの学習が効率的に行えるようにしようと思う具体的にどういったことを解決しようとしているかというと先ほどのスライドがあったとおりコミュニケーションコストの問題が解決しようであったりだったりだとか理論と実測値が小さくなるようにしようそういったことをやっていますNPチームの方には東北大学の方々が主導していただいてこちらでは日本データの準備であったりとかトークナイザーの開発そういったことをやりたいと思いますこちらのプロジェクトはまだ動いているので今後もどんどんニュースが出てくるかと思いますが皆さん温かく見守っていただければと思います栗田さんと久保育先生にはすごい思い出ますが一緒に頑張っていければということですそうですねここまでが富岳���お話し深くっていうのはすごいやっぱり面白いプロジェクトで今後今後今一番速いスーパーコンピューラだろう間違いなくAI性能に限っていえば富岳よりもっと速いスーパーコンピューターっていうのは1、2年で出てくると思うんですよ不学で何で恋愛学習をやる意味があるかっていうともっと速いスペースペーターが出てきた時に空学で学んだ知見を直接生かせるようにそういった書き橋に役割ですこれはすごいサイエンスとしてはエキサイティーになっている私と火災が考えていたのは大規模言語モデルっていうのはただすごい社会に使えるレベルになっているのでこれを実装しないとやっぱもったいないし実装してみたいな社会そういったことで言葉テクノロジーという企業を立ち上げましてちょっと思考実験をまずしてみたいので大規模言語モデル素素晴らしいすごいいろいろ使えることに果たして日本のビジネスに使えますかと弊社は言葉テクノロジーズというのは日本のビジネスと相手にいろいろとオペレーションをさせていただいている会社などこの時点ですでに日本国内の340社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったり旅行会社さんに大規模現行ゲームを持てるお宅どうお使い習い習えますかそういったことを聞いた時にこうく旅行計画を作ってそれをパンフレットでまとめるっていう業務よく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやる時に例えばGPP法を考えてみましょうプロプトかけますよこういったプロップをかけて渋谷駅から出発して火災の地元である奈良公園で日帰りで観光する計画を作ってパンプレットにしてくださいそこでは交通手段を含めてください東大寺も観光できるようにしてグルメ回りをしたいのでグルメマインまできるようにしていますじゃあGPT4は実際出てきたアウトペットなんですけど一番上を見るとすごい東京からなら伝統と自然の一日旅行くめちゃくちゃキャッチになったりとかこれだけ見ると日本のビジネスでもGPT4使えるじゃんと思う方も多いと思うんですけどその下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ伸ばしていっているとちょっとページ3スケジュールのとんでもないこと言うわけですよ朝7時渋谷市を近江大阪の新幹線に乗る渋谷駅に新幹線なんて撮ってないんですよこれはちょっとよろしくな。もっと面白いことが起こっていて11時半、長い人と並べ行く突っかせているかもです。まあグルメ回りしたいけどジョークとしては面白いですよジョークとしては一級でこんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事がなくなっちゃいます何が言いたいかというと大規模型言語ゲンガモデルってGPVP4に代表されるようにめちゃくちゃ反応的だと反応的なんですけども日本語の閉じたドメインのようなところでデプロイしてしまうとまだまだ業務に差し支えられる欠点があるそれ以外にもそもそもこれをやった理由っていうのは旅行会社さんがパンプレットを作るためですよパーフレットを作るためなんですけども現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないと結局パワープレットが必要な旅行会社さんの視点に立ってみたらこの生のペキストをマークダーを取ってきてそのパンフレットにもう1回リストラクシャーする作務が必要ですこういった現状の大規模言語言語モデルの欠陥を研究開発することによってどんどん直して直していく直して大規模言語モデルをアプリケーションとして分かりやすい形で企業さんに販売するそういったことをやっておりましてつい直近では米国で数億円規模の指導資金調達を完了して国内でも政府指導の補助金を今申請中加算からもありましたとおりつい先日東京オフィスを六本木に開設して取り組んでいるとエンジニアサイティストを始め徐々に10月始めた順次中チームチームとあるい年内には5人から12程度のチーム編成に生きればそういったふうに思っておりますそ���ですねこれが先ほど申し上げておりますでそうですねこれが先ほど申し上げた内容を少し細かくしたところなんですけれども研究開発としては例えば非英語圏の言語でも大規模言語ゲンゴモデルがしっかり使えるようにしたりとかそれこそ大規模言語モデルっていうのはリアルタイムな情報がすごい弱いわけですよね例えば東北大学から仙台駅に今行きたいとなったら大規模型言語モデルって基本的に今の時間を調べてそれに落ちた答えをしてくれるっていうのはなかなかないのでそういったところツールフォーマーといった論文がありますけどAPIコールを通じて解決することで大規模言語モデンリアル体制を持たせるであるそれ以外もマルチモダル能力でそういった研究開発をしておりますこういった研究開発した言葉フォーマンという名付けられて我々言葉フォーマーって呼んでいるんですけど弊社のシステム言葉フォーマーをユーザーの方々に分かりやすい形でパッケージング化してあげることによって例えばコールセンターであったりとかコンテンツ生成そういったものにして企業さんに販売していく今日のトークはお知らにしたいと思ってお弁者が最初に取り組んでいる教育分野のカスタマーさんと一緒にプロジェクトをやらせていただけるんですよね教育分野もちょっとここはアカデミックトークなので名前も行ってしまいますが皆さんなんか寸大に行かれた方っていらっしゃいますかあまりないのかななるほどあまりないのかな寸大っていう塾があるんですけどまあ弊社のかすん大様とプロジェクトを一緒にやっておりましてここではどういうプロジェクトをやっているかというと生徒さんが塾の中でお使いにある練習問題とかそういったプロジェクトをやっているんですよ須大様が今度いった課題さんが今どういった課題を抱えてらっしゃるかというとこういった練習問題を作る時に基本的に教員の方々が指導で試験を作るとその結果ものすごい労力が費やされているんですよ例えばクレイジな話なんですけど共通テストの1個作るのに何時間かけていますかっていう話を聞いた時に1つのテストに300時間かけているらしいんです300時間それ年1回やるわけじゃないですかから何回も何回も繰り返す弊社がやっているのは本当にすごいシンプルに教員の方々が使えるようなシステムでここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんですよここではイメリカを初めて訪れますよというコンテクストで問題を作ってくださいその結果出てくるものが例えばこういうパーフレット形式のビューク今は共通テストってすごい情報分析に寄せたような問題が出ていて英語でもないこういうパンフレットを呼び解いてみたいな問題に鍛えてくださいみたいな問題があるんですだからこういうパーフェットみたいなものを直接出力することによって先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこういったパンフレットを作ってその後はそれに即した問題を先生方に生成していただくわけです質問の正々に進むというふうに進むとこういった感じで4択の問題がパーブレットに属した形で成長的にはPGFであるパーブレットであったり最終的にはPDFであったり出力するPDFはただに問題のコンテクストをつないだらけのものなんですけどワードで何で出力するかというとやっぱりAIが出力したものなので先生方が気に入らないものがありますそういったものが例えばワードだと直接先生方が手を加えるだけですぐに生徒さんに配られてもらってもそういったことを教育ドメンではやっておりますもう一つ紹介したいのがもう一つ紹介したいのが交通分グJR東様と一緒にプロジェクトルトをやっておりましてそこでやっていることとしてはカスタマーサポートの自動化というくとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやっているじゃないと思う方もいらっしゃると思うんです確かにその通りですカスタマーの方々が本当に多様なお問い合わせをしてくる本当に多様なお問い合わせをしてきた結果ちょっとGPT4をいじっただけだと想定解決できないような問題が出てくれば例えばその例をあげると渋谷駅でお裁表を忘れてしまったんですけどどうすればいいですかそんなチャットGPTに聞いても分からないですね何をやる必要があるかというと例えば大規模型語言語モイルが裏でAPIを呼んで例えばSQLのような報道を書いて例えばJR東の中にあるインターナルなデータベースにお問い合わせをして忘れ物状況を取得してそれを踏まえて返答を送らないといけないそういったことがないんですよもっとクレイジーになれると例えば何でしょうね渋谷駅から新宿研究に行きたいんだけどできるだけもうちょっと疲れてるだけもうちょっと疲れてるからあまり飛んでいない路線を選んでくださいみたいなことが気になる方もいるんですよそしたら何をする必要があるかもめちゃくちゃくちゃ難しいですよめちゃくちゃ難しいとでもなんかありがたいこととしてはJR東大久間って今各駅各列車にセンサーがついてて混雑状況が分かるんですよ結構我々頭がおかしいのでクレジなことを考えるわけですよもしテンサー情報に大規模型ボケグモデルが直接アクセスできてその混雑情報を取ってこれたらそういった座っていける路線は何ですかみたいに質問にも答えられますそういったことをここではやっていますすごい何だろう簡単に見えて難しいアプリケーションなんでこれはめちゃくちゃエクサイティングですもう一転エクサイティングな点を上げるとするとやっぱりJRヒャスタマーのカスタマンセンターって皆さんちょっとお使いならないかもしれないんですけど結構その高齢の方々とかって電話を通じてアクセンターに電話をかけていらっしゃったりするんですかねその数で言うと1日大体数万件年間でいうとそれこそ数百万件数千万件ってなんていません弊社が開発した人がご視野児,"[16.23697257041931, 15.700171947479248, 15.733088254928589, 15.471559524536133, 15.98519778251648]"
-kotoba-tech/kotoba-whisper-v1.0,15,,,,cuda:0,long_interview_1.mp3,True,256,15.736223077774047,0.23519827876867205,NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心にちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジスという企業を作るに至ったかなっていうのをお話しさせていただければと思いますよろしくお願いいたしますそもそも誰やっていう話だと思うんですけど小島紀樹と申しますよろしくお願いいたします小島大学と申します私、コーネル大学を卒業しまして本当ディフェンスをやったのは2、3週間前なんですけれどももともともとはコーネル大学ってニューヨーク州の土田舎の伊阪という街にあるっていうイメージがある方も多いと思うんですけどもコーネル大学って2つはイサカにあるんですけどもう一つはニューヨーク市にあるインソ川の上に浮いているルーズベルト島っていうすごい細長い島があるんですけどそこでPHEをやっておりました私は小島っていう名前なんですけども本当にしょうもないネタを言うと小島の上でPHUが振り方そういう四面間となっております私はPHの専門部屋としてはマルチモダリティーと呼ばれる自然言語のシステムにどうやったら言語以外の情報を例えば画像であったりとか音声といったものを理解できるようにさせるそういったことであったりとかインターナクティブラーニングと呼ばれる最近RLHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういった検訓の方ではハギングフェイスでちょっといろいろとプロジェクトでお世話になったりもしましたそうですね学部から実はアメリカに行っていてミシガン州にあるミシガン大学アナーバーコっていうところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンガッチさせていただきます今日はよろしくお願いしますはい、青木純吾といいます。トヨタ工業大学鹿児島という日本、名前から分かるとおりですね、日本のトヨタが昔出資をして今独立な組織なんですがそちらの方でリサーチアシストプロフェッサーという職を持ちだから小島と共に言葉テクロジに取り組んでいるという状況です私も本当にPHDも出来立て小屋というか最近取りまして先月8月に無事シアトルですねアトルにあるワシントン大学でコンピューサインスの博士課程を卒業しました研究分野としては最初の方は機械本屋だとかマシンチャンスレーションとかあとは効率化とか言語制制制のイバリエーションとかそういうことをやっておりましたちょっと遡残るとですね実は私も暇と見た形で高校卒業後は大学はアメリカの家康大学という統計会当時は統計にいたんですが統計学部を卒業しましてその後その後ELELで働きながらワシンコ大学に進学したという経歴ですね最近イエル大学も知名度がってきてちょっとよく分からない教授がいろんな番組でお話をしているという名前は誓いさせていただきますけどもまあなんか知名度ががってきてうれしいんですがここはイエドにタックスでオフソードとかケンブリッシュの生まれてこれわざとなんかやりたりしてるんですよねわざと古く見せるようなアメリカって新しい国なんでそういう感じてるというでも非常にきれいな感じがありますこれがTTIC東京都宮大学シパワークの中でこれもまた古いものとまた電波等下なんかでそれを改造して大学になったとしばらく日本にも非常につながりがあって古井先生というスピーチの対応ですねついさっきになくなっちゃったんですが彼が昔ここでプレゼントをやっていたということで本当に日本のゆかりがあってなおかつ私が実は今パカルティーで唯一日本人なのでちょっと責任感を持ちながらやってるという感じですねこれがそこになりでほとなりここにいるんだというとまさに宇坂口さんとの佐賀井先生ですねすいませんつながりが本当にこういったありがたい機会をいただいていて私は本当に2021年のちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に佐川口さんがAI2にいらしてそこでインターのメンターを一緒にやろうということでインターのメンターを最初3か月とやりつつでも本当に楽しくていろいろパーテイムで練習しているうちにもう1年ぐらいもうちょっと長い日々で一緒に研究をさせていただいて本当に楽しい日々でオフスがあって私のアドバイザーノアスミスなんですけどノアスミスが出てノアスミスが出て写真を撮って掘り出してきました本当に懐かしくて本当に昼ご飯を食べては雑談してですね昼ご飯を食べてるうちに論文がそれなりにかけてくるみたいなことをやっていて大体雑談の中ににいろいろあったんですけど最後の方が結構皆さんご存じですか?白い虚党の話をよくしてましてこれいろんなバージョンがあるんですけどこれあのカラスアトシャキっていう俳優がやっていたバージョンが2人ともすぐお気に入りで広役とのバージョンどこが一番いいかというのを話し合っていて坂口さん的には後半のやっぱり財前教授になった後に亡前教授になった後に財前教授なんですけどなくなってこうちょっとネタバレになっちゃったなそのあたりはダメだと税務にこそ面白いことをおっしゃってさすが坂口さんの見るところは素晴らしいなということで涙では泣かすだけじゃやっぱダメなんだなっていうことを感じましたねこれがいって撮って撮った写真でそららどこかにいらっしゃると思うんですがそんな感じですごいいところでしたね会社としましては藤間と創業しまして今は日本とアメリカの二極対戦みたいなクロスボーダーという形でやっていて私自身T-PICプロジションもありますしあとはシアトルに今シャトルに本社はあるんですがそれでもうすでに東京の国民にオフィスを構えまして日本の死者みたいな形で今やろうという形で進めているということで言葉と出申しする会社ですね基本的に下げ年語今話題の大規模型言語モデルですねLLの特に非英語圏語系のベース言語モデルの開発とか場によってはマルチモータルとかそういったことをもんど挑戦的にやっていきたいなともちろん同時にやはビジネスですのでアプリケーションの提供も行うことでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっているやっぱ初期市場としては今は日本を考えてまして、やはり私たちは高校まで日本にいましたし、日本でたくさんいろんな方にも世話になりまし��し、何かしらやはり日本の中でインモを作っていきたいなということで、今日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになります一部目はまさに私はもう5年間PHDがありましてこの5年間って恐らくNLPの歴史の中でも一番激動の5年間だったと思いますので運良くいいのか分悪いのか分からないですがそのタイミングでPHDを終わった私から見た今思うとこうだったよねみたいな話をちょっと過去の話をちょっと第1部では第2部からはですねもっと直近な話で大金モデルの時代の到来ということで私たちがどういうことを考えていたのかということを話したいと思いますそれあとはやはり前を行きたいということで未来について話していきたいと思いますはいということでということで適広のPHD5年間ということでこれはもう本当にもう本当にもうはいということでこれはもう本当にもう私のPHLをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で最初だけポジズニムな話でいこうと思います一番最初にKHDDが始まる前にイエル大学にやっていたのは構造解析とかいわゆるシンタックスとかパーショングとかそういうことをやってその後ですねワシントン大学に移動してずっと英語ばっかりこの構造解析とかずっと英語なので英語ばっかり言うよくないので私自身多言語を私た言語をやりたいなということで多言語を解説に伝うことをやってきたそのうちに他言語をやっているうちに他言語というか機械本やんでしょうということでマシントランスレーションを毎回ありがしその後にどんどんマシントラスレーションの一般のことをやりじめてちょっとこれ見づらいんですがモデルの高速化とか効率化とかそういったことにやっていったり大一部現をモデルに取り組むということで無理やりまとなればだんだんオーディエンスが最終と比べると大きくなっていたなということでこれはちょっと自分が一つ成長できたポイントとして少しきれいに見えるかなと思いまして最後に一つだけポジティブなことを言っておくと環境のやはりいろんなものを変えていった時にですね環境の変化が本当に大きかったなと思っていて皆さんもし機会があればぜひどんどん環境の変化を求めていったらいろんな経験ができると思っていて一番最新学院院院学にいましてワシントン大学にいながらちょっと引き詰まったのでメタでインターでインターンしたりそういったことをやっているうちにあとは最後は最後のサラドイツーでインターチャンをしたりマイクロソフトに行ったりして環境の変化に応じていろいろプロジェクトとかも楽しくできた方だと思うのでぜひいろんな日本いいところですし仙台は本当に素晴らしいところですけどもいろんな物理的にも環境を変えるのもいいことなのかなとまあじゃあせっかくせっかくまずは過去の話ということで一体一体私がPHリ始めた頃何が起こったかというとこれですねディープコンテクショナイントということでその前まではワーデンベリングというかも多分多分今の人知らないのかなみんな授業でやってますね教科書かしみたいな感じに単語をですねいろいろいろフラッシュファイアとかいろりやるときにベクトル化したいみたいなこういうことを今から言えばものすごい浅いニューラルネットワークみたいので周りの単語を予測することでベキトル化るよねみたいなそういったそういった言語学とかディスティブーション・マンティクスとか言ったりしますけどもそういったディスティスティブーションのスマンティングスクスクトがそういったりとかそういったディスティブーションオスなんですそうですねそういったと言ったりしますけどもそういった自然なことをやっていたというのがこれでぐちゃぐちゃぐちゃこういうことをみんな頑張ってたんですよねこれ最初ミコロフの2001年もっと前から多分あるんですがあと黒をウエクトルとかいろびやっていてこういうことやっていたんですが大体私がPシリア始めた頃ですねこれまさに実はワシント大学で私がちょうど入る直前に起こったことなんですがワシントン大���はまさにAI2でエルモンというのが出てくるこれこそ今もうあんまり知られてないのかもしれないですがエルモの研究というのがあってそれはですね要は今まで浅いに色な手に行っていたけどもっと深くして何日モデルにしていろやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりコーブの効果を使っていてそういうことがあったということがエレモだったりコーブでちょっとこれに似たようなアイデアがあってそういった時代に私はPGで始めたということでここで終わりだと思ったんですね私は実はもう完全にこれ以上これ以上間違うことはないんですが完全に間違っていると思うちょうどこのセバッシャン・ルー�のMVS-REといってどんどんビジョンみたいになってきたよねと結局当時ビジョンでよくやられていたのはイメージネットで大量に画像のクラジケーションとかを学習させててそのベクトルを使って他のタスクトスクとかを得たっていたんですがまさに同じことが同じことが起きていてまさに同じことが他のカスクタイトラッシングとかクエッションアンセリングとかマシントラーションとかをやらせるみたいなイメージネードみたいになったよねっていうことを言っていたということでこれがああよかったねと自然言語シェルもようやくビジョンに落ち着きましたと言ってたところこれは始まりでしたらなかったんですがちょっとその時私が私が言って何をやっていたのかというのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていてLも出てきた時にラングチモデルを基本的に英語でやってきたんですがマルチリンガルにやらないといけないよねっていうことを考えていてじゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングジコーラブラッシャンとかヒーブルとかヘブルとかどれぐらいバイリンガルでラグチモデルをトレーニングしてそれをそのベクトルを使うってことをやることをやることでそうすることでモノリンガルの時にバイリンガルにした方が圧倒的にスコアが上がるようねみたいなことをこの時考えてやっていましたこれがラクルの2018とかじゃあ2019か18かその辺の研究でした結局でもこの研究でした結局でもこの研究ってあんまり意味なかったですなぜかっていうと今反省すると結局さっきバイリンガルのグラフ見せましたけどちょっと科学的な指標にこだわってたんですよねじゃあバイリンガルで今だったら例えば英語があってそれに全部ごちゃまずしたいろんな言語を加えて言語モデル作ろうみたいな発想になるんですが当時はやっぱりちゃんと比べなきゃいけないでしょより多言語に大規模に拡張してしまって例えば日本語だけのモデロ日本語定語のモデル使っても助かる人って使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね今思えばもっと使いやすいものだったらというふうに思いましたし当時トランスフォーマってまだそこまで使われていなかったのでASDMとかを使ってやっていましたということで結局時代が読めなかったら負けましたということですねその負けた相手なんですがXLMのフェイスブックからFBスブックスタッチから出たらXMというのがあってこの人も本当に論文のよく分かんないしよく分かんないですけど実際に使えるものを作ってたんですね彼はそれをダウンロードしてサイベーションももちろんですしそれ以上にかく伝えのものを作った本当に素晴らしいなと思った次第ですコンピューターサインスのP資料をやるということで自分は科学者になるなと意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしてるということであと最後にタスクの選定をちょっと間違っていまして私たちはNARとかエネシャンティングルングがやらっていたんですねこれも結局まあいいんですけど当時ものすごい流行っていったのはクエスチアンスルで結局QAで結局QAの人たちはこういう本物読んでくれなかったんですよねその割にこういう論文を読んでくれてなので結局使われなくなってしまってその割にこ��いうロボンを読んでくれてなので結局使われなくなってしまって何か使う数は正義というかそういうことで結局インパクトを残せなかったなというのを今反省していますバーチャルのバートの時代に来たということでさすがにバートは皆さん知ってると思うんですが当初これ出た時はですねバートはただエルムを大きくしただけだよねというふうに思っていましたしこれ私のアドバイザーのアスミスとあともう一人ループゼルークゼロモイアンという人がいます。同じワシンケンターナイルの恐竜ですが今フェイスブックのディレクターとかNRPもリサーチャーしている人で彼はエレモの作者でもあり最近だとにかく大規模ーブ言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言ってたかというと単純なエルモのエクセンションなんかに大してベスペーパーも上げる必要ないしあんま興味見えようみたいなことをまあでも実際にこれったらベストペースタイプローパーを取った前なんですが実際撮りましたよねいかにこうくろうとか間違えたかとあとルークはちょっと面白くてちょっと見方が違ってですね彼はエルゴンの作者ですから素晴らしいと言ったけども自分の頑張ったエルボが1年が続くと思ってたのに結局1年続かなかったよねちょっと悲しいねみたいなループはしていてちょっと違う見方をしてるのかなというふうに思って面白かったんですがそのループもですね実はGPT2がちょうど出てきた時にこれタンダルタンデル何やってんだろうなんでこんなに騒いでるんだみたいなことを言っていたのでやはり専門家の意見は難しいですね当てにならないと僕らになるということですねバートの被害になって当初はエレモンが大きくなったものだと思って行ったんですがもちろん違ったとNLPの世界を完全に変えてしまったというものなんですがもう一つちょっと面白かったなおまけの話として当時ハギンフェイストランスフォーマーズのライバリーのきっかけにブンのきっかけになったんですよねこれ昔ハイトウィン・フェイン・フェイン・フェス自体はキットボットとかの会社でもともとあったんですが彼らがバードはGoogleから出たので検査ブロードで吹かれてるそれ研究者みんな検査ブロード使いたくないんでパイトウトウ�を使いた時に彼らがそのパイトウォーチに書き起こしたコンバートしたものを出したそれがパイドチパートでありそしてそれが結局カニンペインペーストランスフォーマンスにつながっていったということでこういうの商業向上というか社会の流れていは分からない思わないことでこう思う表記していくんだなというところですねその時私は何をやっていかかというと当時にマシントランスレーションやりたいということでマシントランスレーションのスピードアップとかですねこの2個目の論文はですね1個目のログのマークでいろいろスピードアップでこうなんか平列化とか一生懸命やってたんですね結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話もやってなんかちょっと怒られたようにしたんですがでも結局これが本当のある意味真実なのかなと思ってちょっと自己自己意味が実なのかなと思って自己議が出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT3の時代が来てフィーショットきて、だんだんこの時からだんだんクラスピケーションにリーナーがなくなってきていて、だんだんみんなジェネレーションをしよう、ジョンにしようっていう方向に来たというのが当時の中で、もちろん存じのものフィショットラーニングのでもあとグループとかオープンソースの方でも大学とか組織をまたいだプロジェクトが出てきたっていうのがこのキーピーピッジスティスティング時代ですがこの時の研究はバイディメンシャービーダーバーボードといって今までのビーガーボードというのはジネレーションのな形でそういうのをやったということであとはやはりジェネレーションにとってイバリエーションが大切だということでイメージ・キャグシュニングのイバリエーションとかも佐賀井先生と一緒にやっていたという感じのことをしていましたこれち���っと予言なんですがこういう佐賀吉さんのご提案で漫画を描いてみようということで漫画を描いてこの論文のPRをツイッターでしていたというこういういろんな楽しいことを本当に楽しくやってたということですはいでついにお待ちかねチャックGPTGPTGPT4の時代が来たということはまさにこれはまさにこれは社会実装の時代に来てしまったらともちろん研究も多数なんだけどもとにかく使ってどこが問題なのかということを洗い出していかないとなかなかベンチマークとかで現れないものかなということを感じていてそういった経営で企業して小島ともにやっていこうというふうに思い出たったと特に英語にNLPの業界は編集してますよねこれが大体インターネットユーザーの数で25%ぐらいインターネットユーザーは英語をしているんですが残念ながらやほとんどが英語でしか実験をしてなかったり英語についての論文だったりするということでこれはまず一気英語編の基盤モデルをどんどん作っていかなきゃないよねというふうに思っております結局自然言語�っていうのは何だったのかを振り返ってみると結局全てはスケールだったとこれはもう否定がしようがないなということでいろいろ私自身もいろいろ作りたくて頑張ってたんですが結局大きさで解決されてしまったことも多くてそこはもう認めたらおけないかなということで間違っていたと私自身は間違っていてそうですねどういうことですあともう一つ面白いと思ったのはやはり科学的なプロセスが違ス化ができるって書いたなということを例えばトランスフォーマーが2017年出てきた時に私はそのトランスフォーマーがこんなに広がると思わなかったっていうのも仕方ないから論文いくら読んでもよく分かんないですなんかそのアテンションのディペンネージがうんだなみたいなそこって多分こって多分コンスフォンの本質っていうのは今思えば当時のですねそうですねGPUとかTPUとかそういったそのパラレルの計算の訓練がしやすかったですねですねLSTMとかだとどうしても巨大化してしまうとどんどん時間がかってしまうけどトランスコマンをパラレルにできるからハードウェアとすごい相性が良いようにハードウェアを決定論みたいな形でハードルアによってトランスコムのすごさが余計リーズされていって似渡る方々と言われるんですがそういった経緯があるのかなということがあってだから分からわからなかったのも仕方ないのかなと思ったりもします他の例で言うと例えばアダムでうまくいかなかったらやめるということなので結局そこも庭とりと卵であっていろいろ予測するのは難しいよというふうに今思っていますちょっとこの非科学的な支配する世界ということなんですがでもよく考えてみるこれもそうなんですよねやっぱりコンピューターサイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよあの大学地にケミスティックスとか言わなくていい同じようにオープンって言りオープンじゃないかな実際クローズだということでそういうことだとアメリカのチェーンでセイクウェイっていうのがあるんですけどセーフェインは全然安全にないですよね大体危ないところにあるのでだから結局そういうもんなんだなということで言ではできないです専門家の知見というのは結構トランスフォーマーのポテンシャルを私は当時期づかなかったしあとチャットボットっていうのも意外でしたねやっぱりチャットって人間とチャットをめんどくさいねなんで機会としないかっていうのが当時の考えだったんですけど結局チャットボットでこんなに有名になったんだっていうのが本当に衝撃でしたしいかに私自身が人間を理解できてないかということですねということで何も分かってないまあでもとにかく過去の話をしてきましたが前に進んでいきたいというふうに思っております5年間を簡単にまとめると適度に環境を変えるのはプラスでしたしでも専門家ですらは見らないわからないのであんまり専門家の言うこととかあんまり専門家が言うこととか気にしないでくださいということですね最近なんか自分がいい人も論文言語悪い理由がするねまあねあともしたちはですねアイフェンじゃないかなバートとかってアイデオ自体は本当に基本的にエルムを大きくしていろいろ他のアイデアはあったんですけど結局そのマスクラングチモデルとか同じようなアイディアがあってアイディアだけじゃなくてエクセキューションの重要なのかなっていうことを思っていてでもこれって結局研究だけじゃなくて企業とかも見えると思うんですが例えば企業においても開かないのおいても必ずも早いもの勝ちじゃないのかなエルモンとかLモンとかあんなに早い段階で実はもっと先にも言って前にもあったんですがLモンとかエクセールドクとかありましたけど局パートナ全部持っていったりGPT3とかGP5が全部持ってったりですね結局早めの街の世界というよりもそういった不思議な神のみず知りみたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばグルーブルとかフェスブクって最初の検索エンジンでもないしフェスブックも最初のソーシャルメディアが何でもないわけでだからそういった不思議な力があるなというふうにも思いました最後に科学的指標というのも大切なんですがそれだけにこだわらずにやはりコンピュータサインティストはサインティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中に出していきましょうということを思っていますということでこれからは未来の話をしてきたいと思います大規模大規模ルの時代が来たと皆さん大規模現行形モデルどう思います?すごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくる時は基本的にチャットボットボットみたいなものを作ってみたいなものを自然言語だけじゃなくてソフトラインジネリングの世界でも自然言語も入力をすればHTMやCSSのコードを吐き出してソフトエンジネインリングをサポートしてくれるそれだけじゃなく文章の執筆要約構成メールの返信本当に反応的なものに使えるというのは間違いないなと思うんです大規模ゲイントモデルってそもそも何だったかっていうと皆さんご存知の通りものすごいシンプルに学習されたAIなわけですよね文章があってその文章の次の単語を予測すると例えば学習データの中に第一代大統領はジョージ・ワシントンなのでワシントンドンという言葉を予測するとなんでこんなシンプルなものが役に立つのかすごい不思議ですよく言われることなんですけど結局はスケーリング速度になるわけですですよく言われることなんですよく言われることなんですけど結度を学習する時って大きくわけで3つの要素がある学習するAIモデルの大きさそれに食べさせるデータの量この学習を行うコンピューターの資源と呼ばれますけどこの3つだものね何が申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習中で増やしていったけどか突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが反応的な性能を持ち始めるものだから今はみんな注目しているわけですこれを本当にこの傾向すごいスケーニング速を分かりやすく示したグラフがこうなんですけどこのグラフっていうのはX軸がまだモデルが学習された年ですよY軸がログスケールで学習に使われた計算資源の量スーパーコンピューターの資源の量なんですけれども見ていただくとおりその傾向というのはログリニアなのがコンピューターの性能自体というのは皆さんご存じのムーアの法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えていると要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですこれが反応せず何が関係あるかすごいスケッチなグラフで申し上げないんですけどもこれちょっと賛否両論あるグラフなのでちょっと反対意見がある人は後で個人的に来てるすごい傾向はうまく捉えていると思っていてこのグラフで何を表しているかというと8つタスクがあるんですけど例えば算数力みたいに大規模言語モデルが5たす6は11そういった算数の問題を答えられますタスクであったり多言語力英語でQAができるモデルがペルシャ語になった時に同じようなことができますか読解力っ��いうのはこういったタスクを見ていく時にここも同じなんですよY軸は使われたスーパーコンピューターの実装するX軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしてきた時に突如変異的に大企業保険のモデルがタスクの能力を得るポイントがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて突如変異点が来るとこれが反応性なんです結局計算資源を増やしていった時に突如変動力を持つそういったものが大規模デルモデルの反応性なんじゃないかなっていうのは私なりの捉え方ですここからはちょっと自分たちで大金5年モテルを学ぶっていう話をしたいんですが2019年から2022年何が起こっていたかというと一言で申し上げますと各国で大規模言語モデルの開発競争が起きていたアメリカですアメリカではマイクロソフト社インターインターインターインタストリーを中心に大規模なモデルの開発競争が大きぼみることが大きぼなスーパーコンピューターをオープンアン社に提供して当時GPT3英語メインの大規模型型モデルドを学習していた全く似たようなことが中国でも起こっていて中国では政府が所有しているスーパーコンピューターを用いて政府機関がGPT3を超えるようなスケールです世界で最大規模のパラメターの数の大規模型予見のモデルを中国語で学習しているこの動きってアメリカと中国だけじゃなくてヨーロッパでも大きいヨーロッパではフランス政府が所有するジョン・ゼープルト呼ばれるスーパーコンピューターがあるんですけどそれをハギングフェースと呼ばれるば皆さん個人のハギングフェイス社による貸し出すことによってハギングフェース者が多国籍用の大規模型モードルを学習していたこの多国寄り王って面白くて実はドイツが含まれていないのはフラスドイツの緊張感が現れそれ以上に重要な小話があって実はこのフランス政府がスーパーコンピューターをハギングフェスに貸し出す時にハギングフェスって当然グラントプロポーザルみたいなものを書いたんですよねこれこれこれこういう理由でオタクのセルファークターを使いたアゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーがフランスを食い尽くそうとしているのだから我々は独自でモデルを開発する必要があるみたいなことを言っていたんです日本を見てきた時に今でこそ本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな予定あったんですけど当時日本国内でハギングフェイスみたいな人はやらないんです最初に割れてくる疑問としてなぜ日本国内でできないのかできないのかまずそこをしっかりしたい大規模言語言語モデル学習で何が一番重要かというとやっぱりそれはスーパーコンピューターのリソースなんですが日本ってスーパーコンピューターがないかというと全然そんなことはないわけです一番分かりやすいところだと皆さんも研究で使われているかもしれませんABCIと呼ばれるGPUベースのスーパーコンピューターがあるとABCIS素晴らしいスーパーコピューターなんですけどね実は日本最大級のスーパーコンピューターってABCIじゃないんです不学って呼ばれるスーパーコンピューターで皆さん年齢的にちょうどベストヒットかなと思うんですけど以前民主党政権がありましてそこでレイホンさんという政治家がいらっしゃったりレイホさんが仕分け会議ということをやっていた時に1位じゃダメなんですか2位じゃダメなんですかっていったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を超っていたんですけど今はレアホンさんおっしゃる通りに2位になってしまっていますそういうスーパーコンピューター何が重要かというとこの富学っていうのは本当に化け物みたいな性能を持っていてギングフェッシャーがブルームと呼ばばれる大器オンゲングモデルを学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし前近を使えた場合は考えても10倍速いんです10倍速いっていうことは同じ計算をやった時に不学だと10倍早く計算が終わるでも深くって何がグレージーかっていうとCPUベースのスーパーポンピューターなんですよ一切GPU���搭載してないと皆さんCPUで大規模言語モデル学習したことあります大規模ゲームモデルじゃなくてもんですけどディープラウンドでCPUでやらないんです基本的にはGPUもし台所はTPUUAIに特化したハードウェアだったA100っていうのがデータセンターで最先端のGPUでもその一つ前は1本目まして前はA100というGPが最先頭に搭載されてるCPUって藤津A-6-4FXって言うんですけどAIの演算性能に限っていえば富岳のCPUって50倍遅いんですよ皆さん15万個のCPU使ったことありますか?多分ないと思うんですここで何が言いたいかというとぶっちゃけGPUがCPUが50個使って平列計算したら同じぐらいスピードが出るのねっていうのはまあちょっとクレージな間で佐賀な間にすごいご迷惑ってそういうことを当時考えていてそれをやるためのした分散併列学習というものになります今でその分散並列学学習ってすごいろいろオープンソースのパッケージが出てきて皆さんご存じかもしれないところで言うと例えばマイクソフト社のディークスピードであったりヘルビディア社のメガトロンLMっていうパッケージがあってこういったパッケージってデータパイルモデルパレールって呼ばれる分散変異例学種をサポートしてくんですけどCPUで動かったんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVではマイクロソフトに書いていただいた分散平列学習のパッケージをCPU向けに移植してちゃんと平列でCPUが計算できるかなということを試したいんです初期実験としては非常にCPUが計算できるかなということを試したいんですけど初期実験としては非常にいい結果が出てここなんですけどCPUの数を増やしていった時にシステム全体としての計算性度がどれぐらい上がるかなっていうのを見てこれログリニアなんですけどログリニアなんですけど特にCPUを先行わたりまで増やした段階ではその計算速度が1個だった時期と比べて1000倍近くなっていくとこれまで小典数学学習がすごいうまくいっているなっていう感触だったんですけれどもこれはあくまで初期の実験で当然うまくいかないこともあって一つはCPを大量に使うことでどういう問題があるかということなんですけどCPU例えば2個使っているだけだとCPU例えば2個使っているだけだとCPを1個同士がコミュニケーションすればいいだけなのでそれは問題ないとただCPを1000個とか1万個とか増やしていった時にやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分かる通りシステム全体としてその計算性能が上がるっていう時が若干落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションポストが上げられるようにしない人ってないよねそういったことも一つ課題化しているそれ以外にもすごい面白い発見もあってハードウェアって基本的に理論値と実測値というのは理論的にはこれだけ推量が出ますよ実測指っていうのは実際に使ってみたらこれだけしかスピードが出ませんでしたよ例えばトランスフォーマンの学習とかやる時にGPUの実測値って理論値の大体40%から50%ぐらい最近だと60%ぐらい出てるのかそのくらい出るかっていうとNVディアのソフティアのエンジニアの方々がものすごい波長い並々しい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションのこの特別なコードを使うことによって早くしましょうみたいなすごいなんかハンドウェビーなハードコアのソリューションがソフトチョイスタックマクウダレアの中にいっぱいあるんですよだからGPUは実測しているンジの幅がそんなに不実のCPUってそもそもそんなにAI学習を想定したものではなくてむしろシミュレーションとかそっちの方で使われていたのでそういった測定やストックが弱くて大規模な学習ができないのでこちらの日系新聞さんでカバーしていただいてそれこそ7社合同部屋せていただいているということなんですけれどもGPT浮学というプロジェクトが今格化いたしまして主要な期間でいうとそれこそ東北大工さん佐賀口先生のここで言うと栗田さんと佐々木職さんって言わせていただいていますけどそういった方々が中心になって協力して��ただいているとそれ以外にも東高台さんであったりとか理見サイバーエジェント名古屋大学富士通弊社言葉テキノロジーズが連携していけるようにそういったプロジェクトが本格化しましたこのGPT風学というプロジェクトは大きく分けて2つのチームがあって1つ目のチームはシステムチームと呼ばれるチームですこちらは区学場のインフラを整えているそこでAIの学習が効率的に行えるようにしようと思う具体的にどういったことを解決しようとしているかというと先ほどのスライドがあったとおりコミュニケーションコストの問題が解決しようであったりだったりだとか理論と実測値が小さくなるようにしようそういったことをやっていますNPチームの方には東北大学の方々が主導していただいてこちらでは日本データの準備であったりとかトークナイザーの開発そういったことをやりたいと思いますこちらのプロジェクトはまだ動いているので今後もどんどんニュースが出てくるかと思いますが皆さん温かく見守っていただければと思います栗田さんと久保育先生にはすごい思い出ますが一緒に頑張っていければということですそうですねここまでが富岳のお話し深くっていうのはすごいやっぱり面白いプロジェクトで今後今後今一番速いスーパーコンピューラだろう間違いなくAI性能に限っていえば富岳よりもっと速いスーパーコンピューターっていうのは1、2年で出てくると思うんですよ不学で何で恋愛学習をやる意味があるかっていうともっと速いスペースペーターが出てきた時に空学で学んだ知見を直接生かせるようにそういった書き橋に役割ですこれはすごいサイエンスとしてはエキサイティーになっている私と火災が考えていたのは大規模言語モデルっていうのはただすごい社会に使えるレベルになっているのでこれを実装しないとやっぱもったいないし実装してみたいな社会そういったことで言葉テクノロジーという企業を立ち上げましてちょっと思考実験をまずしてみたいので大規模言語モデル素素晴らしいすごいいろいろ使えることに果たして日本のビジネスに使えますかと弊社は言葉テクノロジーズというのは日本のビジネスと相手にいろいろとオペレーションをさせていただいている会社などこの時点ですでに日本国内の340社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったり旅行会社さんに大規模現行ゲームを持てるお宅どうお使い習い習えますかそういったことを聞いた時にこうく旅行計画を作ってそれをパンフレットでまとめるっていう業務よく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやる時に例えばGPP法を考えてみましょうプロプトかけますよこういったプロップをかけて渋谷駅から出発して火災の地元である奈良公園で日帰りで観光する計画を作ってパンプレットにしてくださいそこでは交通手段を含めてください東大寺も観光できるようにしてグルメ回りをしたいのでグルメマインまできるようにしていますじゃあGPT4は実際出てきたアウトペットなんですけど一番上を見るとすごい東京からなら伝統と自然の一日旅行くめちゃくちゃキャッチになったりとかこれだけ見ると日本のビジネスでもGPT4使えるじゃんと思う方も多いと思うんですけどその下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ伸ばしていっているとちょっとページ3スケジュールのとんでもないこと言うわけですよ朝7時渋谷市を近江大阪の新幹線に乗る渋谷駅に新幹線なんて撮ってないんですよこれはちょっとよろしくな。もっと面白いことが起こっていて11時半、長い人と並べ行く突っかせているかもです。まあグルメ回りしたいけどジョークとしては面白いですよジョークとしては一級でこんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事がなくなっちゃいます何が言いたいかというと大規模型言語ゲンガモデルってGPVP4に代表されるようにめちゃくちゃ反応的だと反応的なんですけども日本語の閉じたドメインのようなところでデプロイしてしまうとまだまだ業��に差し支えられる欠点があるそれ以外にもそもそもこれをやった理由っていうのは旅行会社さんがパンプレットを作るためですよパーフレットを作るためなんですけども現状の大規模言語モデルでテキストを入力すると出力されるのって基本的にはテキストかテキストに毛が生えたものぐらいしか出力できないと結局パワープレットが必要な旅行会社さんの視点に立ってみたらこの生のペキストをマークダーを取ってきてそのパンフレットにもう1回リストラクシャーする作務が必要ですこういった現状の大規模言語言語モデルの欠陥を研究開発することによってどんどん直して直していく直して大規模言語モデルをアプリケーションとして分かりやすい形で企業さんに販売するそういったことをやっておりましてつい直近では米国で数億円規模の指導資金調達を完了して国内でも政府指導の補助金を今申請中加算からもありましたとおりつい先日東京オフィスを六本木に開設して取り組んでいるとエンジニアサイティストを始め徐々に10月始めた順次中チームチームとあるい年内には5人から12程度のチーム編成に生きればそういったふうに思っておりますそうですねこれが先ほど申し上げておりますでそうですねこれが先ほど申し上げた内容を少し細かくしたところなんですけれども研究開発としては例えば非英語圏の言語でも大規模言語ゲンゴモデルがしっかり使えるようにしたりとかそれこそ大規模言語モデルっていうのはリアルタイムな情報がすごい弱いわけですよね例えば東北大学から仙台駅に今行きたいとなったら大規模型言語モデルって基本的に今の時間を調べてそれに落ちた答えをしてくれるっていうのはなかなかないのでそういったところツールフォーマーといった論文がありますけどAPIコールを通じて解決することで大規模言語モデンリアル体制を持たせるであるそれ以外もマルチモダル能力でそういった研究開発をしておりますこういった研究開発した言葉フォーマンという名付けられて我々言葉フォーマーって呼んでいるんですけど弊社のシステム言葉フォーマーをユーザーの方々に分かりやすい形でパッケージング化してあげることによって例えばコールセンターであったりとかコンテンツ生成そういったものにして企業さんに販売していく今日のトークはお知らにしたいと思ってお弁者が最初に取り組んでいる教育分野のカスタマーさんと一緒にプロジェクトをやらせていただけるんですよね教育分野もちょっとここはアカデミックトークなので名前も行ってしまいますが皆さんなんか寸大に行かれた方っていらっしゃいますかあまりないのかななるほどあまりないのかな寸大っていう塾があるんですけどまあ弊社のかすん大様とプロジェクトを一緒にやっておりましてここではどういうプロジェクトをやっているかというと生徒さんが塾の中でお使いにある練習問題とかそういったプロジェクトをやっているんですよ須大様が今度いった課題さんが今どういった課題を抱えてらっしゃるかというとこういった練習問題を作る時に基本的に教員の方々が指導で試験を作るとその結果ものすごい労力が費やされているんですよ例えばクレイジな話なんですけど共通テストの1個作るのに何時間かけていますかっていう話を聞いた時に1つのテストに300時間かけているらしいんです300時間それ年1回やるわけじゃないですかから何回も何回も繰り返す弊社がやっているのは本当にすごいシンプルに教員の方々が使えるようなシステムでここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんですよここではイメリカを初めて訪れますよというコンテクストで問題を作ってくださいその結果出てくるものが例えばこういうパーフレット形式のビューク今は共通テストってすごい情報分析に寄せたような問題が出ていて英語でもないこういうパンフレットを呼び解いてみたいな問題に鍛えてくださいみたいな問題があるんですだからこういうパーフェットみたいなものを直接出力することによって先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこういったパンフレットを作ってその後はそれに即した問題を先生���に生成していただくわけです質問の正々に進むというふうに進むとこういった感じで4択の問題がパーブレットに属した形で成長的にはPGFであるパーブレットであったり最終的にはPDFであったり出力するPDFはただに問題のコンテクストをつないだらけのものなんですけどワードで何で出力するかというとやっぱりAIが出力したものなので先生方が気に入らないものがありますそういったものが例えばワードだと直接先生方が手を加えるだけですぐに生徒さんに配られてもらってもそういったことを教育ドメンではやっておりますもう一つ紹介したいのがもう一つ紹介したいのが交通分グJR東様と一緒にプロジェクトルトをやっておりましてそこでやっていることとしてはカスタマーサポートの自動化というくとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやっているじゃないと思う方もいらっしゃると思うんです確かにその通りですカスタマーの方々が本当に多様なお問い合わせをしてくる本当に多様なお問い合わせをしてきた結果ちょっとGPT4をいじっただけだと想定解決できないような問題が出てくれば例えばその例をあげると渋谷駅でお裁表を忘れてしまったんですけどどうすればいいですかそんなチャットGPTに聞いても分からないですね何をやる必要があるかというと例えば大規模型語言語モイルが裏でAPIを呼んで例えばSQLのような報道を書いて例えばJR東の中にあるインターナルなデータベースにお問い合わせをして忘れ物状況を取得してそれを踏まえて返答を送らないといけないそういったことがないんですよもっとクレイジーになれると例えば何でしょうね渋谷駅から新宿研究に行きたいんだけどできるだけもうちょっと疲れてるだけもうちょっと疲れてるからあまり飛んでいない路線を選んでくださいみたいなことが気になる方もいるんですよそしたら何をする必要があるかもめちゃくちゃくちゃ難しいですよめちゃくちゃ難しいとでもなんかありがたいこととしてはJR東大久間って今各駅各列車にセンサーがついてて混雑状況が分かるんですよ結構我々頭がおかしいのでクレジなことを考えるわけですよもしテンサー情報に大規模型ボケグモデルが直接アクセスできてその混雑情報を取ってこれたらそういった座っていける路線は何ですかみたいに質問にも答えられますそういったことをここではやっていますすごい何だろう簡単に見えて難しいアプリケーションなんでこれはめちゃくちゃエクサイティングですもう一転エクサイティングな点を上げるとするとやっぱりJRヒャスタマーのカスタマンセンターって皆さんちょっとお使いならないかもしれないんですけど結構その高齢の方々とかって電話を通じてアクセンターに電話をかけていらっしゃったりするんですかねその数で言うと1日大体数万件年間でいうとそれこそ数百万件数千万件ってなんていません弊社が開発した人がご視野児,"[16.14710545539856, 15.576295137405396, 15.654626369476318, 15.59735655784607, 15.705731868743896]"
-kotoba-tech/kotoba-whisper-v1.0,15,,,flash_attention_2,cuda:0,long_interview_1.mp3,False,256,10.713608121871948,0.278930456482726,NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心にちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジスという企業を作るに至ったかなっていうのをお小島紀樹と申します。私、コーネル大学を卒業しまして、本当ディフェンスをやったのはつい2、3週間前なんですけれども、もともともとはコーネル大学ってニューヨークっての土田舎の伊阪という街にあるっていうイメージがある方も多いと思うんですけどもコーネル大学って実は2つキャンパスがありまして1つはイサカにあるんですけどもう一つあのニューヨーク市にあるいインウィルト島っていうなんかすごい細長い島があるんですけどそこでPHEをやっておりました私はPHUの専門部屋としてはマルチモダリティーと呼ばれる自然言語のシステムにどうやったら言語以外の情報を例えば画像であったりとか音声といったものを理解できるようにさせるそういったことであったりとかインターナク��ィブラーニングと呼ばれる最近RHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういった検訓の方ではハギングフェースでちょっといろいろとプロジェクトでお世話になったりもしましたそうですね学部から実はメリカに行っていてミシガン州にあるミシガン大学アナーバーコっていうところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンガッチさせていただきます今日はよろしくお願いします日本の名前から分かる通り日本のトヨタが昔出資をして今独立な組織なんですがそちらの方でリサーチャーシストプロフェッサーという職を持ちだから小島と共に言葉テクロニに取り組んでいるという状況です。私も本当にPHDも出来立て小屋というか最近取りまして先月8月に無事、シアトルですね西海部のシアトルにあるワシントン大学でコンピュー�ャンスレーションとかあとは効率化とか言語制制制のイバリエーションとかそういうことをやっておりましたちょっと遡のぼるとですね実は私も暇と見た形で高校卒業後は大学はアメリカの家康大学という当時は統計にいたんですが、統計学部を卒業しましてその後イエルと働きながらワシンコ大学に進学したという経歴ですね最近イエル大学も知名度がってきてちょっとよく分からない教授がいろんな番組でお話をしているという名前は誓いさせていただきますけどもなんか知名度ががらってきてうてしいんですがここはイエルのキャンプスでオックスフォードとかケンブリッシュと生まれてこれわざと何かやりたりしてるんですよねわざと古く見せるようなアメリカって新しい国なんてそういうことにしてるというでもまあ数奇妙にきれいな感じがありますでこれがTT-TIC東京都宮古屋と豊しい国有効で有効で昔なんか電波投下なんかでそれを改造して大学になったのしばらく日本にも非常につながりがあって古井先生というスピーチの対応ですねついさっなくなっちゃったんですが彼が昔ここでプレゼントをやっていたということで本当に日本のゆかりがあってなおかつ私が実は今パカルティーで唯一日本人なのでちょっと責任感を持ちながらやってるという感じですねこれがそこになりでこの案内でということでせっかくなのでなんでここにいるんだというとまさにまさに宇坂口さんとの佐賀井先生ですねすいませんつながりが本当にこういったありがたい機会をいただいていて私は本当に2021年ちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に沢口さんがAI2にいらしてそこでインターンを一緒にやろうということでインターのメンターを最初3か月とやりつつでも本当に楽しくていろいろパーテイムで練習してるうちにもうなんか1年ぐらいもうちょっと長かったかな一緒に研究をさせていただいて本当に楽しい日々でオフィスがあってこれ私のアドバイザーノアスミスなんですけどノアスミスが出て写真を撮って写真を撮り出してり出してきましたって本当に懐かしくて本当に懐かしくて昼ご飯を食べては雑談してですね昼ご飯を食べてるうちに論文がそれなりかけてくるみたいなことをやっていてだいたいって雑談の中身にいろいろあったんですけど最後の方が結構皆さんご存じですか?白い虚頭の話をよくしてましてこれいろんなバージョンがあるんですけどこれは唐沢利明っていう俳優がやっていたバージョンが2人ともすぐお気に入りでで広いけどの広いけどの広いけど高口さん的には後半のやっぱり財前教授になった後に財前教授になった後にさすがなくなってこう、がんになってしまうみたいな、ちょっとネタバレになっちゃったな、それあたりはダメだと全員のこそ面白いことをおっしゃってさすがそらにどこかにいらっしゃると思うんですがそんな感じですごいいところでしたね会社としましては藤間と創業しまして今は日本とアメリカの二極対戦みたいなクロスボーダーという形でやっていて私自身TICにポジションもありますしあとはシアトルにと言いましたので米国シャトルに本社はあるんですがそれでもうすでに東京の国民にオフィスを構えまして日本の支社みたいな形で���やろうという形で進めているということで言葉と申し進む会社ですね基本的に下げ年後今話題の大規模言語言語デルですねLLの特に非英語圏語系のベース言語モデルの開発とか場によってはマルチモータルとかそういったことを今度の挑戦的にやっていきたいなともちろん同時にやはりビジネスですのでアプリケーションの提供も行うことでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっていると初期市場としては今は日本を考えてましてやはり私たちは高校まで日本にいましたし日本でたくさんいろんな方にも世話になりましたし何かしらやはり日本の中でインモを作っていきたいなということで日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになりますで一部目はまさに私はもう5年間PHDがありましてこの5年間って恐らくNLPの歴史の中でも一番激動の5年間だったと思いますので運良くいいのか分悪いのか分からないですがそのタイミングでPHD終わった私から見た今思うとこうだったよねみたいな話をちょっと過去の話ということを話したいと思いますそれあとはやはり前を期待ということで未来について話していきたいと思いますはいということで適度のPHD5年間ということでこれはもう私のPHDをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で最初だけポジズムな話でいこうと思います一番最初にKHDDが始まる前ですねイエル大学にやっていたのは構造解析とかいわゆるシンタクスとかパーショングとかそういうことをやってその後ですねワシントン大学に移動してずっと英語ばっかりこの構造解析とかずっと英語なので英語ばっかり言うじゃない私自身多言語を話したりもっといろんなことをやりたいなということで多言語の文法をやってきたとそのうちにまた言語がやってるうちにまあ多言語って言葉マシントランスレーションを毎回ありがしっとこれ見づらいんですがモデルの高速化とか効率化とかそういったことにやっていったり大一部現をモデルに取り組むということで無理やりまとなれば何かだんだんオーディエンスが最終と比べると大きくなっていたなということでこれはちょっと自分が一つ成長できたポイントとして少しきれいに見えるかなと思いまして最後に一つだけポジティブなことを言っておくと環境のやはりいろんなものを変えていった時にですね環境の変化が本当に大きかったなと思っていて皆さんもし機会があればぜひどんどん環境の変化を求めていったらいろんな経験ができると思っていて一番最新学院学院にいましてワシント大学にいながら引き詰まったのでメタでインターでインターチャンしたりそういったことをやってるうちにあとは最後は最後のAI2でインターチャンターとAI2でインターモンをしたりマイクロショットに行ったりして環境の変化に応じていろいろプロジェクトとかも楽しくできた方だと思うのでぜひいろんな日本いいところですけどもいろんな物理的にも環境を変えるのもいいことなのかなと思っています。じゃあせっかくまずは過去の話ということで一体私がピーチャリー始めた頃何が起こったかというとこれですねディープコンテクショナイストロディングということでその前まではワーデンベリングというかも多分今の人々やってないのかな?ワータティベットとかみんな授業でやってますね教科書、歴史、日本史みたいな感じになる時にベクトル化したみたいなとベキトロ化する方法が何個かあってこういうことやって今から言えばものすごい浅いニューラルネットワークみたいので周りの単語を予測することでベキトル化してるんだということは周りの言葉が似ている単語は似たような似たような似たりだったそういったそういった言語学とかディスティブーション・マンティクスとか言ったりしますけどもそういったディスティブーションオンスマンティングスクスクトですねそういったディスティブーションオスなんですが そういった自然なことをやっていたというのがこれでぐちゃぐちゃぐちゃこういうことをみんな頑張っ��たんですよねこれ最初ミコロムの2001年もっと前から多分あるんですがあと黒を植えることやっていてこういうことやっていたんですが大体私がPシリア始めた頃ですねこれまさに実はワシント大学で私がちょうど早い直前に起こったことなんですがワシントン大学はまさにAI2でエルモンというのが出てくるこれこそ今もうあんまり知られてないのかもしれないですがエルモの研究というのがあってそれはですね要は今まで浅いにいろんな手にやってたけどもっと深くして何日モディクションをひたすらやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりエレモンを使っちゃうみたいな話をしていてそうすることがあったということがエレモだったりコーブでちょっとこれも似たようなアイデアがあってそういった時代に私はピーチャルを始めたということでここで終わりだと思ったんですね私は実はもう完全にこれ以上に間違うことはないんですが完全に間違っていると思うなんかちょうどこのセバッシャン・ルーダーV-M-RE-NATといっていってどんどんビジョンみたいになってきたよねと結局当時ビジョンでよくやられてイメージネットで大量に画像のクラジケーションとかを学習させてそのベクトルを使って他のタスク得ることを使っていったんですがまさに同じことが起きていて天語モデルをやらせておいて他のタスクタイム例えばシンタクパーシングッションアンセリングとかをやらせるみたいなイメージネードみたいになったよねっていうことを言っていたということでこれがああよかったねと自然言語シロンもようやくビジョンに落ち着きましたとこれは始まりでしたらなかったんですがちょっとその時私が私がやって何をやっていたのかというのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていてLも出てきた時にラングチモデルを基本的に英語でやってきたんですがマルチリンガルにやらないといけないよねってことを考えていてじゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングジコーラッシャンとかヒーブルとかヘブライブルとかヘグライブとかどれぐらいバイリングでラグチモデルをトレーニングしてそれをそのベクトルを使うってことをやることをやることでそうすることでモノリンガルの時にバイリンガルにした方が抜判定的にスコアが上がるようでみたいなことをこの時考えてやっていましたこれがラクルの2018とか2019かその辺の研究でした。結局でもこの研究ってあんまり意味なかったです。なぜかっていうと、今反省すると、結局さっきバイリンガルのグラフ見せましたけど、ちょっと科学的な指標にこだわってたんですよねじゃあバイリンガルで今だったら例えば英語があってそれに全部ごちゃまずしたいろんな言語を加えて言語モデル作ろうみたいな発想になるんですが当時はやっぱりちゃんと比べなきゃいけないでしょバイリンダルのバージンとモノリンガルのバージョンを比べて比較しようみたいなことを断っていたんですが今思えば多言語に大規模に拡張してしまって日本語だけのモデロ日本語定語のモデル使っても助かる人って使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね今思えばもっと使いやすいものだったらというふうに思いましたし当時トランスフォーマってまだそこまで使われていなかったのでASTMとかを使ってやっていましたということで結局時代が読めなかったな負けた相手なんですがXLMのフェイスブックからフェイスブックスクから出たXMというのがあってこの人にも論文のよく分かんないしよく分かんないですけどでも実際に使えるものを作ってたんですね彼はそれをダウンロードして使う機会で書いてもちろんサイベーションももちろんですそれ以上にかく伝えるものを作は本当に素晴らしいなと思った次第です。コンピューターサインスのP資料をやるということで自分は科学者になるなと言って意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしてるということであと最後���タスクの選定をちょっと間違っていまして私たちはNARとかペナンティックルーブリングがやっていたんですねでもこれも結局まあいいんですけど当時ものすごい流行っていったのはクエスチアンスルで結局QAで結局QAの人たちはこういう本物読んでくれなかったんですよねでその割にこういう論文を読んでくれてなので結局使われなくなってしまって何か使う数はもう正義というかそういうことで結局インパクトを残せなかったなというのを今反省していますバーチャルのバートの時代に来たということでさすがにバートは皆さん知ってると思うんですが当初これ出た時はバートはただエルムを大きくしただけだよねというふうに思っていましたしこれ私のアドバイザーのアスミスとあともう一人ループズ・ゾロモイアンという人がいまして彼は同じバシンクブックのディレクターとかNRPもリサーチを仕切っている人で彼はエレモの作者でもあり最近だとロバートロバートの作品とか結構大規模言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言ってたかというと単純なエルモのエクセンションなんかに大してベストペーパーも上げる必要ないしあんま興味見えようみたいなことを言っていてまあでも実際これったらベストベストペーパーを取った後前なんですが実際撮りましたよねそれからエルモの作者ですから素晴らしいと言ったけども自分の頑張ったエルボが1年が続くと思ってたのに結局1年続かなかったよねちょっと悲しいねみたいな見たなちょっと違う見方をしてるのかなというふうに思って面白かったんですがそのループもですね実はGPT2がちょうど出てきた時にこれタンダーデルランディモデんだみたいなことを言っていたのでやはり専門家のつちょっと面白かったのはおまけの話として当時ハギンフェイストランスフォーマーズのライバリーのきっかけにブンのきっかけになったんですよねこれ昔ハイトウチバートって言われてハギンフェス自体はキャットボットとかの会社でもともとあったんですが彼らがバードはGoogleから出たので検査ブロードで吹かれてるそれを研究者みんな検索ロード使いたないんでパイトローチを使いたみたいな話をしていた時に彼らがそのファイトウトウトに書き起こしたコンバートしたものを出したそれがパイトチパートでありそしてそれが結局カニンペーストランスフォーマンスにつながっていったということでこういうの商業向上というか社会の流れてには分からないと思わないところない思わないことでこう思う表記していくんだなというところですねその時私は何をやっていかかというと当時にマシントランスレーションやりたいということでマシントランステーションのスピードアップとかですねあとこの2個目の論文はですね1個目のログのマーク自個悲願みたいな形でいろいろスピードアップで並列化とか一生懸命やってたんですね、当時ICMR1025論文ではみんなこういう大好きな楽しいしってやってるんだけど結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話もやってなんかちょっと怒られたようにしたんですがでも結局これが本当のある意味真実なのかなと思ってまあちょっといい時の音を出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT3の時代が来てフィーショットライミだんだんクラスピケーションにリーナーがなくなってきていて、だんだんみんなジェネレーションをしよう、ジョンにしようっていうのが当時の中で、もちろん皆さんご存じなものフィショットラーニングのでもグループとかオープンソースの方でも大学とか組織をまたいだプロジェクトが出てきたっていうのがこのGPTシスティスティング時代ですがこの時の研究はバイディメンシャービーダーボードといって今までのビーガーボードというのはジネレーションのモデルを評価するには不向きだよねっていうのもメトリックを固定しなきゃいけないのでその評価には不向きだから坂口さんと一緒にやっていたのはメトリックの方向を並び変えないよねリーダーボードのアブストラクションみたいな形でそういうのをやったということでやっていましたあとはやはりジェネレーションにとってイバリエーションが大切だということでイメージキャクショニングのイバリエーションとかも佐賀先生と一緒にやっていたという感じのことをしていましたでもこれちょっと油断なんですがこういう佐賀さんのご提案で漫画を描いてみようということで漫画を描いてみようということで漫画を描いてみようということで漫画を書いてこのロンガーのPRをツイッターでしていたというこういういろんな楽しいことを2人で本当に楽しくやってたということですはいでついにお待ちかねチャックGPTGPTGPT4の時代が来たということらまさにこれはまさにこれは社会実装の時代に来てしまったらとももちろん研究も多数なんだけどもとにかく使ってどこが問題なのかってどこが問題なのかっていかないとなかなかベンチマークとかで現れないものかなということを感じていてこういってこういった経緶で企業して小島ともにやっていこうというふうに思い出たと特に英語にロングNNPの業界は編集してますよねが大体インターネットユーザーの数で25%ぐらいインターネットユーザーは英語をしているんですが、残念ながらエネルピーの音語でしか実験をしてなかったり英語についての論文だったりするということでこれはまず一気英語編の基盤モデルをどんり返ってみると結局全てはスケールだったとこれはもう否定が必要がないなということでいろいろ私自身もいろ作りたくてくて頑張ってたんですが結局大きさで解決されてしまったことも多くてそこはもう認めたらおけないかなということで間違っていたと私自身は間違っていてそうですねそういうことですあともう一つ面白いと思ったのはやはり科学的なプロセスが違ス化ができるって書いたなということを理解したということで例えばトランスフォーマーが2017年出てきた時に私はそのトランスフォーマーがこんなに広がると思わなかったんですのも仕方ないからやらないで論文いくら読んでもよく分かんないですよなんかそのアテンションのディペンネージがうんだなでもそこって多分こ一つじゃなくて多分トランスフォーの本質っていうのは今思えば当時のですねGPUとかPPUとかそういったそのパラレルにできるからハードウェアとすごい相性があるようにハードウェア決定論みたいな形でハードルアによってトランスコムのすごさが余計リーフ�ォースされていって似渡り方の言われるんですがそういった経緯があるのかなということがあってだから分からなかったのですね皆さんオプテマイザーで使ってますけども考え方によっては例えばアダムに合うようにモデルを開発してるとも言えなくはないので皆さんモデルを開発してアダムでうまくいかなかったらやめるということなので結局そこも庭とりと�エンスってやっぱりサイエンスってやっぱりサイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよあの大学地域的に言わないですねフィギックスとか言わなくていいと同じようにオープンって言ってないからオープンじゃないかな実際クローズだということでそういうことだとアメリカのチェーンでセイクウェイっていうのがあるんですけどセーフェイン全然安全にないですよね大体危ないところにあるんでだから結局そういうものなんだなということでいいではできないですコテンシャル私が当時気づかなかったしあとチャットボットっていうのも意外でしたねやっぱりチャットって人間とチャットするのも面倒くさいねなんで機会しないかっていうのが当時の考ったんだっていうのが本当に衝撃でしたしいかに私自身が人間を理解できてないかということですねということで何も分かってないまあでもとにかく過去の話をしてきましたが前に進んでいきたいというふうに思っております5年間を簡単にまとめると適度に環境を変えるのはプラスでしたしでも専門家ですら見らないのであんまり専門家の言うこととかリビュアーが言うこととか気にしないでくださいということですね最近なんか自分がいい人も論文言語悪い理由がするからねまあねまああともう一つはですねアイディ�心なもので基本的にエルムを大きくしていろいろいろアイデアがあったんで��けど結局そのマスクラングチモデルとか同じようなアイデアがあってアイデアだけじゃなくてエクセキューションの重要なのかなっていうことを思っていてでもこれって結局研究だけじゃなくて企業とかも見えると思うんですが例えば企業においても企業においても必ずも早いもの勝ちじゃないのかなエルモンとかあんなに早い段階で実はもっと先にも痛い前にもあったんですがLモンとかエルモンとかああいった研究とかあり結局パートナ全部持っていったりGPT3とかGP5が全部持ってったりですね結局早めの街の世界というよりもそういった不思議な神の水るみたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばグーグルとかフェスブックって最初の検索エンジンでもないしフェスブクも最初のソーシャルメディアなんかででもないわけでだからそういった不思議な力があるなというふうにも思いました最後に科学的指標っていうのも大切なんですがそれだけにこだわらずにやはりコンピュータサインティストはサイエンティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中にをしていきたいと思います大規模大規模ルの時代が来たと皆さん大規模現場ゲームモデルどう思います?すごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくる時は基本的にチャットボットにみたいなものを作ってみたいなものを作ってみたいな自然言語だけじゃなくてソフトラエンジネリングの世界でも自然言語も入力をすればHTMやCSSのコードを吐き出してソフトエンジネインをサポートしてくれるそれだけじゃなく文章の執筆要約構成メールの返信本当に反応的なものに使えるっていうのは間違いないなと思うんです大規模型モデルってそもそも何だったかっていうと皆さんご存知の通りものすごいシンプルに学習されたAIなわけですよね文章があってその文章の次の単語を予測すると例えば学こんなシンプルなものが役に立つのかすごい不思議ですよく言われることなんですけど結局はスケーリング速度を学習する時って大きくわけで3つの要素がある学習するAIモデルの大きさそれに食べさせるデータの量この学習を行うコンピューターの資源の量計算資源と呼ばれますけどこの3つだもの何が申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習中で増やしていったけどか突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが反応的な性能を持ち始めるものだから今みんな注目しているわけですこれを本当にこの傾向すごいスケーニング速を分かりやすく示したグラフがこうなんですけどこのグラフっていうのはX軸があるモデルールで学習に使われた計算資源の量、スーパーコンピューターの資源の量なんですけれども、見ていただくとおりその傾向というのはログリニアですごいクレアなのがコンピューターの性能自体というのは皆さんご存じのムーアの法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えているそのコンピューターを使って学習したAIの計算資源の消費量というのはそれをはるかに超える12年間で10の12乗倍増えていると要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですよこれが反応せず何が関係あるかすごいスケッチなグラフで申し訳ないんですけどもこれちょっと賛否両論あるグラフなのでちょっと反対意見がある人は後で個人的に来てるけどすごい傾向はうまく捉えていると思っていてこのグラフで何を表しているかというと8つタスクがあるんですけど例えば算数力みたいに大規模言語モデルが5-5-6は11そういった算数の問題を答えられますというタスクであったり多言語力英語でQAができるモデルがペルシャ語いくとここも同じなんですよ。X軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしてきた時に突如変異的に大企業保険のモデルがタスクの能力を得るポイントがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて突如変異点が来るとこれが反応性なんです結局計算資源を増やしていった時に突如変動力を持つそういったものが大規模デングモデングモデルの学ぶっていう話をしたいんですが2019年から2022年何が起こっていたかというと一言で申し上げますと各国で大規模言語モデルの開発競争が起きていたアメリカですアメリカではマイクロソフト社ググルー社といったインタストリーを中心に大規模なモデルの開発共数が大きぼみる機能性が大規模なスーパーコンピューターをオープンア社に提供して当時GPT3英語メインの大規模型語ゲンモールドを学習していたと全く似たようなことが中国でも起こっていて中国では政府が所有しているスーパーコンピューターを用いて政府機関がGPT3を超えるようなスケールです世界で最大規模のパラメターの数の大規模型予見のモデルを中国語で学習しているこの動きってアメリカと中国だけじゃなくてヨーロッパではフランス政府が所有するジョン・ゼープループニューターがあるんですけどそれをハギングフェースと呼ばれる皆さん個人のハギングフェース社によるハギングフェース者が多国籍用の大規模型モードルを学習していたこの多国寄り王って面白くて実はドイツが含まれていないのはフラスドイツの緊張感があらわれかなとか言われたりするんですけどそれ以上に重要な小話があって実はこのフランス政府がスーパーコンピューターのハギングフェスに貸し出す時にハギングフェスって当然グラントプロポーザルみたいなものを書いたんですよねこれこれこれこういう理由でオタクのセルファーコンピューターを使いたアゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーがフランスを食いつくそうとしているとだから我々は独自でモデルを開発する必要があるみたいなことを言っていたんですすごい緊張感の高い対策競争が大きいった方々は日本を見てきた時に今でこそ本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな予定あったんですけど当時日本国内でハギングフェイスみたいな人はやらないんです最初に割れてくる疑問としてなぜ日本国内でできないのかできないのかできないのかまずそこをしっかりしたい大規模言語モデル学習で何が一番重要かというとやっぱりそれはスーパーコンピューターのリソースなんですが日本ってスーパーコンピューターがないかというと全然そんなことはないわけです一番分ューターなんですけどね実は日本最大級のスーパーコンピューターってABCIじゃないんです。不学って呼ばれるスーパーコンピューターで、皆さん、年齢的にちょうどベストヒットかなと思うんですけど、以前、民主党政権がありまして、そこでレイホンさんという政治家がいらっしゃったり言うほどをやっていた時に1位じゃダメなんですか2位じゃダメなんですかっていったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を超っていたんですけど今はレアホンさんおっしゃる通りに2位になってしまってそういうスーパーコンピューターです何が重要かというとこの富学っていうのは本当に化け物みたいな性能を持っていてギングフェッシャーがブルームと呼ばれる大共謙ゲングモデルを学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし前近を使えた場合はAIの学習性能だけでも考えても10倍速いです10倍速っていうことは同じ計算をやった時に不学だと10倍早く計算が終わるでも深く何がグレージーかっていうとCPUベースのスーパーポンピューターなんですよ 全然GPUで大規模言語モデル学習したことありますね大規模言語ゲームモデルじゃなくてるんですけどディープラウンドで多分CPUでやらないんです基本的にはGPU内緒はTPPU、AIで�特化したハードウェアでこれが何が問題かっていうのを同数字を見ればすごい明らかったと思うんですけどNVDやのA-1-100っていうGPデータセンターで最先端のGPUでもその一つ前はA100というGPUが最先頭にある不学に搭載されてるCPUって 藤津A-6-4FXって言うんですけどAIの演算性能に限っていえば不学のCPUでMVD50倍遅いんですよ50倍遅いってことはGPでできる計算が50倍長くかかってしまうそもそもフラクって何がすごいなっていう話なんですけども不学学���てCPUが15万個あるんですよ皆さん15万個のCPU使ったことありますか?多分ないと思うんです。ここで何が言いたいかというとぶっちゃけGPUがCPUが50個使って平列計算したら同じぐらいスピードが出るのねっていうのはちょっとクレージーズな間ちょっとクレージーズな間で佐賀口間にすごいご迷惑ってだけしてるんですけどそういうことを当時考えていてそれをやるためのした分散併列学習というものがあります今でその分散並列学習ってすごいろいろオープンソースのパッケージが出てきて皆さんご存じかもしれないところで言うと例えばマイクソフト社のディークスピードであったりやLVD社のメガトロンLMというパッケージがあってこういったパッケージってデータパイルモデルパレールと呼ばれる分散平列学士をサポートしてるんですけどもCPUでは動くんですけどCPUで動かったんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVではマイクロソフトに書いていただいた分散平列学習のパッケージをCPU向けに移植してちゃんと平列でCPUが計算できるかなということを試したんです。初期実験としては非常にいい結果が出てここなんですけど、CPUの数を増やしていった時にシステム全体としての計算性度がどれぐらい上がるかなっていうのを見て、これログリニアなんですけどログリニアなんですけど特にCPUを先行たりまで増やした段階ではその計算速度がCPUが1個だった時と比べて1000倍近くなっていくとこれまで分散余算並列学習がすごいうまくいっているなっていう感触だったんですけれどもこれはあくまで初期の実験で当然うまくいかないこともあって一つはCPを大量に使うことでどういう問題があるかということなんですけどCPU例えば2個使っているだけだとCPU1個同士がコミュニケーションすればいいだけなのでそれは問題ある問題あるとただCPを1000個とか1万個とか増やしていった時にやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分かるとおりシステム全体としてその計算性能が上がるっていう時が若干その落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションコストが上げられるようにしない人ってないよねそういったことも一つ課題化しているんですそれ以外にもすごい面白い発見もあってハードウェアって基本的に理論値と実測値というものがあるんですよ理論値というのは理論的にはこれだけ推量が出ますよ実測指っていうのは実論値の大体40%から50%ぐらい最近だと60%ぐらい出てるのかそのくらい出るかっていうとNVDIのソフティアのエンジニアの方々がものすごい波長くなり悩ましい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションの行列計算はこの特別なコードを使うことによって早くしましょうみたいなすごいハンドウェビーなハードコアのソリューションがソフトチョイスタックマクウダーレアの中にいっぱいあるんですよだからGPUは実測している用�の幅がそんなにCPUのCPUってそもそもそんなにAI学習を想定したものではなくてもちろんシミュレーションとかそっちの方で使われていたのでそういったソフテイアストストックが弱くて利用主が利用値の7から10%ぐらいぐらいにならないとこれを直さないとやはり不学上で大規模学習ができないのでということになりましてこちらの日系新聞さんでカバーしていただいてそれこそ7社合同部屋せていただいているということなんですけれどもGPT浮学というプロジェクトが今格化いたしまして主要な期間でいうとそれこそ東北大工さん坂口先生のここで言うと栗田さんと佐々木職さんって言わせていただいてそういった方々が中心になって協力していただいているとそれ以外にも登校大さんであったりとか意見サイバーエージェントを名古屋大富士通弊社言葉テキノロジーズが連携してして区学場で大規模擬習していけるようにそういったプロジェクトは大きく分けて2つのチームがあって1つ目のチームはシステムチームと呼ばれるチームですこちらは区学場のインフラを整えてそこでAIの学習が効率的に行えるようにしようと思う具体的にどういったことを解決しようとしているかというと先ほどのスライドがあったとコミュニケーションコストの問題が解決しようであったりだとか理論と実測値がもう少し小さくなるようにそういったことをやってNLPチームの方には東北大学の方々が指導していただいてこちらでは日本データの準備であったりとかトークナイザーの開発そういったことをやりたいと思いますこちらのプロジェクトはまだ動いているので今後もどんどんどんニュースが出てくるかと思いますが、皆さん、温かく見守っていければということですではそうですねここまでが風学のお話し深くっていうのはすごいやっぱり面白いプロジェクトで今後今後今一番早いスーパーパーコンピューラだと間違いなくAI性能に限って言えば富岳よりもっと速いスーパーコンビューターっていうのは1、2年で出てくると思うんですよ。そういった書き橋に役割ですこれはすごいサイエンスとすごい社会に使えるレベルになっているのでこれを実装しないとやっぱもったいないし実装してみたいな社会そういったことで言葉テクノロジーズという企業を立ち上げましてちょっと思考実験をまずしてみたいので大規模言語モデル素素晴らしいこと果たして日本のビジネスに使えますか?弊社は言葉テクノロジーズというのは日本のビジネスと相手にいろいろとオペレーションをさせていただいている会社なのでこの時点ですでに日本国内の340社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったり旅行会社さんに大規模型のモデルお宅どうお使い習い習えますかそういったことを聞いた時にこういう業務があるんじゃないかなっていうことをおっしゃっていただいたんですよねで地点Aから地点Bに行く旅行計画を作ってそれをパンフレットでまとめるっていう業務よく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやる時に例えばGPP法を考えてみましょうとプロプトかけますよこういったプロップをかけて渋谷駅から出発して火災の地元である奈良公園で日帰りで観光する計画を作ってパンプレットにしてくださいそこでは交通手段を含めてください東大寺も観光できるようにしてグルメ回りをしたいのでグルメマインまで来るようにこれが実際出てきたアットペットなんですけど一番上を見るとすごい東京からなら伝統と自然の一日旅行くめちゃくちゃキャッチになったりとかこれだけ見ると日本のビジネスでもGPT4使えるじゃんと思う方も多いと思うんですよその下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ伸ばしていけるとちょっとページ3スケジュールのところを包括したいんですけどまず1個目のスケジュールでとんでもないこと言っているわけですよ朝7時渋谷駅中央大阪の新幹線に乗る渋谷駅に新幹線なんて撮ってないんですよこれはちょっとよろしくな。まあグルメ回りしたいけどジョークとしては面白いですよジョークとしては一級でこんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事がなくなっちゃいます何が言いたいかというと大規模型言語モデルってGPB4に代表されるようにめちゃくちゃ反応的だと反応的なんですけども日本語の閉じたドメインのようなところでデプロイしてしまうとまだまだ業務に差し支えられる欠点があるそれ以外にもそもそもこれをやった理由っていうな旅行会社さんの視点に立ってみたらこの生のペキストをマークダウンを取ってきてそのパンフレットにもう一回リストラクシャーする作務が必要ですというところですねこういった問題を踏まえて弊社言葉テクノロジスではそうですねこういった現状の大規模言語モデルデルの血管を研究開発することによってどんどん直していく直して大規模言語モデルをアプリケーションとして分かりやすい形で企業さんに販売するそういったことをやってつい直近では米国で数億円規模の指導資金調達を完了して国内でも政府指導の補助金を今申請中のありましたとおりつい先日東京オフィスを六本木に開設して取り組んでいるとエンジニアサイティストを�め徐々に10月始めた順次中チームチームとなっており年内には5人から12程度のチーム編成にできればそういったふうに思っておりますこれが先ほど申し上げた内容を少し細かくしたところなんですけれども研究開発としては例えば非英語圏の言語でも大規模言語言語モデルがしっかり使えるようにしたりとかそれこそ大規模言語モデルっていうのはリアルタイムな情報がすごい弱いわけですよね例えば東北大学から仙台駅に今行きたいとなったら大規模型型モデルって基本的に今の時間を調べてそれに落ちた答えをしてくれるっていうのはなかなかないのでそういったところツールフォーマーといった論文がありますけどAPIコールを通じて解決することで大規模言語モデンリアル体制を持たせるでそれ以外にもマルチモダル能でそういった研究開発をしておりますこういった研究開発した言葉フォーマンという名付けられて我々言葉フォーマーって呼んでいるんですけど弊社のシステム言葉フォーマーをユーザーの方々に分かりやすい形でパッケージング化してあげることによって例えばコールセンターでやったりとかコンテンツ生成そういったものにして企業さんに販売しているそういったことを弊社ではやっていますちょっとアプリケーションの方にもフォーカスして何個かも例ゲン社が最初に取り組んでいるドメリットとしては教育分野のカスタマーさんと一緒にプロジェクトへ合わせていただけるんですよね教育分野もちょっとここはアカデミックトークなので名前も言ってしまいますが皆さんなんか寸大に行かれた方っていらっしゃいますかあまりないのかななるほど寸大っていう宿命があるんですけどもそうですねまあ弊社すん大様とプロジェクトを一緒にやっておりましてここではどういうプロジェクトをやっているかというと生徒さんが塾の中でお使いにある練習問題とか模試を自動生成できるそういったプロジェクトをやっているんですよスンターズンターさんが今どういった課題を抱えてらっしゃるかというとこういった練習問題を作る時に基本的に教員の方々が指導で試験を作るとその結果ものすごい労力が費やされているんですよ例えばクレイジーな話なんですけど共通テストの模様1個を1個作るのに何時間かけていますかっていう話を聞いた時に1つのテストに300時間かけているらしいんです300時間それ年1回やるわけじゃないですからね何回も何回も繰り返すそういった業務を用いて解決できればいいのこれがちょっといいんですけれども弊社がやっているのは本当にすごいシンプルに教員の方々が使えるようなシステムでここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんですよここではアメリカを初めて訪れますよというコンテクストで問題を作ってくださいその結果出てくるものが例えばこういうパーフレット形式のビュークが今は共通テストってすごい情報分析に寄せたような問題が出ていて英語でもないこういうパンフレットを呼び解いてくださいみたいな問題があるんですだからこういうパーフェットみたいなものを直接出力することによって先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこういったパンフレットを作ってその後はそれに即した問題を先生方に生成していただくわけです質問の正々に進むというふうに進むとこういった感じで4択の問題がパーブレットに属した形で制あったり出力するP.PFはただに問題のコンテクストをつないだらけのものなんですけどワードで何で出力するかというとやっぱりAIが出力したものなので先生方が気に入らないものがありますそういったものを例えばワードだと直接先生方が手を加えるだけですぐに生徒さんに配られてもそういったことを教育ドメンではやっておりますもう一つ紹介したいのが交通分野部�東様と一緒にプロジェクトルトをやっておりましてそこでやっていることとしてはカスタマーサポートの自動化というくとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやっているじゃないと思う方もいらっしゃると思うんですよ確かにその通りですチャットボットっ���どこでもやっているとJR東様のチャットボットってめちゃくちゃ難しいんですなんで難しいかっていうとカッサマーの方々が本当に多様なお問い合わせをしてくる本当に多様なお問い合わせをしてきた結果ちょっとGPT4をいじっただけだと想定解決できないような問題が出てくれば例えばその例をあげると渋谷駅でお裁表を忘れてしまったんですけどどうすればいいですかそんなチャットGPTに聞いても分からないですね何をやる必要があるかというと例えば大規模型語ゲンゴモイルが裏でAPIを呼んで例えばSQLのような報道を書いて例えばJR東の中にあるインターナルなデータベースにお問い合わせをして忘れ物状況を取得してそれを踏まえて返答を送らないといけないそういったことが気になる方かるんですよ結構我々頭がおかしいのでクレジなことを考えるわけですよもしテンスター情報に大規模型ボケグモデルが直接アクセスできてその混雑情報を取ってこれたらそういった座っていける路線は何ですかみたいに質問にも答えられますそういったことをここではやっていますすごい何だろう簡単に見えて難しいアプリケーションなんでこれはめちゃくちゃエクサイティングですもう1点エクサイティングな点を上げるとするとやっぱりJRヒャーリアスタマーのカスタンターって皆さんちょっとお使いならないかもしれないんですけど結構その高齢の方々とかって電話を通じてコールセンターに電話をかけていらっしゃったりするんですかねその数でいうと1日大体数万件年間でいうとそれこそ数百万件数千万件ってなってきませんご視野,"[11.21053671836853, 10.62143874168396, 10.551162481307983, 10.596262693405151, 10.588639974594116]"
-kotoba-tech/kotoba-whisper-v1.0,15,,,sdpa,cuda:0,long_interview_1.mp3,False,256,10.769530439376831,0.20777072275326197,NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心にちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジスという企業を作るに至ったかなっていうのをお小島紀樹と申します。私、コーネル大学を卒業しまして、本当ディフェンスをやったのはつい2、3週間前なんですけれども、もともともとはコーネル大学ってニューヨークって、土田舎の伊阪という街にあるっていうイメージがある方も多いと思うんですけどもコーネル大学って実は2つキャンパスがありまして1つはイサカにあるんですけどもう一つあのニューヨーク市にあるいインウィルト島っていうなんかすごい細長い島があるんですけどそこでPHEをやっておりました私はPHUの専門部屋としてはマルチモダリティーと呼ばれる自然言語のシステムにどうやったら言語以外の情報を例えば画像であったりとか音声といったものを理解できるようにさせるそういったことであったりとかインターナクティブラーニングと呼ばれる最近RNAHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういった検訓の方ではハギングフェイスでちょっといろいろとプロジェクトでお世話になったりもしましたそうですね学部から実はアメリカに行っていてミシガン州にあるミシガン大学アナーバーコっていうところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンガッチさせていただきます今日はよろしくお願いします日本の名前から分かる通り日本のトヨタが昔出資をして今独立な組織なんですがそちらの方でリサーチャーシストプロフェッサーという職を持ちだから小島と共に言葉テクロニに取り組んでいるという状況です。私も本当にPHDも出来立て小屋というか最近取りまして先月8月に無事、シアトルですね西海部のシアトルにあるワシントン大学でコンピュー�ャンスレーションとかあとは効率化とか言語制制制のイバリエーションとかそういうことをやっておりましたちょっと遡のぼるとですね実は私も暇と見た形で高校卒業後は大学はアメリカの家庭大学という当時は統計にいたんですが、統計学部を卒業しましてその後ELELで働きながらワシンコ大学に進学したという経歴ですね最近イエル大学も知名度が上がって���てちょっとよく分からない教授がいろんな番組でお話をしているという名前は誓いさせていただきますけどもなんか知名度ががらってきてうてしいんですがここはイエルのキャンプスでオックスフォードとかケンブリッシュと生まれてこれわざと何かやりたりしてるんですよねわざと古く見せるようなアメリカって新しい国なんてそういうことにしてるというでもまあ数字用にきれいな感じがありますでこれがTT-TIC東京都高校の中でまた古いものとまた電波等下なんかでそれを改造して大学になったとしばらく日本にも非常につながりがあって古井先生というスピーチの対応ですねついさっなくなっちゃったんですが彼が昔ここでプレゼントをやっていたということで本当に日本のゆかりがあってなおかつ私が実は今パカルティーで唯一日本人なのでちょっと責任感を持ちながらやってるという感じですねこれがそこになりでこの案なかったということでせっかくなのでなんでここにいるんだというとまさにまさに宇坂口さんとの佐賀井先生ですねすいませんつながりが本当にこういったありがたい機会をいただいていて私は本当に2021年ちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に沢口さんがAI2にいらしてそこでインターンを一緒にやろうということでインターのメンターを最初3か月とやりつつでも本当に楽しくていろいろパーテイムで練習してるうちにもうなんか1年ぐらいもうちょっと長かったかな一緒に研究をさせていただいて本当に楽しい日々でオフィスがあってこれ私のアドバイザーノアスミスなんですけどノアスミスが出て写真を撮って写真を撮って掘り出してきました本当に懐かしくて本当に懐かしくて昼ご飯を食べては雑談してですね昼ご飯を食べてるうちに論文がそれなりにかけてくるみたいなことをやっていてだったんですけど最後の方が結構皆さんご存じですか?白い虚頭の話をよくしてましてこれいろんなバージョンがあるんですけどこれは唐沢利明っていう俳優がやっていたバージョンが2人ともすぐお気に入りでで広いけどの広いけどのバージョンとのバージョンどのこが一番いいかというのを話し合っていて坂口さん的には後半のやっぱり財前教授になった後に財前教授になった後にさすがなくなってこう、がんになってしまうみたいな、ちょっとネタバレになっちゃったな、それあたりはダメだと全員のこそ面白いことをおっしゃってさすがそらにどこかにいらっしゃると思うんですがそんな感じですごいいところでしたね会社としましては藤間と創業しまして今は日本とアメリカの二極対戦みたいなクロスボーダーという形でやっていて私自身TICにポジションもありますしあとはシアトルにと言いましたので米国シャトルに本社はあるんですがそれでもうすでに東京の国民にオフィスを構えまして日本の支社みたいな形で今やろうという形で進めているということで言葉と申し進む会社ですね基本的に下げ年後今話題の大規模言語言語デルですねLLの特に非英語圏語系のベース言語モデルの開発とか場によってはマルチモータルとかそういったことを今度の挑戦的にやっていきたいなともちろん同時にやはりビジネスですのでアプリケーションの提供も行うことでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっていると初期市場としては今は日本を考えてましてやはり私たちは高校まで日本にいましたし日本でたくさんいろんな方にも世話になりましたし何かしらやはり日本の中でインモを作っていきたいなということで日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになりますで一部目はまさに私はもう5年間PHDがありましてこの5年間って恐らくNLPの歴史の中でも一番激動の5年間だったと思いますので運良くいいのか分悪いのか分からないですがそのタイミングでPHD終わった私から見た今思うとこうだったよねみたいな話をちょっと過去の話ということを話したいと思いますそれあとはやはり前を期待ということで未来について話していきたいと思いま���はいということで適度のPHD5年間ということでこれはもう私のPHDをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で最初だけポジズムな話でいこうと思います一番最初にKHDDが始まる前ですねイエル大学にやっていたのは構造解析とかいわゆるシンタクスとかパーショングとかそういうことをやってその後ですねワシントン大学に移動してずっと英語ばっかりこの構造解析とかずっと英語なので英語ばっかり言うじゃない私自身多言語を話したりもっといろんなことをやりたいなということで多言語の文法をやってきたとそのうちにまた言語がやってるうちにまあ多言語って言葉マシントランスレーションを毎回ありがしっとこれ見づらいんですがモデルの高速化とか効率化とかそういったことにやっていったり大一部現をモデルに取り組むということで無理やりまとなれば何かだんだんオーディエンスが最終と比べると大きくなっていたなということでこれはちょっと自分が一つ成長できたポイントとして少しきれいに見えるかなと思いまして最後に一つだけポジティブなことを言っておくと環境のやはりいろんなものを変えていった時にですね環境の変化が本当に大きかったなと思っていて皆さんもし機会があればぜひどんどん環境の変化を求めていったらいろんな経験ができると思っていて一番最新学院学院にいましてワシント大学にいながら引き詰まったのでメタでインターでインターしたりそういったことをやってるうちにあとは最後は最後のサガールスターとAI2でインターチャンをしたりマイクロソフォントに行ったりして環境の変化に応じていろいろプロジェクトとかも楽しくできた方だと思うのでぜひいろんな日本いいところですけどもいろんな物理的にも環境を変えるのもいいことなのかなと思っています。じゃあせっかくまずは過去の話ということで一体私がピーチャリー始めた頃何が起こったかというとこれですねディープコンテクショナイスオルディレーションスということでその前まではワーデンベリングというかも多分今の人知らないのかな?ワータティベットとかみんな授業でやってますね教科書、歴史、日本史みたいな感じになる時にベクト化したいみたいなとレキトロ化する方法が何個かこういうことやって今から言えばものすごい浅いニューラルネットワークみたいので周りの単語を予測することでメキトロ化してるかってことは周りの言葉が似ている単語は似たような似たような似たりだったそういったそういった言語学とかディスティブーション・マンティクスとか言ったりしますけどもそういったディスティブーションオンスマンティングスクスクトですねそういったディスティブーションオスなんですがそういった自然そういったことをやっていたというのがこれでぐちゃぐちゃぐちゃこういうことをみんな頑張ってたんですよねこれ最初ミコロフの2001年もっと前から多分あるんですがあと黒を植えることやっていてこういうことやっていたんですが大体私がPシリア始めた頃ですねこれまさに実はワシント大学で私がちょうど入る直前に起こったことなんですがワシントン大学はまさにAI2でエルモンというのが出てくるこれこそ今もうあんまり知られてないのかもしれないですがエルモの研究というのがあってそれはですね要は今まで浅いにいろんな手にやってたけどもっと深くして何日モディクションをひたすらやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりエレモンを使っちゃうみたいな話をしていてそうすることがあったということがエレモだったりコーブでちょっとこれに似たようなアイデアがあってそういった時代に私はピーチャルを始めたということでここで終わりだと思ったんですね私は実はもう完全にこれ以上に間違うことはないんですが完全に間違っていると思うなんかちょうどこのセバッシャン・ルーダー-M-RE-NM-REとか言っていってどんどんビジョンみたいになってきたよねと結局当時ビジョンでよくやられてイメージネットで大量に画像のクラジケーションとかを学習させてそのベクトルを使って他のタスク得ることを使っていてまさに同じことが起きていて天語モデルをやらせておいて他のタスクタイムタスクタイングとかッションアンセリングとかをやらせるみたいなイメージネードみたいになったよねっていうことを言っていたということでこれがああよかったねと自然言語シロンもようやくビジョンに落ち着きましたとこれは始まりでしたらなかったんですがちょっとその時私が私がやって何をやっていたのかというのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていてLも出てきた時にラングチモデルを基本的に英語でやってきたんですがマルチリンガルにやらないといけないよねってことを考えていてじゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングジコーラッシャンとかヒーブルとかヘブライブルとかヘグライボとかどういうのでどれぐらいバイリングでラグチモデルをトレーニングしてそれをそのベクトルを使うってことをやることをやることでそうすることでモノリンガルの時にバイリンガルにした方が抜判定的にスコアが上がるようでみたいなことをこの時考えてやっていましたこれがラクルの2018とか2019かその辺の研究でした。結局でもこの研究ってあんまり意味なかったです。なぜかっていうと、今反省すると、結局さっきバイリンガルのグラフ見せましたけど、ちょっと科学的な指標にこだわってたんですよねじゃあバイリンガルで今だったら例えば英語があってそれに全部ごちゃまずしたいろんな言語を加えて言語モデル作ろうみたいな発想になるんですが当時はやっぱりちゃんと比べなきゃいけないでしょバイリンダルのバージンとモノリンガルのバージョンを比べて比較しようみたいなことを断っていたんですが今思えば多言語に大規模に拡張してしまって日本語だけ日本語だけのモデロ日本語定語の模様に使っても助かる人って 限られていますよね 使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね今思えばもっと使いやすいものだったらというふうに思いましたし当時トランスフォーマってまだそこまで使われていなかったのでASTMとかを使ってやっていましたということで結局時代が読めなかったな負けた相手なんですがXLMのフェイスブックからフェイスブックスクから出たXMというのがあってこの人にも論文のよく分かんないしよく分かんないですけどでも実際に使えるものを作ってたんですね彼はそれをダウンロードして使う機会で書いてもちろんサイベーションももちろんですそれ以上にかく伝えるものを作は本当に素晴らしいなと思った次第です。コンピューターサインスのP資料をやるということで自分は科学者になるなと言って意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしてるということであと最後にタスクの選定をちょっと間違っていまして私たちはNARとかペナンティックルーブリングがやっていたんですねでもこれも結局まあいいんですけど当時ものすごい流行っていったのはクエスチアンスルで結局QAで結局QAの人たちはこういう本物読んでくれなかったんですよねでその割にこういう論文を読んでくれてくれてなので結局使ふうに思っていましたし私のアドバイザーのアスミスとあともう一人ループズロモイアンという人がいまして彼は同じイスブックのディレクターとかNRPもリサーチを仕切っている人で彼はエレモの作者でもあり最近だとロバートロバートの作品とか結構大規模言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言ってたかというと単純なエルモのエクセンションなんかに大してベストペーパーも上げる必要ないしあんま興味見えようみたいなことを言っていてまあでも実際これったらベストベストペーパーを取った後前なんですが実際撮りましたよねそれからエルモの作者ですから素晴らしいと言ったけども自分の頑張ったエルボが1年が続くと思ってたのに結局1年続かなかったよねちょっと悲しいねみたいな見たなちょっと違う見方をしてるのかなというふうに思って面白かったんですがそのループもですね実はGPT2がちょうど出���きた時にこれタンダーデルランディモデんだみたいなことを言っていたのでやはり専門家のつちょっと面白かったのはおまけの話として当時ハギンフェイストランスフォーマーズのライバリーのきっかけにブンのきっかけになったんですよねこれ昔ハイトウチバートって言われてハギンフェス自体はキャットボットとかの会社でもともとあったんですが彼らがバードはGoogleから出たので検査ブロードで吹かれてるそれを研究者みんな検索ロード使いたないんでパイトローチを使いたみたいな話をしていた時に彼らがそのファイトウトウトに書き起こしたコンバートしたものを出したそれがパイトチパートでありそしてそれが結局カニンペーストランスフォーマンスにつながっていったということでこういうの商業向上というか社会の流れてには分からないと思わないところで思わないというのは思きっかけが生まれて思わない思わないことでこう思う表記していくんだなというところですねその時私は何をやっていかかというと当時にやはりマシントランスレーションやりたいということでマシントランステーションのスピードアップとかですねあとこの2個目の論文はですね1個目のログのマーク自個悲願みたいな形でいろいろスピードアップで並列化とか一生懸命やってたんですね、当時ICMR1025論文ではみんなこういう大好きな楽しいしってやってるんだけど結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話もやってなんかちょっと怒られたようにしたんですがでも結局これが本当のある意味真実なのかなと思って自己禁止の音を出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT3の時代が来てフィーショットライミだんだんクラスピケーションにリーナーがなくなってきていて、だんだんみんなジェネレーションをしよう、ジョンにしようっていうのが当時の中で、もちろん皆さんご存じなものフィショットラーニングのでもグループとかオープンソースの方でも大学とか組織をまたいだプロジェクトが出てきたっていうのがこのGPTシスティスティング時代ですがこの時の研究はバイディメンシャービーダーボードといって今までのビーガーボードというのはジネレーションのモデルを評価するには不向きだよねっていうのもメトリックを固定しなきゃいけないのでその評価には不向きだから坂口さんと一緒にやっていたのはメトリックの方向を並び変えないよねリーダーボードのアブストラクションみたいな形でそういうのをやったということでやっていましたあとはやはりジェネレーションにとってイバリエーションが大切だということでイメージキャクショニングのイバリエーションとかも佐賀先生と一緒にやっていたという感じのことをしていましたでもこれちょっと油断なんですがこういう佐賀さんのご提案で漫画を描いてみようということで漫画を描いてみようということで漫画を描いてみようということで漫画を書いてこのロンガーのPRをツイッターでしていたというこういういろんな楽しいこと2人で本当に楽しくやってたということですはいでついにお待ちかねチャックGPTGPTGPT4の時代が来たということらまさにこれはまさにこれは社会実装の時代に来てしまったらとももちろん研究も多数なんだけどもとにかく使ってどこが問題なのかってどこが問題なのかっていかないとなかなかベンチマークとかで現れないものかなということを感じていてこういってこういった経緶で企業して小島ともにやっていこうというふうに思い出たと特に英語にロングNNPの業界は編集してますよねが大体インターネットユーザーの数で25%ぐらいインターネットユーザーは英語をしているんですが、残念ながらエネプの英語でしか実験をしてなかったり英語についての論文だったりするということでこれはまず一気英語編の基盤モデルをどんり返ってみると結局全てはスケールだったとこれはもう否定が必要がないなということでいろいろ私自身もいろ作りたくてくて頑張ってたんですが結局大きさで解決されてしまったことも多くてそこはもう認めたらおけないかなということで間違っていたと私自身は間違っていてそうですねそういうことですあともう一つ面白いと思ったのはやはり科学的なプロセスが違ス化ができるって書いたなということを理解したということで例えばトランスフォーマーが2017年出てきた時に私はそのトランスフォーマーがこんなに広がると思わなかったんですのも仕方ないからやらないで論文いくら読んでもよく分かんないですよなんかそのアテンションのディペンネージがうんだなでもそこって多分こ一つじゃなくて多分トランスフォーの本質っていうのは今思えば当時のですねGPUとかPPUとかそういったそのパラレルにできるからハードウェアとすごい相性があるようにハードウェアー決定論みたいな形でハードルアによってトランスコムのすごさが余計リー�ズされていって似渡り方々と言われるんですがそういった経緯があるのかなということがあってだから分からなかったのですね皆さんオプテマイザーで使ってますけども考え方によっては例えばアダムに合うようにモデルを開発してるとも言えなくはないので皆さんモデルを開発してアダムでうまくいかなかったらやめるということなので結局そこも庭とりと�エンスってやっぱりサイエンスってやっぱりサイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよあの大学地域的に言わないですねフィギックスとか言わなくていいと同じようにオープンって言ってないからオープンじゃないかな実際クローズだということでそういうことだとアメリカのチェーンでセイクウェイっていうのがあるんですけどセーフェイン全然安全にないですよね大体危ないところにあるんでだから結局そういうものなんだなということでいいではできないですコテンシャル私が当時気づかなかったしあとチャットボットっていうのも意外でしたねやっぱりチャットって人間とチャットするのも面倒くさいねなんで機会しないかっていうのが遠いとしないったんだっていうのが本当に衝撃でしたしいかに私自身が人間を理解できてないかということですねということで何も分かってないまあでもとにかく過去の話をしてきましたが前に進んでいきたいというふうに思っております5年間を簡単にまとめると適度に環境を変えるのはプラスでしたしでも専門家ですら見らないのであんまり専門家の言うこととかリビュアーが言うこととか気にしないでくださいということですね最近なんか自分がいい人も論文言語悪い理由がするからねまあねまああともう一つはですねアイディア心なもので基本的にエルムを大きくいろいろいろアイデアがあったんですけど結局そのマスクラングチモデルとか同じようなアイデアがあってアイディアだけじゃなくてエクセキューションの重要なのかなっていうことを思っていてでもこれって結局研究だけじゃなくて企業とかも見えると思うんですが例えば企業においても企業においても必ずも早いもの勝ちじゃないのかなエルモンとかあんなに早い段階で実はもっと先にも痛い前にもあったんですがLモンとかエルモンとかああいった研究とかあり結局パートナ全部持っていったりGPT3とかGP5が全部持ってったりですね結局早めの街の世界というよりもそういった不思議な神の水るみたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばグーグルとかフェスブックって最初の検索エンジンでもないしフェスブクも最初のソーシャルメディアなんかででもないわけでだからそういった不思議な力があるなというふうにも思いました最後に科学的指標っていうのも大切なんですがそれだけにこだわらずにやはりコンピュータサインティストはサイエンティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中にをしていきたいと思います大規模大規模ルの時代が来たと皆さん大規模現場ゲームモデルどう思います?すごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくる時は基本的にチャットボットにみたいなものを作ってみたいなものを作ってみたいな自然言語だけじゃなくてソフトラエンジネリングの世界でも自然言���も入力をすればHTMやCSSのコードを吐き出してソフトエンジネインをサポートしてくれるそれだけじゃなく文章の執筆要約構成メールの返信本当に反応的なものに使えるっていうのは間違いないなと思うんです大規模型モデルってそもそも何だったかっていうと皆さんご存知の通りものすごいシンプルに学習されたAIなわけですよね文章があってその文章の次の単語を予測すると例えば学こんなシンプルなものが役に立つのかすごい不思議ですよく言われることなんですけど結局はスケーリング速度を学習する時って大きくわけで3つの要素がある学習するAIモデルの大きさそれに食べさせるデータの量この学習を行うコンピューターの資源の量計算資源と呼ばれますけどこの3つだもの何が申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習中で増やしていったけどか突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが反応的な性能を持ち始めるものだから今みんな注目しているわけですこれを本当にこの傾向すごいスケーニング速を分かりやすく示したグラフがこうなんですけどこのグラフっていうのはX軸があるモデルールで学習に使われた計算資源の量、スーパーコンピューターの資源の量なんですけれども、見ていただくとおりその傾向というのはログリニアですごいクレアなのがコンピューターの性能自体というのは皆さんご存じのムーアの法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えているそのコンピューターを使って学習したAIの計算資源の消費量というのはそれをはるかに超える12年間で10の12乗倍増えていると要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですよこれが反応せず何が関係あるかすごいスケッチなグラフで申し訳ないんですけどもこれちょっと賛否両論あるグラフなのでちょっと反対意見がある人は後で個人的に来てるけどすごい傾向はうまく捉えていると思っていてこのグラフで何を表しているかというと8つタスクがあるんですけど例えば算数力みたいに大規模言語モデルが5-5-1万11そういった算数の問題を答えられますというタスクであったり多言語力英語でQAができるモデルがペルシャ語いくとここも同じなんですよ。X軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしてきた時に突如変異的に大企業保険のモデルがタスクの能力を得るポイントがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて突如変異点が来るとこれが反応性なんです結局計算資源を増やしていった時に突如変動力を持つそういったものが大規模デングモデングモデルの学ぶっていう話をしたいんですが2019年から2022年何が起こっていたかというと一言で申し上げますと各国で大規模言語モデルの開発競争が起きていたアメリカですアメリカではマイクロソフト社ググルー社といったインタストリーを中心に大規模なモデルの開発共数が大きぼみることが大規模なスーパーコンピューターをオープンア社に提供して当時GPT3英語メインの大規模型語ゲンモールドを学習していたと全く似たようなことが中国でも起こっていて中国では政府が所有しているスーパーコンピューターを用いて政府機関がGPT3を超えるようなスケールです世界で最大規模のパラメターの数の大規模型予見のモデルを中国語で学習しているこの動きってアメリカと中国だけじゃなくてヨーロッパではフランス政府が所有するジョン・ゼープループニューターがあるんですけどそれをハギングフェースと呼ばれる皆さん個人のハギングフェイス社によるハギングフェース者が多国籍用の大規模型モードルを学習していたこの多国寄り王って面白くて実はドイツが含まれていないのはフラスドイツの緊張感が現れたりするんですけどそれ以上に重要な小話があって実はこのフランス政府がスーパーコンピューターをハギングフェスに貸し出す時にハギングフェスって当然グラントプロポーザルみたいなものを書いたんですよねこれこれこれこういう理由でオタクのセルファーコンピューターを使いたアゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーが���ランスを食いつくそうとしているとだから我々は独自でモデルを開発する必要があるみたいなことを言っていたんですすごい緊張感の高い対策競争が大きいった方々は日本を見てきた時に今でこそ本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな予定あったんですけど当時日本国内でハギングフェイスみたいな人はやらないんです最初に割れてくる疑問としてなぜ日本国内でできないのかできないのかできないのかまずそこをしっかりしたい大規模言語モデル学習で何が一番重要かというとやっぱりそれはスーパーコンピューターのリソースなんですが日本ってスーパーコンピューターがないかというと全然そんなことはないわけです一番分ューターなんですけどね実は日本最大級のスーパーコンピューターってABCIじゃないんです。不学って呼ばれるスーパーコンピューターで、皆さん、年齢的にちょうどベストヒットかなと思うんですけど、以前、民主党政権がありまして、そこでレイホンさんという政治家がいらっしゃったり言うほどをやっていた時に1位じゃダメなんですか2位じゃダメなんですかっていったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を超っていたんですけど今はレアホンさんおっしゃるとおり2位になってしまってそういうスーパーコンピューターです何が重要かというとこの富学っていうのは本当に化け物みたいな性能を持っていてギングフェッシャーがブルームと呼ばれる大器オンゲングモデルを学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし前近を使えた場合はAIの学習性能だけでも考えても10倍速いです10倍速っていうことは同じ計算をやった時に不学だと10倍早く計算が終わるでも深く何がグレージーかっていうとCPUベースのスーパーポンピューターなんですよ 全然GPUで大規模言語モデル学習したことありますね大規模言語ゲームモデルじゃなくてるんですけどディープラウンドで多分CPUでやらないです基本的にはGPU内緒はTPPU、AIで�特化したハードウェアでこれが何が問題かっていうのを同数字を見ればすごい明らかったと思うんですけどNVDやのA-1-100っていうGPデータセンターで最先端のGPUでものCPUってMVDやGPの50遅いんですよ50倍遅いってことはGPでできる計算が50倍長くかかってしまうそもそもフラクって何がすごいなっていう話なんですけども不学学ってCPUが15万個あるんですよ皆さん15万個のCPU使ったことありますか?多分ないと思うんです。ここで何が言いたいかというとぶっちゃけGPUがCPUが50個使って平列計算したら同じぐらいスピードが出るのねっていうのはちょっとクレージーズな間ちょっとクレージーズな間で佐賀口間にすごいご迷惑ってだけしてるんですけどそういうことを当時考えていてそれをやるためのした分散併列学習というものになります今でその分散並列学習ってすごいろいろオープンソースのパッケージが出てきて皆さんご存じかもしれないところで言うと例えばマイクソフト社のディークスピードであったりやLVD社のメガトロンLMというパッケージがあってこういったパッケージってデータパイルモデルパレールと呼ばれる分散平列学士をサポートしてるんですけどもCPUでは動くんですけどCPUで動かったんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVではマイクロソフトに書いていただいた分散平列学習のパッケージをCPU向けに移植してちゃんと平列でCPUが計算できるかなということを試したんです。初期実験としては非常にいい結果が出てここなんですけど、CPUの数を増やしていった時にシステム全体としての計算性度がどれぐらい上がるかなっていうのを見て、これログリニアなんですけどログリニアなんですけど特にCPUを先行たりまで増やした段階ではその計算速度がCPUが1個だった時と比べて1000倍近くなっていくとこれまで分散余算余裂学習がすごいうまくいっているなっていう感触がったんですけれどもこれはあくまで初期の実験で当然うまくいかないこともあって一つはCPを大量に使うことでどういう問題があるかということなんですけどCPU例えば2個使っているだけだとCPU1個同士がコミュニケーションすればいいだけなのでそれは問題ある問題あるとただCPUを1000個とか1万個とか増やしていった時にやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分かるとおりシステム全体としてその計算性能が上がるっていう時が若干その落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションコストが上げられるようにしない人ってないよねそういったことも一つ課題化しているんですそれ以外にもすごい面白い発見もあってハードウェアって基本的に理論値と実測値というものがあるんですよ理論値というのは理論的にはこれだけ推量が出ますよ実測指っていうのは実論値の大体40%から50%ぐらい最近だと60%ぐらい出てるのかそのくらい出るかっていうとNVDIのソフティアのエンジニアの方々がものすごい波長い波々しい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションの行列計算はこの特別なコードを使うことによって早くしましょうみたいなすごいなんかハンドウェイビーなハードコービーなハードコアのソリューションがソフトチョイスタックマクウダーレアの中にいっぱいあるんですよだからGPUは実測している用�の幅がそんなにCPUのCPUってそもそもそんなにAI学習を想定したものではなくてもちろシミュレーションとかそっちの方で使われていたのでそういったソフテリアストック機が弱くて利用主が利用値の7から10%ぐらいぐらいにならないとこれを直さないとやはり不学上で大規模学習ができないのでということになりましてこちらの日系新聞さんでカバーしていただいてそれこそ7社合同部屋せていただいているということなんですけれどもGPT浮学というプロジェクトが今格化いたしまして主要な期間でいうとそれこそ東北大工さん坂口先生のここで言うと栗田さんと佐々木職さんって言わせていらっしゃるそういった方々が中心になって協力していただいているとそれ以外にも東高台さんであったりとか意見サイバーエージェント名古屋大学富士通弊社言葉テキノロジーズが連携してして区学場で大規模擬習していけるようにそういったプロジェクトは大きく分けて2つのチームがあって1つ目のチームはシステムチームと呼ばれるチームですこちらは区学場のインフラを整えてそこでAIの学習が効率的に行えるようにしようと思う具体的にどういったことを解決しようとしているかというと先ほどのスライドがあったとコミュニケーションコストの問題が解決しようであったりだとか理論と実測値がもう少し小さくなるようにそういったことをやってNLPチームの方には東北大学の方々が指導していただいてこちらでは日本データの準備であったりとかトークナイザーの開発そういったことをやりたいと思いますこちらのプロジェクトはまだ動いているので今後もどんどんどんニュースが出てくるかと思いますが、皆さん、温かく見守っていければということですではそうですねここまでが冬学のお話と深くっていうのはすごいやっぱり面白いプロジェクトで今後今後今一番速いスーパーコンピューラだと間違いなくAI性能に限って言えば富岳よりもっと速いスーパーコンピューターっていうのは1、2年で出てくると思うんですよ。そういった書き橋に役割ですこれはすごいサイエンスとすごい社会に使えるレベルになっているのでこれを実装しないとやっぱもったいないし実装してみたいな社会そういったことで言葉テクノロジーズという企業を立ち上げましてちょっと思考実験をまずしてみたいので大規模言語モデル素素晴らしいこと果たして日本のビジネスに使えますか?弊社は言葉テクノロジーズというのは日本のビジネスと相手にいろいろとオペレーションをさせていただいている会社なのでこの時点ですでに日本国内の340社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったり旅行会社さんに大規模型権行モデルお宅どうお使い習い習えますかそういったことを聞いた時にこういう業務があるんじゃない���なっていうことをおっしゃっていただいたんですよね地点Aで地点Aから地点Bに行く旅行計画を作ってそれをパンフレットでまとめるっていう業務よく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやる時に例えばGPP法を考えてみましょうとプロプトかけますよこういったプロップをかけて渋谷駅から出発して火災の地元である奈良公園で日帰りで観光する計画を作ってパンプレットにしてくださいそこでは交通手段を含めてください東大寺も観光できるようにしてグルメ回りをしたいのでグルメマインまで来るようにこれが実際出てきたアットペットなんですけど一番上を見るとすごい東京からなら伝統と自然の一日旅行くめちゃくちゃキャッチになったりとかこれだけ見ると日本のビジネスでもGPT4使えるじゃんと思う方も多いと思うんですよその下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ伸ばしていっているとちょっとページ3スケジュールのところを包括したいんですけどまず1個目のスケジュールでとんでもないこと言っているわけですよ朝7時渋谷駅中央大阪の新幹線に乗る渋谷駅に新幹線なんて撮ってないんですよこれはちょっとよろしくな。まあグルメ回りしたいけどジョークとしては面白いですよジョークとしては一気売りだこんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事がなくなっちゃいます何が言いたいかというと大規模型言語モデルってGPB4に代表されるようにめちゃくちゃ反応的だと反応的なんですけども日本語の閉じたドメインのようなところでデプロイしてしまうとまだまだ業務に差し支えられる欠点があるそれ以外にもそもそもこれをやった理由っていうな旅行会社さんの視点に立ってみたらこの生のペキストをマークダウンを取ってきてそのパンフレットにもう一回リストラクシャーする作務が必要ですというところですねこういった問題を踏まえて弊社言葉テクノロジスではそうですねこういった現状の大規模言語モデルデルの血管を研究開発することによってどんどん直していく直して大規模言語モデルをアプリケーションとして分かりやすい形で企業さんに販売するそういったことをやってつい直近では米国で数億円規模の指導資金調達を完了して国内でも政府指導の補助金を今申請中のありましたとおりつい先日東京オフィスを六本木に開設して取り組んでいるとエンジニアサイティストを�め徐々に10月始めた順次中チームチームとなっており年内には5人から12程度のチーム編成にできればそういったふうに思っておりますこれが先ほど申し上げた内容を少し細かくしたところなんですけれども研究開発としては例えば非英語圏の言語でも大規模言語言語モデルがしっかり使えるようにしたりとかそれこそ大規模言語モデルっていうのはリアルタイムな情報がすごい弱いわけですよね例えば東北大学から仙台駅に今行きたいとなったら大規模型援護系モデルって基本的に今の時間を調べてそれに落ちた答えをしてくれるっていうのはなかなかないのでそういったところツイルフォーマーといった論文がありますけどAPIコールを通じて解決することで大規模言語モデンリアル体制を持たせるでそれ以外にもマルチモダル能でそういった研究開発をしておりますこういった研究開発した言葉フォーマンという名付けられて我々言葉フォーマーって呼んでいるんですけど弊社のシステム言葉フォーマーをユーザーの方々に分かりやすい形でパッケージング化してあげることによって例えばコールセンターでやったりとかコンテンツ生成そういったものにして企業さんに販売しているそういったことを弊社ではやっていますちょっとアプリケーションの方にもフォーカスして何個かも例ゲン社が最初に取り組んでいるドメリットとしては教育分野のカスタマーさんと一緒にプロジェクトへ合わせていただけるんですよね教育分野もちょっとここはアカデミックトークなので名前も言ってしまいますが皆さんなんか寸大に行かれた方っていらっしゃいますかあまりないのかななるほど寸大っていう宿命があるんですけどもそうですねまあ弊社すん大様とプロジェクトを一緒にやっておりましてここではどういうプロジェクトをやっているかというと生徒さんが塾の中でお使いにある練習問題とか模試を自動生成できるそういったプロジェクトをやっているんですよスンターズンターさんが今どういった課題を抱えてらっしゃるかというとこういった練習問題を作る時に基本的に教員の方々が指導で試験を作るとその結果ものすごい労力が費やされているんですよ例えばクレイジーな話なんですけど共通テストの模様1個を1個作るのに何時間かけていますかっていう話を聞いた時に1つのテストに300時間かけているらしいんです300時間それ年1回やるわけじゃないですからね何回も何回も繰り返すそういった業務を用いて解決できればいいのこれがちょっといいんですけれども弊社がやっているのは本当にすごいシンプルに教員の方々が使えるようなシステムでここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんですよここではアメリカを初めて訪れますよというコンテクストで問題を作ってくださいその結果出てくるものが例えばこういうパーフレット形式のビュークが今は共通テストってすごい情報分析に寄せたような問題が出ていて英語でもないこういうパンフレットを呼び解いてくださいみたいな問題があるんですだからこういうパーフェットみたいなものを直接出力することによって先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこういったパンフレットを作ってその後はそれに即した問題を先生方に生成していただくわけです質問の正々に進むというふうに進むとこういった感じで4択の問題がパーブレットに属した形で制あったり出力するP.PFはただに問題のコンテクストをつないだらけのものなんですけどワードで何で出力するかというとやっぱりAIが出力したものなので先生方が気に入らないものがありますそういったものが例えばワードだと直接先生方が手を加えるだけですぐに生徒さんに配られてもそういったことを教育ドメンではやっておりますもう一つ紹介したいのが交通分野部�東様と一緒にプロジェクトルトをやっておりましてそこでやっていることとしてはカスタマーサポートの自動化というくとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやっているじゃないと思う方もいらっしゃると思うんですよ確かにその通りですチャットボットってどこでもやっているとJR東様のチャットボットってめちゃくちゃ難しいんですなんで難しいかっていうとカッサマーの方々が本当に多様なお問い合わせをしてくる本当に多様なお問い合わせをしてきた結果ちょっとGPT4をいじっただけだと想定解決できないような問題が出てくれば例えばその例をあげると渋谷駅でお裁表を忘れてしまったんですけどどうすればいいですかそんなチャットGPTに聞いても分からないですね何をやる必要があるかというと例えば大規模型語研語モベルが裏でAPI読んで例えばSQLのような報道を書いて例えばJR東の中にあるインターナルなデータベースにお問い合わせをして忘れ物状況を取得してそれを踏まえて返答を送らないといけないそういったことが気になる方かるんですよ結構我々頭がおかしいのでクレジなことを考えるわけですよもしテンスター情報に大規模型ボケグモデルが直接アクセスできてその混雑情報を取ってこれたらそういった座っていける路線は何ですかみたいに質問にも答えられますそういったことをここではやっていますすごい何だろう簡単に見えて難しいアプリケーションなんでこれはめちゃくちゃエクサイティングですもう1点エクサイティングな点を上げるとするとやっぱりJRヒャーリーグアスタマンセンターって皆さんちょっとお使いにならないかもしれないんですけど結構その高齢の方々とかって電話を通じてコールセンターに電話をかけていらっしゃったりするんですかねその数でいうと1日大体数万件年間でいうとそれこそ数百万件数千万件ってなってきませんご視野,"[11.120648622512817, 10.576390266418457, 10.681758880615234, 10.703449249267578, 10.765405178070068]"
-kotoba-tech/kotoba-whisper-v1.0,15,,,,cuda:0,long_interview_1.mp3,False,256,10.77918643951416,0.20745621012396212,NLP5年間いろいろあったと思うんですけれども今日のトークではNLPの過去5年間を火災の研究であったり私たちが取り組んできたプロジェクトを中心にちょっと5年間をリフレクトしてどういうきっかけで言葉テクノロジスという企業を作るに至ったかなっていうのをお小島紀樹と申します。私、コーネル大学を卒業しまして、本当ディフェンスをやったのはつい2、3週間前なんですけれども、もともともとはコーネル大学ってニューヨークって、土田舎の伊阪という街にあるっていうイメージがある方も多いと思うんですけどもコーネル大学って実は2つキャンパスがありまして1つはイサカにあるんですけどもう一つあのニューヨーク市にあるいインウィルト島っていうなんかすごい細長い島があるんですけどそこでPHEをやっておりました私はPHUの専門部屋としてはマルチモダリティーと呼ばれる自然言語のシステムにどうやったら言語以外の情報を例えば画像であったりとか音声といったものを理解できるようにさせるそういったことであったりとかインターナクティブラーニングと呼ばれる最近RNAHFみたいな言葉がよく使われるようになりましたけど人をどう絡めてNLPのシステムを向上させていくかそういった検訓の方ではハギングフェイスでちょっといろいろとプロジェクトでお世話になったりもしましたそうですね学部から実はアメリカに行っていてミシガン州にあるミシガン大学アナーバーコっていうところがあるんですけどもそこで学部をやっていて高校まで日本に行きましたそういったところでちょっと火災にバトンガッチさせていただきます今日はよろしくお願いします日本の名前から分かる通り日本のトヨタが昔出資をして今独立な組織なんですがそちらの方でリサーチャーシストプロフェッサーという職を持ちだから小島と共に言葉テクロニに取り組んでいるという状況です。私も本当にPHDも出来立て小屋というか最近取りまして先月8月に無事、シアトルですね西海部のシアトルにあるワシントン大学でコンピュー�ャンスレーションとかあとは効率化とか言語制制制のイバリエーションとかそういうことをやっておりましたちょっと遡のぼるとですね実は私も暇と見た形で高校卒業後は大学はアメリカの家庭大学という当時は統計にいたんですが、統計学部を卒業しましてその後ELELで働きながらワシンコ大学に進学したという経歴ですね最近イエル大学も知名度が上がってきてちょっとよく分からない教授がいろんな番組でお話をしているという名前は誓いさせていただきますけどもなんか知名度ががらってきてうてしいんですがここはイエルのキャンプスでオックスフォードとかケンブリッシュと生まれてこれわざと何かやりたりしてるんですよねわざと古く見せるようなアメリカって新しい国なんてそういうことにしてるというでもまあ数字用にきれいな感じがありますでこれがTT-TIC東京都高校の中でまた古いものとまた電波等下なんかでそれを改造して大学になったとしばらく日本にも非常につながりがあって古井先生というスピーチの対応ですねついさっなくなっちゃったんですが彼が昔ここでプレゼントをやっていたということで本当に日本のゆかりがあってなおかつ私が実は今パカルティーで唯一日本人なのでちょっと責任感を持ちながらやってるという感じですねこれがそこになりでこの案なかったということでせっかくなのでなんでここにいるんだというとまさにまさに宇坂口さんとの佐賀井先生ですねすいませんつながりが本当にこういったありがたい機会をいただいていて私は本当に2021年ちょうどコロナが終わった直前とかみんな大体オフィスに戻り始めた頃に沢口さんがAI2にいらしてそこでインターンを一緒にやろうということでインターのメンターを最初3か月とやりつつでも本当に楽しくていろいろパーテイムで練習してるうちにもうなんか1年ぐらいもうちょっと長かったかな一緒に研究をさせていただいて本当に楽しい日々でオフィスがあってこれ私のアドバイザーノアスミスなんですけどノアスミスが出て写真を撮って写真を撮って掘り出してきました本当に懐かしくて本当に懐かしくて昼ご飯を食べては雑談してですね昼ご飯を食べてるうちに論文がそれなりにかけてくるみたいなことをやっていてだったんですけど最後の方が結構皆さんご存じですか?白い虚頭の話をよくしてましてこれいろんなバージョンがあるんですけどこれは唐沢利明っていう俳優がやっていたバージョンが2人ともすぐお気に入りでで広いけどの広いけどのバージョンとのバージョンどのこが一番いいかというのを話し合っていて坂口さん的には後半のやっぱり財前教授になった後に財前教授になった後にさすがなくなってこう、がんになってしまうみたいな、ちょっとネタバレになっちゃったな、それあたりはダメだと全員のこそ面白いことをおっしゃってさすがそらにどこかにいらっしゃると思うんですがそんな感じですごいいところでしたね会社としましては藤間と創業しまして今は日本とアメリカの二極対戦みたいなクロスボーダーという形でやっていて私自身TICにポジションもありますしあとはシアトルにと言いましたので米国シャトルに本社はあるんですがそれでもうすでに東京の国民にオフィスを構えまして日本の支社みたいな形で今やろうという形で進めているということで言葉と申し進む会社ですね基本的に下げ年後今話題の大規模言語言語デルですねLLの特に非英語圏語系のベース言語モデルの開発とか場によってはマルチモータルとかそういったことを今度の挑戦的にやっていきたいなともちろん同時にやはりビジネスですのでアプリケーションの提供も行うことでうまく研究とアプリケーションのバランスが取れていければいいなというふうに思ってやっていると初期市場としては今は日本を考えてましてやはり私たちは高校まで日本にいましたし日本でたくさんいろんな方にも世話になりましたし何かしらやはり日本の中でインモを作っていきたいなということで日本が初めてやっているという状況です資金調達とかいろいろ今頑張ってやって終わってきているということですねちょっと今日の内容なんですがざっくり言って4部構成ぐらいになりますで一部目はまさに私はもう5年間PHDがありましてこの5年間って恐らくNLPの歴史の中でも一番激動の5年間だったと思いますので運良くいいのか分悪いのか分からないですがそのタイミングでPHD終わった私から見た今思うとこうだったよねみたいな話をちょっと過去の話ということを話したいと思いますそれあとはやはり前を期待ということで未来について話していきたいと思いますはいということで適度のPHD5年間ということでこれはもう私のPHDをできるだけきれいな形でギリギリ頑張ってまとめたみたいな話で最初だけポジズムな話でいこうと思います一番最初にKHDDが始まる前ですねイエル大学にやっていたのは構造解析とかいわゆるシンタクスとかパーショングとかそういうことをやってその後ですねワシントン大学に移動してずっと英語ばっかりこの構造解析とかずっと英語なので英語ばっかり言うじゃない私自身多言語を話したりもっといろんなことをやりたいなということで多言語の文法をやってきたとそのうちにまた言語がやってるうちにまあ多言語って言葉マシントランスレーションを毎回ありがしっとこれ見づらいんですがモデルの高速化とか効率化とかそういったことにやっていったり大一部現をモデルに取り組むということで無理やりまとなれば何かだんだんオーディエンスが最終と比べると大きくなっていたなということでこれはちょっと自分が一つ成長できたポイントとして少しきれいに見えるかなと思いまして最後に一つだけポジティブなことを言っておくと環境のやはりいろんなものを変えていった時にですね環境の変化が本当に大きかったなと思っていて皆さんもし機会があればぜひどんどん環境の変化を求めていったらいろんな経験ができると思っていて一番最新学院学院にいましてワシント大学にいながら引き詰まったのでメタでインターでインターしたりそういったことをやってるうちにあとは最後は最後のサガールスターとAI2でインターチャンをしたりマイクロソフォントに行ったりして環境の変化に応じていろいろプロジェクトとかも楽しくできた方だと思うのでぜひいろんな日本いいところですけども���ろんな物理的にも環境を変えるのもいいことなのかなと思っています。じゃあせっかくまずは過去の話ということで一体私がピーチャリー始めた頃何が起こったかというとこれですねディープコンテクショナイスオルディレーションスということでその前まではワーデンベリングというかも多分今の人知らないのかな?ワータティベットとかみんな授業でやってますね教科書、歴史、日本史みたいな感じになる時にベクト化したいみたいなとレキトロ化する方法が何個かこういうことやって今から言えばものすごい浅いニューラルネットワークみたいので周りの単語を予測することでメキトロ化してるかってことは周りの言葉が似ている単語は似たような似たような似たりだったそういったそういった言語学とかディスティブーション・マンティクスとか言ったりしますけどもそういったディスティブーションオンスマンティングスクスクトですねそういったディスティブーションオスなんですがそういった自然そういったことをやっていたというのがこれでぐちゃぐちゃぐちゃこういうことをみんな頑張ってたんですよねこれ最初ミコロフの2001年もっと前から多分あるんですがあと黒を植えることやっていてこういうことやっていたんですが大体私がPシリア始めた頃ですねこれまさに実はワシント大学で私がちょうど入る直前に起こったことなんですがワシントン大学はまさにAI2でエルモンというのが出てくるこれこそ今もうあんまり知られてないのかもしれないですがエルモの研究というのがあってそれはですね要は今まで浅いにいろんな手にやってたけどもっと深くして何日モディクションをひたすらやっていってその最後だったり真ん中だったりそこのベクトル表現を使っちゃおうみたいな話をしていてそうすることでQAだったりエレモンを使っちゃうみたいな話をしていてそうすることがあったということがエレモだったりコーブでちょっとこれに似たようなアイデアがあってそういった時代に私はピーチャルを始めたということでここで終わりだと思ったんですね私は実はもう完全にこれ以上に間違うことはないんですが完全に間違っていると思うなんかちょうどこのセバッシャン・ルーダー-M-RE-NM-REとか言っていってどんどんビジョンみたいになってきたよねと結局当時ビジョンでよくやられてイメージネットで大量に画像のクラジケーションとかを学習させてそのベクトルを使って他のタスク得ることを使っていてまさに同じことが起きていて天語モデルをやらせておいて他のタスクタイムタスクタイングとかッションアンセリングとかをやらせるみたいなイメージネードみたいになったよねっていうことを言っていたということでこれがああよかったねと自然言語シロンもようやくビジョンに落ち着きましたとこれは始まりでしたらなかったんですがちょっとその時私が私がやって何をやっていたのかというのを振り返るとさっきの流れでマルチリンガルにやりたいなと思っていてLも出てきた時にラングチモデルを基本的に英語でやってきたんですがマルチリンガルにやらないといけないよねってことを考えていてじゃあとりあえず科学的にバイリンガルにすることによって例えばローリソースラングジコーラッシャンとかヒーブルとかヘブライブルとかヘグライボとかどういうのでどれぐらいバイリングでラグチモデルをトレーニングしてそれをそのベクトルを使うってことをやることをやることでそうすることでモノリンガルの時にバイリンガルにした方が抜判定的にスコアが上がるようでみたいなことをこの時考えてやっていましたこれがラクルの2018とか2019かその辺の研究でした。結局でもこの研究ってあんまり意味なかったです。なぜかっていうと、今反省すると、結局さっきバイリンガルのグラフ見せましたけど、ちょっと科学的な指標にこだわってたんですよねじゃあバイリンガルで今だったら例えば英語があってそれに全部ごちゃまずしたいろんな言語を加えて言語モデル作ろうみたいな発想になるんですが当時はやっぱりちゃんと比べなきゃいけないでしょバイリンダルのバージンとモノリンガルのバージョンを比べて比較しようみたいなことを断って��たんですが今思えば多言語に大規模に拡張してしまって日本語だけ日本語だけのモデロ日本語定語の模様に使っても助かる人って 限られていますよね 使う人って限られていて例えば全ての5言語とか10言語とか入れていればですね今思えばもっと使いやすいものだったらというふうに思いましたし当時トランスフォーマってまだそこまで使われていなかったのでASTMとかを使ってやっていましたということで結局時代が読めなかったな負けた相手なんですがXLMのフェイスブックからフェイスブックスクから出たXMというのがあってこの人にも論文のよく分かんないしよく分かんないですけどでも実際に使えるものを作ってたんですね彼はそれをダウンロードして使う機会で書いてもちろんサイベーションももちろんですそれ以上にかく伝えるものを作は本当に素晴らしいなと思った次第です。コンピューターサインスのP資料をやるということで自分は科学者になるなと言って意気込んでその時やっていたのでちょっと本当は科学者を目指すべきじゃなかったなとちょっと若かったなということでこういった反省をしてるということであと最後にタスクの選定をちょっと間違っていまして私たちはNARとかペナンティックルーブリングがやっていたんですねでもこれも結局まあいいんですけど当時ものすごい流行っていったのはクエスチアンスルで結局QAで結局QAの人たちはこういう本物読んでくれなかったんですよねでその割にこういう論文を読んでくれてくれてなので結局使ふうに思っていましたし私のアドバイザーのアスミスとあともう一人ループズロモイアンという人がいまして彼は同じイスブックのディレクターとかNRPもリサーチを仕切っている人で彼はエレモの作者でもあり最近だとロバートロバートの作品とか結構大規模言語モデルにおいていろんな研究をしてきた人なんですがノアはその時何を言ってたかというと単純なエルモのエクセンションなんかに大してベストペーパーも上げる必要ないしあんま興味見えようみたいなことを言っていてまあでも実際これったらベストベストペーパーを取った後前なんですが実際撮りましたよねそれからエルモの作者ですから素晴らしいと言ったけども自分の頑張ったエルボが1年が続くと思ってたのに結局1年続かなかったよねちょっと悲しいねみたいな見たなちょっと違う見方をしてるのかなというふうに思って面白かったんですがそのループもですね実はGPT2がちょうど出てきた時にこれタンダーデルランディモデんだみたいなことを言っていたのでやはり専門家のつちょっと面白かったのはおまけの話として当時ハギンフェイストランスフォーマーズのライバリーのきっかけにブンのきっかけになったんですよねこれ昔ハイトウチバートって言われてハギンフェス自体はキャットボットとかの会社でもともとあったんですが彼らがバードはGoogleから出たので検査ブロードで吹かれてるそれを研究者みんな検索ロード使いたないんでパイトローチを使いたみたいな話をしていた時に彼らがそのファイトウトウトに書き起こしたコンバートしたものを出したそれがパイトチパートでありそしてそれが結局カニンペーストランスフォーマンスにつながっていったということでこういうの商業向上というか社会の流れてには分からないと思わないところで思わないというのは思きっかけが生まれて思わない思わないことでこう思う表記していくんだなというところですねその時私は何をやっていかかというと当時にやはりマシントランスレーションやりたいということでマシントランステーションのスピードアップとかですねあとこの2個目の論文はですね1個目のログのマーク自個悲願みたいな形でいろいろスピードアップで並列化とか一生懸命やってたんですね、当時ICMR1025論文ではみんなこういう大好きな楽しいしってやってるんだけど結局なんかエンコーダーを深くしてリコーダーを浅くすればいいんじゃないみたいな話もやってなんかちょっと怒られたようにしたんですがでも結局これが本当のある意味真実なのかなと思って自己禁止の音を出して良かったねということでこういった研究をしていたという感じですねでもまさに次はGPT3の時���が来てフィーショットライミだんだんクラスピケーションにリーナーがなくなってきていて、だんだんみんなジェネレーションをしよう、ジョンにしようっていうのが当時の中で、もちろん皆さんご存じなものフィショットラーニングのでもグループとかオープンソースの方でも大学とか組織をまたいだプロジェクトが出てきたっていうのがこのGPTシスティスティング時代ですがこの時の研究はバイディメンシャービーダーボードといって今までのビーガーボードというのはジネレーションのモデルを評価するには不向きだよねっていうのもメトリックを固定しなきゃいけないのでその評価には不向きだから坂口さんと一緒にやっていたのはメトリックの方向を並び変えないよねリーダーボードのアブストラクションみたいな形でそういうのをやったということでやっていましたあとはやはりジェネレーションにとってイバリエーションが大切だということでイメージキャクショニングのイバリエーションとかも佐賀先生と一緒にやっていたという感じのことをしていましたでもこれちょっと油断なんですがこういう佐賀さんのご提案で漫画を描いてみようということで漫画を描いてみようということで漫画を描いてみようということで漫画を書いてこのロンガーのPRをツイッターでしていたというこういういろんな楽しいこと2人で本当に楽しくやってたということですはいでついにお待ちかねチャックGPTGPTGPT4の時代が来たということらまさにこれはまさにこれは社会実装の時代に来てしまったらとももちろん研究も多数なんだけどもとにかく使ってどこが問題なのかってどこが問題なのかっていかないとなかなかベンチマークとかで現れないものかなということを感じていてこういってこういった経緶で企業して小島ともにやっていこうというふうに思い出たと特に英語にロングNNPの業界は編集してますよねが大体インターネットユーザーの数で25%ぐらいインターネットユーザーは英語をしているんですが、残念ながらエネプの英語でしか実験をしてなかったり英語についての論文だったりするということでこれはまず一気英語編の基盤モデルをどんり返ってみると結局全てはスケールだったとこれはもう否定が必要がないなということでいろいろ私自身もいろ作りたくてくて頑張ってたんですが結局大きさで解決されてしまったことも多くてそこはもう認めたらおけないかなということで間違っていたと私自身は間違っていてそうですねそういうことですあともう一つ面白いと思ったのはやはり科学的なプロセスが違ス化ができるって書いたなということを理解したということで例えばトランスフォーマーが2017年出てきた時に私はそのトランスフォーマーがこんなに広がると思わなかったんですのも仕方ないからやらないで論文いくら読んでもよく分かんないですよなんかそのアテンションのディペンネージがうんだなでもそこって多分こ一つじゃなくて多分トランスフォーの本質っていうのは今思えば当時のですねGPUとかPPUとかそういったそのパラレルにできるからハードウェアとすごい相性があるようにハードウェアー決定論みたいな形でハードルアによってトランスコムのすごさが余計リー�ズされていって似渡り方々と言われるんですがそういった経緯があるのかなということがあってだから分からなかったのですね皆さんオプテマイザーで使ってますけども考え方によっては例えばアダムに合うようにモデルを開発してるとも言えなくはないので皆さんモデルを開発してアダムでうまくいかなかったらやめるということなので結局そこも庭とりと�エンスってやっぱりサイエンスってやっぱりサイエンスって言うんですよねサイエンスって言うってことは多分科学じゃないんですよあの大学地域的に言わないですねフィギックスとか言わなくていいと同じようにオープンって言ってないからオープンじゃないかな実際クローズだということでそういうことだとアメリカのチェーンでセイクウェイっていうのがあるんですけどセーフェイン全然安全にないですよね大体危ないところにあるんでだから結局そういうものなんだなということでいいではできないですコテンシャル私���当時気づかなかったしあとチャットボットっていうのも意外でしたねやっぱりチャットって人間とチャットするのも面倒くさいねなんで機会しないかっていうのが遠いとしないったんだっていうのが本当に衝撃でしたしいかに私自身が人間を理解できてないかということですねということで何も分かってないまあでもとにかく過去の話をしてきましたが前に進んでいきたいというふうに思っております5年間を簡単にまとめると適度に環境を変えるのはプラスでしたしでも専門家ですら見らないのであんまり専門家の言うこととかリビュアーが言うこととか気にしないでくださいということですね最近なんか自分がいい人も論文言語悪い理由がするからねまあねまああともう一つはですねアイディア心なもので基本的にエルムを大きくいろいろいろアイデアがあったんですけど結局そのマスクラングチモデルとか同じようなアイデアがあってアイディアだけじゃなくてエクセキューションの重要なのかなっていうことを思っていてでもこれって結局研究だけじゃなくて企業とかも見えると思うんですが例えば企業においても企業においても必ずも早いもの勝ちじゃないのかなエルモンとかあんなに早い段階で実はもっと先にも痛い前にもあったんですがLモンとかエルモンとかああいった研究とかあり結局パートナ全部持っていったりGPT3とかGP5が全部持ってったりですね結局早めの街の世界というよりもそういった不思議な神の水るみたいなところがあって常にそういったことには準備していかなきゃいけないのかなと思いますしもちろん企業の話でも例えばグーグルとかフェスブックって最初の検索エンジンでもないしフェスブクも最初のソーシャルメディアなんかででもないわけでだからそういった不思議な力があるなというふうにも思いました最後に科学的指標っていうのも大切なんですがそれだけにこだわらずにやはりコンピュータサインティストはサイエンティストというよりもエンジニアだと思っているのでしっかり皆さんが使えるものを作って世の中にをしていきたいと思います大規模大規模ルの時代が来たと皆さん大規模現場ゲームモデルどう思います?すごい抽象的な質問なんですけど本当にいろんなことに使えますよく新型でAIスタートアップが出てくる時は基本的にチャットボットにみたいなものを作ってみたいなものを作ってみたいな自然言語だけじゃなくてソフトラエンジネリングの世界でも自然言語も入力をすればHTMやCSSのコードを吐き出してソフトエンジネインをサポートしてくれるそれだけじゃなく文章の執筆要約構成メールの返信本当に反応的なものに使えるっていうのは間違いないなと思うんです大規模型モデルってそもそも何だったかっていうと皆さんご存知の通りものすごいシンプルに学習されたAIなわけですよね文章があってその文章の次の単語を予測すると例えば学こんなシンプルなものが役に立つのかすごい不思議ですよく言われることなんですけど結局はスケーリング速度を学習する時って大きくわけで3つの要素がある学習するAIモデルの大きさそれに食べさせるデータの量この学習を行うコンピューターの資源の量計算資源と呼ばれますけどこの3つだもの何が申し上げたいかと申し上げますとこの3つの要素をそれぞれ学習中で増やしていったけどか突如変異的にただ単に次の単語を予測するだけだった言語モデルと呼ばれるAIが反応的な性能を持ち始めるものだから今みんな注目しているわけですこれを本当にこの傾向すごいスケーニング速を分かりやすく示したグラフがこうなんですけどこのグラフっていうのはX軸があるモデルールで学習に使われた計算資源の量、スーパーコンピューターの資源の量なんですけれども、見ていただくとおりその傾向というのはログリニアですごいクレアなのがコンピューターの性能自体というのは皆さんご存じのムーアの法則というものに従っていて1970年から2020年の50年間で10の7乗倍増えているそのコンピューターを使って学習したAIの計算資源の消費量というのはそれをはるかに超える12年間で10の12乗倍増えていると要するにコンピューターの性能を超えるスピードでAIが計算資源を消費し続けてきたわけですよこれが反応せず何が関係あるかすごいスケッチなグラフで申し訳ないんですけどもこれちょっと賛否両論あるグラフなのでちょっと反対意見がある人は後で個人的に来てるけどすごい傾向はうまく捉えていると思っていてこのグラフで何を表しているかというと8つタスクがあるんですけど例えば算数力みたいに大規模言語モデルが5-5-1万11そういった算数の問題を答えられますというタスクであったり多言語力英語でQAができるモデルがペルシャ語いくとここも同じなんですよ。X軸はそれぞれのタスクのメトリックなんですけれども使う計算資源の量を増やしてきた時に突如変異的に大企業保険のモデルがタスクの能力を得るポイントがあるそれも一つのタスクだけの話じゃなくてあらゆるタスクにおいて突如変異点が来るとこれが反応性なんです結局計算資源を増やしていった時に突如変動力を持つそういったものが大規模デングモデングモデルの学ぶっていう話をしたいんですが2019年から2022年何が起こっていたかというと一言で申し上げますと各国で大規模言語モデルの開発競争が起きていたアメリカですアメリカではマイクロソフト社ググルー社といったインタストリーを中心に大規模なモデルの開発共数が大きぼみることが大規模なスーパーコンピューターをオープンア社に提供して当時GPT3英語メインの大規模型語ゲンモールドを学習していたと全く似たようなことが中国でも起こっていて中国では政府が所有しているスーパーコンピューターを用いて政府機関がGPT3を超えるようなスケールです世界で最大規模のパラメターの数の大規模型予見のモデルを中国語で学習しているこの動きってアメリカと中国だけじゃなくてヨーロッパではフランス政府が所有するジョン・ゼープループニューターがあるんですけどそれをハギングフェースと呼ばれる皆さん個人のハギングフェイス社によるハギングフェース者が多国籍用の大規模型モードルを学習していたこの多国寄り王って面白くて実はドイツが含まれていないのはフラスドイツの緊張感が現れたりするんですけどそれ以上に重要な小話があって実はこのフランス政府がスーパーコンピューターをハギングフェスに貸し出す時にハギングフェスって当然グラントプロポーザルみたいなものを書いたんですよねこれこれこれこういう理由でオタクのセルファーコンピューターを使いたアゲメントが本当に生々しくてアメリカと中国のAIのスーパーパワーがフランスを食いつくそうとしているとだから我々は独自でモデルを開発する必要があるみたいなことを言っていたんですすごい緊張感の高い対策競争が大きいった方々は日本を見てきた時に今でこそ本当に坂口先生含めいろんな方々と素晴らしい努力のおかげで日本国内でも国産のLLMを作ろうみたいな予定あったんですけど当時日本国内でハギングフェイスみたいな人はやらないんです最初に割れてくる疑問としてなぜ日本国内でできないのかできないのかできないのかまずそこをしっかりしたい大規模言語モデル学習で何が一番重要かというとやっぱりそれはスーパーコンピューターのリソースなんですが日本ってスーパーコンピューターがないかというと全然そんなことはないわけです一番分ューターなんですけどね実は日本最大級のスーパーコンピューターってABCIじゃないんです。不学って呼ばれるスーパーコンピューターで、皆さん、年齢的にちょうどベストヒットかなと思うんですけど、以前、民主党政権がありまして、そこでレイホンさんという政治家がいらっしゃったり言うほどをやっていた時に1位じゃダメなんですか2位じゃダメなんですかっていったコンピューターがスーパーコンピューターで当時世界最高の1位の性能を超っていたんですけど今はレアホンさんおっしゃるとおり2位になってしまってそういうスーパーコンピューターです何が重要かというとこの富学っていうのは本当に化け物みたいな性能を持っていてギングフェッシャーがブルームと呼ばれる大器オンゲングモデルを学習したジョーンズAと呼ばれるスーパーコンピューターと比べてももし前近を使えた場合はAIの学習性能だけでも考えても10倍速いです10倍速っていうことは同じ計算をやった時に不学だと10倍早く計算が終わるでも深く何がグレージーかっていうとCPUベースのスーパーポンピューターなんですよ 全然GPUで大規模言語モデル学習したことありますね大規模言語ゲームモデルじゃなくてるんですけどディープラウンドで多分CPUでやらないです基本的にはGPU内緒はTPPU、AIで�特化したハードウェアでこれが何が問題かっていうのを同数字を見ればすごい明らかったと思うんですけどNVDやのA-1-100っていうGPデータセンターで最先端のGPUでものCPUってMVDやGPの50遅いんですよ50倍遅いってことはGPでできる計算が50倍長くかかってしまうそもそもフラクって何がすごいなっていう話なんですけども不学学ってCPUが15万個あるんですよ皆さん15万個のCPU使ったことありますか?多分ないと思うんです。ここで何が言いたいかというとぶっちゃけGPUがCPUが50個使って平列計算したら同じぐらいスピードが出るのねっていうのはちょっとクレージーズな間ちょっとクレージーズな間で佐賀口間にすごいご迷惑ってだけしてるんですけどそういうことを当時考えていてそれをやるためのした分散併列学習というものになります今でその分散並列学習ってすごいろいろオープンソースのパッケージが出てきて皆さんご存じかもしれないところで言うと例えばマイクソフト社のディークスピードであったりやLVD社のメガトロンLMというパッケージがあってこういったパッケージってデータパイルモデルパレールと呼ばれる分散平列学士をサポートしてるんですけどもCPUでは動くんですけどCPUで動かったんですよだってCPUでやらしてないですから私たちが最初にやったこととしてはこのNVではマイクロソフトに書いていただいた分散平列学習のパッケージをCPU向けに移植してちゃんと平列でCPUが計算できるかなということを試したんです。初期実験としては非常にいい結果が出てここなんですけど、CPUの数を増やしていった時にシステム全体としての計算性度がどれぐらい上がるかなっていうのを見て、これログリニアなんですけどログリニアなんですけど特にCPUを先行たりまで増やした段階ではその計算速度がCPUが1個だった時と比べて1000倍近くなっていくとこれまで分散余算余裂学習がすごいうまくいっているなっていう感触がったんですけれどもこれはあくまで初期の実験で当然うまくいかないこともあって一つはCPを大量に使うことでどういう問題があるかということなんですけどCPU例えば2個使っているだけだとCPU1個同士がコミュニケーションすればいいだけなのでそれは問題ある問題あるとただCPUを1000個とか1万個とか増やしていった時にやっぱりコミュニケーションがすごいオーバーヘッドが出てきてここを見ても分かるとおりシステム全体としてその計算性能が上がるっていう時が若干その落ち込んできてしまっているとだから一つ間違いなくあった課題としては大量のCPUがあった時に効率的にコミュニケーションコストが上げられるようにしない人ってないよねそういったことも一つ課題化しているんですそれ以外にもすごい面白い発見もあってハードウェアって基本的に理論値と実測値というものがあるんですよ理論値というのは理論的にはこれだけ推量が出ますよ実測指っていうのは実論値の大体40%から50%ぐらい最近だと60%ぐらい出てるのかそのくらい出るかっていうとNVDIのソフティアのエンジニアの方々がものすごい波長い波々しい努力をやっていて例えばトランスフォーマーでよく使う行列計算の64×64のディメンションの行列計算はこの特別なコードを使うことによって早くしましょうみたいなすごいなんかハンドウェイビーなハードコービーなハードコアのソリューションがソフトチョイスタックマクウダーレアの中にいっぱいあるんですよだからGPUは実測している用�の幅がそんなにCPUのCPUってそもそもそんなにAI学習を想定したものではなくてもちろシミュレーションとかそっちの方で使われていたのでそういったソフテリアストック機が弱くて利用主が利用値の7から10%ぐらいぐらいにならないとこれを直さないとやはり不学上で大規模学習ができないのでということになりましてこちらの日系新聞さんでカバーしていただいてそれこそ7社合同部屋せていた���いているということなんですけれどもGPT浮学というプロジェクトが今格化いたしまして主要な期間でいうとそれこそ東北大工さん坂口先生のここで言うと栗田さんと佐々木職さんって言わせていらっしゃるそういった方々が中心になって協力していただいているとそれ以外にも東高台さんであったりとか意見サイバーエージェント名古屋大学富士通弊社言葉テキノロジーズが連携してして区学場で大規模擬習していけるようにそういったプロジェクトは大きく分けて2つのチームがあって1つ目のチームはシステムチームと呼ばれるチームですこちらは区学場のインフラを整えてそこでAIの学習が効率的に行えるようにしようと思う具体的にどういったことを解決しようとしているかというと先ほどのスライドがあったとコミュニケーションコストの問題が解決しようであったりだとか理論と実測値がもう少し小さくなるようにそういったことをやってNLPチームの方には東北大学の方々が指導していただいてこちらでは日本データの準備であったりとかトークナイザーの開発そういったことをやりたいと思いますこちらのプロジェクトはまだ動いているので今後もどんどんどんニュースが出てくるかと思いますが、皆さん、温かく見守っていければということですではそうですねここまでが冬学のお話と深くっていうのはすごいやっぱり面白いプロジェクトで今後今後今一番速いスーパーコンピューラだと間違いなくAI性能に限って言えば富岳よりもっと速いスーパーコンピューターっていうのは1、2年で出てくると思うんですよ。そういった書き橋に役割ですこれはすごいサイエンスとすごい社会に使えるレベルになっているのでこれを実装しないとやっぱもったいないし実装してみたいな社会そういったことで言葉テクノロジーズという企業を立ち上げましてちょっと思考実験をまずしてみたいので大規模言語モデル素素晴らしいこと果たして日本のビジネスに使えますか?弊社は言葉テクノロジーズというのは日本のビジネスと相手にいろいろとオペレーションをさせていただいている会社なのでこの時点ですでに日本国内の340社の企業さんとミーティング、ヒアリングといったことを行っていてその中の一つの企業さんのドメインとして旅行会社さんといったドメインの方々がいらっしゃったり旅行会社さんに大規模型権行モデルお宅どうお使い習い習えますかそういったことを聞いた時にこういう業務があるんじゃないかなっていうことをおっしゃっていただいたんですよね地点Aで地点Aから地点Bに行く旅行計画を作ってそれをパンフレットでまとめるっていう業務よく最近は人力でやるのでそれを生成AIでできるとすごいありがたいこういった業務をやる時に例えばGPP法を考えてみましょうとプロプトかけますよこういったプロップをかけて渋谷駅から出発して火災の地元である奈良公園で日帰りで観光する計画を作ってパンプレットにしてくださいそこでは交通手段を含めてください東大寺も観光できるようにしてグルメ回りをしたいのでグルメマインまで来るようにこれが実際出てきたアットペットなんですけど一番上を見るとすごい東京からなら伝統と自然の一日旅行くめちゃくちゃキャッチになったりとかこれだけ見ると日本のビジネスでもGPT4使えるじゃんと思う方も多いと思うんですよその下を見ていくと例えばページ1だったりとかページ2旅行の概要ページ3スケジュールいろいろ伸ばしていっているとちょっとページ3スケジュールのところを包括したいんですけどまず1個目のスケジュールでとんでもないこと言っているわけですよ朝7時渋谷駅中央大阪の新幹線に乗る渋谷駅に新幹線なんて撮ってないんですよこれはちょっとよろしくな。まあグルメ回りしたいけどジョークとしては面白いですよジョークとしては一気売りだこんなことをカスタマーに提案したらそれこそ旅行会社さんって仕事がなくなっちゃいます何が言いたいかというと大規模型言語モデルってGPB4に代表されるようにめちゃくちゃ反応的だと反応的なんですけども日本語の閉じたドメインのようなところでデプロイしてしまうとまだまだ業務に差し支えられる欠点があるそれ以外にもそもそもこれを��った理由っていうな旅行会社さんの視点に立ってみたらこの生のペキストをマークダウンを取ってきてそのパンフレットにもう一回リストラクシャーする作務が必要ですというところですねこういった問題を踏まえて弊社言葉テクノロジスではそうですねこういった現状の大規模言語モデルデルの血管を研究開発することによってどんどん直していく直して大規模言語モデルをアプリケーションとして分かりやすい形で企業さんに販売するそういったことをやってつい直近では米国で数億円規模の指導資金調達を完了して国内でも政府指導の補助金を今申請中のありましたとおりつい先日東京オフィスを六本木に開設して取り組んでいるとエンジニアサイティストを�め徐々に10月始めた順次中チームチームとなっており年内には5人から12程度のチーム編成にできればそういったふうに思っておりますこれが先ほど申し上げた内容を少し細かくしたところなんですけれども研究開発としては例えば非英語圏の言語でも大規模言語言語モデルがしっかり使えるようにしたりとかそれこそ大規模言語モデルっていうのはリアルタイムな情報がすごい弱いわけですよね例えば東北大学から仙台駅に今行きたいとなったら大規模型援護系モデルって基本的に今の時間を調べてそれに落ちた答えをしてくれるっていうのはなかなかないのでそういったところツイルフォーマーといった論文がありますけどAPIコールを通じて解決することで大規模言語モデンリアル体制を持たせるでそれ以外にもマルチモダル能でそういった研究開発をしておりますこういった研究開発した言葉フォーマンという名付けられて我々言葉フォーマーって呼んでいるんですけど弊社のシステム言葉フォーマーをユーザーの方々に分かりやすい形でパッケージング化してあげることによって例えばコールセンターでやったりとかコンテンツ生成そういったものにして企業さんに販売しているそういったことを弊社ではやっていますちょっとアプリケーションの方にもフォーカスして何個かも例ゲン社が最初に取り組んでいるドメリットとしては教育分野のカスタマーさんと一緒にプロジェクトへ合わせていただけるんですよね教育分野もちょっとここはアカデミックトークなので名前も言ってしまいますが皆さんなんか寸大に行かれた方っていらっしゃいますかあまりないのかななるほど寸大っていう宿命があるんですけどもそうですねまあ弊社すん大様とプロジェクトを一緒にやっておりましてここではどういうプロジェクトをやっているかというと生徒さんが塾の中でお使いにある練習問題とか模試を自動生成できるそういったプロジェクトをやっているんですよスンターズンターさんが今どういった課題を抱えてらっしゃるかというとこういった練習問題を作る時に基本的に教員の方々が指導で試験を作るとその結果ものすごい労力が費やされているんですよ例えばクレイジーな話なんですけど共通テストの模様1個を1個作るのに何時間かけていますかっていう話を聞いた時に1つのテストに300時間かけているらしいんです300時間それ年1回やるわけじゃないですからね何回も何回も繰り返すそういった業務を用いて解決できればいいのこれがちょっといいんですけれども弊社がやっているのは本当にすごいシンプルに教員の方々が使えるようなシステムでここに教員の方々がすごい単純な問題の作成のヒントとなるキーワードを入れてもらうんですよここではアメリカを初めて訪れますよというコンテクストで問題を作ってくださいその結果出てくるものが例えばこういうパーフレット形式のビュークが今は共通テストってすごい情報分析に寄せたような問題が出ていて英語でもないこういうパンフレットを呼び解いてくださいみたいな問題があるんですだからこういうパーフェットみたいなものを直接出力することによって先生方が最小限の手を加えるだけで実際に生徒さんがすぐ使えるものを作っていこういったパンフレットを作ってその後はそれに即した問題を先生方に生成していただくわけです質問の正々に進むというふうに進むとこういった感じで4択の問題がパーブレットに属した形で制あったり出力するP.PFはた��に問題のコンテクストをつないだらけのものなんですけどワードで何で出力するかというとやっぱりAIが出力したものなので先生方が気に入らないものがありますそういったものが例えばワードだと直接先生方が手を加えるだけですぐに生徒さんに配られてもそういったことを教育ドメンではやっておりますもう一つ紹介したいのが交通分野部�東様と一緒にプロジェクトルトをやっておりましてそこでやっていることとしてはカスタマーサポートの自動化というくとみんなチャットボットっていうのを思い浮かべるかなと思っていてチャットボットって今どこでもやっているじゃないと思う方もいらっしゃると思うんですよ確かにその通りですチャットボットってどこでもやっているとJR東様のチャットボットってめちゃくちゃ難しいんですなんで難しいかっていうとカッサマーの方々が本当に多様なお問い合わせをしてくる本当に多様なお問い合わせをしてきた結果ちょっとGPT4をいじっただけだと想定解決できないような問題が出てくれば例えばその例をあげると渋谷駅でお裁表を忘れてしまったんですけどどうすればいいですかそんなチャットGPTに聞いても分からないですね何をやる必要があるかというと例えば大規模型語研語モベルが裏でAPI読んで例えばSQLのような報道を書いて例えばJR東の中にあるインターナルなデータベースにお問い合わせをして忘れ物状況を取得してそれを踏まえて返答を送らないといけないそういったことが気になる方かるんですよ結構我々頭がおかしいのでクレジなことを考えるわけですよもしテンスター情報に大規模型ボケグモデルが直接アクセスできてその混雑情報を取ってこれたらそういった座っていける路線は何ですかみたいに質問にも答えられますそういったことをここではやっていますすごい何だろう簡単に見えて難しいアプリケーションなんでこれはめちゃくちゃエクサイティングですもう1点エクサイティングな点を上げるとするとやっぱりJRヒャーリーグアスタマンセンターって皆さんちょっとお使いにならないかもしれないんですけど結構その高齢の方々とかって電話を通じてコールセンターに電話をかけていらっしゃったりするんですかねその数でいうと1日大体数万件年間でいうとそれこそ数百万件数千万件ってなってきませんご視野,"[11.07450532913208, 10.564246892929077, 10.596351146697998, 10.824815034866333, 10.836013793945312]"