後編です。今回は主にAIリマスターについて、述べていきます。
調査結果は最後の「まとめ」で記載したので、「結果だけ教えろ」という人はそちらから。
前半は↓
physx.hatenablog.com
※アニメのリマスターについてよくわかっていない人が自分の気のすむところまで調べただけです。
※個人の知識、推測に基づいて書いている部分もあり、正確ではないところもあるかもしれませんが、ご了承ください。
前提知識
リマスターについて述べる前にAIに関する前提知識だけ書いておきます。
学習って何
まず、学習とは何でしょうか。私が機械学習 (AI) について学んでいた時、先輩からは「一般的に"学習"とは、新たなタスクに応用するためにやり方や能力を学んでいくもの」と教えられました。
人間であれば、例えば数学なら公式を覚えることで、実際の問題に対応できるようになるのが「学習」になります。AIも同様です。昨今、生成AIはパクリやコピーといったことが問題となっていますが、本来のAIの目的は、新たなタスクに対応する＝新たな価値を生み出すことです。
AIの学習
AIの学習、何をやっているのかについて超ざっくりと説明していきます。
AIに学習させるためには、処理する前のデータと処理した後のデータが必要です。HD化であれば、HD化前の画像とHD化後の画像を大量に必要になります。
アニメであれば放送したときの映像・画像はあるので、それを元に人間がHD化用に画像を拡大し、拡大によって出てきたジャギジャギや色の変なところといったノイズを修正します。そうやって大量に用意したHD化する前の画像と修正したHD化後の画像を用いて、変換をAIに学習させます。そうしてできあがったAIは我々のタスクの傾向を学んでいるため、我々よりも素早い速度でそれなりの仕事ができるというわけです。
また、AIの有利な点として最も有名なのは時短だと思いますが、それ以外にも優位な点はあります。我々が知覚できない変換・言語化しにくい変換についても、そこに傾向があれば見出すことができるという点です。
私が絵に詳しくないので想像の例ですが、「輪郭の黒線には数ピクセルだけグレーや白を混ぜた方がはっきりする」、のような各個人が経験として学んできたことも、データにその傾向があれば学習できます。もしくは、もっとデータぽく、「カラーコード#688FFFがあるピクセルの右上２ピクセルは#688F9Cにする傾向がある」、みたいなことも学んでいるかもしれません。そのため、逆にAIが生成したものを見て、どんな傾向があるのかを我々が学び、後輩の指導や良くない部分の修正といった新たなタスクにつなげることも可能です。
まあ、裏を返せば、AIの学習データに良くない傾向があった場合は、それも学んでしまう可能性があるということではあるんですが。
このようにAIの学習にはメリットデメリットがあるものの、タスクに対する傾向を数値化して学習することで、時短や新たな価値の創造につなげることができます。
AIの学習をざっくりと
この知識は本項目とはあまり関係ないので、「前提知識まとめ」まで飛ばしても構いません。
本項目ではざっくりと、AIの学習 (深層学習) は何をやっているのかについて述べます。
結論から言うと、
- 入力された元データを用いて、複数回、情報を細かくするための計算を行う
- 分解した情報から正解データを構築するための計算を行う
- 対応する正解データと比べて、どのくらい違うかの差を求める
- 差をもとに、1と2で使った数値を正解に近づくように更新する
- 1～4を繰り返す
です。誤解を恐れずに行ってしまえば、1の「情報を分解する計算」は画像の縮小アルゴリズム、2の「構築する計算」は画像の拡大アルゴリズムと似てます (当然、計算に使う数値等は全然違いますが)。
AIの学習をもう少し詳しく
学習の過程を具体的に見ていきましょう。ここでは、学習の目的を画像のHD化とします。
そして、学習するためのデータとして大量の画像データとそれに対応したHD化画像データはすでに用意しているとします。
HDリマスター編で述べたように、画像はピクセルという小さな四角でできており、これが画像の情報です。
情報の分解
1. 元の画像の情報を細かく分解するため、複数回、画像を縮小＝情報を細かくしていきます。例えば、縮小する式を100個用意したら、1回縮小した画像×100枚の結果が出てきます。例えば、元の画像が1024×1024ピクセルで縮小によって512×512ピクセルにまで縮む場合、元々は1024×1024×3=3145728の情報が512×512×100=26214400にまで分解されたということです。
2. 1回縮小した画像×10枚の結果に対して、同じことを行います。例えば、用意する式を5個用意したとすると、2回縮小した画像×50の情報ができます。以降は同じように、縮小を何度も繰り返していきます。
情報の再構成
続いて、何回も縮小した画像からHD化画像を生成します。ここでは、縮小を繰り返したことで、N回縮小した画像×10000枚の情報ができたとしましょう。N回縮小した画像を同じ回数だけ拡大をしつつ、10000枚の画像をそれぞれ足し合わせたりすれば、最終的に１枚の画像はできそうです。
3. 縮小から戻す場合は拡大を使います。ただし、単純に拡大しても、拡大した画像×10000枚の情報ができるだけなので、１枚目と２枚目の情報を足し合わせたりするなどして、1024×1024の情報をもつ1枚の画像を作ります。
ここで、用意したHD化画像とAIが生成した画像の差分＝誤差を計算します。そして、誤差から、ここまで行ってきた変換の式の値を各々どのくらい修正すればいいのかを導出します。例えば、拡大式1_Aの左上の値である0.12は大きすぎるから、誤差の1%だけ値をずらすといった具合です。少しだけ値をずらすのは、ある画像に特化して直してしまうと他の画像の場合に対応できないからです。
これらを大量のデータに対して繰り返し何度も何度も行い、少しづつ誤差を修正しながら、汎用的な変換の式に近づけていきます。
AIモデル
基本的な処理は以上となります。処理の回数を増やしたり、1回縮小した画像の情報と2回縮小した画像の情報を足し合わせたり、途中で別の計算式を使うなど、様々な発想でこれまでに論文が発表されており構造は無限にあります。この一連の構造はモデルと呼ばれており、現在でも様々なモデルやその構成に関する研究が行われています。
※今回は画像の例でしたが、動画のような時系列処理やLLMでも基本的に「細かく情報を分解する」「構築する」の考え方は変わりません。しかし、使われている計算式が大きく異なったり、順番を考慮した計算式を追加するなどの工夫があります。
前提知識まとめ
長くなりましたが、ここで言いたいことは２点です。
・AIの学習の目的は「AIが学習したことのない未知のデータに対しても、正解データを作り出すこと＝新たな価値を生み出すこと」
・AIは大量のデータから変換を繰り返し学習することで、データに隠れた傾向を見つけ出すことができ、それによって汎用的な変換が可能となる
AIリマスターの懸念点
僕がAIリマスターと聞いた時、「もしもHDリマスター画像を使って学習しているなら、それはHDリマスターでは?」という懸念が湧きました。
私が考える良いAIの使い方は「アニメータの修正を含めて、AIに変換の前後を学習させる」です。この場合はAIで学習させることで、作業が自動化できます。つまり、100枚か1000枚とかの多くの絵を用意できれば、残りの変換はAIに任せることで、時間とお金が節約できるわけです。もちろん、AIの出力を見て、アニメーターがさらに修正するとより良いものになります。少なくとも、一部の作業をAIにまかせるだけでもアニメーターの作業時間がだいぶ減ることになるので、私的には良いAIの使い方だと思います。
しかし、例えば、単純な拡大の式をAIに学習させて、出力したものを使っても、AIリマスターと呼べます。
例えば、拡大アルゴリズムの１つにバイリニア補間というのがあり、AIがこのアルゴリズムをどんなに頑張って学習したところで、バイリニア補間っぽい複雑な計算を行っているだけです。これは、新たな価値を生み出すというAIの学習目的にそぐわないものです。複雑化した分、計算速度等も遅くなるので完全な劣化です。AIの学習時間やそこに使う電力も無駄ですし。
世間では、「オリジナルAIできます!という謳い文句で、実際には既存のAIモデルをそのまま使っているだけ。しかもAI料金とやらはしっかり上乗せ」、みたいな中抜きのお手本みたいな会社は結構あるようなので、このようなあくどい会社がないとは言い切れません...
つまり僕の懸念とは、「AI使った高画質化を宣伝文句にした会社が、意味のないAI使って、AI料金という名の中抜きを行っているんじゃないか?」です 。
もう少しざっくばらんに言うと、「特に工夫もせず、画像の引き伸ばし方法だけを学ばせたAIモデルで金をとってる会社があるかも？」です。
なので、今回のブログの本題、AIリマスターの実態を調べてみよう！となりました。
AIリマスターて、どうやってるの？
とはいったものの、AIリマスターについてどうやって実現しているかまでを、しっかり説明したサイトはなかなかありません。
見つかったのは下記のサイト。
www.exa-int.co.jp
ワークフローを見てみると、修正から検品まですべてこの会社でやってくれるようです。つまり、いい加減に画像の引き伸ばしのアルゴリズムだけ学ばせたAIを使うのではなく、この会社の職人が修正した上で、AIに学習させているようですね。
https://www.exa-int.co.jp/lp/anime-ai-remaster/img/main/onestop_img_pc.png
サイトには
使用AIは簡易な汎用モデルではなく、対象アニメをイチから学習させ最適化する専用モデルのため、
コマ数を補完追加しスムーズな動きにしたり、ボケた輪郭をクッキリと修正するなど、
よりオリジナル作品の魅力に寄り添った細かな処理が可能です。
とも書いてあるので、作風に合うように毎回学習＝しっかりと仕事している良い会社のようです。
別の会社では下記も見つかりました。
こちらも、サイト内で既存技術でのアップコンバートの画像とAIで処理した画像を比較しているので、単なる画像の引き伸ばしではなく、工夫したAIモデルを使っている良い会社のようです。
ja.animerefiner.com
※サイトに載せた画像はAIの画像だけ修正しているとかの可能性はありますが、そこら辺を疑うとキリがないので性善説、書いてあることは基本信じる、というスタンスで
逆に、明らかなダメな会社の例は残念ながら見つかりませんでした。
「強いて言えば」になりますが、下記の例でしょうか？東映アニメーションの公式かと思ったら、「AIリマスターソフトの公式」が出している動画でした。AIとは関係ないですが、権利面で「東映アニメーションから許可もらってるのか？」が気になります...
また、色々な会社がだしたDVDやBlue-rayを使って、工夫なしにいい加減に学習しているだけという懸念が個人的には拭えないです...
まあ、アニメのファンのことを考えると、単純にライセンスを買ったソフトでリマスターするより、きちんとどんなAIを用いているかの説明がある会社に依頼して、作風に合った修正を行ってもらう方が良いような気がします。
※繰り返しますが、少々気になる点があるだけで、この会社（Tenorshare4DDiGさん）が明確にダメというわけではないです。
※そもそも明らかにダメな会社は、どんなAIを使っているかの詳細は書かないと思うので、ネット等で見つからないのは当然かもしれません。
余談（HDリマスターの更なる定義）
海外の人（？）が、「HDリマスターと嘘つくな」と怒っている記事が見つかりました。
要約すると、東映が「原画のままですよ（＝当時の原画を高精度にスキャンしたやつであって、アップコンバートではないですよ）」と言っていましたが、実際にはアップコンバート版だったということです。
ドラゴンボールのBDジャケットに事実と異なる情報を記載していた為、返金対応 - posfie
加えて、「アップコンバートはHDリマスターではない」的な主張が別の記事で見つかりました。
旧作アニメのHD化をめぐる東映の愚 - posfie
本ブログではアップコンバートも高精度スキャンもHDリマスターのくくりに入れましたが、そのうち呼び方が変わってくるかもしれませんね。
また、本記事ではAIリマスターについて調べましたが、AIリマスターもそのうち時代の流れで、「AIリマスターを使うな、１枚１枚職人が直せ」、と非難されてしまうのかもしれません。コスト面や時代の流れを考えるとあまり現実的ではない気がしますが...
生成AIの悪評が蔓延ってはいますが、あくまでもAIはコピーやパクリではなく、新たな価値を生み出すことが学習の目的です。その辺について、法律や倫理含めた折り合いや何かしらの新たな道が見出せたらいいなあと期待しています。
まとめ
すごく長くなってしまいましたが (というか前提知識の部分が結構な割合)、アニメのHDリマスターとAIリマスターについて調べました。
まとめると、
・HDリマスターは２つ
・フィルムを放送当時よりも高解像度で読み込む方式（高精度スキャン手法）。
・低解像度の映像を高解像度にする変換する方式（アップコンバート手法）。
・AIリマスター
・きちんとそのアニメの画風に合わせて学習させたAIを使ったり、AIの出力をきちんと確認したうえで修正も行うような良い会社がほとんど。
・引き延ばしただけの画像をAIに学習させて、「AIリマスター」を主張する倫理観に欠けた会社はなさそう。
といった感じでした。
私が懸念していた「特に工夫もせず、画像の引き伸ばしだけを学ばせたいい加減なAIモデルで金とる会社」が見つからなかったのは良いことです。
ただ、ジャンル問わず、時代の流れでそういういい加減な会社が増えてしまうことも考えられます。
今回はアニメ・アニメ会社でしたが、私たちも選定する側となったときを考えて、きちんと選定できる目を養うことが必要になるかもしれません（結論・頑張っていろんなこと勉強しよう）。
