Instant-ngp、「NeRF」を、Blenderでトレーニングと、レンダー。

使用した、GitHub・プラグイン
https://github.com/JamesPerlman/TurboNeRF

Instant-ngpと、Blenderとのデータ・リンクが手間なので、一本化した方が望ましい。
散々落ちまくった挙げ句、その後の調整（修正とも）で、やっと安定した。


Blenderで、Instant-ngp「NeRF」トレーニング中の画面
最初はフルHD解像度のビデオ動画（既出）を1000ステップ程度の短時間テスト。


Instant-ngpと速度的に大差ないが、5000〜10000ステップやる勇気はまだ無い！
トレーニング中のBlenderもGBファンはフル回転。

NVIDIA’s New AI: Wow, Instant Neural Graphics!

トレーニング中！

ドラム3Dデータを、「NeRF」論文著者データ公開先からダウンロード

前出のBlenderスクリプトを実行して、PNG画像とJSONファイルを生成。
（JSONファイルは相対パス）
設定：PNG生成500枚、解像度800ｘ800


生成されたPNG画像。　RTX3050環境で、一枚4秒程度で進行。
JSONファイルも同じフォルダ内に生成される。


「Instant-ngp」に、フォルダごとドロップしてプレビュー。


BlenderNeRFプラグインを使用しない場合の実行スクリプトとして利用できる。

https://github.com/maximeraafat/BlenderNeRF

Instant-ngp：
ngp/instant-ngp/external/ffmpeg/ffmpeg-5.1.2-essentials_build/bin/ffmpeg.exe のビデオ（.mp4）作成テスト

編集中のカメラパス Zオーダーは、コントローラより優先（スナップショット通り）


動画・カメラワークは適当。
動画解像度 1920x1080, 1024x576 2パターン

ffmpeg.exe作動時、FANはフル回転。
毎秒1フレーム程度の超低速！

無意味に「Blender・NeRF」

https://github.com/maximeraafat/BlenderNeRF

少し逸れるが、こちらも参考になる。
https://qiita.com/live2d_dev/items/7e1628670f299036cf5f

次はこれか！



Blender json ファイル生成テスト：
カメラ PLAY COS（調整無し）実行時の様子
レンズ50mm、半径4m、100フレーム


プラグイン・Documents（抜粋）....

「NeRF」の概念はわずかながら掴めた。

これまでは、2D → 3D のトレーニング。
疑問を晴らした先には妄想が....


SketchUp・灯籠 → 「Instant-ngp」


ここまでは想定内。


添付ファイルは、「Instant-ngp.exe」を起動し、画面上にドロップするだけ。

まだまだ　謎深し..

transforms.json ファイルを相対パスで生成できるよう「COLMAP」ソースを編集するか、生成された transforms.json そのものを編集するか？

写真データを好きな場所でトレーニングして、好きな場所に保存したい。
と、なれば、transforms.json を編集する方が圧倒的に早い！
現在は生成後のjsonファイルをすべて相対パスに書き換えている。
5000行程度のjsonファイルなら瞬時に終わる。（現在までの個人の感想）

トレーニングデータは360度


トレーニングデータ、drums
トレーニング済みデータ ingp

ingpファイルは「Instant-ngp.exe」を起動後、画面にドロップするだけ。

Blenderで、少し疲れたので息抜き。

ネット公開されているサンプルデータでトレーニングの復習。
https://www.matthewtancik.com/nerf



学習済みingpデータで操作。



添付ファイルは「Instant-ngp」システム・学習済み ".ingp" ファイル。　画面内へのドラッグ・アンド・ドロップで表示、操作ができる。

ついでにドラムのデータもやってみたい！　　探そ！

九大のPDFを拝借。　計算はシステムがやってくれるので、概念だけ。

言語の環境を整え、テスト。

https://github.com/JamesPerlman/TurboNeRF

Blender「NeRF」は様々な環境指定があり、整合性の取れてないシステムもいくつか。
レンダー開始後しばらくすると落ちる！..落ちる..


リミットかけて、制限付きで処理中。　
GBファンは常にフル回転状態！　PCケースもそこそこに熱い！


処理終了後の操作で落ちた。　 終わった！
しばらく "お・あ・ず・け"

いずれ忘れるのでメモ


1..必要なシステムを個人の環境に合わせてインストール。
2..PCの「環境変数」を構築した環境にあわせてパス、ディレクトリなどを設定

以下のダイアログは、今回の個人的な環境


パスの設定


pipなど、ほとんどの作業が「Anaconda」。　手順は多いが、難易度はそれほど高くなく、多少の時間を要するだけ。

---

システムの構築後には、一工夫いる。　各人の説明が分かれるところ。

とりあえず構築が終了したら「Instant-ngp」のフォルダ内にある「Instant-ngp.exe」を起動。

【サンプルファイルでテスト】
次に、「data/nerf」フォルダ内の、「fox」フォルダをまるごとシステム画面にドラッグ・アンド・ドロップして、画像が表示されればインストールは成功。


インストール後の「Instant-ngp」にはサンプルの、「fox」データが収録されている。
（ transforms.json 学習ファイルと、学習に使用した画像フォルダは常にペア）


続く..

ビデオ画面の一幕が3Dとして実態化した瞬間！

さすがに重いが、正面に見える街並みがまるごと3Dデータとして残る。



出力された「transforms.json」学習データは205枚の画像で 6,200行



意味の無い動画添付。
プレビューや、データ出力用のシステムの操作については未習得。


【赤青メガネ必要】
解像度を上げ、時間をかけるとこんな感じの3D化が可能なのかも知れない？

4時間以上経過。　未だ終わる気配無し..

パンク前に、空き容量確保のための消去データ検討中。

---

ちゃんと言ってる。　これだ！

「YouTube」ドイツの風景動画




動画中の、時計塔のシーンをフルHD画像205枚分で「NERF」計算中。
さすがに時間がかかっている。



「instant-ngp」アルゴリズム - 要約と方法


すでに2時間経過・・　安否と終了時間不明！　Anacondaは流れている。

Nerf（ngp）二日目の朝。

既出の点群データを「instant-ngp」でやってみた。

「VisualSFM」で出力した67枚の並行移動した画像からの点群データ。　
上に見えるアーチ状の画像が点群生成用。



同じ枚数で生成した「instant-ngp」の画像。　67枚で5分以上かかったが、人物まで判るレベル。
右に見える白い縦線はバウンディングボックス。



先に、コントロールの説明を読まないと操作が "どもならん！"
表示直後の動画添付。　説明はこれから読むのでグダグダ..

「D:」ドライブに「instant-ngp」フォルダを再構築し、サンプルのきつね写真を拝借して3D化テスト。
あとはブレンダーとの共有のみ。

データ専用に再構築後した、個人的なフォルダーのパス


「instant-ngp.exe」に読み込んだ「Nerf」学習データ



同じくサンプル画像から生成した「train」学習データの3D化



「instant-ngp.exe」を「build」フォルダにある「testbed.exe」から起動する説明にハマり、沼状態！
「build」フォルダに展開した「instant-ngp.exe」を、「testbed.exe」にファイル名変更することで無事脱出。

ここを参考に、同じ沼にハマったときはお試しあれ。

起動直後の意味不明な操作動画を添付。　いつか慣れる..ハズ。