タイトル・Google翻訳
上位 5 つの 3D スキャナー アプリを比較 | 写真測量 VS NeRF VS LiDAR

もう、何が何やら..　何が良いやら..

左端の「KIRI Engine」は、Freeアプリ。

YouTubeでの比較動画

一見、無駄？なローテーション。

SketchUp(3D) → Blender(2D) → NeRF(3D)

SketchUpのモデルをBlenderで撮影。
1280ｘ1280のPNG画像（約1.25MB/枚)を100枚撮影。　100枚の生成時間は Eevee で44秒と高速



Instant-ngpでトレーニング中の画像

Instant-ngp、「NeRF」を、Blenderでトレーニングと、レンダー。

使用した、GitHub・プラグイン
https://github.com/JamesPerlman/TurboNeRF

Instant-ngpと、Blenderとのデータ・リンクが手間なので、一本化した方が望ましい。
散々落ちまくった挙げ句、その後の調整（修正とも）で、やっと安定した。


Blenderで、Instant-ngp「NeRF」トレーニング中の画面
最初はフルHD解像度のビデオ動画（既出）を1000ステップ程度の短時間テスト。


Instant-ngpと速度的に大差ないが、5000〜10000ステップやる勇気はまだ無い！
トレーニング中のBlenderもGBファンはフル回転。

NVIDIA’s New AI: Wow, Instant Neural Graphics!

トレーニング中！

ドラム3Dデータを、「NeRF」論文著者データ公開先からダウンロード

前出のBlenderスクリプトを実行して、PNG画像とJSONファイルを生成。
（JSONファイルは相対パス）
設定：PNG生成500枚、解像度800ｘ800


生成されたPNG画像。　RTX3050環境で、一枚4秒程度で進行。
JSONファイルも同じフォルダ内に生成される。


「Instant-ngp」に、フォルダごとドロップしてプレビュー。


BlenderNeRFプラグインを使用しない場合の実行スクリプトとして利用できる。

https://github.com/maximeraafat/BlenderNeRF

Instant-ngp：
ngp/instant-ngp/external/ffmpeg/ffmpeg-5.1.2-essentials_build/bin/ffmpeg.exe のビデオ（.mp4）作成テスト

編集中のカメラパス Zオーダーは、コントローラより優先（スナップショット通り）


動画・カメラワークは適当。
動画解像度 1920x1080, 1024x576 2パターン

ffmpeg.exe作動時、FANはフル回転。
毎秒1フレーム程度の超低速！

無意味に「Blender・NeRF」

https://github.com/maximeraafat/BlenderNeRF

少し逸れるが、こちらも参考になる。
https://qiita.com/live2d_dev/items/7e1628670f299036cf5f

次はこれか！



Blender json ファイル生成テスト：
カメラ PLAY COS（調整無し）実行時の様子
レンズ50mm、半径4m、100フレーム


プラグイン・Documents（抜粋）....

「NeRF」の概念はわずかながら掴めた。

これまでは、2D → 3D のトレーニング。
疑問を晴らした先には妄想が....


SketchUp・灯籠 → 「Instant-ngp」


ここまでは想定内。


添付ファイルは、「Instant-ngp.exe」を起動し、画面上にドロップするだけ。

まだまだ　謎深し..

transforms.json ファイルを相対パスで生成できるよう「COLMAP」ソースを編集するか、生成された transforms.json そのものを編集するか？

写真データを好きな場所でトレーニングして、好きな場所に保存したい。
と、なれば、transforms.json を編集する方が圧倒的に早い！
現在は生成後のjsonファイルをすべて相対パスに書き換えている。
5000行程度のjsonファイルなら瞬時に終わる。（現在までの個人の感想）

トレーニングデータは360度


トレーニングデータ、drums
トレーニング済みデータ ingp

ingpファイルは「Instant-ngp.exe」を起動後、画面にドロップするだけ。

Blenderで、少し疲れたので息抜き。

ネット公開されているサンプルデータでトレーニングの復習。
https://www.matthewtancik.com/nerf



学習済みingpデータで操作。



添付ファイルは「Instant-ngp」システム・学習済み ".ingp" ファイル。　画面内へのドラッグ・アンド・ドロップで表示、操作ができる。

ついでにドラムのデータもやってみたい！　　探そ！

九大のPDFを拝借。　計算はシステムがやってくれるので、概念だけ。

言語の環境を整え、テスト。

https://github.com/JamesPerlman/TurboNeRF

Blender「NeRF」は様々な環境指定があり、整合性の取れてないシステムもいくつか。
レンダー開始後しばらくすると落ちる！..落ちる..


リミットかけて、制限付きで処理中。　
GBファンは常にフル回転状態！　PCケースもそこそこに熱い！


処理終了後の操作で落ちた。　 終わった！
しばらく "お・あ・ず・け"

いずれ忘れるのでメモ


1..必要なシステムを個人の環境に合わせてインストール。
2..PCの「環境変数」を構築した環境にあわせてパス、ディレクトリなどを設定

以下のダイアログは、今回の個人的な環境


パスの設定


pipなど、ほとんどの作業が「Anaconda」。　手順は多いが、難易度はそれほど高くなく、多少の時間を要するだけ。

---

システムの構築後には、一工夫いる。　各人の説明が分かれるところ。

とりあえず構築が終了したら「Instant-ngp」のフォルダ内にある「Instant-ngp.exe」を起動。

【サンプルファイルでテスト】
次に、「data/nerf」フォルダ内の、「fox」フォルダをまるごとシステム画面にドラッグ・アンド・ドロップして、画像が表示されればインストールは成功。


インストール後の「Instant-ngp」にはサンプルの、「fox」データが収録されている。
（ transforms.json 学習ファイルと、学習に使用した画像フォルダは常にペア）


続く..

ビデオ画面の一幕が3Dとして実態化した瞬間！

さすがに重いが、正面に見える街並みがまるごと3Dデータとして残る。



出力された「transforms.json」学習データは205枚の画像で 6,200行



意味の無い動画添付。
プレビューや、データ出力用のシステムの操作については未習得。


【赤青メガネ必要】
解像度を上げ、時間をかけるとこんな感じの3D化が可能なのかも知れない？

4時間以上経過。　未だ終わる気配無し..

パンク前に、空き容量確保のための消去データ検討中。

---

ちゃんと言ってる。　これだ！