「NeRF」の概念はわずかながら掴めた。

これまでは、2D → 3D のトレーニング。
当たり前の疑問を試してみたくなるのは、妄想に先があるから..


SketchUp・灯籠 → 「Instant-ngp」


ここまでは想定内。


添付ファイルは、「Instant-ngp.exe」を起動し、画面上にドロップするだけ。

まだまだ　謎深し..

transforms.json ファイルを相対パスで生成できるよう「COLMAP」ソースを編集するか、生成された transforms.json そのものを編集するか？

写真データを好きな場所でトレーニングして、好きな場所に保存したい。
と、なれば、transforms.json を編集する方が圧倒的に早い！
現在は生成後のjsonファイルをすべて相対パスに書き換えている。
5000行程度のjsonファイルなら瞬時に終わる。（現在までの個人の感想）

トレーニングデータは360度


トレーニングデータ、drums
トレーニング済みデータ ingp

ingpファイルは「Instant-ngp.exe」を起動後、画面にドロップするだけ。

Blenderで、少し疲れたので息抜き。

ネット公開されているサンプルデータでトレーニングの復習。
https://www.matthewtancik.com/nerf



学習済みingpデータで操作。



添付ファイルは「Instant-ngp」システム・学習済み ".ingp" ファイル。　画面内へのドラッグ・アンド・ドロップで表示、操作ができる。

ついでにドラムのデータもやってみたい！　　探そ！

九大のPDFを拝借。　計算はシステムがやってくれるので、概念だけ。

言語の環境を整え、テスト。

https://github.com/JamesPerlman/TurboNeRF

Blender「NeRF」は様々な環境指定があり、整合性の取れてないシステムもいくつか。
レンダー開始後しばらくすると落ちる！..落ちる..


リミットかけて、制限付きで処理中。　
GBファンは常にフル回転状態！　PCケースもそこそこに熱い！


処理終了後の操作で落ちた。　 終わった！
しばらく "お・あ・ず・け"

いずれ忘れるのでメモ


1..必要なシステムを個人の環境に合わせてインストール。
2..PCの「環境変数」を構築した環境にあわせてパス、ディレクトリなどを設定

以下のダイアログは、今回の個人的な環境


パスの設定


pipなど、ほとんどの作業が「Anaconda」。　手順は多いが、難易度はそれほど高くなく、多少の時間を要するだけ。

---

システムの構築後には、一工夫いる。　各人の説明が分かれるところ。

とりあえず構築が終了したら「Instant-ngp」のフォルダ内にある「Instant-ngp.exe」を起動。

【サンプルファイルでテスト】
次に、「data/nerf」フォルダ内の、「fox」フォルダをまるごとシステム画面にドラッグ・アンド・ドロップして、画像が表示されればインストールは成功。


インストール後の「Instant-ngp」にはサンプルの、「fox」データが収録されている。
（ transforms.json 学習ファイルと、学習に使用した画像フォルダは常にペア）


続く..

ビデオ画面の一幕が3Dとして実態化した瞬間！

さすがに重いが、正面に見える街並みがまるごと3Dデータとして残る。



出力された「transforms.json」学習データは205枚の画像で 6,200行



意味の無い動画添付。
プレビューや、データ出力用のシステムの操作については未習得。


【赤青メガネ必要】
解像度を上げ、時間をかけるとこんな感じの3D化が可能なのかも知れない？

4時間以上経過。　未だ終わる気配無し..

パンク前に、空き容量確保のための消去データ検討中。

---

ちゃんと言ってる。　これだ！

「YouTube」ドイツの風景動画




動画中の、時計塔のシーンをフルHD画像205枚分で「NERF」計算中。
さすがに時間がかかっている。



「instant-ngp」アルゴリズム - 要約と方法


すでに2時間経過・・　安否と終了時間不明！　Anacondaは流れている。

Nerf（ngp）二日目の朝。

既出の点群データを「instant-ngp」でやってみた。

「VisualSFM」で出力した67枚の並行移動した画像からの点群データ。　
上に見えるアーチ状の画像が点群生成用。



同じ枚数で生成した「instant-ngp」の画像。　67枚で5分以上かかったが、人物まで判るレベル。
右に見える白い縦線はバウンディングボックス。



先に、コントロールの説明を読まないと操作が "どもならん！"
表示直後の動画添付。　説明はこれから読むのでグダグダ..

「D:」ドライブに「instant-ngp」フォルダを再構築し、サンプルのきつね写真を拝借して3D化テスト。
あとはブレンダーとの共有のみ。

データ専用に再構築後した、個人的なフォルダーのパス


「instant-ngp.exe」に読み込んだ「Nerf」学習データ



同じくサンプル画像から生成した「train」学習データの3D化



「instant-ngp.exe」を「build」フォルダにある「testbed.exe」から起動する説明にハマり、沼状態！
「build」フォルダに展開した「instant-ngp.exe」を、「testbed.exe」にファイル名変更することで無事脱出。

ここを参考に、同じ沼にハマったときはお試しあれ。

起動直後の意味不明な操作動画を添付。　いつか慣れる..ハズ。

NeRF plugin・メモ

期待大！

空撮動画の一部（フレーム数67枚）から点群データを作成するテスト

動画から、どのような立体結果を導き出せるか？ のテストなので、せっかく日本語化した「VisualSFM」を使ってテスト。
（僅か、数ステップの操作で結果を出せるのが本音！）

67枚とは言え、たかだか1184ｘ574ピクセルの小さな画像　（1kにすら満たない）　から点群を作成するのに、10分近く待たされる羽目になった

元画像


作成された、3D点群データ



ログを確認したら5分程度だったが、辛抱強い人でないと...

テスト画像フォルダ添付

新バージョン 0.0.230823 のグーグル翻訳メニュー（Python・BIMスクリプトのみ）


3DView・ワークエリア


新規作成時に「デモプロジェクト」が選択できる。


IFC・デモデータ

IFCをYouTube動画から学ぶ際、最初で設定しておくと作業がスムーズに進められる設定画面（個人的）

スナップはマルチで、ギズモは「移動」にチェックを入れる。
IFC4 DemoLibraryを使う上で、初心者には都合が良い。


手探りの間、当分はこの設定に従う。

CADの起動
SlabLibraryを配置し、「SHIFT」+「E」キーを押すとCADモードが起動。
IFCの、基本的な操作を知らないので特殊に思える。



参考サイト
Ifc Architect：
https://www.youtube.com/@IfcArchitect/videos

機能豊富な、IFC専門のビュワー
https://openifcviewer.com/



Blenderなどとはアプローチが異なるが、IFCを扱う上で必須アプリに思える。