Pc-Trace

<< 2023年03月 >>
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31






Pc-Trace
PC-Trace

2022年10月の記事 prev >
09/25(月)
画像ファイルがあります 添付ファイルはありません
09/24(日)
画像ファイルがあります 添付ファイルがあります
09/23(土)
画像ファイルはありません 添付ファイルはありません
09/23(土)
画像ファイルがあります 添付ファイルがあります
09/19(火)
画像ファイルはありません 添付ファイルはありません
09/16(土)
画像ファイルがあります 添付ファイルがあります
09/10(日)
画像ファイルがあります 添付ファイルがあります
09/09(土)
画像ファイルがあります 添付ファイルがあります
09/09(土)
画像ファイルがあります 添付ファイルがあります
09/08(金)
画像ファイルがあります 添付ファイルがあります
09/08(金)
画像ファイルがあります 添付ファイルがあります
09/06(水)
画像ファイルがあります 添付ファイルがあります
09/06(水)
画像ファイルがあります 添付ファイルはありません

Photogrammetry Vs NeRF

タイトル・Google翻訳
上位 5 つの 3D スキャナー アプリを比較 | 写真測量 VS NeRF VS LiDAR

もう、何が何やら.. 何が良いやら..

左端の「KIRI Engine」は、Freeアプリ。

YouTubeでの比較動画















鈴台で、Coffee Break..

一見、無駄?なローテーション。

SketchUp(3D) → Blender(2D) → NeRF(3D)

SketchUpのモデルをBlenderで撮影。
1280x1280のPNG画像(約1.25MB/枚)を100枚撮影。 100枚の生成時間は Eevee で44秒と高速



Instant-ngpでトレーニング中の画像

添付ファイル 添付ファイル


「NeRF」メモ

個人的メモ

Anaconda:
conda activate ngp

cd D:\NeRF\ngp\instant-ngp(セットしたディレクトリ)

COLMAP:
python scripts/colmap2nerf.py --colmap_matcher exhaustive --run_colmap --aabb_scale 16 --images <データフォルダ・パス>


Instant-ngp:
D:\NeRF\ngp\instant-ngp\build\testbed.exe --scene <画像データフォルダ・パス>



一本化

Instant-ngp、「NeRF」を、Blenderでトレーニングと、レンダー。

使用した、GitHub・プラグイン
https://github.com/JamesPerlman/TurboNeRF

Instant-ngpと、Blenderとのデータ・リンクが手間なので、一本化した方が望ましい。
散々落ちまくった挙げ句、その後の調整(修正とも)で、やっと安定した。


Blenderで、Instant-ngp「NeRF」トレーニング中の画面
最初はフルHD解像度のビデオ動画(既出)を1000ステップ程度の短時間テスト。


Instant-ngpと速度的に大差ないが、5000〜10000ステップやる勇気はまだ無い!
トレーニング中のBlenderもGBファンはフル回転。
添付ファイル 添付ファイル


Coffee Break..

NVIDIA’s New AI: Wow, Instant Neural Graphics!

トレーニング中!



Blender:「NeRF」スクリプト・テスト

ドラム3Dデータを、「NeRF」論文著者データ公開先からダウンロード

前出のBlenderスクリプトを実行して、PNG画像とJSONファイルを生成。
(JSONファイルは相対パス)
設定:PNG生成500枚、解像度800x800


生成されたPNG画像。 RTX3050環境で、一枚4秒程度で進行。
JSONファイルも同じフォルダ内に生成される。


「Instant-ngp」に、フォルダごとドロップしてプレビュー。


BlenderNeRFプラグインを使用しない場合の実行スクリプトとして利用できる。

https://github.com/maximeraafat/BlenderNeRF
添付ファイル 添付ファイル


Coffee Break..:Instant-ngp

Instant-ngp:
ngp/instant-ngp/external/ffmpeg/ffmpeg-5.1.2-essentials_build/bin/ffmpeg.exe のビデオ(.mp4)作成テスト

編集中のカメラパス Zオーダーは、コントローラより優先(スナップショット通り)


動画・カメラワークは適当。
動画解像度 1920x1080, 1024x576 2パターン

ffmpeg.exe作動時、FANはフル回転。
毎秒1フレーム程度の超低速!
添付ファイル 添付ファイル


日曜日のCoffee Break..

無意味に「Blender・NeRF」

https://github.com/maximeraafat/BlenderNeRF

少し逸れるが、こちらも参考になる。
https://qiita.com/live2d_dev/items/7e1628670f299036cf5f

次はこれか!



Blender json ファイル生成テスト:
カメラ PLAY COS(調整無し)実行時の様子
レンズ50mm、半径4m、100フレーム


プラグイン・Documents(抜粋)....
添付ファイル 添付ファイル


土曜日の Coffee Break..

「NeRF」の概念はわずかながら掴めた。

これまでは、2D → 3D のトレーニング。
当たり前の疑問を試してみたくなるのは、妄想に先があるから..


SketchUp・灯籠 → 「Instant-ngp」


ここまでは想定内。


添付ファイルは、「Instant-ngp.exe」を起動し、画面上にドロップするだけ。
添付ファイル 添付ファイル


Coffee Break.. 

まだまだ 謎深し..

transforms.json ファイルを相対パスで生成できるよう「COLMAP」ソースを編集するか、生成された transforms.json そのものを編集するか?

写真データを好きな場所でトレーニングして、好きな場所に保存したい。
と、なれば、transforms.json を編集する方が圧倒的に早い!
現在は生成後のjsonファイルをすべて相対パスに書き換えている。
5000行程度のjsonファイルなら瞬時に終わる。(現在までの個人の感想)

トレーニングデータは360度


トレーニングデータ、drums
トレーニング済みデータ ingp

ingpファイルは「Instant-ngp.exe」を起動後、画面にドロップするだけ。
添付ファイル 添付ファイル


Coffee Break..

Blenderで、少し疲れたので息抜き。

ネット公開されているサンプルデータでトレーニングの復習。
https://www.matthewtancik.com/nerf



学習済みingpデータで操作。



添付ファイルは「Instant-ngp」システム・学習済み ".ingp" ファイル。 画面内へのドラッグ・アンド・ドロップで表示、操作ができる。

ついでにドラムのデータもやってみたい!  探そ!

九大のPDFを拝借。 計算はシステムがやってくれるので、概念だけ。
添付ファイル 添付ファイル


TurboNeRF for Blender




言語の環境を整え、テスト。

https://github.com/JamesPerlman/TurboNeRF

Blender「NeRF」は様々な環境指定があり、整合性の取れてないシステムもいくつか。
レンダー開始後しばらくすると落ちる!..落ちる..


リミットかけて、制限付きで処理中。 
GBファンは常にフル回転状態! PCケースもそこそこに熱い!


処理終了後の操作で落ちた。  終わった!
しばらく "お・あ・ず・け"
添付ファイル 添付ファイル


instant-ngp、「NeRF」個人メモ

いずれ忘れるので備忘目的のメモ

Instant-ngp・インストール参考サイト
https://github.com/bycloudai/instant-ngp-Windows

システム関係ダウンロード・リンク(個人的なPC環境)


Visual Studio 2019

cmake

Anaconda

NVIDIA OptiX

CUDA Toolkit

colmap

Git

Python

OpenEXR-1.3.2-cp39-cp39-win_amd64.whl

1..必要なシステムを個人の環境に合わせてインストール。
2..PCの「環境変数」を構築した環境にあわせてパス、ディレクトリなどを設定

以下のダイアログは、今回の個人的な環境


パスの設定


pipなど、ほとんどの作業が「Anaconda」。 手順は多いが、難易度はそれほど高くなく、多少の時間を要するだけ。



システムの構築後には、一工夫いる。 各人の説明が分かれるところ。

とりあえず構築が終了したら「Instant-ngp」のフォルダ内にある「Instant-ngp.exe」を起動。

【サンプルファイルでテスト】
次に、「data/nerf」フォルダ内の、「fox」フォルダをまるごとシステム画面にドラッグ・アンド・ドロップして、画像が表示されればインストールは成功。


インストール後の「Instant-ngp」にはサンプルの、「fox」データが収録されている。
( transforms.json 学習ファイルと、学習に使用した画像フォルダは常にペア)


続く..


「Instant-ngp」計算終了

ビデオ画面の一幕が3Dとして実態化した瞬間!

さすがに重いが、正面に見える街並みがまるごと3Dデータとして残る。



出力された「transforms.json」学習データは205枚の画像で 6,200行



意味の無い動画添付。
プレビューや、データ出力用のシステムの操作については未習得。


【赤青メガネ必要】
解像度を上げ、時間をかけるとこんな感じの3D化が可能なのかも知れない?

添付ファイル 添付ファイル


空き容量

4時間以上経過。 未だ終わる気配無し..

パンク前に、空き容量確保のための消去データ検討中。



ちゃんと言ってる。 これだ!



prev >