Pc-Trace

<< 2024年11月 >>
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30






Pc-Trace
PC-Trace

< next memoの記事 prev >
09/06(水)
画像ファイルがあります 添付ファイルがあります
09/06(水)
画像ファイルがあります 添付ファイルはありません
09/06(水)
画像ファイルがあります 添付ファイルがあります
08/22(火)
画像ファイルがあります 添付ファイルがあります
08/21(月)
画像ファイルがあります 添付ファイルがあります
08/14(月)
画像ファイルはありません 添付ファイルはありません
>>このカテゴリーの記事一覧

instant-ngp、「NeRF」個人メモ

いずれ忘れるのでメモ

Instant-ngp・インストール参考サイト
https://github.com/bycloudai/instant-ngp-Windows

システム関係ダウンロード・リンク(個人的なPC環境)


Visual Studio 2019

cmake

Anaconda

NVIDIA OptiX

CUDA Toolkit

colmap

Git

Python

OpenEXR-1.3.2-cp39-cp39-win_amd64.whl

1..必要なシステムを個人の環境に合わせてインストール。
2..PCの「環境変数」を構築した環境にあわせてパス、ディレクトリなどを設定

以下のダイアログは、今回の個人的な環境


パスの設定


pipなど、ほとんどの作業が「Anaconda」。 手順は多いが、難易度はそれほど高くなく、多少の時間を要するだけ。



システムの構築後には、一工夫いる。 各人の説明が分かれるところ。

とりあえず構築が終了したら「Instant-ngp」のフォルダ内にある「Instant-ngp.exe」を起動。

【サンプルファイルでテスト】
次に、「data/nerf」フォルダ内の、「fox」フォルダをまるごとシステム画面にドラッグ・アンド・ドロップして、画像が表示されればインストールは成功。


インストール後の「Instant-ngp」にはサンプルの、「fox」データが収録されている。
( transforms.json 学習ファイルと、学習に使用した画像フォルダは常にペア)


続く..


「Instant-ngp」計算終了

ビデオ画面の一幕が3Dとして実態化した瞬間!

さすがに重いが、正面に見える街並みがまるごと3Dデータとして残る。



出力された「transforms.json」学習データは205枚の画像で 6,200行



意味の無い動画添付。
プレビューや、データ出力用のシステムの操作については未習得。


【赤青メガネ必要】
解像度を上げ、時間をかけるとこんな感じの3D化が可能なのかも知れない?

添付ファイル 添付ファイル


空き容量

4時間以上経過。 未だ終わる気配無し..

パンク前に、空き容量確保のための消去データ検討中。



ちゃんと言ってる。 これだ!



朝のCoffee Break...

Nerf(ngp)二日目の朝。

既出の点群データを「instant-ngp」でやってみた。

「VisualSFM」で出力した67枚の並行移動した画像からの点群データ。 
上に見えるアーチ状の画像が点群生成用。



同じ枚数で生成した「instant-ngp」の画像。 67枚で5分以上かかったが、人物まで判るレベル。
右に見える白い縦線はバウンディングボックス。



先に、コントロールの説明を読まないと操作が "どもならん!"
表示直後の動画添付。 説明はこれから読むのでグダグダ..
添付ファイル 添付ファイル


「Nerf」にハマって、Coffee Break..

「D:」ドライブに「instant-ngp」フォルダを再構築し、サンプルのきつね写真を拝借して3D化テスト。
あとはブレンダーとの共有のみ。

データ専用に再構築後した、個人的なフォルダーのパス


「instant-ngp.exe」に読み込んだ「Nerf」学習データ



同じくサンプル画像から生成した「train」学習データの3D化



「instant-ngp.exe」を「build」フォルダにある「testbed.exe」から起動する説明にハマり、沼状態!
「build」フォルダに展開した「instant-ngp.exe」を、「testbed.exe」にファイル名変更することで無事脱出。

ここを参考に、同じ沼にハマったときはお試しあれ。

起動直後の意味不明な操作動画を添付。 いつか慣れる..ハズ。
添付ファイル 添付ファイル


動画から点群データ作成・テスト

空撮動画の一部(フレーム数67枚)から点群データを作成するテスト

動画から、どのような立体結果を導き出せるか? のテストなので、せっかく日本語化した「VisualSFM」を使ってテスト。
(僅か、数ステップの操作で結果を出せるのが本音!)

67枚とは言え、たかだか1184x574ピクセルの小さな画像 (1kにすら満たない) から点群を作成するのに、10分近く待たされる羽目になった

元画像


作成された、3D点群データ


CUDAモードの実行ログ

########### - - - -タイミング - - - #########
2207 画像一致が終了、279 秒経過
###########################

注: 12 個の一致するワーカーを使用します
0001および0003: [4259/4355]、H[1159]、0.03秒
0004および0005: [6584/6620]、H[3406]、0.05秒

########### - - - -タイミング - - - #########
2207 推定一致が終了、279 秒経過
2 幾何学的検証が終了、使用時間は 0 秒
###########################
-------------------------------------------------- --------------
欠損ペアワイズ マッチングの計算、完了
合計 279.000 秒使用しました

ログを確認したら5分程度だったが、辛抱強い人でないと...

テスト画像フォルダ添付
添付ファイル 添付ファイル


Ver 0.0.230823:新メニュー

新バージョン 0.0.230823 のグーグル翻訳メニュー(Python・BIMスクリプトのみ)


3DView・ワークエリア


新規作成時に「デモプロジェクト」が選択できる。


IFC・デモデータ



練習前の初期設定(画面)

IFCをYouTube動画から学ぶ際、最初で設定しておくと作業がスムーズに進められる設定画面(個人的)

スナップはマルチで、ギズモは「移動」にチェックを入れる。
IFC4 DemoLibraryを使う上で、初心者には都合が良い。


手探りの間、当分はこの設定に従う。

CADの起動
SlabLibraryを配置し、「SHIFT」+「E」キーを押すとCADモードが起動。
IFCの、基本的な操作を知らないので特殊に思える。



参考サイト
Ifc Architect:
https://www.youtube.com/@IfcArchitect/videos


Open IFC Viewer

機能豊富な、IFC専門のビュワー
https://openifcviewer.com/



Blenderなどとはアプローチが異なるが、IFCを扱う上で必須アプリに思える。
添付ファイル 添付ファイル


IFC:壁と、窓と、ドア

BIMToolをAddonしたまま放置状態では無責任なので、弄ってみた。

間取り図など関係なく、3つのパーツで、配置の練習。


IFCサンプルデータを使い、

1..3枚の壁をコの字型に配置
2..配置した壁に、窓とドアを配置
3..配置したオブジェクトの移動と再生

※配置前に、配置対象の壁がアクティブであることを常に確認する必要がる。
添付ファイル 添付ファイル


Coffee Break..  BIMTool メニュー日本語化 (一部)

Blender「BIMTool」を3000ワードほど翻訳してメニューの一部を日本語表示。
「グーグル翻訳」や、「AI」が正しく処理してくれてるかは不明。

すべて利用するには8000ワードを超える翻訳が必要で、パラメータを含む行がほとんど。

プロパティーに表示されるメニューの一部のみ日本語化してみた。
使えるかは別問題。(これ、すべてが「BIMTool」のメニュー。さっぱり分からない!)
FreeCADと同等の操作で図面(平面図)を引く事ができたが、一度終了したあと、やり方を思い出せない!











ifcデータインポート無し、設定無し、メニュー半分以下の状態...
どれほどの規模か想像に難くない。

参考サイト:
IFC Wiki
BlenderBIM Add-on
ビデオチュートリアル


意味不明に弄り回すだけの動画添付
添付ファイル 添付ファイル


Coffee Break..:FreeCAD ← ifc

FreeCADでifcファイルを開いてみた。

添付ファイル 添付ファイル


Coffee Break.. BIMTool入れてみた。

興味をそそる内容に野次馬根性..
門外漢にもかかわらず、BIM・IFCデータを読み込んでみた。
https://blenderbim.org/index.html

とりあえず公開されている「IFC」サンプルデータを見る
https://github.com/RWTH-E3D/DigitalHub



レンダリング画像



自ら図面を引けるようになるか疑問。
添付ファイル 添付ファイル


VisualSFM 操作メモ

「VisualSFM」ヘルプから引用

視覚化
* [メニュー] -> [表示] のメニュー項目を使用して、表示モードを選択するかパラメータを変更します。
* マウス、キーボード ショートカット、またはツールバー ボタンを使用すると、より迅速に切り替えることができます。
* 現在のビューを JPEG ファイルとして保存することも、メモリにコピーすることもできます (ppt に貼り付けますか?)
* さらに多くのドキュメントが追加される予定です

マウスコントロールとナビゲーション
* 3D ポイント モードでカメラを右ダブルクリックすると、選択した画像が表示されます。
* サムネイル モードで画像を左ダブルクリックすると、選択した画像が表示されます。
* 単一画像モードで右ダブルクリックすると、前の表示モードに戻ります。
* 左/右クリック+ホールド+移動でパン/回転します。
* Shift + マウス、またはマウスホイールでズーム
* 「Alt + マウスホイール」でポイントサイズを変更
* Ctrl + マウスホイールで相対的なカメラサイズを変更
* 左/右のダブル/シングルクリックを試してみてください(空きスペースまたはカメラ上、画像上)


キーボードショートカット
2D ビューに合わせた「Z」ズーム。3D ビュー用にリセットします。
「バックスペース」 サムネイル ビューに戻ります
「タブ」 密集 3D モデルと疎 3D モデルを切り替えます 「
タブ」 元の画像と歪みのないビューを切り替えます
「一時停止」 現在のカメラで認識されている点のみを表示します
「T」 3D 視覚化モードを切り替えます。


VisualSFMでアニメーションを簡単に表示
F4 をクリックして、現在のビューをアニメーション リストに追加します。いくつかのビュー (異なるビューポイントまたは異なるビュー モード) を追加した後、F5 を 1 回クリックすると、保存されたビューの遷移アニメーションが表示されます。F5 をダブルクリックすると、アニメーションがループ再生されます。

内部コマンドラインに「am」と入力すると、アニメーションを作成するためのコマンドの完全なリストが表示されます。


Meshroom と、 VisualSFM の比較



テスト:
YouTube動画から、室内を撮影した動画の一部をスクリーンショットし、点群で立体化。

動画の一部をスクリーンショット(使用した画像の一覧)


VisualSFMで、「スパースの再構築」→「高密度再構築」で生成されたプロジェクトファイル保存 → 処理終了後「TAB」キーを押して、点群表示
手前の小さなボックスが、カメラの位置と、撮影方向と、角度に該当
僅か、10枚の並行移動に近い画像で立体化できた。


同じ枚数の画像をMeshroomで実行。 VisualSFMと比較し、拡大するとかなり荒い!(デカ丸)


わずか数枚の画像から生成した3D点群データの比較。
現時点で、「CMVS-PMVS」などの外部の補助システムの影響もあり、精細に表示されたのは VisualSFM。(Meshroomは単に勉強不足?)


< next prev >