ke 
Pelacakan kamera dengan akurasi sentimeter untuk pengambilan gambar 3D skala besar (Gaussian splatting)
Ringkasan
Proyek pelanggan ini berasal dari AryonixAryonix, yang didirikan oleh Alexandre Cavaleri, mengembangkan mesin rendering real-time yang mampu menciptakan lingkungan 3D sinematik, fotorealistik, dan imersif dari foto. Aryonix berkolaborasi dengan... Sayap Menuruni Bukit, sebuah proyek yang didedikasikan untuk menjelajahi, memetakan, dan merekam rute menurun untuk sepatu roda, papan seluncur panjang, dan olahraga gravitasi lainnya. Proyek ini menggunakan teknik yang disebut Gaussian splatting.
Untuk olahraga downhill, penting agar rekonstruksi digital sesuai dengan dunia nyata. Rute harus memiliki posisi, skala, dan kemiringan yang tepat sehingga pengendara dapat secara akurat mengevaluasi tingkat kesulitan, keselamatan, dan pengalaman berkendara secara keseluruhan.
Tantangan utama dalam merekonstruksi rute luar ruangan yang panjang seperti itu adalah menghitung posisi kamera: alat seperti COLMAP mengalami pergeseran dan akumulasi kesalahan seiring jarak, kesulitan menangani pola berulang yang terjadi secara alami dan pemandangan tanpa fitur (deretan tanaman merambat, permukaan jalan, langit), dan tanpa data GPS sebelumnya, hasilnya tidak terkait dengan koordinat, skala, atau kemiringan dunia nyata.
Untuk mengatasi keterbatasan ini, Aryonix menggunakan Kompas GNSS – Kit Pemula RTK untuk memberikan posisi dan arah kamera yang akurat hingga sentimeter selama perekaman.
Perangkat tersebut
Untuk mengatasi hal ini, kami menggunakan perangkat dasar kompas GNSS untuk menyediakan posisi dan arah kamera dengan akurasi sentimeter sebagai informasi awal kamera untuk COLMAP.
- Kompas GNSS – Kit Pemula RTK: Kit GNSS/RTK dengan papan berbasis UM982 dan dua antena heliks berkualitas tinggi.
- Kamera sinema Blackmagic URSA Mini Pro 4.6K G2, merekam dalam format RAW.
- Adaptor XLR Hosa MIT-129 mengubah sinyal PPS dari board menjadi level audio yang kompatibel dengan kamera, dan melindungi board dari daya phantom kamera.
- Ponsel menjalankan SW Maps, pencatatan RTK + menyalakan papan.
Sinkronisasi Video dengan RTK
Mengetahui posisi kamera hanya berguna jika setiap frame video dapat dicocokkan dengan pengukuran RTK yang benar.
Penerima GNSS mengeluarkan sinyal PPS (Pulse Per Second). Ini adalah pulsa listrik yang sangat akurat yang dihasilkan tepat sekali setiap detik GPS. Alih-alih mengandalkan jam internal kamera, sinyal PPS ini direkam langsung ke salah satu saluran audio kamera melalui input XLR-nya.
Karena audio diambil sampelnya pada frekuensi 48 kHz, setiap pulsa PPS dapat dideteksi dengan akurasi sub-milidetik. Sebagai perbandingan, satu frame video yang direkam pada 24 fps berlangsung sekitar 42 milidetik. Hal ini memungkinkan setiap frame diberi cap waktu dengan jauh lebih akurat daripada menggunakan informasi waktu dari kamera itu sendiri.
Perekaman pulsa PPS setiap detik juga memungkinkan untuk mendeteksi dan terus-menerus mengoreksi setiap penyimpangan waktu pada kamera selama seluruh perekaman. Sinyal PPS menandai awal setiap detik GPS, sementara log RTK yang direkam oleh ponsel memberikan stempel waktu GNSS yang sesuai. Memulai kedua perekaman pada waktu yang hampir bersamaan sudah cukup untuk mencocokkan pulsa PPS dengan data RTK secara otomatis.
Jika ini terdengar rumit, silakan lihat postingan kami. Memahami GPS Timepulse atau PPS.
Mengabadikan Adegan
Tim tersebut berjalan menempuh rute sepanjang 800 meter melalui kebun anggur Lavaux di Swiss sambil terus merekam video.
Alih-alih hanya berjalan dalam garis lurus, kamera digerakkan dalam pola spiral untuk mengamati pemandangan dari berbagai sudut pandang. Hal ini meningkatkan kualitas rekonstruksi 3D sekaligus menghindari bayangan yang dihasilkan oleh operator.
Terkadang, jalur samping pendek direkam sebelum kembali ke rute utama, menambahkan sudut pandang tambahan yang meningkatkan akurasi rekonstruksi.
Objek bergerak seperti pejalan kaki dan kendaraan ditangani langsung selama pengambilan gambar dengan mengarahkan kamera sedikit menjauh, sehingga mengurangi jumlah pembersihan yang diperlukan kemudian.
Hasil
Setelah menyinkronkan pengukuran RTK dengan frame video, posisi kamera diberikan ke pipeline rekonstruksi sebagai informasi awal kamera. Alih-alih memperkirakan setiap posisi kamera hanya dari gambar, perangkat lunak ini memulai dari pengukuran RTK yang akurat hingga sentimeter.
Representasi 3D yang dihasilkan dirender secara real-time menggunakan Aryonix Engine sambil mempertahankan posisi, orientasi, skala, dan kemiringan rute di dunia nyata yang benar.
Meskipun didemonstrasikan di sini dengan Gaussian splatting, alur kerja yang sama berlaku untuk metode rekonstruksi apa pun yang bergantung pada gambar 2D dan pose kamera: prioritas kamera yang disinkronkan dapat dimasukkan ke dalam alat seperti COLMAP untuk melatih Gaussian splat, NeRF, atau rekonstruksi fotogrametri tradisional.
Dengan menyediakan posisi kamera yang akurat sepanjang perekaman, RTK GNSS mengubah alur kerja yang biasanya akan mengalami pergeseran kumulatif menjadi metode yang andal untuk merekonstruksi lingkungan luar ruangan yang panjang. Hasilnya adalah adegan 3D fotorealistik yang juga dapat digunakan untuk pengukuran rute yang akurat, termasuk kemiringan yang seringkali lebih detail daripada yang tersedia dari model elevasi digital yang ada.
Produk Terkait
Asisten RTK
Temukan produk terbaik untuk aplikasi Anda hanya dengan beberapa pertanyaan.