Jó-jó, hogy Gaussian Splatting, de mi is az, és miért jó?
Ha adatfeldolgozás és megjelenítés, akkor általában két kifejezés kerül elő: a pontfelhő, és a mesh. A pontfelhő (point cloud) egy struktúrálatlan adathalmaz (pontok halmaza). Minden egyes ponthoz tartozik X, Y és Z koordináta (felvételezési módszertől függően RGB színezés is), tehát ezek a pontok valós földrajzi elhelyezkedést tárolnak. Egy lidaros felmérés esetén ez a pontfelhő a nyersanyag, amely ideális méréshez, analízishez, felméréshez, és a valóság digitális ikerpárjaként való archiváláshoz, mivel a valós méréseket tartalmazza. Fotogrammetriával is létrehozható pontfelhő, de legtöbbször ez a lépés nem szokott kelleni.
A mesh ezzel szemben egy struktúrált adathalmaz, ami a pontfelhőből származik. Ebből is látszik, hogy ez egy származtatott adat, tehát számolt (nem valós) érték. A feldolgozó szoftver (jelen esetben a Terra) speciális algoritmusokkal összeköti a pontfelhő szomszédos pontjait, és síkokat (faces) alkot, amelyek éleken (edges) keresztül kapcsolódnak. Ez általában háromszögekből áll (háromszög hálózat, triangulated mesh), így mesterségesen létrejön egy zárt felület. Nincsenek a megjelenítésben (látványban) hézagok, a hétköznapi felhasználó számára sokkal könnyebben értelmezhető az eredmény. Fontos viszont tudni, hogy a (pontfelhő) pontok közötti értékek nem a valóságot tükrözik, hanem matematikai számításokkal próbálják ezek a szoftverek „kitalálni” a köztes értékeket. Minél összetettebb egy objektum, annál nagyobb valószínűséggel hibás ez a számítás. Fotogrammetriánál a mesh közvetlenül előállítható, ám a megfelelő eredményhez sok felvétel szükséges (legjobb a tervezett repülés). A fenti képen kézi repüléssel történt a felvételezés, így erősen hibával terhelt – ám ezeket a hibákat, amik a nyersnek mondható pontfelhőn előjönnek, a mesh esetében a szoftver eltüntette. A lenti képen más szögből nézve előtűnnek a hiányok.
Ennek a megjelenítési módnak a továbbfejlesztéséből állt elő a 3D Gaussian Splatting módszer. Célja a fotorealisztikus jelenetek rekonstrukciója és a valós idejű, új nézőpontból történő szintetizálás (novel-view synthesis) elérése. Ezt egy nagy számú, differenciálható 3D Gauss-függvény (vagy „splat”) gyűjteményeként írja le, ez az explicit reprezentáció teszi lehetővé a gyors optimalizációt és renderelést. Hogy kell ezeket a függvényeket térben elképzelni? A (nyers) pontfelhő alapból indulunk ki megint, de most nem összekötjük őket, hanem minden egyes pontra egy forgási ellipszoidot helyezünk. A módszer azt feltételezi, hogy minél közelebb vagyunk a konkrét (felmért) ponthoz, annál biztosabb az (pl. szín és átlátszósági) információ. Tehát nem határozott élekkel különíti el a két pont közti teret, hanem finom átmenettel. Láthatjuk, hogy ugyanabból az adathalmazból 3DGS-el mennyivel szebb, realisztikusabb képet kaptunk.
Általánosságban, ez a módszer jobban használható vékony objektumok, illetve fényvisszaverő felületek megjelenítésénél.
Összességében – megjelenítés szempontjából egyértelműen jobb ez a fajta megjelenítés. Azonban ne felejtsük el, a „valós” adat, ha mérni vagy számolni kell vele, az nem változik, nem lesz jobb, ezzel csak egy másféle megjelenítést érhetünk el.