3D vizija je multidisciplinarna oblast koja uključuje kompjutersku grafiku, kompjuterski vid i veštačku inteligenciju. Cilj mu je omogućiti mašinama da razumiju i obrađuju informacije u trodimenzionalnom prostoru, postižući percepciju dubine, prepoznavanje i razumijevanje objekata i scena.
Glavni zadaci
3D rekonstrukcija
Procjena dubine 3D scena ili digitalno uzorkovanje površina objekata, kao i obrada i prikaz 3D podataka; monokularna rekonstrukcija, binokularna rekonstrukcija, strukturirana svjetlo-bazirana rekonstrukcija, laser-bazirana rekonstrukcija; 3D rekonstrukcija velikih-razmjera, mobilna 3D rekonstrukcija.
Pose Estimation
Proračun položaja i orijentacije kamera ili objekata u trodimenzionalnom fizičkom prostoru-praćenje u stvarnom-vremenu.
3D razumijevanje
Detekcija, prepoznavanje i pronalaženje objekata, kao i segmentacija i semantičko označavanje scena ili objekata.
Principi rada
3D viziona slika je jedna od najvažnijih metoda za percepciju informacija kod industrijskih robota, a može se podijeliti na optičke i ne-optičke metode snimanja. Trenutno se najčešće koriste optičke metode.
Metoda vremena{0}}-leta (TOF).
Ova metoda izračunava udaljenost do objekta mjerenjem vremenske razlike između emisije svjetlosti i prijema. Uzimajući TOF kameru kao primjer, svaki piksel koristi vremensku razliku leta svjetlosti da dobije dubinu objekta. U klasičnim metodama mjerenja, detektorski sistem započinje mjerenje vremena kada emituje svjetlosni impuls, pohranjuje-vrijeme povratnog puta kada primi ciljni svjetlosni eho i procjenjuje ciljnu udaljenost prema formuli.
Dijeli se na direktni TOF (DTOF) i indirektni TOF (I-TOF). DTOF se obično koristi u sistemima za jedno-određivanje raspona, a postizanje 3D slike -široko područja često zahtijeva tehnologiju skeniranja; I-TOF indirektno ekstrapolira vrijeme povratnog putovanja iz vremenski-ograničenih mjerenja intenziteta svjetlosti, eliminirajući potrebu za preciznim mjerenjem vremena, i trenutno je komercijalno rješenje za elektronske i optičke miksere zasnovane na TOF kamerama. TOF slika se može koristiti za veliko vidno polje, velike-udaljenosti, nisku{9}}preciznost i jeftinu-akviziciju 3D slike, a koristi se za percepciju okoline u inteligentnim bespilotnim sistemima (kao što su roboti, bespilotna vozila, bespilotne letjelice, itd.).
Structured Light Projection 3D Imaging
Projekcija strukturirane svjetlosti 3D slika je trenutno glavna metoda za percepciju 3D vida kod robota. Projektor projektuje specifičan strukturirani uzorak svjetlosnog osvjetljenja na ciljni objekt, kao što su pruge ili uzorci Grey koda, a kamera snima sliku moduliranu od strane mete. Zbog valovitosti površine objekta, strukturirani svjetlosni uzorak se deformiše na površini objekta. Obradom slika i korištenjem vizuelnih modela za poređenje uzoraka prije i nakon deformacije, te analizom izobličenja uzorka, mogu se izračunati trodimenzionalne informacije o koordinatama svake tačke na površini ciljanog objekta.
U aplikacijama robotskog sistema za ruke{0}}oke, za scenarije u kojima nije potrebna visoka 3D preciznost mjerenja (kao što je paletizacija, depaletizacija i 3D hvatanje), metoda projektovanja pseudo-nasumičnih šara za dobijanje ciljanih 3D informacija je prilično popularna. Ova metoda se obično koristi u industrijskoj inspekciji i 3D modeliranju i može brzo dobiti 3D podatke o površini objekta. Strukturirani sistem za snimanje svjetla sastoji se od nekoliko projektora i kamera. Uobičajeni strukturni oblici uključuju: jedan projektor-jedna kamera, jedan projektor-dvostruka kamera, jedan projektor-više kamera, jedna kamera-dvostruki projektori i jedna kamera-više projektora.
Osnovni princip rada 3D snimanja strukturirane projekcije svjetlosti je sljedeći: projektor projektuje specifičan strukturirani svjetlosni obrazac osvjetljenja na ciljni objekt, kamera snima sliku moduliranu od strane mete, a zatim se 3D informacija o ciljnom objektu dobija obradom slike i vizualnim modelima. Uobičajeni tipovi projektora uključuju: displej s tekućim kristalima (LCD), projekciju digitalne modulacije svjetlosti (DLP: kao što su digitalni mikromirror uređaji (DMD)) i direktnu projekciju laserskog LED uzorka.
Na osnovu broja strukturiranih svjetlosnih projekcija, 3D slike strukturirane projekcije svjetlosti mogu se podijeliti na 3D metode sa jednim-snimkom i 3D metode sa više- snimaka. Jedno{6}}strukturirano svjetlo uglavnom koristi kodiranje prostornog multipleksiranja i kodiranje multipleksiranja frekvencije. Uobičajeni oblici kodiranja uključuju: kodiranje boja, indeksiranje sivih tonova, kodiranje geometrijskih oblika i nasumične šare. Trenutno, u aplikacijama robotskog sistema za ruke{9}}oke, za scenarije u kojima nije potrebna visoka 3D preciznost mjerenja, kao što su paletiranje, depaletiranje i 3D hvatanje, široko se koristi metoda projektovanja pseudo-slučajnih šara za dobijanje ciljanih 3D informacija.
Multi-metode 3D snimanja uglavnom koriste vremensko-kodiranje. Uobičajeni oblici kodiranja uzoraka uključuju: binarno kodiranje, više-fazno-kodiranje sa pomakom u više frekvencija i hibridne metode kodiranja (kao što su Gray kod i margine sa pomakom faze). Osnovni princip strukturiranog svjetlosnog 3D snimanja prikazan je na donjoj slici. Strukturirani svjetlosni uzorak se generiše pomoću kompjutera ili specijalnog optičkog uređaja, a zatim se projektuje na površinu objekta koji se testira pomoću optičkog projekcionog sistema. Uređaj za akviziciju slike (kao što je CCD ili CMOS kamera) koristi se za snimanje strukturirane svjetlosne slike modulirane i deformisane površinom objekta. Algoritmi za obradu slike se zatim koriste za izračunavanje korespondencije između svakog piksela na slici i tačaka na konturi objekta. Konačno, trodimenzionalne informacije o konturi objekta se izračunavaju korištenjem modela strukture sistema i njegove tehnologije kalibracije. U praktičnim aplikacijama se obično koriste projekcija Grey koda, projekcija ruba sa sinusoidnim pomakom faze{15}} ili hibridna 3D tehnologija pomaka Grey koda i sinusoidne faze{16}}.
Za grube površine, strukturirano svjetlo se može direktno projektovati na površinu objekta radi vizuelnog mjerenja; međutim, za 3D mjerenje visoko reflektirajućih glatkih površina i zrcalnih objekata, strukturirana svjetlosna projekcija se ne može direktno projektovati na površinu koja se testira, a 3D mjerenje zahtijeva korištenje tehnika zrcalne refleksije.
U ovoj šemi, resice se ne projektuju direktno na konturu objekta koji se testira, već na ekran za raspršivanje, ili se zaslon s tekućim kristalima (LCD) koristi za direktno prikazivanje resa. Kamera dobija informacije o rubovima modulirane promjenama zakrivljenosti svijetle površine kroz putanju reflektirane svjetlosti, a zatim izračunava trodimenzionalnu morfologiju konture-.
Skeniranje 3D slike
Metode skeniranja 3D slike mogu se podijeliti na skeniranje raspona, aktivnu triangulaciju i hromatske konfokalne metode. Skeniranje raspona koristi kolimirani svjetlosni snop za skeniranje cijele površine cilja za 3D mjerenje. Tipične metode skeniranja raspona uključuju: metode u jednoj-tački vremena--leta, kao što je modulacija frekvencije kontinuiranog talasa (FM-CW) raspona i pulsnog raspona (LiDAR); interferometrija laserskog raspršivanja, kao što su interferometri zasnovani na interferenciji više-talasnih dužina, holografskim interferencijama, interferencijama bijelog svjetla i principima interferencije mrlja; i konfokalne metode, kao što su kromatsko konfokalno i autofokusiranje.
U 3D metodama skeniranja u jednom{0}}tačkom raspona, metoda-vremena{3}}od-jedne tačke je pogodna za skeniranje na daljinu-, ali je tačnost mjerenja relativno niska, uglavnom u milimetarskom opsegu. Druge metode skeniranja u jednoj-tački uključuju lasersku interferometriju u jednoj-tački, konfokalnu mikroskopiju i aktivnu lasersku triangulaciju u jednoj-tački. Ove metode nude visoku tačnost mjerenja, ali prva zahtijeva kontrolirano okruženje. Linijsko skeniranje nudi umjerenu preciznost i visoku efikasnost. Aktivna laserska triangulacija i kromatska konfokalna mikroskopija posebno su pogodne za 3D mjerenje na krajnjem efektoru robotske ruke. Aktivna triangulacija se zasniva na principu triangulacije, koristeći kolimirani snop ili jedan ili više planarnih zraka za skeniranje ciljne površine za 3D mjerenje.
Svjetlosni snop se obično dobiva na sljedeće načine: laserska kolimacija, cilindrična ili kvadratna površinska prizmatična ekspanzija zraka, nekoherentna svjetlost (kao što je bijela svjetlost, LED izvor svjetlosti) projektovana kroz male rupe, proreze (rešetke) ili koherentna difrakcija svjetlosti. Aktivna triangulacija se može podijeliti u tri tipa: jedno-skeniranje u jednoj tački, jedno-skeniranje u jednoj liniji i više-skeniranje. Trenutno, većina komercijalno dostupnih proizvoda za robotske krajnje efektore ruke su skeneri sa jednom-točkom i jednom{7}}linijom.
U više{0}} metodama skeniranja, pouzdana identifikacija rubnih brojeva predstavlja izazov. Da bi se precizno identificirali brojevi rubova, dva seta okomitih svjetlosnih ravnina se obično snimaju velikom brzinom naizmjenično. Ovo također omogućava skeniranje "leteći triangulacije", čije je skeniranje i proces 3D rekonstrukcije prikazan na slici ispod. Više{5}}projekcija i jedno-slikanje bljeskom daju oskudan 3D prikaz. Nekoliko sekvenci 3D pogleda se generiše uzdužnim i poprečnim projekcijskim skeniranjem, a zatim se generira kompletan i gusti 3D model površine visoke{10}}rezolucije kroz registraciju 3D slike.
Čini se da je kromatska konfokalna mikroskopija sposobna za skeniranje i mjerenje grubih i glatkih neprozirnih i prozirnih objekata, kao što su reflektirajuće površine i prozirne staklene površine, i trenutno se široko koristi u poljima kao što je 3D inspekcija maski mobilnih telefona. Hromatsko konfokalno skeniranje ima tri tipa: jedno-jednodimenzionalno skeniranje mjerenja apsolutne udaljenosti-jednodimenzionalno skeniranje mjerenja udaljenosti, skeniranje niza više- tačaka i kontinuirano linijsko skeniranje. Na slici ispod prikazani su primjeri mjerenja apsolutne udaljenosti i kontinuiranog skeniranja linija. Kontinuirano linijsko skeniranje je također vrsta skeniranja niza, ali s većim i gušćim nizom tačaka.
Stereo Vision 3D Imaging
Stereo vizija se općenito odnosi na rekonstrukciju 3D strukture ili informacija o dubini ciljanog objekta sticanjem dvije ili više slika iz različitih gledišta. Vizuelni znakovi percepcije dubine mogu se podijeliti na očne znakove i binokularne znakove (binokularni disparitet). Trenutno se 3D stereo vid može postići monokularnim vidom, binokularnim vidom, multi-vidom i 3D snimanjem svjetlosnog polja (elektronska složena kamera za oko ili niz kamera). Znakovi percepcije dubine monokularnog vida obično uključuju: perspektivu, razlike žižne daljine, više-slike, okluziju, sjene, paralaksu pokreta, itd.
U robotskom vidu, to se također može postići korištenjem ogledala i drugih oblika-iz-X metoda. Vizualni znakovi percepcije dubine binokularnog vida uključuju: položaj konvergencije oka i binokularni disparitet. U mašinskom vidu, dve kamere se koriste za dobijanje dve slike iz tačke gledišta iste ciljne scene sa dve tačke gledišta, a zatim se izračunava disparitet odgovarajućih tačaka u dve slike gledišta da bi se dobila informacija o 3D dubini ciljne scene. Tipičan proces izračunavanja binokularnog stereo vida uključuje sljedeća četiri koraka: korekciju izobličenja slike, ispravljanje para stereo slike, registraciju slike i izračunavanje mape dispariteta triangulacijske reprojekcije.
Više-videona slika, ili više-stereo slikanje, koristi jednu ili više kamera za dobijanje više slika iste ciljne scene sa više tačaka gledišta kako bi se rekonstruisale trodimenzionalne-informacije o ciljnoj sceni.
Više{0}}stereo slikanje se uglavnom koristi u sljedećim scenarijima: korištenje više kamera sa različitih gledišta za dobijanje više slika iste ciljne scene, a zatim korištenje stereo rekonstrukcije{1}}bazirane na funkcijama i drugih algoritama za dobijanje informacija o dubini scene i prostornoj strukturi; koristeći tehniku strukture-iz-pokreta (SFM), koristeći istu kameru sa nepromijenjenim intrinzičnim parametrima, za dobijanje više slika iz različitih gledišta kako bi se rekonstruisale trodimenzionalne-informacije o ciljnoj sceni. Ova tehnologija se obično koristi za praćenje velikog broja kontrolnih tačaka u ciljnoj sceni, kontinuirano vraćajući 3D strukturne informacije scene, kao i položaj i položaj kamere. Snimanje svjetlosnog polja razlikuje se od tradicionalnih principa snimanja fotoaparata. Tradicionalne kamere formiraju 2D sliku direktno na ravni slike nakon što svjetlost prođe kroz sočivo.
Kamere svjetlosnog polja dodaju niz mikro sočiva ispred ravni senzora. Svetlost koja pada kroz glavno sočivo ponovo prolazi kroz svako mikrosočivo i prima ga fotoosetljivim nizom, čime se dobija informacija o pravcu i položaju svetlosnih zraka. Ovo omogućava kasniju obradu rezultata snimanja, postižući efekat "prvo snimaj, fokusiraj kasnije" i omogućavajući oporavak trodimenzionalne strukture scene-koristeći ove informacije. U poljima kao što su virtuelna stvarnost i proširena stvarnost, tehnologija snimanja svetlosnog polja pomaže u pružanju realističnijeg vizuelnog iskustva i omogućava precizniju trodimenzionalnu percepciju-i interakciju sa scenom.
Princip 3D snimanja svjetlosnog polja strukturno se razlikuje od principa snimanja tradicionalnih CCD i CMOS kamera. Tradicionalne kamere snimaju svjetlost direktno u ravan slike nakon što prođe kroz sočivo, općenito stvarajući 2D sliku. Kamere svjetlosnog polja dodaju niz mikrosočiva ispred ravni senzora, uzrokujući da svjetlost koja upada kroz glavno sočivo ponovo prođe kroz svako mikrosočivo i bude primljena fotoosetljivim nizom, čime se dobijaju informacije o smjeru i položaju svjetlosnih zraka. Ovo omogućava naknadnu-obradu rezultata slike, postižući efekat "prvo pucaj, kasnije fokusiraj".