Gradimo Bionic Eye ... z Car Tech?

V preteklih letih so v zgodbah o cyberpunku in znanstvenofantasti?nih serijah nastopali liki s kibernetskim vidom - nazadnje Star Trek Discovery's Poro?nica Keyla Detmer in njeni o?esni vsadki.

V resni?nem svetu je obnavljanje "naravnega" vida še vedno zapletena uganka, ?eprav raziskovalci na UC Santa Barbara razvijajo pametno protezo, ki slabovidnim slabovidnim zagotavlja znake, podobno kot ra?unalniški sistem vida govori s samovoze?im avtomobilom.

Danes ve? kot 10 milijonov ljudi po vsem svetu živi s hudo okvaro vida, mnogi zaradi bolezni mrežni?ne degeneracije.

Pred mednarodno konferenco o razširjenih ljudeh tega tedna smo se pogovarjali z dr.

Michaelom Beyelerjem, docentom za ra?unalništvo in psihologijo in možganske vede pri UCSB, ki napreduje s sinteti?nimi preizkusi vida v svojem laboratoriju Bionic Vision in bo na konferenca.

Dr.

Beyeler, govorila sva leta 2019 in boste kmalu predstavili posodobitev na temo Augmented Humans 2021.

Vaš novi ?lanek, Poenostavitev prizorov na osnovi u?enja za Bionic Vision, trdi, da je pot naprej umetni vid in ne obnova vida, kajne?
[MB] Ena od privla?nih tehnologij bioni?nih o?i je, da so te naprave namenjene ljudem, ki so bili zaslepljeni zaradi degenerativne o?esne bolezni, pa tudi zaradi poškodb ali travme vidne skorje.

Z drugimi besedami, lahko so videli ve?ji del svojega življenja, vendar so zaradi nesre?e ali dedne bolezni izgubili vid in si ga morda želijo nazaj.

Zato raziskovalci govorijo o cilju "obnovitve" vida.

Ko pa izvemo ve? o tem, kako možgani porazdelijo svoje izra?une po razli?nih možganskih podro?jih, postane jasno, da bi morali za resni?no obnovo "naravnega" vida razviti tehnologije, ki lahko sodelujejo z desetimi ali stotimi tiso?i posameznih nevronov.

na razli?nih podro?jih možganov.

To bi bilo mogo?e neko?, toda trenutno se zdi nedosegljivo.

Dejansko se je izkazalo, da sedanji mrežni?ni vsadki zagotavljajo samo nivo vida, ki šteje prste.

Ljudje lahko razlikujejo svetlobo od temnega ozadja in vidijo gibanje, vendar je njihov vid zamegljen in pogosto težko razložljiv.

Kje prihajajo vaše raziskave?
[MB] Prav.

Namesto da bi se osredoto?ili na enodnevno obnovo "naravnega" vida (kar je plemenita, a morda skoraj nemogo?a naloga), bi bilo morda bolje, ?e bi razmišljali o tem, kako zdaj ustvariti "prakti?en" in "uporaben" umetni vid.

Tu imamo resni?no priložnost, da izkoristimo obstoje?e nevronsko vezje slepih in mo?no pove?amo njihove vidne ?ute, kot sta Google Glass ali Microsoft HoloLens.

V tem novem delu, ki ga predstavljamo, naredimo prvi korak.

Stvari lahko postanejo svetlejše, ko se približujejo, ali z uporabo ra?unalniškega vida poudarimo pomembne predmete na sceni.

V prihodnosti bi ta vizualna pove?anja lahko kombinirali z GPS-om, da bi dali navodila, opozorili uporabnike na groze?e nevarnosti v njihovi neposredni okolici ali celo razširili obseg "vidne" svetlobe z uporabo infrarde?ega senzorja (pomislite na bioni?ni no?ni vid ).

Ko kakovost ustvarjenega umetnega vida doseže dolo?en prag, si je treba prizadevati za veliko vznemirljivih poti.

Ali to vaše delo vodi naprej-ali stran od-na podro?ju nevroinženiringa in v kombinacijo razvoja programske opreme, strojne opreme, biomimike in AR?
[MB] Dlje nas vodi v meddisciplinarno prizadevanje, ki bo verjetno zahtevalo spretnosti nevroznanosti, inženirstva in ra?unalništva.

Toda ?e sem iskren, mislim, da bi moralo biti to podro?je to?no to.

Zakaj ne bi izkoristili vseh nedavnih dosežkov na podro?ju strojnega u?enja in ra?unalniškega vida? Imamo priložnost zgraditi pametno protezo, ki omogo?a pove?anje v realnem ?asu, podobno kot ljudje trenutno razmišljajo o AR, ki temelji na HMD.

V svojem novem prispevku opisujete uvajanje najsodobnejših algoritmov ra?unalniškega vida za obdelavo slik in gradnjo ra?unskih modelov za simulacijo proteti?nega vida.
[MB] To delo je res prvi korak v smeri razvoja pametne proteze.

Težava je v tem, da je vid, ki ga zagotavljajo sedanje (in naprave v bližnji prihodnosti), zelo omejen.

Kmalu bi lahko imeli naprave s tiso?i elektrod, vendar so nekatere moje prejšnje raziskave pokazale, da ve? elektrod ne pomeni nujno ve? "slikovnih pik".

Ko v implantatu vklopimo eno elektrodo, pacienti ne poro?ajo, da bi videli piksle.

Namesto tega vidijo zamegljene oblike, kot so proge, mehur?ki in klini.

Ne zveni optimalno.
[MB] Ne, pošteno je re?i, da so bolniki ne kmalu videli v 4K.

To bo bolj kot igranje Ponga na Atariju, medtem ko se bralna o?ala meglejo.

Torej, kakšna je rešitev?
[MB] Kaj mi lahko je poenostaviti prizor za pacienta z uporabo ra?unalniškega vida.

Namesto da bi skrbeli, kako v mislih pacienta narisati hiperrealisti?no sliko sveta, želimo zagotoviti vizualne napotke, ki podpirajo naloge v resni?nem svetu.

Dajte nam primer teh vizualnih namigov in uporabljene tehnologije.


[MB] Seveda.

?e se poskušate orientirati po mestu, morate vedeti, kje so pomembne znamenitosti na prizoriš?u in ali obstajajo ovire v vaši neposredni bližini.

Tako smo eksperimentirali z najsodobnejšimi tehnikami ra?unalniškega vida, da bi poudarili vidne vidne informacije (z uporabo DeepGaze II), segmentirali zanimive predmete iz nereda v ozadju (z detektorjem2) in pomešali predmete, ki so dale? od opazovalca.

(z uporabo monodepth2).

Pomembno je, da smo te strategije kombinirali s psihofizi?no potrjenim ra?unskim modelom mrežnice, da smo ustvarili realisti?ne napovedi simuliranega proteti?nega vida.

To je pomembno, ker mislim, da se moramo odmakniti od razmišljanja v "pikslih" in razmisliti, kako nevronska koda vpliva na kakovost ustvarjene vizualne izkušnje.

Na našem YouTubovem kanalu je to delo na hitro znanstveno predstavljeno.

Kako ste opravili preizkuse za SPV (simulirani proteti?ni vid) in ali so bili ti opravljeni s slabovidnimi ali slabovidnimi prostovoljci? Kaj ste v tem primeru upali dose?i?
[MB] Kon?ni cilj je, po COVID-19, ?im prej to preizkusiti na uporabnikih bioni?nih o?i.

Za zdaj bi to delo morali razumeti kot dokaz koncepta - prvi korak k naši viziji pametne proteze.

Dejansko je eksperimentiranje z razli?nimi stimulacijskimi strategijami in zasnovo vsadkov za podjetja zelo drago in za udeležence dolgo?asno, zato v našem laboratoriju gradimo proti "virtualnim pacientom".

To so slabovidni subjekti, ki si skozi slušalke za navidezno resni?nost ogledujejo simulirani proteti?ni vid.

To omogo?a opazenim osebam, da "vidijo" skozi o?i bolnika z mrežni?no protezo, pri ?emer upoštevajo gibanje glave in (pri prihodnjem delu) o?i, ko raziskujejo poglobljeno virtualno okolje.

Sliši se skoraj tako, kot da gradite ra?unalniški vid, kakršnega vidimo pri avtomatizaciji / samovoze?ih avtomobilih ali sistemih od vozila do vozila, ampak za ljudi.

Je to preve? poenostavitev?
[MB] Sploh ne, to?no tja gremo.

Navdihuje nas literatura o ra?unalniškem vidu in iš?emo na?ine, kako prilagoditi te najsodobnejše algoritme z namenom zagotavljanja smiselnega umetnega vida.

Te rešitve V2V postajajo iz leta v leto bolj prenosljive.

Pomislite na mo? pametnega telefona - veliko je ra?unalništva, ki bi ga lahko zapakirali v majhno nosljivo napravo in tako zagotovili sprotne rešitve na robu.

Druga možnost je zagotoviti rešitev v oblaku, na primer tisto, kar Google po?ne s svojim API-jem Cloud Vision.

Seveda bi morala biti storitev hitra in varna.

Pravzaprav imamo strokovnjake, predvsem profesorja Richa Wolskega in profesorico Chandro Krintz tukaj na UCSB, ki se ukvarjata z rešitvami interneta stvari za kmetijstvo in druga podro?ja uporabe.

Kdo je financiral vaše raziskave in v kakšen namen?
[MB] Resni?no imamo sre?o, da nas je Nacionalni inštitut za o?i pri NIH neprestano financiral.

Dotacija R00, s katero je bila omogo?ena ta raziskava, je neprecenljiva, zlasti v takšnih ?asih, ko omejitve COVID še bolj zapletejo raziskovalno agendo, ki je bila za za?etek že ambiciozna.

Bilo je nepredvidljivo leto, toda to, da se lahko zanašam na zvezno podporo, mi zagotavlja, da lahko pla?am svojim študentom in da obstaja pot naprej za to pomembno raziskavo.

V ?asu pisanja tega ?lanka smo še vedno pod okupacijo COVID-19.

Ali se odpeljete v son?ni Santa Barbari ali kje drugje? In ste se dobro prilagodili pou?evanju / nadzoru in raziskovanju na daljavo?
[MB] Daljinsko pou?evanje in nadzor sta zagotovo izziv, toda slabše se po?utim za študente, ki zamujajo odli?no izkušnjo v kampusu.

Nenavadno je, da je naslednji mesec spet marec (ali še vedno?), Vendar se vsi trudimo, da bi situacijo izkoristili kar se da.

Je pa lepo delati od doma, zato me zanima, ali bom dobil tisto, kar zdaj imenujemo "maturitetna o?ala", takoj ko nas pri?akujejo nazaj v kampusu.

Kon?no tudi letošnja konferenca Augmented Humans tako kot vse ostalo poteka prek spleta, vendar so jo v preteklih letih gostile institucije na Japonskem, v Koreji in po Evropi.

Ko boste odpravili omejitve potovanja in boste dobili strel v roko (in morda potni list COVID v roki), kam boste šli in zakaj?
[MB] Prva postaja je Švica.

Zelo pogrešam družino in prijatelje in zelo si želim, da bi moj sin (rojen v Seattlu) videl drugo polovico svoje dediš?ine.

O potovanju smo govorili že nekaj let, toda to je vse, kar lahko za zdaj storimo.

Govori.

Po tem je vse pošteno.

Komaj ?akam!

Dr.

Michael Beyeler bo svoje raziskave predstavil v virtualnem okolju Pove?ani ljudje 2021 23.

februarja.

V preteklih letih so v zgodbah o cyberpunku in znanstvenofantasti?nih serijah nastopali liki s kibernetskim vidom - nazadnje Star Trek Discovery's Poro?nica Keyla Detmer in njeni o?esni vsadki.

V resni?nem svetu je obnavljanje "naravnega" vida še vedno zapletena uganka, ?eprav raziskovalci na UC Santa Barbara razvijajo pametno protezo, ki slabovidnim slabovidnim zagotavlja znake, podobno kot ra?unalniški sistem vida govori s samovoze?im avtomobilom.

Danes ve? kot 10 milijonov ljudi po vsem svetu živi s hudo okvaro vida, mnogi zaradi bolezni mrežni?ne degeneracije.

Pred mednarodno konferenco o razširjenih ljudeh tega tedna smo se pogovarjali z dr.

Michaelom Beyelerjem, docentom za ra?unalništvo in psihologijo in možganske vede pri UCSB, ki napreduje s sinteti?nimi preizkusi vida v svojem laboratoriju Bionic Vision in bo na konferenca.

Dr.

Beyeler, govorila sva leta 2019 in boste kmalu predstavili posodobitev na temo Augmented Humans 2021.

Vaš novi ?lanek, Poenostavitev prizorov na osnovi u?enja za Bionic Vision, trdi, da je pot naprej umetni vid in ne obnova vida, kajne?
[MB] Ena od privla?nih tehnologij bioni?nih o?i je, da so te naprave namenjene ljudem, ki so bili zaslepljeni zaradi degenerativne o?esne bolezni, pa tudi zaradi poškodb ali travme vidne skorje.

Z drugimi besedami, lahko so videli ve?ji del svojega življenja, vendar so zaradi nesre?e ali dedne bolezni izgubili vid in si ga morda želijo nazaj.

Zato raziskovalci govorijo o cilju "obnovitve" vida.

Ko pa izvemo ve? o tem, kako možgani porazdelijo svoje izra?une po razli?nih možganskih podro?jih, postane jasno, da bi morali za resni?no obnovo "naravnega" vida razviti tehnologije, ki lahko sodelujejo z desetimi ali stotimi tiso?i posameznih nevronov.

na razli?nih podro?jih možganov.

To bi bilo mogo?e neko?, toda trenutno se zdi nedosegljivo.

Dejansko se je izkazalo, da sedanji mrežni?ni vsadki zagotavljajo samo nivo vida, ki šteje prste.

Ljudje lahko razlikujejo svetlobo od temnega ozadja in vidijo gibanje, vendar je njihov vid zamegljen in pogosto težko razložljiv.

Kje prihajajo vaše raziskave?
[MB] Prav.

Namesto da bi se osredoto?ili na enodnevno obnovo "naravnega" vida (kar je plemenita, a morda skoraj nemogo?a naloga), bi bilo morda bolje, ?e bi razmišljali o tem, kako zdaj ustvariti "prakti?en" in "uporaben" umetni vid.

Tu imamo resni?no priložnost, da izkoristimo obstoje?e nevronsko vezje slepih in mo?no pove?amo njihove vidne ?ute, kot sta Google Glass ali Microsoft HoloLens.

V tem novem delu, ki ga predstavljamo, naredimo prvi korak.

Stvari lahko postanejo svetlejše, ko se približujejo, ali z uporabo ra?unalniškega vida poudarimo pomembne predmete na sceni.

V prihodnosti bi ta vizualna pove?anja lahko kombinirali z GPS-om, da bi dali navodila, opozorili uporabnike na groze?e nevarnosti v njihovi neposredni okolici ali celo razširili obseg "vidne" svetlobe z uporabo infrarde?ega senzorja (pomislite na bioni?ni no?ni vid ).

Ko kakovost ustvarjenega umetnega vida doseže dolo?en prag, si je treba prizadevati za veliko vznemirljivih poti.

Ali to vaše delo vodi naprej-ali stran od-na podro?ju nevroinženiringa in v kombinacijo razvoja programske opreme, strojne opreme, biomimike in AR?
[MB] Dlje nas vodi v meddisciplinarno prizadevanje, ki bo verjetno zahtevalo spretnosti nevroznanosti, inženirstva in ra?unalništva.

Toda ?e sem iskren, mislim, da bi moralo biti to podro?je to?no to.

Zakaj ne bi izkoristili vseh nedavnih dosežkov na podro?ju strojnega u?enja in ra?unalniškega vida? Imamo priložnost zgraditi pametno protezo, ki omogo?a pove?anje v realnem ?asu, podobno kot ljudje trenutno razmišljajo o AR, ki temelji na HMD.

V svojem novem prispevku opisujete uvajanje najsodobnejših algoritmov ra?unalniškega vida za obdelavo slik in gradnjo ra?unskih modelov za simulacijo proteti?nega vida.
[MB] To delo je res prvi korak v smeri razvoja pametne proteze.

Težava je v tem, da je vid, ki ga zagotavljajo sedanje (in naprave v bližnji prihodnosti), zelo omejen.

Kmalu bi lahko imeli naprave s tiso?i elektrod, vendar so nekatere moje prejšnje raziskave pokazale, da ve? elektrod ne pomeni nujno ve? "slikovnih pik".

Ko v implantatu vklopimo eno elektrodo, pacienti ne poro?ajo, da bi videli piksle.

Namesto tega vidijo zamegljene oblike, kot so proge, mehur?ki in klini.

Ne zveni optimalno.
[MB] Ne, pošteno je re?i, da so bolniki ne kmalu videli v 4K.

To bo bolj kot igranje Ponga na Atariju, medtem ko se bralna o?ala meglejo.

Torej, kakšna je rešitev?
[MB] Kaj mi lahko je poenostaviti prizor za pacienta z uporabo ra?unalniškega vida.

Namesto da bi skrbeli, kako v mislih pacienta narisati hiperrealisti?no sliko sveta, želimo zagotoviti vizualne napotke, ki podpirajo naloge v resni?nem svetu.

Dajte nam primer teh vizualnih namigov in uporabljene tehnologije.


[MB] Seveda.

?e se poskušate orientirati po mestu, morate vedeti, kje so pomembne znamenitosti na prizoriš?u in ali obstajajo ovire v vaši neposredni bližini.

Tako smo eksperimentirali z najsodobnejšimi tehnikami ra?unalniškega vida, da bi poudarili vidne vidne informacije (z uporabo DeepGaze II), segmentirali zanimive predmete iz nereda v ozadju (z detektorjem2) in pomešali predmete, ki so dale? od opazovalca.

(z uporabo monodepth2).

Pomembno je, da smo te strategije kombinirali s psihofizi?no potrjenim ra?unskim modelom mrežnice, da smo ustvarili realisti?ne napovedi simuliranega proteti?nega vida.

To je pomembno, ker mislim, da se moramo odmakniti od razmišljanja v "pikslih" in razmisliti, kako nevronska koda vpliva na kakovost ustvarjene vizualne izkušnje.

Na našem YouTubovem kanalu je to delo na hitro znanstveno predstavljeno.

Kako ste opravili preizkuse za SPV (simulirani proteti?ni vid) in ali so bili ti opravljeni s slabovidnimi ali slabovidnimi prostovoljci? Kaj ste v tem primeru upali dose?i?
[MB] Kon?ni cilj je, po COVID-19, ?im prej to preizkusiti na uporabnikih bioni?nih o?i.

Za zdaj bi to delo morali razumeti kot dokaz koncepta - prvi korak k naši viziji pametne proteze.

Dejansko je eksperimentiranje z razli?nimi stimulacijskimi strategijami in zasnovo vsadkov za podjetja zelo drago in za udeležence dolgo?asno, zato v našem laboratoriju gradimo proti "virtualnim pacientom".

To so slabovidni subjekti, ki si skozi slušalke za navidezno resni?nost ogledujejo simulirani proteti?ni vid.

To omogo?a opazenim osebam, da "vidijo" skozi o?i bolnika z mrežni?no protezo, pri ?emer upoštevajo gibanje glave in (pri prihodnjem delu) o?i, ko raziskujejo poglobljeno virtualno okolje.

Sliši se skoraj tako, kot da gradite ra?unalniški vid, kakršnega vidimo pri avtomatizaciji / samovoze?ih avtomobilih ali sistemih od vozila do vozila, ampak za ljudi.

Je to preve? poenostavitev?
[MB] Sploh ne, to?no tja gremo.

Navdihuje nas literatura o ra?unalniškem vidu in iš?emo na?ine, kako prilagoditi te najsodobnejše algoritme z namenom zagotavljanja smiselnega umetnega vida.

Te rešitve V2V postajajo iz leta v leto bolj prenosljive.

Pomislite na mo? pametnega telefona - veliko je ra?unalništva, ki bi ga lahko zapakirali v majhno nosljivo napravo in tako zagotovili sprotne rešitve na robu.

Druga možnost je zagotoviti rešitev v oblaku, na primer tisto, kar Google po?ne s svojim API-jem Cloud Vision.

Seveda bi morala biti storitev hitra in varna.

Pravzaprav imamo strokovnjake, predvsem profesorja Richa Wolskega in profesorico Chandro Krintz tukaj na UCSB, ki se ukvarjata z rešitvami interneta stvari za kmetijstvo in druga podro?ja uporabe.

Kdo je financiral vaše raziskave in v kakšen namen?
[MB] Resni?no imamo sre?o, da nas je Nacionalni inštitut za o?i pri NIH neprestano financiral.

Dotacija R00, s katero je bila omogo?ena ta raziskava, je neprecenljiva, zlasti v takšnih ?asih, ko omejitve COVID še bolj zapletejo raziskovalno agendo, ki je bila za za?etek že ambiciozna.

Bilo je nepredvidljivo leto, toda to, da se lahko zanašam na zvezno podporo, mi zagotavlja, da lahko pla?am svojim študentom in da obstaja pot naprej za to pomembno raziskavo.

V ?asu pisanja tega ?lanka smo še vedno pod okupacijo COVID-19.

Ali se odpeljete v son?ni Santa Barbari ali kje drugje? In ste se dobro prilagodili pou?evanju / nadzoru in raziskovanju na daljavo?
[MB] Daljinsko pou?evanje in nadzor sta zagotovo izziv, toda slabše se po?utim za študente, ki zamujajo odli?no izkušnjo v kampusu.

Nenavadno je, da je naslednji mesec spet marec (ali še vedno?), Vendar se vsi trudimo, da bi situacijo izkoristili kar se da.

Je pa lepo delati od doma, zato me zanima, ali bom dobil tisto, kar zdaj imenujemo "maturitetna o?ala", takoj ko nas pri?akujejo nazaj v kampusu.

Kon?no tudi letošnja konferenca Augmented Humans tako kot vse ostalo poteka prek spleta, vendar so jo v preteklih letih gostile institucije na Japonskem, v Koreji in po Evropi.

Ko boste odpravili omejitve potovanja in boste dobili strel v roko (in morda potni list COVID v roki), kam boste šli in zakaj?
[MB] Prva postaja je Švica.

Zelo pogrešam družino in prijatelje in zelo si želim, da bi moj sin (rojen v Seattlu) videl drugo polovico svoje dediš?ine.

O potovanju smo govorili že nekaj let, toda to je vse, kar lahko za zdaj storimo.

Govori.

Po tem je vse pošteno.

Komaj ?akam!

Dr.

Michael Beyeler bo svoje raziskave predstavil v virtualnem okolju Pove?ani ljudje 2021 23.

februarja.