Gruntle Software & Testing

Hvad er Augmented Reality - Teknologi, eksempler og historie

Af Stewart TristianOffentliggjort den Offentliggjort i Vejledninger

Denne omfattende vejledning forklarer, hvad Augmented Reality er, og hvordan det fungerer. Lær også om teknologi, eksempler, historie og anvendelsesmuligheder for AR:

Denne vejledning starter med at forklare det grundlæggende i Augmented Reality (AR), herunder hvad det er, og hvordan det fungerer. Derefter vil vi se på de vigtigste anvendelser af AR, f.eks. fjernsamarbejde, sundhed, spil, uddannelse og produktion, med mange eksempler. Vi vil også dække den hardware, de apps, den software og de enheder, der anvendes i Augmented Reality.

Denne vejledning vil også komme ind på udsigterne for markedet for augmented reality og de problemer og udfordringer, der er forbundet med de forskellige emner inden for augmented reality.

Hvad er Augmented Reality?

AR gør det muligt at lægge virtuelle objekter ind i virkelige miljøer i realtid. Billedet nedenfor viser en mand, der bruger IKEA AR-appen til at designe, forbedre og bo i sit drømmehjem.

Augmented Reality Definition

Augmented Reality defineres som den teknologi og de metoder, der gør det muligt at overlejre virkelige objekter og miljøer med virtuelle 3D-objekter ved hjælp af en AR-enhed, og som gør det muligt for de virtuelle objekter at interagere med de virkelige objekter for at skabe tilsigtede betydninger.

I modsætning til virtual reality, som forsøger at genskabe og erstatte et helt virkeligt miljø med et virtuelt miljø, handler augmented reality om at berige et billede af den virkelige verden med computergenererede billeder og digitale oplysninger. Det søger at ændre opfattelsen ved at tilføje video, infografikker, billeder, lyd og andre detaljer.

I en enhed, der skaber AR-indhold, overlejres virtuelle 3D-billeder på virkelige objekter baseret på deres geometriske forhold. Enheden skal være i stand til at beregne objekters position og orientering i forhold til andre. Det kombinerede billede projiceres på mobilskærme, AR-briller osv.

På den anden side er der anordninger, som brugeren bærer på sig, og som gør det muligt for brugeren at se AR-indhold. I modsætning til virtual reality-headsets, der nedsænker brugeren fuldstændigt i simulerede verdener, gør AR-briller det ikke. Brillerne gør det muligt at tilføje og lægge et virtuelt objekt oven på et objekt i den virkelige verden, for eksempel, anbringelse af AR-markører på maskinerne for at markere reparationsområder.

En bruger, der bruger AR-briller, kan se det virkelige objekt eller miljø omkring sig, men beriget med det virtuelle billede.

Selv om den første anvendelse var inden for militæret og tv, siden begrebet blev opfundet i 1990, anvendes AR nu inden for spil, uddannelse og træning og andre områder. Det meste af det anvendes som AR-apps, der kan installeres på telefoner og computere. I dag er det forbedret med mobiltelefonteknologi som GPS, 3G og 4G og telemåling.

Typer af AR

Der findes fire typer Augmented Reality: Marker-less, Marker-based, Projection-based og Superimposition-based AR. Lad os se dem en efter en i detaljer.

#1) Markørbaseret AR

En markør, som er et særligt visuelt objekt, f.eks. et særligt skilt eller andet, og et kamera bruges til at starte de digitale 3D-animationer. Systemet beregner markedets orientering og position for at placere indholdet effektivt.

Markerbaseret AR-eksempel: En markørbaseret mobilbaseret AR-møbelapp.

#2) Markørløs AR

Det bruges i apps til begivenheder, forretning og navigation,

Nedenstående eksempel viser, at en AR uden markører ikke har brug for fysiske markører for at placere objekter i et virkeligt rum:

#3) Projektbaseret AR

Denne type bruger syntetisk lys, der projiceres på de fysiske overflader, til at registrere brugerens interaktion med overfladerne. Det bruges i hologrammer som i Star Wars og andre sci-fi-film.

Nedenstående billede er et eksempel på en sværdprojektion i et AR-projektbaseret AR-headset:

#4) Overlejringsbaseret AR

I dette tilfælde erstattes den oprindelige genstand helt eller delvist af en forstørrelse. I nedenstående eksempel kan brugerne placere et virtuelt møbel over et rumbillede med en skala i IKEA Catalog-appen.

IKEA er et eksempel på AR baseret på overlejring:

Kort om AR's historie

1968 : Ivan Sutherland og Bob Sproull skabte verdens første head-mounted display med primitiv computergrafik.

Damoklessværd

1975 : Videoplace, et AR-laboratorium, er skabt af Myron Krueger. Missionen var at få menneskelige bevægelser til at interagere med digitale ting. Denne teknologi blev senere anvendt på projektorer, kameraer og silhuetter på skærmen.

Myron Krueger

1980: EyeTap, den første bærbare computer, der blev vundet foran øjet, udviklet af Steve Mann. EyeTap optog billeder og lagde andre billeder oven på dem. Den kunne afspilles ved hjælp af hovedbevægelser.

Steve Mann

1987 : Douglas George og Robert Morris udviklede en prototype af et Heads-Up Display (HUD), der viste astronomiske data på den virkelige himmel.

Automotive HUD

1990 : Udtrykket augmented reality blev opfundet af Thomas Caudell og David Mizell, der er forskere for Boeing-selskabet.

David Mizell

Thomas Caudell

1992: Virtual Fixtures, et AR-system, er udviklet af Louise Rosenberg fra det amerikanske luftvåben.

Virtuelt inventar:

1999: Frank Deigado og Mike Abernathy og deres forskerhold udviklede ny navigationssoftware, som kunne generere data om landingsbaner og gader fra en helikoptervideo.

2000: ARToolKit, et open source SDK, blev udviklet af den japanske videnskabsmand Hirokazu Kato og blev senere tilpasset til at fungere sammen med Adobe.

2004: Udendørs hjelmmonteret AR-system præsenteret af Trimble Navigation.

2008: AR-rejseguide til Android-mobiler lavet af Wikitude.

2013 til dato: Google Glass med Bluetooth-internetforbindelse, Windows HoloLens - AR-briller med sensorer til visning af HD-hologrammer, Niantic's Pokemon Go-spil til mobile enheder.

Smart Glasses:

Hvordan fungerer AR: Teknologien bag det

For det første genereres billeder af virkelige miljøer. For det andet anvendes teknologi, der gør det muligt at lægge 3D-billeder over billederne af de virkelige objekter. For det tredje anvendes teknologi, der gør det muligt for brugerne at interagere med og engagere sig i de simulerede miljøer.

AR kan vises på skærme, briller, håndholdte enheder, mobiltelefoner og head-mounted displays.

Vi har således mobilbaseret AR, AR med hovedmonteret udstyr, AR med smartbriller og webbaseret AR. Headsets er mere fordybende end mobilbaserede og andre typer. Smartbriller er bærbare AR-enheder, der giver førstepersonsvisninger, mens webbaserede ikke kræver download af en app.

Konfigurationer af AR-briller:

Den bruger S.L.A.M.-teknologi (Simultaneous Localization And Mapping) og teknologi til dybdesporing til at beregne afstanden til objektet ved hjælp af sensordata, foruden andre teknologier.

Teknologi til forstørret virkelighed

AR-teknologi giver mulighed for at forstørre i realtid, og denne forstærkning finder sted inden for rammerne af omgivelserne. Animationer, billeder, videoer og 3D-modeller kan anvendes, og brugerne kan se objekter i naturligt og syntetisk lys.

Visuelt baseret SLAM:

SLAM-teknologi (Simultaneous Localization and Mapping) er et sæt algoritmer, der løser samtidige lokaliserings- og kortlægningsproblemer.

SLAM bruger funktionspunkter til at hjælpe brugerne med at forstå den fysiske verden. Teknologien gør det muligt for apps at forstå 3D-objekter og -scener. Den gør det muligt at spore den fysiske verden med det samme. Den gør det også muligt at lægge digitale simuleringer over hinanden.

SLAM anvender en mobil robot, f.eks. teknologi til mobile enheder, til at registrere det omgivende miljø og derefter oprette et virtuelt kort og spore dens position, retning og bane på dette kort. Ud over AR anvendes SLAM på droner, flyvemaskiner, ubemandede køretøjer og robotrengøringsmaskiner, for eksempel, den bruger kunstig intelligens og maskinlæring til at forstå steder.

Registrering og matchning af funktioner sker ved hjælp af kameraer og sensorer, der indsamler funktionspunkter fra forskellige synspunkter. Trianguleringsteknikken udleder derefter objektets tredimensionelle placering.

I AR hjælper SLAM med at indsætte og blande det virtuelle objekt i et virkeligt objekt.

Genkendelsesbaseret AR: Det er et kamera til at identificere markører, så et overlay er muligt, hvis der er registreret en markør. Enheden registrerer og beregner markørens position og orientering og erstatter markøren i den virkelige verden med dens 3D-version. Derefter beregner den position og orientering af andre. Ved at rotere markøren roteres hele objektet.

Lokaliseringsbaseret tilgang. Her genereres simuleringer eller visualiseringer ud fra data indsamlet af GPS, digitale kompasser, accelerometre og hastighedsmålere. Det er meget almindeligt i smartphones.

Dybdesporingsteknologi: Dybdekortsporingskameraer som Microsoft Kinect genererer et dybdekort i realtid ved hjælp af forskellige teknologier til at beregne realtidsafstanden mellem objekter i sporingsområdet og kameraet. Teknologierne isolerer et objekt fra det generelle dybdekort og analyserer det.

Nedenstående eksempel er et eksempel på håndsporing ved hjælp af dybdealgoritmer:

Teknologi til sporing af naturlige træk: Den kan bruges til at spore stive objekter i et vedligeholdelses- eller samlearbejde. En flertrins-sporingsalgoritme anvendes til at estimere objektets bevægelse mere præcist. Marker-sporing anvendes som et alternativ sammen med kalibreringsteknikker.

Overlejringen af virtuelle 3D-objekter og animationer på virkelige objekter er baseret på deres geometriske forhold. Der findes nu udvidede ansigtssporingskameraer på smartphones som f.eks. iPhone XR, der har TrueDepth-kameraer, som giver bedre AR-oplevelser.

Enheder og komponenter i AR

Kinect AR-kamera:

Kameraer og sensorer: Dette omfatter AR-kameraer eller andre kameraer, for eksempel, på smartphones tager 3D-billeder af virkelige objekter og sender dem til behandling. Sensorer indsamler data om brugerens interaktion med appen og de virtuelle objekter og sender dem til behandling.

Forarbejdningsudstyr: AR-smartphones, computere og særlige enheder bruger grafik, GPU'er, CPU'er, flash-hukommelse, RAM, Bluetooth, WiFi, GPS osv. til at behandle 3D-billederne og sensorsignalerne. De kan måle hastighed, vinkel, orientering, retning osv.

Projektor: AR-projektion indebærer projektion af genererede simuleringer på AR-headsetlinser eller andre overflader til visning. Dette sker ved hjælp af en miniatureprojektor.

Her er en video: Den første smartphone AR-projektor

Reflektorer: Reflektorer som f.eks. spejle bruges på AR-enheder til at hjælpe det menneskelige øje med at se virtuelle billeder. En række små buede spejle eller dobbeltsidede spejle kan bruges til at reflektere lyset til AR-kameraet og brugerens øje, for det meste for at tilpasse billedet korrekt.

Mobile enheder: Moderne smartphones er meget velegnede til AR, fordi de indeholder integreret GPS, sensorer, kameraer, accelerometre, gyroskoper, digitale kompasser, skærme og GPU/CPU'er. Desuden kan der installeres AR-apps på mobile enheder til mobile AR-oplevelser.

Nedenstående billede er et eksempel, der viser AR på iPhone X:

Head-Up Display eller HUD: En særlig anordning, der projicerer AR-data på en gennemsigtig skærm til visning. Den blev først brugt til militærtræning, men bruges nu inden for luftfart, bilindustrien, fremstillingsindustrien, sport osv.

AR-briller, også kaldet intelligente briller: Smartbriller er beregnet til at vise notifikationer for eksempel, De omfatter bl.a. Google Glasses, Laforge AR-briller og Laster See-Thru.

AR-kontaktlinser (eller intelligente linser): Producenter som Sony arbejder på linser med yderligere funktioner, f.eks. mulighed for at tage billeder eller gemme data.

AR-kontaktlinser bæres i kontakt med øjet:

Virtuelle nethindedisplays: De skaber billeder ved at projicere laserlys ind i det menneskelige øje.

Her er en video: Virtual Retinal Display

? ?

Fordele ved AR

Lad os se nogle af fordelene ved AR for din virksomhed eller organisation, og hvordan du kan integrere det:

  • Integration eller vedtagelse afhænger af dit anvendelsesområde og din applikation. Du kan bruge det til overvågning af vedligeholdelses- og produktionsarbejde, udføre virtuelle gennemgange af fast ejendom, reklamere for produkter, øge fjerndesign osv.
  • I dag kan virtuelle prøverum være med til at mindske antallet af returnerede køb og forbedre købernes købsbeslutninger.
  • Sælgerne kan producere og offentliggøre interessant AR-indhold med branding og indsætte annoncer i det, så folk kan lære deres produkter at kende, når de ser indholdet. AR forbedrer engagementet.
  • Inden for fremstillingsindustrien hjælper AR-markører på billeder af produktionsudstyr projektledere med at overvåge arbejdet på afstand, hvilket reducerer behovet for at bruge digitale kort og anlæg. For eksempel, en anordning eller maskine kan peges på stedet for at afgøre, om den passer til den pågældende position.
  • Simuleringer i det virkelige liv giver pædagogiske fordele for eleverne. Simuleringer i spilbaseret læring og uddannelse har psykologiske fordele og øger empatien blandt eleverne, som forskere har vist.
  • Medicinstuderende kan bruge AR- og VR-simuleringer til at afprøve de første og så mange operationer som muligt uden store budgetter eller unødvendige skader på patienterne, alt sammen med fordybelse og næsten virkelige oplevelser.

Nedenstående billede viser, hvordan AR anvendes i medicinsk træning i en kirurgisk praksis:

  • Ved hjælp af AR kan fremtidige astronauter prøve deres første eller næste rummission.
  • AR muliggør virtuel turisme. AR-apps kan f.eks. give vejvisning til ønskværdige destinationer, oversætte skilte på gaden og give oplysninger om sightseeing. godt eksempel er en GPS-navigationsapp. AR-indhold gør det muligt at skabe nye kulturelle oplevelser, f.eks. ved at tilføje yderligere virkelighed til museer.
  • Augmented reality forventes at vokse til 150 mia. dollars i 2020, hvilket er mere end virtual reality med 120 mia. dollars sammenlignet med 30 mia. dollars. AR-aktiverede enheder forventes at nå op på 2,5 mia. enheder i 2023.
  • Udvikling af egne brandede applikationer er en af de mest almindelige måder, som virksomhederne bruger til at engagere sig i AR-teknologi. Virksomhederne kan stadig placere annoncer på AR-platforme og -indhold fra tredjeparter, købe licenser på udviklet software eller leje lokaler til deres AR-indhold og -publikum.
  • Udviklere kan bruge AR-udviklingsplatforme som ARKit og ARCore til at udvikle applikationer og integrere AR i forretningsapplikationer.

Augmented Reality Vs Virtual Reality Vs Mixed Reality

Augmented reality ligner virtual reality og mixed reality, hvor begge forsøger at generere virtuelle 3D-simuleringer af virkelige objekter fra den virkelige verden. Mixed reality blander virkelige og simulerede objekter.

I alle de ovennævnte tilfælde anvendes sensorer og markører til at spore positionen af virtuelle og virkelige objekter. AR anvender sensorer og markører til at registrere positionen af virkelige objekter og derefter bestemme placeringen af simulerede objekter. AR renderer et billede, som projiceres til brugeren. I VR, som også anvender matematiske algoritmer, vil den simulerede verden derefter reagere som følge af brugerens hoved- og øjenbevægelser.

Men mens VR isolerer brugeren fra den virkelige verden for helt at fordybe ham i simulerede verdener, er AR delvist fordybende.

Mixed reality kombinerer både AR og VR og indebærer interaktion mellem både den virkelige verden og virtuelle objekter.

Augmented Reality-applikationer

Ansøgning Beskrivelse/forklaring
Spil AR giver mulighed for bedre spiloplevelser, da spilområder flyttes fra virtuelle områder til at omfatte oplevelser i det virkelige liv, hvor spillerne kan udføre aktiviteter i det virkelige liv for at spille.
Detailhandel og reklame AR kan forbedre kundeoplevelsen ved at præsentere kunderne for 3D-modeller af produkter og hjælpe dem med at træffe bedre valg ved at give dem virtuelle rundvisninger af produkterne, f.eks. i en ejendom.

Det kan bruges til at føre kunderne til virtuelle butikker og rum. Kunderne kan lægge 3D-elementerne over deres rum, f.eks. når de køber møbler, så de kan vælge de elementer, der passer bedst til deres rum - med hensyn til størrelse, form, farve og type.

Inden for reklame kan annoncer inkluderes i AR-indhold for at hjælpe virksomheder med at gøre deres indhold populært blandt seerne.

Produktion og vedligeholdelse Inden for vedligeholdelse kan reparatører blive fjernstyret af fagfolk til at udføre reparationer og vedligeholdelsesarbejde på stedet ved hjælp af AR-apps, uden at fagfolkene skal rejse til stedet. Dette kan være nyttigt på steder, hvor det er svært at rejse til stedet.
Uddannelse AR interaktive modeller anvendes til træning og læring.
Militær AR hjælper med avanceret navigation og med at markere objekter i realtid.
Turisme AR kan ud over at placere annoncer på AR-indhold også bruges til navigation og give data om destinationer, vejvisning og sightseeing.
Medicin/sundhedspleje AR kan hjælpe med at uddanne sundhedspersonale på afstand, hjælpe med at overvåge sundhedssituationer og med at diagnosticere patienter.

AR-eksempel i det virkelige liv

  • Elements 4D er et program til kemilæring, der anvender AR til at gøre kemi sjovere og mere engagerende. Med programmet laver eleverne papirterninger af elementblokkene og placerer dem foran AR-kameraet på deres enheder. De kan derefter se repræsentationer af deres kemiske elementer, navne og atomvægte. Eleverne kan samle terningerne for at se, om de reagerer, og for at se kemiskereaktioner.

  • Google Expeditions, hvor Google bruger kortkort, giver allerede elever fra hele verden mulighed for at foretage virtuelle rundture i historie, religion og geografi.
  • Human Anatomy Atlas giver eleverne mulighed for at udforske over 10.000 3D-modeller af menneskekroppen på syv sprog, så eleverne kan lære delene, hvordan de fungerer, og forbedre deres viden.
  • Touch Surgery simulerer kirurgisk praksis. I samarbejde med DAQRI, en AR-virksomhed, kan medicinske institutioner se deres studerende praktisere kirurgi på virtuelle patienter.
  • IKEA Mobile App er berømt inden for ejendomshandel og test af produkter til hjemmet. Andre apps omfatter Nintendos Pokemon Go-app til spil.

Udvikling og design til AR

AR-udviklingsplatforme er platforme, som du kan udvikle eller kode AR-apps på. Eksempler omfatter ZapWorks, ARToolKit, MAXST til Windows AR og smartphone AR, DAQRI, SmartReality, ARCore fra Google, Windows' Mixed Reality AR-platform, Vuforia og ARKit fra Apple. Nogle giver mulighed for udvikling af apps til mobiler, andre til P.C. og på forskellige styresystemer.

AR-udviklingsplatforme giver udviklere mulighed for at give apps forskellige funktioner såsom understøttelse af andre platforme såsom Unity, 3D-sporing, tekstgenkendelse, oprettelse af 3D-kort, cloud-lagring, understøttelse af enkelt- og 3D-kameraer og understøttelse af smartbriller,

Forskellige platforme gør det muligt at udvikle markørbaserede og/eller lokationsbaserede apps. De funktioner, der skal overvejes, når man vælger en platform, omfatter omkostninger, platformsupport, understøttelse af billedgenkendelse, 3D-genkendelse og sporing er en vigtig funktion, understøttelse af tredjepartsplatforme som Unity, hvorfra brugerne kan importere og eksportere AR-projekter og integrere med andre platforme, cloud eller lokalt.lagerstøtte, GPS-understøttelse, SLAM-understøttelse osv.

De AR-apps, der udvikles med disse platforme, understøtter et utal af funktioner og muligheder. De kan gøre det muligt at se indhold med en eller flere AR-briller, der har præfabrikerede AR-objekter, understøttelse af refleksionskortlægning, hvor objekter har refleksioner, realtidssporing af billeder samt 2D- og 3D-genkendelse,

Nogle SDK'er eller softwareudviklingskits gør det muligt at udvikle apps ved hjælp af træk og slip-metoden, mens andre kræver viden om kodning.

Nogle AR-apps giver brugerne mulighed for at udvikle fra bunden, uploade og redigere deres eget AR-indhold.

Konklusion

I denne augmented reality lærte vi, at teknologien gør det muligt at overlejre virtuelle objekter i virkelige miljøer eller objekter. Den anvender en kombination af teknologier, herunder bl.a. SLAM, dybdesporing og sporing af naturlige træk samt objektgenkendelse.

Denne vejledning om augmented reality handlede om introduktion af AR, de grundlæggende principper for AR, teknologien bag AR og anvendelsen af AR. Til sidst behandlede vi den bedste praksis for dem, der er interesserede i at integrere og udvikle AR.

Rul til toppen