Använda AI i Rover Rescue – VEX bibliotek

VR-rovern i Rover Rescue är utrustad med inbyggd AI-teknik som gör att den kan upptäcka spelelement och använda den informationen för att bättre navigera i sin virtuella värld. Denna data kan visualiseras och användas på olika sätt inom Rover Rescue Playground och i spelet.

Hur är detta ett exempel på artificiell intelligens (AI)?

Den inbyggda artificiella intelligensen (AI) i VR-rovern gör det möjligt för den att upptäcka objekt och rapportera attribut om dem. Sensorer, som en avståndssensor, kan detektera ett objekt och dess plats men har inte intelligensen för att rapportera någon information om objektet. AI kan inte bara upptäcka ett objekts närvaro och plats, utan kan också använda sin intelligens för att identifiera objektet och andra viktiga attribut hos det.

I Rover Rescue har VR-roverns inbyggda AI förtränats för att kunna upptäcka spelobjekt och skilja dem åt. Till exempel kommer AI:n att upptäcka och namnge "hinder", "fiender" och "mineraler" när de kommer inom VR-roverns detekterbara räckvidd. AI:n använder objektets detekterade storlek för att bestämma dess avstånd från VR-rovern och rapporterar kontinuerligt den informationen.

Former av AI i VR-rovern

VR-rovern är utrustad med två huvudformer av AI: detektering och sikt.

Skärmdump av VEXcode VR-gränssnittet som visar programmeringsutmaningen "Rover Rescue", med en virtuell robot och blockbaserade kodningselement utformade för utbildningsändamål inom STEM-inlärning.

AI-upptäckt

”Detect” används för att identifiera vad som finns runt VR-rovern i 360 graders omkrets, inom en radie av 800 millimeter (mm).

VR-rovern kan upptäcka mineraler och fiender, och kan skilja mellan de två. Detekteringsradien indikeras av den gula cirkeln i bilden till vänster.

Skärmdump av VEXcode VR-gränssnittet som visar Rover Rescue-utmaningen, med en virtuell robot och kodblock för programmeringsuppgifter relaterade till navigering och räddning av en rover i en simulerad miljö.

AI-sikte

”Siktet” används för att upptäcka vad som finns framför VR-rovern inom ett 40-graders synfält och ett avstånd på 1000 millimeter (mm).

VR-rovern kan se mineraler, fiender, hinder, faror och basen, och kan skilja mellan dem. AI-siktet rapporterar mer information om vad det ser, som avståndet och vinkeln till mineraler eller hälsopunkterna för en bestrålad fiende. Synfältet uppskattas med de gula linjerna i bilden till vänster.

Visualisera AI-information i Rover Rescue

Det finns två sätt att visualisera informationen som den inbyggda AI:n rapporterar i Rover Rescue Playground-fönstret: minikartan och AI-visualiseringen på spelplanen.

Minikartan

Skärmdump av VEXcode VR-gränssnittet som visar projektet "Rover Rescue", med en virtuell robot och blockbaserade kodningselement utformade för utbildningsändamål inom STEM-inlärning.

När minikartan visas i Rover Rescue Playground-fönstret visar den VR-roverns relativa position i förhållande till spelplanen och de objekt som dess AI har identifierat.

AI-informationen som syns på minikartan inkluderar detekteringsradie och synfält, samt de element som kan kännas av inom dessa områden.

Identifiera radie

Den lila cirkeln runt VR-rovern (som markerad med den röda pilen i den här bilden) indikerar detekteringsradien.

Mineraler och fiender inom detta område kan kännas av med AI-detektering.

Skärmdump av VEXcode VR-gränssnittet som visar Rover Rescue-projektet, med en virtuell robot och kodblock för programmeringsuppgifter relaterade till STEM-utbildning.

Synfält

Den lila genomskinliga konen som projiceras från VR-roverns framsida (som markerats med den röda pilen i den här bilden) indikerar synfältet, eller var VR-rovern effektivt kan "se".

Spelelement inom detta intervall kan ses, och mer information om dessa objekt kommer att visas på spelplanen.

AI-visualisering

Skärmdump av VEXcode VR-gränssnittet som visar Rover Rescue-utmaningen, med en virtuell robot som navigerar hinder i en simulerad miljö och demonstrerar kodningskoncept för STEM-utbildning.

AI-visualisering

AI-visualiseringen på spelplanen kan slås på och av genom att välja knappen i det nedre högra hörnet av lekplatsfönstret.

När den är påslagen kommer AI-informationen att markera upptäckta spelelement och visa deras namn och relevanta attributsom avstånd eller hälsopoäng.

Attributinformationen visas endast när spelelementen är inom synfältet och 1000 mm siktavstånd från VR-rovern. När de är utom räckhåll visas det inte.

Skärmdump av VEXcode VR-gränssnittet som visar Rover Rescue-projektet, med en virtuell robot och blockbaserade kodningselement utformade för att hjälpa användare att lära sig kodningskoncept i en simulerad miljö.

Mineraler indikeras med en lysande markering och en "Mineral"-etikett.

Avståndet och vinkeln till mineraler visas också och kommer att ändras i realtid allt eftersom VR-rovern rör sig runt i den främmande miljön.

Skärmdump av VEXcode VR-gränssnittet som visar Rover Rescue-projektet, med en virtuell robot och blockbaserade kodningselement utformade för att lära ut kodningskoncept och robotikprinciper i en utbildningsmiljö.

Bestrålade fiender indikeras med en glödande markering och en "Fiende"-etikett.

Avståndet och vinkeln till fienden visas och kommer att ändras i realtid allt eftersom VR-rovern och fienden rör sig i förhållande till varandra.

Fiendens nivå och hälsa visas också. Ju högre nivå, desto fler hälsopoäng har en fiende. Styrkan på den absorberande kraften som behövs för att neutralisera en fiende korrelerar med dess nivå och hälsa.

Skärmdump av VEXcode VR Rover Rescue-utmaningen, som visar det virtuella robotgränssnittet med kodblock och en simulerad miljö för programmeringsuppgifter relaterade till STEM-utbildning.

Hinder indikeras med en lysande markering och en "Hinder"-etikett.

Avståndet till hindret visas och kommer att ändras i realtid allt eftersom VR-rovern rör sig runt i den främmande miljön.

Använda AI-information i projekt

Informationen från VR-roverns inbyggda AI kan användas i projekt för att navigera till mineraler, upptäcka fiender, undvika hinder med mera. Det finns flera sätt som AI-data kan användas i ett projekt.

Exempelprojekt kan användas som utgångspunkt för din kod. Se den här artikeln för mer information om hur du kommer åt och använder exempelprojekt i VEXcode VR.