Coderen met de AI Vision Sensor in VEXcode EXP-blokken

Met het blokTake Snapshot wordt een foto gemaakt van wat de AI Vision Sensor op dat moment ziet. Vervolgens worden er gegevens uit die momentopname gehaald die vervolgens in een project kunnen worden gebruikt. Wanneer u een momentopname maakt, moet u opgeven van welk type object de AI Vision Sensor gegevens moet verzamelen:

• Kleursignatuur
• Kleurcode
• AI-classificaties
• AprilTags

In dit voorbeeld worden alleen objecten gedetecteerd die overeenkomen met de geconfigureerde kleurhandtekening 'Blauw' en niets anders.

Inzicht in de resolutie van de AI Vision Sensor is cruciaal voor nauwkeurige data-interpretatie. De sensor heeft een resolutie van 320x240 pixels, met het exacte middelpunt op de coördinaten (160, 120).

X-coördinaten kleiner dan 160 komen overeen met de linkerhelft van het gezichtsveld van de sensor, terwijl X-coördinaten groter dan 160 overeenkomen met de rechterhelft. Op dezelfde manier geven Y-coördinaten kleiner dan 120 de bovenste helft van het beeld aan, en
-coördinaten groter dan 120 de onderste helft.
Ga naar Inzicht in de gegevens in het AI Vision Utility in VEXcode EXP voor meer informatie over hoe objecten worden gemeten met de AI Vision Sensor.

De breedte- en hoogtematen helpen bij het identificeren van verschillende objecten. Een Buckyball is bijvoorbeeld hoger dan een Ring.

De breedte en hoogte geven ook de afstand van een object tot de AI Vision Sensor aan. Kleinere metingen betekenen meestal dat het object verder weg is, terwijl grotere metingen aangeven dat het dichterbij is.

In dit voorbeeld wordt de breedte van het object gebruikt voor navigatie. De robot nadert het object totdat de breedte een bepaalde grootte heeft bereikt, waarna hij stopt.

CenterX- en CenterY-coördinaten helpen bij navigatie en positionering. De AI Vision Sensor heeft een resolutie van 320 x 240 pixels.

Zoals u ziet, heeft een object dat zich dichter bij de AI Vision Sensor bevindt een lagere CenterY-coördinaat dan een object dat verder weg is.

In dit voorbeeld draait de robot naar rechts, omdat het middelpunt van het gezichtsveld van de AI Vision Sensor (160, 120) is, totdat de centerX-coördinaat van een gedetecteerd object groter is dan 150 pixels, maar kleiner dan 170 pixels.

Hoek is een eigenschap die alleen beschikbaar is voorkleurcodes enAprilTags. Dit geeft aan of de gedetecteerdeKleurcodeof AprilTag anders is georiënteerd.

U kunt zien of de robot anders is georiënteerd ten opzichte van dekleurcode ofAprilTag en op basis daarvan navigatiebeslissingen nemen.

Als bijvoorbeeld eenkleurcode niet onder de juiste hoek wordt gedetecteerd, kan het object dat het vertegenwoordigt mogelijk niet goed door de robot worden opgepakt.

OriginX- en OriginY-coördinaten helpen bij navigatie en positionering. Door deze coördinaat te combineren met de breedte en hoogte van het object, kunt u de grootte van het omsluitende kader van het object bepalen. Dit kan helpen bij het volgen van bewegende objecten of bij het navigeren tussen objecten.

In dit voorbeeld wordt een rechthoek op de Brain getekend met behulp van de exacte coördinaten van de oorsprong, breedte en hoogte.

Door specifieke AprilTags te identificeren, is selectieve navigatie mogelijk. U kunt uw robot programmeren om naar bepaalde tags te bewegen en andere te negeren. Zo kunt u de tags gebruiken als wegwijzers voor geautomatiseerde navigatie.

De betrouwbaarheidsscore geeft aan hoe zeker de AI Vision Sensor is van de detectie. In deze afbeelding is 99% zekerheid aanwezig dat de AI-classificaties van deze vier objecten worden geïdentificeerd. Met deze score kunt u ervoor zorgen dat uw robot zich alleen richt op detecties die zeer betrouwbaar zijn.

Wanneer de AI Vision Sensor meerdere objecten detecteert, worden deze in een matrix gerangschikt van groot naar klein. Dat betekent dat het grootste gedetecteerde object altijd op objectindex 1 wordt ingesteld en het kleinste object altijd op het hoogste nummer.

In dit voorbeeld zijn twee objecten gedetecteerd met de kleursignatuur "Blauw". Ze worden beide in de array geplaatst wanneer het blokTake Snapshot wordt gebruikt.

Hierbij zou het object op de voorgrond objectindex 1 krijgen, omdat dit het grootste object is. Het kleinste object zou objectindex 2 krijgen.

Dit blok retourneert de waardeTrue ofFalse
van of er in de laatst genomen momentopname objecten zijn gedetecteerd.
Dit blok moetaltijd worden gebruikt om er zeker van te zijn dat u niet probeert gegevens uit een mogelijk lege momentopname te halen.

Zo maakt de robot bijvoorbeeld voortdurend snapshots met de AI Vision Sensor. Als het objecten met de “Blauwe” identificeert, zal het vooruit rijden.

Als een momentopname niet de “Blauwe” kleursignatuurheeft, stopt de robot met bewegen.

Met het blok Object count kunt u zien hoeveel objecten van een specifieke Color Signature de AI Vision Sensor in de laatste momentopname kan zien. 

Hier zien we dat de AI Vision Sensor de geconfigureerde kleursignatuur "Blauw" heeft en twee objecten detecteert.

In deze code zou de AI Vision Sensor een momentopname maken en "2" afdrukken op de VEXcode-console, omdat deze slechts twee "blauwe" -kleurhandtekeningendetecteert.

Met het blokObject kunt u de eigenschap van het door u opgegeven object rapporteren. Hiermee kunt u alle beschikbare gegevens uit de laatst genomen momentopname gebruiken.

Degedetecteerde AprilTag is blok is alleen beschikbaar wanneer deAprilTag-detectiemodus is ingeschakeld.

Dit blok rapporteert True of False, afhankelijk van of het opgegeven object een bepaalde AprilTag is.

Wanneer er meerdere AprilTags in één momentopname worden gedetecteerd, worden ze in de matrix gerangschikt op basis van hun geïdentificeerde ID, niet op grootte

In deze afbeelding zijn drie AprilTags gedetecteerd met ID's 0, 3 en 9. Ze worden in oplopende volgorde van hun ID in de array georganiseerd. Het object op index 1 zou overeenkomen met de AprilTag met ID 0, op index 2 met de AprilTag met ID 3 en op index 3 met de AprilTag met ID 9.

DeAI-classificatie is blok is alleen beschikbaar wanneer deAI-classificatiedetectiemodus is ingeschakeld.

Dit blok rapporteert True of False, afhankelijk van of het opgegeven object een bepaalde AI-classificatie is.