С помощью датчика AI Vision Sensor вы можете идентифицировать игровые объекты (блоки) на игровой площадке V5RC 25-26 Push Back Playground в VEXcode VR, используя классификацию на основе ИИ.
Если вы знакомы с физической версией датчика AI Vision Sensor , то знаете что этот физический датчик также способен передавать информацию о метках AprilTags и настроенных цветовых сигнатурах. Поскольку в VEXcode VR не требуется настройка робота, и на поле для отталкивания V5RC 25-26 отсутствуют метки AprilTags, виртуальный датчик передает информацию только о предварительно настроенных игровых элементах: красных и синих блоках.
Как работает датчик AI Vision в V5RC Push Back в VEXcode VR
Датчик искусственного интеллекта — это камера, которая может автоматически идентифицировать и различать игровые элементы, позволяя вашему роботу автономно ориентироваться на определенные объекты. Датчик предварительно обучен распознавать элементы игры V5RC Push Back этого года, поэтому он будет автоматически обнаруживать блоки.
Для обнаружения этих объектов датчик AI Vision Sensor установлен на передней части робота (как показано здесь).
Сбор данных с датчика искусственного интеллекта для обработки изображений
В VEXcode VR вы можете просматривать данные, передаваемые датчиком AI Vision Sensor, через окно снимков, консоль монитора или консоль печати.
Чтобы открыть окно снимка и увидеть данные, передаваемые датчиком AI Vision Sensor, выберите кнопку AI Vision Sensor.
Нажмите кнопкуAI Vision Sensor еще раз, чтобы скрыть окно снимка.
Окно «Снимок экрана» появляется в верхнем левом углу окна «Игровая площадка» и отображает все игровые элементы, находящиеся в поле зрения датчика AI Vision Sensor.
Для каждого обнаруженного объекта отображаются ключевые данные, включая классификацию, координаты центра по осям X и Y, а также ширину и высоту.
Пояснения к типам данных Python VEX API.
Эти команды можно использовать в консольных окнах «Монитор» и/или «Печать», чтобы визуализировать данные из каждого снимка, сделанного во время выполнения проекта. Узнайте больше об использовании монитора и консоли печати с блоками, с Pythonили с консолью печати.
Использование датчика изображения с искусственным интеллектом для помощи Dex в распознавании объектов.
Вы можете использовать датчик AI Vision Sensor, чтобы помочь Dex ориентироваться на определенных объектах, интерпретируя данные датчика. Благодаря этой технологии Декс может нацеливаться на игровые элементы и подъезжать к ним, чтобы подобрать их.
Датчик AI Vision Sensor будет передавать данные только из самого последнего снимка, поэтому Dex необходимо постоянно обновлять этот снимок во время движения.
Использование датчиков Dex вместе
Датчик искусственного интеллекта для визуального восприятия может быть объединен с другими датчиками робота для выполнения задач на поле. Полный список датчиков в виртуальной Dex можно найти на странице API VEX. Вот лишь несколько идей, которые помогут вам начать работу над кодом:
- Используйте датчик AI Vision Sensor ), чтобы найти и нацелиться на игровой элемент, а затем используйте датчик GPS Sensor), чтобы добраться до цели.
- Используйте датчикAI Vision Sensor , чтобы найти и нацелиться на несколько игровых элементов, а затем используйте оптический датчик Optical Sensor чтобы определить цвет блока на конвейере перед его отпусканием.
Помните, что дополнительную информацию о конкретных командах, поле обратной связи V5RC и роботе-герое Дексе можно найти в API VEX и во встроенной справке VEXcode VR (Блока и Python).