С помощью датчика AI Vision Sensor вы можете идентифицировать игровые объекты (кольца и подвижные ворота) на площадке Over Under в рамках соревнований по робототехнике VEX V5 (V5RC) в виртуальной реальности VEXcode VR, используя классификацию на основе ИИ.
Если вы знакомы с физической версией датчика AI Vision Sensor , то знаете что этот физический датчик также способен передавать информацию о метках AprilTags и настроенных цветовых сигнатурах. Поскольку в VEXcode VR не требуется настройка робота, а на поле V5RC High Stakes отсутствуют метки AprilTags, виртуальный датчик передает информацию только о предварительно настроенных игровых элементах: красных кольцах, синих кольцах и подвижных воротах.
Как работает датчик искусственного интеллекта в V5RC High Stakes в VEXcode VR
Датчик искусственного интеллекта представляет собой камеру, способную автоматически различать игровые элементы, что позволяет роботу автономно ориентироваться на конкретные игровые элементы. Камера была настроена на игровые элементы игры High Stakes из V5RC этого года, поэтому кольца и мобильные цели распознаются автоматически.
Для обнаружения этих объектов датчик AI Vision Sensor установлен на передней части робота (как показано здесь).
Сбор данных с датчика искусственного интеллекта для обработки изображений
В VEXcode VR вы можете просматривать данные, передаваемые датчиком AI Vision Sensor, через окно снимков, консоль монитора или консоль печати.
Примечание:Для того чтобы освободить поле зрения датчика AI Vision Sensor, необходимо поднять рычаг оси. Если кронштейн не поднят, он займет большую часть центральной части камеры.
Чтобы открыть окно снимка и увидеть данные, передаваемые датчиком AI Vision Sensor, выберите кнопку AI Vision Sensor.
Нажмите кнопкуAI Vision Sensor еще раз, чтобы скрыть окно снимка.
Окно «Снимок состояния» появится в верхнем левом углу окна «Игровая площадка». Снимок позволит идентифицировать все игровые элементы в поле зрения датчика AI Vision Sensor и соответствующие данные.
В окне Snapshow для каждого объекта отображаются следующие данные: координаты центра по оси X, координаты центра по оси Y, ширина и высота, а также классификация объекта.
Описание типов данных, передаваемых датчиком AI Vision Sensor, включая соответствующие команды VEXcode, можно найти в API VEX. Для ознакомления доступны как страницы, посвященные блокам, так и страницы, посвященные Python.
Эти команды можно использовать в консольных окнах «Монитор» и/или «Печать», чтобы визуализировать данные из каждого снимка, сделанного во время выполнения проекта. Узнайте больше об использовании монитора и консоли печати из этих статей.
- Мониторинг переменных и значений датчиков в VEXcode VR с помощью блоков
- Мониторинг переменных и значений датчиков в VEXcode VR с помощью Python
- Использование консоли печати в VEXcode VR
Использование датчика искусственного интеллекта для распознавания объектов помогает Axel идентифицировать объекты.
Вы можете использовать датчик AI Vision, чтобы помочь Акселю ориентироваться на определенных объектах, опираясь на свои знания данных, получаемых от датчика. Используя датчик изображения с искусственным интеллектом, Аксель может нацелиться на игровой элемент и направиться к нему, чтобы подобрать объект.
Датчик AI Vision Sensor будет передавать данные только из последнего снимка, поэтому Axel необходимо постоянно обновлять этот снимок во время движения.
В этом примере проекта Аксель будет использовать датчик AI Vision, чтобы определить, находится ли перед ним красное кольцо, повернет его до тех пор, пока центральное расстояние по оси X красного кольца не станет меньше 150, а затем проедет вперед к кольцу. Для продвижения к Красному кольцу используется датчик AI Vision, который измеряет ширину объекта на снимке датчика. Как только ширина станет достаточно большой, робот поймет, что находится в пределах досягаемости для захвата Красного кольца.
Узнайте о доступе к примерам проектов и их запуске с помощью этих статей:
Использование датчиков Акселя совместно
Датчик AI Vision Sensor можно комбинировать с другими датчиками робота для выполнения задач в полевых условиях. Полный список датчиков виртуальной версии Axel можно найти на странице API VEX. Это лишь несколько идей, которые помогут вам начать работу над кодом.
- Используйте датчик AI Vision Sensor , чтобы найти и нацелиться на игровой элемент, затем используйте датчик Front Distance Sensorчтобы двигаться до тех пор, пока объект не приблизится к роботу.
- Используйте датчик AI Vision Sensor ), чтобы найти и направить мобильную цель, а затем используйте датчик GPS Sensor ), чтобы переместить мобильную цель в углы поля.
- Используйте датчикAI Vision Sensor, чтобы найти и направить устройство к красному кольцу и мобильной цели, затем используйте датчик Rotation Sensor чтобы расположить толкатель и поместить кольцо на цель.
Помните, что дополнительную информацию о конкретных командах, поле V5RC High Stakes Field и боте-герое Акселе можно найти в VEX API и во встроенной справке VEXcode VR (Blocks и Python).