Использование датчика искусственного интеллекта на игровой площадке V5RC Push Back – Библиотека VEX

Вы можете использовать датчик зрения ИИ для идентификации игровых объектов (блоков) на игровой площадке V5RC 25-26 Push Back в VEXcode VR с помощью классификаций ИИ.

Если вы знакомы с физической версией AI Vision Sensor , вы знаете, что физический датчик также может сообщать информацию об AprilTags и настроенных цветовых сигнатурах. Поскольку в VEXcode VR не требуется настройка робота, а на поле толкания V5RC 25-26 отсутствуют AprilTags, виртуальный датчик предоставляет информацию только о предварительно настроенных игровых элементах: красных блоках и синих блоках.

Как работает датчик зрения ИИ в V5RC Push Back в VEXcode VR

датчик зрения ИИ на Dex

Датчик зрения ИИ — это камера, которая может автоматически распознавать и различать игровые элементы, позволяя вашему роботу автономно ориентироваться на определенные объекты. Датчик предварительно обучен распознавать игровые элементы V5RC Push Back этого года, поэтому он будет автоматически обнаруживать блоки.

Для обнаружения этих объектов на передней части робота установлен датчик искусственного интеллекта (как показано здесь).

Сбор данных с датчика зрения ИИ

Вы можете просматривать данные, передаваемые датчиком AI Vision, через окно снимков, консоль монитора или консоль печати в VEXcode VR.

Игровая площадка V5RC Push Back в VEXcode VR с кнопкой моментального снимка AI Vision Sensor.

Чтобы просмотреть окно снимков и увидеть данные, передаваемые датчиком AI Vision, нажмите кнопку AI Vision Sensor.

Нажмите кнопкуAI Vision Sensor еще раз, чтобы скрыть окно снимка.

Вид с датчика AI Vision на Дексе с красными и синими блоками

Окно снимков отображается в левом верхнем углу окна игровой площадки и идентифицирует все игровые элементы в поле зрения датчика AI Vision.

Для каждого обнаруженного объекта отображаются основные данные, включая классификацию, координаты центра X и центра Y, а также ширину и высоту.

Пояснения типов данных, сообщаемых датчиком зрения ИИ, включая соответствующие команды VEXcode, можно найти в Блоках и Python VEX API.

Эти команды можно использовать в консолях монитора и/или печати для визуализации данных из каждого снимка, сделанного во время выполнения вашего проекта. Узнайте больше об использовании консолей монитора и печати с блоками, с Pythonили Использование консоли печати.

Использование датчика зрения ИИ для помощи Дексу в распознавании объектов

Вы можете использовать датчик зрения ИИ, чтобы помочь Дексу ориентироваться на определенных объектах, интерпретируя данные датчика. С помощью этой технологии Dex может нацелиться на игровые элементы и подъехать к ним, чтобы забрать их.

Датчик AI Vision Sensor будет передавать данные только из самого последнего снимка, поэтому Dex необходимо постоянно обновлять этот снимок во время вождения.

Пример значка проекта V5RC 25-26 Pick Up Block с использованием AI Vision

В этом примере проекта показано, как Dex может использовать датчик зрения ИИ, чтобы самостоятельно ориентироваться на блок и поднимать его.

Узнайте о доступе и запуске примеров проектов с блоками или с Python.

Совместное использование датчиков Dex

Датчик зрения ИИ можно комбинировать с другими датчиками робота для выполнения задач на поле. Полный список датчиков виртуальной версии Dex можно найти на странице API VEX. Вот всего лишь несколько идей, которые помогут вам начать работу с кодом:

Используйте датчик зрения ИИ для поиска и нацеливания на игровой элемент, затем используйте датчик GPS для движения к цели.
Используйте датчик зрения ИИ для поиска и нацеливания на несколько игровых элементов, затем используйте оптический датчик для определения цвета блока на конвейере перед его выпуском.

Помните, что дополнительную информацию о конкретных командах, поле V5RC Push Back и героическом боте Dex можно найти в VEX API и во встроенной справке в VEXcode VR (Блоки и Python).