1. Бібліотека VEX
  2. V5
  3. AI Vision Sensor
  4. Кодування за допомогою AI Vision Sensor

Кодування за допомогою датчика зору штучного інтелекту у VEXcode V5 на Python

Переконайтеся, що у вас налаштовано колірних підписів та кольорові коди за допомогою датчика зору штучного інтелекту, щоб їх можна було використовувати з вашими блоками. Щоб дізнатися більше про те, як їх налаштувати, ви можете прочитати статті нижче:

Датчик зору на базі штучного інтелекту також може виявляти класифікації штучного інтелекту та теги AprilTags. Щоб дізнатися, як увімкнути ці режими виявлення, перейдіть сюди:

Щоб дізнатися більше про ці окремі команди та про те, як їх використовувати у VEXcode, перейдіть на сайт API.

Отримання візуальних даних за допомогою датчика зору зі штучним інтелектом

Кожна команда датчика зору штучного інтелекту починатиметься з назви налаштованого датчика зору штучного інтелекту. Для всіх прикладів у цій статті назва використовуваного датчика зору на базі штучного інтелекту буде ai_vision_1.

зробити_знімок

Метод take_snapshot робить знімок того, що наразі бачить датчик зору штучного інтелекту, та витягує дані з цього знімка, які потім можна використовувати в проєкті. Під час створення знімка потрібно вказати, який тип об'єкта має збирати сенсор AI Vision Sensor, дані якого слід збирати:

  • AПідпис кольору абоКод кольору
    • Ці візуальні підписи починаються з назви датчика зору штучного інтелекту, подвійного підкреслення, а потім назви візуального підпису, наприклад: ai_vision_1__Blue.
  • Класифікації ШІ - AiVision.ALL_AIOBJS
  • квітеньТеги- AiVision.ВСІ_ТЕГИ

Зробивши знімок, ви створите кортеж усіх виявлених об'єктів, які ви вказали. Наприклад, якщо ви хочете виявити "синій" колірний підпис , і датчик зору штучного інтелекту виявив 3 різні сині об'єкти, дані з усіх трьох будуть поміщені в кортеж.

У цьому прикладі змінна vision_objects зберігає кортеж, що містить виявлені кольорові сигнатури "фіолетового"кольору від датчика зору штучного інтелекту з назвою ai_vision_1. Він відображає кількість виявлених об'єктів і робить новий знімок кожні 0,5 секунди.

while True: 
    # Отримати знімок усіх сигнатур фіолетового кольору та зберегти його у vision_objects.
    vision_objects = ai_vision_1.take_snapshot(ai_vision_1__Purple)
    
    # Перед отриманням даних перевірте, чи було виявлено об'єкт на знімку.
    якщо vision_objects[0].exists == True
    
        brain.screen.clear_screen()
        brain.screen.set_cursor(1, 1)
    
        brain.screen.print("Кількість об'єктів:", len(vision_objects))
    wait(0.5, СЕКУНД)

Властивості об'єкта

Кожен об'єкт зі знімка має різні властивості, які можна використовувати для повідомлення інформації про цей об'єкт. Доступні властивості такі:

  • ідентифікатор
  • центрX та центрY
  • походженняX та походженняY
  • ширина
  • висота
  • кут
  • рахунок
  • існує

Щоб отримати доступ до властивості об'єкта, використовуйте ім'я змінної, яка зберігає кортеж, а потім індекс об'єкта.

Індекс об'єкта вказує, властивість якого конкретного об'єкта потрібно отримати. Після зйомки, датчик зору зі штучним інтелектом автоматично сортує об'єкти за розміром. Найбільшому об'єкту присвоюється індекс 0, а менші об'єкти отримують вищі індексні номери.

Наприклад, виклик ширини найбільшого об'єкта всередині змінної vision_objects буде таким: vision_objects[0].width.

ідентифікатор

Властивість id доступна лише для класифікацій AI AprilTags та

Три квадратні ідентифікаційні маркери, позначені ідентифікаторами 0, 9 та 3, кожен з відповідними координатами та розмірами, відображеними білим текстом. ID 0 знаходиться ліворуч, ID 9 — праворуч, а ID 3 — внизу по центру. Кожен маркер має унікальний чорно-білий візерунок всередині квадрата.

Для значенняAprilTagвластивість id представляє виявлений ідентифікаційний номерAprilTag(s)

Визначення конкретних квітневих тегів дозволяє вибіркову навігацію. Ви можете запрограмувати свого робота рухатися до певних міток, ігноруючи інші, ефективно використовуючи їх як покажчики для автоматичної навігації.

На зображенні позначено дві кульки та два кільця з позначками, що вказують їхнє положення, розмір та рахунок. Червона кулька знаходиться ліворуч, синя кулька — праворуч, зелене кільце — внизу ліворуч, а червоне кільце — внизу праворуч. Кожен об'єкт обведено білим контуром, а такі деталі, як координати X, Y, ширина, висота та оцінка 99%, відображаються білим текстом.

Длякласифікацій ШІвластивість id представляє конкретний тип виявленої класифікації ШІ.

Визначення конкретних Класифікації ШІдозволяє роботу зосереджуватися лише на певних об'єктах, наприклад, бажати рухатися лише до червоного Бакібола, а не до синього.

Перейдіть до цих статей, щоб отримати додаткові відомості про квітень, теги та , класифікації ШІ та про те, як увімкнути їх виявлення в утиліті ШІ Vision.

центрX та центрY

Це центральні координати виявленого об'єкта в пікселях.

Синій Бакібол відстежується системою комп'ютерного зору. Об'єкт обведений білим квадратом, а всередині контуру знаходиться менший червоний квадрат, що оточує білий хрест по центру. У верхньому лівому куті зображення є позначка, що об'єкт синього кольору, з координатами X:176, Y:117 та розмірами W:80, H:78.

Координати CenterX та CenterY допомагають з навігацією та позиціонуванням. Датчик зору зі штучним інтелектом має роздільну здатність 320 x 240 пікселів.

Два сині кубічні об'єкти, що відстежуються системою зору. Верхній об'єкт позначено координатами X:215, Y:70 та розмірами W:73, H:84, білим контуром та білим хрестом по центру. Нижній об'єкт позначено координатами X:188, Y:184 та розмірами W:144, H:113, також обведено білим кольором з білим хрестом по центру.

Ви можете бачити, що об'єкт, розташований ближче до датчика зору штучного інтелекту, матиме нижчу координату CenterY, ніж об'єкт, розташований далі.

У цьому прикладі, оскільки центр поля зору датчика штучного інтелекту (AI Vision Sensor) знаходиться в точці (160, 120), робот повертатиме праворуч, доки координата centraX виявленого об'єкта не стане більшою за 150 пікселів, але меншою за 170 пікселів.

while True:
    # Отримати знімок усіх синіх кольорових сигнатур та зберегти його у vision_objects.
    vision_objects = ai_vision_1.take_snapshot(ai_vision_1__Blue)

    # Перед отриманням даних перевірте, чи було виявлено об'єкт на знімку.
    if vision_objects[0].exists == True

        # Перевірити, чи об'єкт не знаходиться в центрі поля зору датчика зору штучного інтелекту.
        if vision_objects[0].centerX > 150 and 170 > vision_objects[0].centerX:

            # Продовжуйте повертати праворуч, доки об'єкт не опиниться в центрі поля зору.
            drivetrain.turn(ПРАВОРУЧ)
        інакше:
            drivetrain.stop()
    wait(5, MSEC)

походження X та походження

OriginX та OriginY – це координата у верхньому лівому куті виявленого об'єкта в пікселях.

Синій Бакібол відстежується системою зору. Білий контур оточує об'єкт, а всередині нього розташований білий хрест по центру. У верхньому лівому куті позначено синій колір об'єкта, а також координати X:176, Y:117 та розміри W:80, H:78. Невеликий червоний квадрат виділяє верхній лівий кут об'єкта.

Координати OriginX та OriginY допомагають з навігацією та позиціонуванням. Поєднуючи цю координату з шириною та висотою об'єкта, можна визначити розмір рамки розміру об'єкта. Це може допомогти у відстеженні рухомих об'єктів або навігації між об'єктами.

ширина та висота

Це ширина або висота виявленого об'єкта в пікселях.

На зображенні зображено синій Бакібол з білим квадратним контуром, який відстежує його. У верхньому лівому куті є позначка, яка вказує, що це синій об'єкт з координатами X:176, Y:117 та розмірами Ш:80, В:78. Червоними стрілками виділено ширину та висоту об'єкта.

Вимірювання ширини та висоти допомагають ідентифікувати різні об'єкти. Наприклад, Бакібол матиме більшу висоту, ніж Кільце.

Два сині кубічні об'єкти, що відстежуються системою візуального розпізнавання. Верхній куб має білий контур з міткою, що вказує його положення як X:215, Y:70 та розміри Ш:73, В:84. Нижній куб має схожий білий контур з позначкою X:188, Y:184 та розмірами Ш:144, В:113. Кожен куб має центрований білий хрест, що, ймовірно, вказує на фокусну точку для відстеження. Мітки виділяють вимірювання та дані відстеження для кожного об'єкта.

Ширина та висота також вказують на відстань об'єкта від датчика зору штучного інтелекту. Менші виміри зазвичай означають, що об'єкт знаходиться далі, тоді як більші виміри свідчать про те, що він ближче.

У цьому прикладі ширина об'єкта використовується для навігації. Робот наближатиметься до об'єкта, доки його ширина не досягне певного розміру, перш ніж зупинитися.

while True:
    # Отримати знімок усіх синіх кольорових сигнатур та зберегти його у vision_objects.
    vision_objects = ai_vision_1.take_snapshot(ai_vision_1__Blue)

    # Перед отриманням даних перевірте, чи було виявлено об'єкт на знімку.
    if vision_objects[0].exists == True

        # Перевірити, чи знаходиться найбільший об'єкт близько до датчика зору штучного інтелекту, вимірявши його ширину.
        if vision_objects[0].width < 250:

            # Під'їжджаємо ближче до об'єкта, поки його ширина не перевищить 250 пікселів.
            drivetrain.drive(ВПЕРЕД)
        інакше:
            drivetrain.stop()

    wait(5, MSEC)

кут

Обертовий GIF-файл із червоними та зеленими блоками. Коли блоки розташовані ідеально горизонтально від червоного до зеленого, вони показують, що мають кут 0 градусів. Якщо червоний блок знаходиться вертикально над зеленим блоком, він знаходиться під кутом 90 градусів. Якщо блоки горизонтально розташовані від зеленого до червоного, це 180 градусів. Якщо зелений блок знаходиться вертикально над червоним блоком, це 20 градусів.

Властивість кута доступна лише дляколірних кодів таквітня. Теги

Це показує, чи виявлений Колірний кодабо AprilTag орієнтований по-різному.

Стопка з двох кубів, один зелений зверху та один синій знизу, що відстежуються системою зору. Обидва куби оточує білий контур, а на зеленому кубі розташований білий хрест. Мітка внизу зображення відображає Green_Blue A:87°, що вказує на виявлені кольори та вимірювання кута. Нижче наведено координати X:117, Y:186 з розмірами W:137, H:172, що представляють положення та розмір складених кубів у рамці.

Ви можете побачити, чи орієнтований робот по-іншому відносноColor Code абоAprilTag , і приймати рішення щодо навігації відповідно до цього.

Два кубики, один зелений, а інший синій, розміщені поруч та відстежуються системою зору. Білий контур оточує обидва куби з білим хрестом у центрі. У верхньому лівому куті позначено Green_Blue A:0°, що відповідає виявленим кольорам та вимірюванню кута. Нижче показано координати X:150, Y:102 з розмірами W:179, H:109, що представляють положення та розмір кубів у кадрі.

Наприклад, якщо колірний код не виявляється під правильним кутом, то об'єкт, який він представляє, може бути не зможуть належним чином підняти роботом.

рахунок

Властивість балів використовується під час виявленнякласифікацій ШІ за допомогою датчика ШІ зору.

На зображенні показано чотири об'єкти, що відстежуються системою зору: дві кулі та два кільця. Червона куля позначена координатами X:122, Y:84, W:67, H:66 та має бал 99%. Синя куля має X:228, Y:86, W:70, H:68, з результатом 99%. Зелене кільце має координати X:109, Y:186, W:98, H:92 та оцінку 99%. Червоне кільце позначено X:259, Y:187, W:89, H:91, з оцінкою 99%. Кожен об'єкт обведений білим кольором, що вказує на точність відстеження.

Показник достовірності показує, наскільки впевнений датчик зору зі штучним інтелектом у своєму виявленні. На цьому зображенні видно 99% впевненість у визначенні класифікацій ШІ цих чотирьох об'єктів. Ви можете використовувати цей бал, щоб ваш робот зосереджувався лише на дуже впевнених виявленнях.

існує

Властивість exists використовується для визначення останньому зробленому знімку.

Це дозволяє перевірити, чи були виявлені якісь об'єкти на попередньому знімку. Ця властивість повертатиме значення True, якщо об'єкт існує, та False, якщо об'єкт не існує.

 

For more information, help, and tips, check out the many resources at VEX Professional Development Plus

Last Updated: