البرمجة باستخدام مستشعر الرؤية AI في كتل VEXcode V5 – مكتبة VEX

تأكد من أن لديك توقيعات لونية و رمز لوني تم تكوينهما باستخدام مستشعر الرؤية AI الخاص بك حتى يمكن استخدامها مع الكتل الخاصة بك. لمعرفة المزيد حول كيفية تكوينها، يمكنك قراءة المقالات أدناه:

يمكن لمستشعر الرؤية AI أيضًا اكتشاف تصنيفات AI وAprilTags. لتعلم كيفية تمكين أوضاع الكشف هذه، انتقل إلى هنا:

التقط لقطة

كتلة تحتوي على الأمر "التقاط لقطة" مع تحديدين منسدلتين: أحدهما يسمى AIVision1 والآخر يسمى COL1. تم تصميم هذه الكتلة لالتقاط لقطة من مستشعر AI Vision والإشارة إلى كائن أو لون محدد من المتغيرات المحددة في بيئة الترميز المرئية. يحتوي شكل الكتلة على انحناءات طفيفة في الأطراف، وهو أمر نموذجي لواجهات الترميز القائمة على الكتلة.

تلتقط كتلةTake Snapshot صورة لما يراه مستشعر الرؤية AI حاليًا وتسحب البيانات من تلك اللقطة التي يمكن استخدامها بعد ذلك في مشروع. عند التقاط لقطة، يتعين عليك تحديد نوع الكائن الذي يجب أن يجمع مستشعر الرؤية AI بيانات عنه:

توقيع اللون
رمز اللون
تصنيفات الذكاء الاصطناعي
علامات أبريل

سيؤدي التقاط لقطة إلى إنشاء مجموعة من جميع الكائنات المكتشفة التي حددتها. على سبيل المثال، إذا كنت تريد اكتشاف توقيع لون "أحمر"، واكتشف مستشعر الرؤية بالذكاء الاصطناعي 3 كائنات حمراء مختلفة، فسيتم وضع البيانات من الثلاثة في المصفوفة.

من المعلومات حول كيفية التحديد بين الكائنات المختلفة، انتقل إلى قسم "تعيين عنصر الكائن" في هذه المقالة.

كتلة ترميز باللون الأزرق الفاتح تحتوي على أمر لالتقاط لقطة لكائن أو لون. هناك خياران للقائمة المنسدلة: أحدهما يسمى AIVision2 والآخر يسمى Blue. تم تصميم الكتلة للاستخدام في بيئة ترميز تعتمد على الكتلة، حيث تلتقط لقطة من مستشعر AI Vision وتتبع كائنًا أو لونًا محددًا باللون الأزرق. تحتوي الكتلة على انحناءات طفيفة، وهي سمة نموذجية لواجهات الترميز التي تستخدم كتلًا معيارية.

في هذا المثال، سيتم فقط اكتشاف الكائنات التي تتطابق مع توقيع اللون "الأزرق" تم تكوينه ولا شيء آخر.

البيانات المأخوذة من لقطة

ضع في اعتبارك أن مستشعر الرؤية بالذكاء الاصطناعي سيستخدم آخر لقطة تم التقاطها لأي كتل تأتي بعد ذلك. لتتأكد من حصولك دائمًا على أحدث المعلومات من مستشعر الرؤية AI الخاص بك، قم بإعادة التقاط لقطة الشاشة في كل مرة تريد فيها سحب البيانات منها.

دقة

يعد فهم دقة مستشعر الرؤية AI أمرًا بالغ الأهمية لتفسير البيانات بشكل دقيق. يتمتع المستشعر بدقة 320 × 240 بكسل، مع مركز دقيق عند الإحداثيات (160، 120).

تتوافق إحداثيات X التي تقل عن 160 مع النصف الأيسر من مجال رؤية المستشعر، في حين تمثل تلك التي تزيد عن 160 النصف الأيمن. وبالمثل، تشير إحداثيات Y الأقل من 120 إلى النصف العلوي من العرض، وتمثل تلك الأكبر من 120 النصف السفلي

انتقل إلى فهم البيانات في أداة AI Vision في VEXcode V5 للحصول على مزيد من المعلومات حول كيفية قياس الكائنات باستخدام مستشعر AI Vision.

العرض والارتفاع

هذا هو العرض أو الارتفاع للكائن المكتشف بالبكسل.

تظهر الصورة كرة Buckyball زرقاء اللون مع مخطط مربع أبيض يتبعها. تحتوي الزاوية العلوية اليسرى على ملصق يشير إلى أنها عبارة عن جسم أزرق، بإحداثيات X: 176، Y: 117، وأبعاد W: 80، H: 78. تسلط الأسهم الحمراء الضوء على عرض وارتفاع الكائن.

تساعد قياسات العرض والارتفاع في تحديد الكائنات المختلفة. على سبيل المثال، سيكون ارتفاع كرة باكي أكبر من الحلقة.

يشير العرض والارتفاع أيضًا إلى مسافة الكائن من مستشعر الرؤية AI. عادةً ما تعني القياسات الأصغر أن الجسم أبعد، في حين تشير القياسات الأكبر إلى أنه أقرب.

يبدأ البرنامج بالكتلة عند بدء تشغيلها، متبوعًا بحلقة مستمرة إلى الأبد. داخل الحلقة، يقوم البرنامج بالتقاط لقطة باستخدام مستشعر AI Vision (AIVision1) لاكتشاف كائن أزرق. إذا كان الكائن موجودًا، يتحقق البرنامج ما إذا كان عرض الكائن أقل من 250 بكسل. إذا كان هذا صحيحا، فإن الروبوت يتحرك إلى الأمام، وإلا فإنه يتوقف عن القيادة. يتم تكديس الكتل معًا، مما يشير إلى تدفق البرنامج في بيئة برمجة معيارية.

في هذا المثال، يتم استخدام عرض الكائن للتنقل. سوف يقترب الروبوت من الجسم حتى يصل عرضه إلى حجم معين قبل التوقف.

مركز X ومركز Y

هذه هي إحداثيات مركز الكائن المكتشف بالبكسل.

كرة باكى زرقاء يتم تعقبها بواسطة نظام رؤية كمبيوترية. تم تحديد الكائن بمربع أبيض، وداخل هذا المربع يوجد مربع أحمر أصغر يحيط بصليب أبيض في المنتصف. في الزاوية العلوية اليسرى من الصورة، يشير الملصق إلى أن الكائن باللون الأزرق، مع إحداثيات X:176، Y:117، والأبعاد W:80، H:78.

تساعد إحداثيات CenterX وCenterY في التنقل وتحديد المواقع. يتمتع مستشعر الرؤية AI بدقة 320 × 240 بكسل.

جسمين مكعبين باللون الأزرق يتم تعقبهما بواسطة نظام الرؤية. تم وضع علامة على الكائن العلوي بإحداثيات X: 215، Y: 70، والأبعاد W: 73، H: 84، مع مخطط أبيض وصليب أبيض في المنتصف. تم وضع علامة على الكائن السفلي بإحداثيات X: 188، Y: 184، والأبعاد W: 144، H: 113، كما تم تحديده باللون الأبيض مع صليب أبيض في المنتصف.

يمكنك أن ترى أن الكائن الأقرب إلى مستشعر الرؤية AI سيكون له إحداثيات مركز Y أقل من الكائن الأبعد.

في هذا المثال، نظرًا لأن مركز رؤية مستشعر الرؤية الذكية هو (160، 120)، فسوف يدور الروبوت إلى اليمين حتى يصبح إحداثي مركز X للكائن المكتشف أكبر من 150 بكسل، ولكن أقل من 170 بكسل.

زاوية

الزاوية هي خاصية متاحة فقط لـرمز لون وAprilTags. يمثل هذا ما إذا كان رمز اللونالمكتشفأو AprilTag موجهًا بشكل مختلف.

كومة من مكعبين، واحد أخضر في الأعلى وواحد أزرق في الأسفل، يتم تعقبهما بواسطة نظام الرؤية. يحيط مخطط أبيض بالمكعبين، مع وجود صليب أبيض في وسط المكعب الأخضر. يعرض الملصق الموجود أسفل الصورة Green_Blue A:87°، مما يشير إلى الألوان المكتشفة وقياس الزاوية. أدناه، يتم إدراج الإحداثيات على النحو التالي: X:117، Y:186، مع الأبعاد W:137، H:172، والتي تمثل موضع وحجم المكعبات المكدسة في الإطار.

يمكنك معرفة ما إذا كان الروبوت موجهًا بشكل مختلف فيما يتعلق برمز اللون أوAprilTag واتخاذ قرارات التنقل وفقًا لذلك.

مكعبين، واحد أخضر وواحد أزرق، موضوعين جنبًا إلى جنب ويتم تتبعهما بواسطة نظام رؤية. يحيط مخطط أبيض بالمكعبين مع وجود صليب أبيض في المنتصف. يشير الملصق الموجود في أعلى اليسار إلى Green_Blue A:0°، في إشارة إلى الألوان المكتشفة وقياس الزاوية. أدناه، تظهر الإحداثيات على النحو التالي: X:150، Y:102، مع الأبعاد W:179، H:109، والتي تمثل موضع وحجم المكعبات داخل الإطار.

على سبيل المثال، إذا لم يتم اكتشاف رمز اللون بزاوية مناسبة، فقد لا يتمكن الروبوت من التقاط الكائن الذي يمثله بشكل صحيح.

OriginX و OriginY

OriginX و OriginY هو الإحداثي في الزاوية العلوية اليسرى للكائن المكتشف بالبكسل.

كرة باكيبول زرقاء يتم تعقبها بواسطة نظام الرؤية. يحيط بالكائن خط أبيض، مع وجود صليب أبيض في وسط الخط. يشير الملصق الموجود في أعلى اليسار إلى لون الكائن باللون الأزرق، إلى جانب الإحداثيات X:176، Y:117، والأبعاد W:80، H:78. يسلط مربع أحمر صغير الضوء على الزاوية العلوية اليسرى للكائن.

تساعد إحداثيات OriginX وOriginY في التنقل وتحديد المواقع. من خلال الجمع بين هذا الإحداثي مع عرض الكائن وارتفاعه، يمكنك تحديد حجم الصندوق المحيط بالكائن. يمكن أن يساعد هذا في تتبع الكائنات المتحركة أو التنقل بين الكائنات.

في هذا المثال، سيتم رسم مستطيل على الدماغ باستخدام الإحداثيات الدقيقة لأصله وعرضه وارتفاعه.

معرف العلامة

معرف العلامة متاح فقط لـAprilTags. هذا هو رقم المعرف لـAprilTagالمحدد.

يتيح تحديد AprilTags محددة إمكانية التنقل الانتقائي. يمكنك برمجة الروبوت الخاص بك للتحرك نحو علامات معينة مع تجاهل علامات أخرى، واستخدامها بشكل فعال كعلامات إرشادية للملاحة الآلية.

نتيجة

يتم استخدام خاصية النتيجة عند اكتشافتصنيفات الذكاء الاصطناعي باستخدام مستشعر الرؤية بالذكاء الاصطناعي.

تشير درجة الثقة إلى مدى ثقة مستشعر الرؤية AI في اكتشافه. في هذه الصورة، هناك ثقة بنسبة 99% في تحديد تصنيفات الذكاء الاصطناعي لهذه الكائنات الأربعة. يمكنك استخدام هذه النتيجة للتأكد من أن الروبوت الخاص بك يركز فقط على الاكتشافات الواثقة للغاية.

تعيين عنصر الكائن

عندما يتم اكتشاف كائن بواسطة مستشعر الرؤية AI، يتم وضعه في مصفوفة. بشكل افتراضي، سيقوم مستشعر الرؤية AI بسحب البيانات من الكائن الأول في المصفوفة، أو الكائن الذي يحمل فهرس 1. إذا اكتشف مستشعر الرؤية AI الخاص بك كائنًا واحدًا فقط، فسيتم تحديد هذا الكائن بشكل افتراضي.
ومع
، عندما يكتشف مستشعر الرؤية AI الخاص بك عدة كائنات في وقت واحد، فستحتاج إلى استخدام كتلةSet Object Item لتحديد الكائن الذي تريد سحب البيانات منه.

كتلة ترميز باللون الأزرق الفاتح. يحتوي على أمر لتعيين عنصر الكائن لـ AIVision1 إلى 1. تعد هذه الكتلة جزءًا من بيئة الترميز القائمة على الكتلة، والتي تُستخدم عادةً لتحديد الكائن أو العنصر الذي يجب أن يركز عليه مستشعر AI Vision أو يتعقبه. يحتوي شكل الكتلة على انحناءات طفيفة، مما يتناسب مع الطبيعة المعيارية لمنصة الترميز المرئي.

عندما يتم اكتشاف عدة كائنات بواسطة مستشعر الرؤية AI، يتم ترتيبها في المصفوفة من الأكبر إلى الأصغر. وهذا يعني أن أكبر كائن تم اكتشافه سيتم تعيينه دائمًا على مؤشر الكائن 1، وسيتم تعيين أصغر كائن دائمًا على أعلى رقم.

في هذا المثال، تم اكتشاف كائنين بتوقيع اللون"". سيتم وضعهما معًا في المصفوفة عند استخدام كتلةTake Snapshot.

هنا، سيصبح الكائن الموجود في المقدمة هو الكائن ذو الفهرس 1، لأنه الكائن الأكبر، وسيصبح الكائن الأصغر هو الكائن ذو الفهرس 2.

الكائن موجود

قبل سحب أي بيانات من لقطة، من المهم للتأكد من أن مستشعر الرؤية AI قد اكتشف أي كائنات من تلك اللقطة أولاً. هذا هو المكان الذي يأتي فيه كتلةObject Exists للعب دورها.

هل يوجد كتلة ترميز سداسية زرقاء فاتحة تحتوي على نص كائن AIVision1؟ تعد هذه الكتلة جزءًا من بيئة الترميز القائمة على الكتلة، والتي تُستخدم عادةً للتحقق مما إذا كان يتم اكتشاف كائن بواسطة مستشعر AI Vision المسمى AIVision1. تم تصميم الكتلة لتناسب هيكل الترميز المعياري، مع المنحنيات الطفيفة والشكل المميز لمثل هذه البيئات.

ستعيد هذه الكتلة قيمةTrue أوFalse فيما يتعلق بما إذا كانت آخر لقطة تم التقاطها تحتوي على أي كائنات تم اكتشافها أم لا.

استخدام هذه الكتلة من عدم محاولة سحب أي بيانات من لقطة فارغة محتملة.

تسلسل ترميز قائم على الكتلة يبدأ عند بدء التشغيل، متبوعًا بحلقة مستمرة إلى الأبد. داخل الحلقة، يقوم مستشعر AI Vision (AIVision2) بالتقاط لقطة لاكتشاف اللون الأزرق. إذا تم اكتشاف كائن يحمل التوقيع المرئي الأزرق، فسوف يتحرك الروبوت إلى الأمام. إذا لم يتم اكتشاف أي جسم، سيتوقف الروبوت عن القيادة. يتم تكديس الكتل لتمثيل المنطق الشرطي للبرنامج، حيث يتحكم وجود كائن تم اكتشافه في حركة الروبوت.

على سبيل المثال، هنا سوف يقوم الروبوت بالتقاط صور بشكل مستمر باستخدام مستشعر الرؤية AI. إذا تم التعرف أي كائن يحمل توقيع اللون "الأزرق" فسوف يتحرك للأمام.

إذا لم تحتوي أي لقطة على التوقيع اللوني "الأزرق" ، فسيتوقف الروبوت عن الحركة.

عدد الكائنات

كتلة ترميز مستديرة باللون الأزرق الفاتح تحمل اسم عدد كائنات AIVision1. يتم استخدام هذه الكتلة في بيئة الترميز القائمة على الكتلة لاسترداد عدد الكائنات التي تم اكتشافها بواسطة مستشعر AI Vision المسمى AIVision1. تتناسب الكتلة مع هيكل معياري، يستخدم عادة في واجهات البرمجة المرئية للروبوتات أو أنظمة الرؤية.

سيسمح لك استخدام كتلة عدد الكائنات برؤية عدد الكائنات ذات التوقيع اللوني المحدد الذي يمكن لمستشعر الرؤية AI رؤيته في لقطة أخيرة.

تم اكتشاف واجهة AI Vision Utility مع مكعبين أزرقين على اليسار. تم توصيل النظام، مع تمكين AprilTags وإيقاف تشغيل تصنيف الذكاء الاصطناعي. تعرض الواجهة الإعدادات الخاصة باكتشاف اللون الأزرق، مع ضبط الصبغة على 22 والتشبع على 0.34. تتوفر أزرار لتجميد الفيديو وإضافة اللون أو تعيينه. تم الإشارة إلى أن البرنامج الثابت محدث، ويعمل بإصدار 1.0.0.b16. هناك أيضًا زر لفصل الاتصال أو إغلاق الأداة المساعدة.

هنا، نرى أن مستشعر الرؤية AI لديه توقيع لوني محدد وهو "أزرق" ، ويكتشف كائنين.

مخرج وحدة التحكم مع طباعة الرقم 2. تُعد وحدة التحكم جزءًا من واجهة أكبر من المحتمل أن تعرض نتائج من برنامج يتم تشغيله في بيئة ترميز تعتمد على الكتلة. يحتوي الجزء العلوي من وحدة التحكم على أزرار لإجراءات أو عناصر تحكم إضافية، ويقوم البرنامج الذي يتم تشغيله هنا بإخراج البيانات إلى وحدة التحكم في الطباعة، والتي تعرض نتيجة 2 على الشاشة.

في هذا الكود، يقوم مستشعر الرؤية AI بالتقاط لقطة وطباعة "2" على وحدة التحكم VEXcode، لأنه يكتشف فقط توقيعين لونيين "أزرق" .

هدف

قائمة منسدلة لاختيار خصائص الكائن المتعلقة بـ AIVision1. الخيار المحدد هو العرض، وتسرد القائمة خيارات أخرى بما في ذلك الارتفاع، ومركز X، ومركز Y، والزاوية، وOriginX، وOriginY، وtagID، والنتيجة. تتيح هذه الخيارات للمستخدم استرجاع نقاط بيانات محددة من الكائن الذي اكتشفه مستشعر AI Vision، مما يوفر المرونة لتتبع أو قياس السمات المختلفة للكائن.

تتيح لك كتلةObject الإبلاغ عن خصائص الكائن المحدد. يتيح لك هذا استخدام أي من البيانات المتاحة المستخرجة من لقطة الشاشة الملتقطة مؤخرًا.

خصائص الكائن التي يمكن سحبها من اللقطات الملتقطة هي:

عرض
ارتفاع
مركزX
مركز ي
زاوية
الأصلX
الأصلY
معرف العلامة
نتيجة

اقرأ قسم "البيانات المأخوذة من اللقطة" في هذه المقالة للحصول على مزيد من المعلومات حول هذه الخصائص.

تم اكتشاف AprilTag هو

كتلة سداسية زرقاء فاتحة من واجهة الترميز. يحتوي على الأمر للتحقق مما إذا كانت AprilTag المكتشفة بواسطة AIVision1 تتطابق مع القيمة 1. يتم استخدام هذه الكتلة في بيئة ترميز تعتمد على الكتلة ويتم تصميمها لتقييم ما إذا كان AprilTag محدد موجودًا أم لا. يسمح الشكل والبنية بملاءمتها مع كتل منطقية أخرى، تُستخدم عادةً في البرمجة المرئية لمهام الروبوتات أو رؤية الذكاء الاصطناعي.

تتوفر كتلةAprilTag فقط عند تشغيل وضع اكتشاف AprilTag
سيقوم
المربع بالإبلاغ عن القيمة True أو False اعتمادًا على ما إذا كان الكائن المحدد عبارة عن AprilTag معين.

ثلاثة AprilTags يتم تعقبها بواسطة نظام الرؤية. كل علامة لها معرف وإحداثيات مرتبطة بها. العلامة اليسرى تحمل العلامة ID:0، مع الإحداثيات X:110، Y:96، W:41، H:41. تم تسمية العلامة المركزية بـ ID:3، مع إحداثيات X:187، Y:180، W:57، H:57. العلامة اليمنى تحمل العلامة ID:9، مع إحداثيات X:237، Y:89، W:38، H:38.

عند اكتشاف علامات AprilTags متعددة في لقطة واحدة، يتم ترتيبها في المصفوفة بناءً على معرفها المحدد، وليس حسب الحجم.
في هذه الصورة، تم الكشف عن ثلاثة AprilTags بمعرفات
و3 و9. سيتم تنظيمها بترتيب تصاعدي لمعرفاتها في المصفوفة. سيتوافق الكائن الموجود عند الفهرس 1 مع AprilTag بالمعرف 0، وفي الفهرس 2 مع AprilTag بالمعرف 3، وفي الفهرس 3 مع AprilTag بالمعرف 9.

لمزيد من المعلومات حول ما هي AprilTags وكيفية تمكين اكتشافها باستخدام AI Vision Sensor، اقرأ هذه المقالة.

تصنيف الذكاء الاصطناعي هو

كتلة سداسية زرقاء فاتحة من بيئة ترميز تعتمد على الكتل. تحتوي الكتلة على الأمر AIVision1 تصنيف الذكاء الاصطناعي هو BlueBall؟ تتحقق هذه الكتلة مما إذا كان مستشعر AI Vision (AIVision1) قد صنف الكائن المكتشف على أنه BlueBall. تتميز الكتلة بخيارات منسدلة، مما يسمح للمستخدمين باختيار كائنات مختلفة أو تصنيفات الذكاء الاصطناعي لأغراض التتبع واتخاذ القرار في واجهة برمجة مرئية.

يتوفر تصنيف الذكاء الاصطناعيفي كتلة فقط عند تشغيل وضع اكتشاف تصنيف الذكاء الاصطناعي.

سيقوم هذا المربع بالإبلاغ عن القيمة "صحيح" أو "خطأ" اعتمادًا على ما إذا كان الكائن المحدد هو تصنيف ذكاء اصطناعي معين.

تختلف تصنيفات الذكاء الاصطناعي التي يمكن لمستشعر الرؤية بالذكاء الاصطناعي اكتشافها وفقًا للطراز الذي تستخدمه. لمزيد من المعلومات حول تصنيفات الذكاء الاصطناعي المتاحة وكيفية تمكين اكتشافها باستخدام مستشعر الرؤية بالذكاء الاصطناعي، اقرأ هذه المقالة.