Haptics للجوال AR: كيفية تعزيز تطبيقات ARKit مع شعور "اللمس"

أنا متحمس حقًا لمستقبل haptics for AR و VR. يبدو الأمر وكأنه الحلقة المفقودة بين جهاز HTC Vive والقفز إلى OASIS مع Parzival و Art3mis. لذلك ليس من المستغرب أن يكون haptics التقنية الأكثر توقعًا في مجتمع XR في الوقت الحالي. لقد أظهرت العديد من الشركات مثل Microsoft و HTC ، بالإضافة إلى الشركات الناشئة مثل SenseGlove و HaptX ، عروضًا تكرارية متزايدة للقفازات المفاجئة التي أحاول تجربتها.

لسوء الحظ ، مثل معظم مطوري AR اليوم ، يركز عملنا في Placenote بالكامل تقريبًا على منصات AR المحمولة مثل ARKit و ARCore. وبطبيعة الحال ، جعلنا هذا نفكر ، "هل يمكن أن يفعل أي شخص على الإطلاق لمرضي AR المحمول؟"

لقد كان Haptics إضافة رائعة للشاشات التي تعمل باللمس ، من محاكاة نقرات أزرار اللمس إلى الإخطارات الصامتة. ولكن ، بعد بعض غوغل المحمومة أدركنا أنه لم يكن هناك في الواقع نقاش حقيقي حول haptics لتطبيقات AR المحمول حتى الآن ... CHALLENGE ACCEPTED

تحدي AR المحمول

قررنا أن نتفحص السبب وراء عدم وصول haptics إلى AR على الأجهزة المحمولة ولم يكن من الصعب معرفة السبب. AR المحمول هو إلى حد بعيد المتوسطة AR غامرة. الإجماع في المجتمع هو أنها مجرد فجوة توقف لمنصة AR النهائية - النظارات الذكية.

لكن العقلية ليست هي العائق الوحيد هنا. لقد وجدنا أن عامل شكل الهاتف المحمول يقدم بعض التحديات الفريدة لمصمم تجربة AR:

  • على عكس سماعات الرأس ، فإن شاشة الهاتف هي الشاشة بالإضافة إلى وحدة التحكم
  • من المستحيل أن تضع يديك في التجربة لأنك تحمل الهاتف.
  • ما زلنا نعتمد على تفاعلات شاشة اللمس التي تتسم بالغموض في الأبعاد - 2D أو 3D touch؟

ومع ذلك ، فإن الواقع هو أنه خلال السنوات القليلة المقبلة وربما أكثر ، يوجد AR المحمول للبقاء. هناك مليار جهاز محمول في جيوب المستهلكين في الوقت الحالي وفقط حول عدد قليل من سماعات الرأس على رؤوسهم. كمطور ، يتفوق التوزيع الخاص بالتطبيقات على معظم العوامل الأخرى. في الواقع ، في تطبيقات مثل الملاحة الداخلية والألعاب ، أثبت الجوال بالفعل أنه وسيلة قابلة للاستمرار لنشر تجارب AR.

هذا يقودنا إلى موضوع haptics للجوال AR. في البداية ، قد يبدو أنه لا يوجد أمل حقيقي في أن يتحسن المصابون بالملاريا لتعزيز تجارب AR المتنقلة ، لكن الدراسات الحديثة أظهرت بالفعل عكس ذلك.

في haptics ، أقل هو أكثر

كان هناك عدد لا يحصى من الأساليب التي تهدف إلى تحقيق ردود الفعل haptic. بشكل عام ، فإنها تندرج تحت فئتين عريضتين - haptics haptics (التغذية الراجعة للقوة) و haptics الجلدية (الأحاسيس الجلدية).

لقد اعتُبرت التقاليد الحركية على نطاق واسع التكنولوجيا الأكثر واقعية. أنها تنطوي على مشغلات البدنية ، سواء على الأرض أو لا أساس لها هذه دفع وسحب أصابعنا والملحقات الأخرى استجابة للتفاعلات مع الكائنات الافتراضية. بشكل حدسي ، يجب أن يكون أداء القوة الواقعي أفضل بكثير من الاهتزازات القديمة البسيطة. لكن دراسة نشرت في Science Robotics هذا العام بعنوان "وادي Uncanny من Haptics" تحدت هذه الافتراضات.

وجد الباحثون أن زيادة واقعية الإحساس المصح لا يؤدي بالضرورة إلى زيادة جودة تجربة AR. غالبًا ما يكون له تأثير سلبي بسبب وادي الواقعية الغريب في عمليات المحاكاة. ووجدوا أن haptics الجلدي ، الذي هو في الأساس مزيج من اللمسات الخفيفة والاهتزازات ، كان أفضل بكثير في خداع الدماغ بشكل أعمق في الوهم. نتائج غريبة ، لكنهم أدركوا أساسًا أننا قد قللنا من تقدير مدى جودة عقولنا في سد الثغرات في إحساسنا بالواقع.

المواقف التي يتدخل فيها الدماغ لسد الثغرات هي ما أجده أكثر إثارة للاهتمام حول تصورنا للإحساس باللمس. - جوستين براد ، الرئيس التنفيذي لشركة Osso VR

جلب haptics إلى AR المحمول

بالنظر إلى هذه النتائج ، لماذا لا تختبر ما يمكن أن يفعله haptics الجلدي لل AR المحمول؟ بعد كل شيء ، لم يعد haptics على الهاتف المحمول يهتز نغمات الرنين بعد الآن.

أصبحت الأنظمة الكهروميكانيكية الدقيقة (MEMS) على الأجهزة المحمولة أكثر تطوراً وقدرة على بعض السلوكيات الدقيقة. منذ iPhone 7 ، قامت Apple بترقية الاهتزازات الأساسية القديمة القديمة إلى ما يسمى الآن Taptic Engine. هذا هو أكثر دقة بكثير ويتكون من سبعة أنواع مختلفة من ردود الفعل haptic مع أنماط مختلفة ونقاط القوة.

أوضاع ردود الفعل haptic المتاحة هي:

  • اختيار التغيير
  • تأثير الضوء
  • تأثير المتوسطة
  • تأثير الثقيلة
  • نجاح الإخطار
  • تحذير الإخطار
  • فشل الإخطار
يحتوي iOS Taptic Engine الجديد (iPhone 7 وما بعده) على 7 أنواع مختلفة من Haptic Feedback

لمعرفة المزيد حول منشئ ملاحظات iOS ، راجع وثائق Apple هذه. في نهاية هذه المقالة ، سأشارك بعض التعليمات البرمجية التي يمكنك استخدامها لإضافة أنواع التعليقات هذه بسرعة إلى تطبيقات ARKit.

قررنا أن نجرب عددًا من أوضاع التعليقات التعويضية هذه في تطبيقاتنا AR ، وأنا متحمس جدًا للقول إن النتائج كانت مفاجأة سارة لفريقنا. فيما يلي بعض الأمثلة على عمليات التنفيذ المفاجئة في تطبيقاتنا AR المحمولة.

أمثلة استخدام haptics في AR المحمول

في تجاربنا حتى الآن ، وجدنا أن التغذية المرتدة التفاعلية AR المحمول تعمل بشكل جيد في خمسة سيناريوهات متميزة. إليك وصف لكل منها.

1. المؤشرات المغناطيسية (أي المفاجئة إلى الشبكة)

يعد المؤشر المقفل على سطح مستو ميزة شائعة الاستخدام في العديد من تطبيقات ARKit ، وخاصة في أدوات القياس مثل Air Measure و Magic Plan. نظرًا لأن هاتفك يتصرف كوحدة تحكم في AR المحمول ، فإن UX القياسية في تطبيقات القياس تتضمن سحب مؤشر على سطح لسحب خطوط أو مضلعات لقياس الأشياء في العالم الحقيقي. بطبيعة الحال ، عندما يتعلق الأمر بالرسم الخطي ، فإن المؤشرات المغناطيسية التي تستقر على نقاط النهاية وحواف الخطوط تظهر في كل مكان - من PowerPoint إلى Photoshop.

لقد وجدنا أن التغذية الراجعة الهايتية الخفية التي تشير إلى "المفاجئة" في موضع المؤشر هي تعزيز كبير. يبدو أنه يشبه هاتفك تقريبًا (أي جهاز التحكم الخاص بك) يتحرك فعليًا لالتقاط مكانه.

لقد كنت سعيدًا حقًا لرؤية تطبيق Apple الجديد "Measure" يستخدم فعليًا ردود الفعل السيئة في UX. إنه تطبيق رائع ومثير للدهشة ويمكنك رؤية GIF منه في العمل أدناه. يتم إطلاق "وسيط التأثير" عندما يستقر المؤشر على حافة الطائرة.

تطبيق قياس أبل

2. اختبار ضرب (الشعور السطوح العالم الحقيقي)

ميزة شائعة أخرى في تطبيقات ARKit هي اختبار النجاح. يتم تطبيق هذا كقوالب شعاعية من نقطة على الشاشة - إما نقطة اتصال أو الوسط - إلى سطح في الكلمة الحقيقية. يستخدم بشكل عام لإضافة كائن ثلاثي الأبعاد عند نقطة الاتصال. يمكن أن يساعد الإحساس البسيط البسيط المستخدم على فهم أن السطح قد تم "ضربه". وجدنا طريقتين تعملان بشكل جيد هنا:

تعلق
في هذا المثال ، يتم إضافة علامة إلى المشهد في نقطة الوصول. يساعد "تأثير التأثير" المستخدمين على إحساس "تثبيت" العلامة في الفضاء ثلاثي الأبعاد. بطبيعة الحال ، الجانب السلبي لذلك هو أنه لا يمكنك الشعور "بعمق" نقطة الوصول - وبعبارة أخرى ، إلى أي مدى يكون الدبوس من المستخدم.

رعي
بديل لتعليق هو طريقة الرعي لاختبار ضرب. في هذه الحالة ، تقوم علامة التحديث المستمر بمعاينة المكان الذي يمكن فيه إضافة علامة إلى مشهد ما. لقد وجدنا أن سلسلة من النبضات المفاجئة ، استنادًا إلى حجم إزاحة علامة المعاينة في كل إطار ، تعطي إحساسًا بإلغاء مؤشر على طول سطح ثلاثي الأبعاد وتتيح لك "الشعور" بسطح ثلاثي الأبعاد.

فيما يلي مثال لرمز الرعي في الوحدة:

if (distanceChange> = 0.1 && distanceChange <0.2)
{
    iOSHapticFeedback.Instance.Trigger (Impact_Light)؛
}
وإلا إذا كان (distanceChange> = 0.2 && distanceChange <0.4)
{
    iOSHapticFeedback.Instance.Trigger (Impact_Medium)؛
}
وإلا إذا (المسافةالتغيير> = 0.4)
{
    iOSHapticFeedback.Instance.Trigger (Impact_Heavy)؛
}

3. FPS بندقية الارتداد أو الانفجارات

هذا هو إلى حد بعيد المثال الأكثر متعة من ردود الفعل haptic. عند إنشاء أول شخص مطلق النار في AR ، يكون هاتفك هو الشاشة وكذلك السلاح. هناك طريقة رائعة لمحاكاة رصاصة البندقية وهي "Impact Heavy" البسيطة ، والتي تنتج عثرة واحدة أو "إخطار فشل" ، مما يخلق عثرة مزدوجة تشبه إلى حد كبير نكص بندقية. بالطبع المثال التالي هو سلاح ليزر ، ولكن ، هذا لا يقصد به أن يكون واقعياً للغاية تذكر؟

4. الاصطدام مع طرف تحكم

في تطبيقات VR ، مثل Oculus Medium أو Tilt Brush ، تعمل إحدى وحدات التحكم المحمولة كحافة فرشاة يتحرك بها المستخدم لرسم مساحة ثلاثية الأبعاد. لقد أمضيت ساعات في الرسم في Tilt Brush ، ومن الطبيعي أنني حاولت جاهدة محاكاة هذه التجربة مع ARKit.

المشكلة هي أن إنشاء تجربة رسم دقيقة على الهاتف المحمول يصبح أمرًا صعبًا للغاية. تفقد الإحساس بالعمق عندما يكون هاتفك هو كل من الشاشة ووحدة التحكم. أحد أصعب الأشياء في تطبيقات الرسم ثلاثي الأبعاد على الهاتف المحمول هو معرفة مكان رأس الفرشاة بالنسبة للكائنات ثلاثية الأبعاد الأخرى في المشهد.

ومرة أخرى ، كان haptics الجواب. لقد وجدنا أن إحدى الطرق لمنح المستخدمين شعوراً بالعمق هي تخيل أن الفرشاة هي في الواقع قصب يمكنك استخدامه لضرب كائنات ثلاثية الأبعاد موجودة بالفعل في المشهد. يتيح تقديم ملاحظات مشبوهة لإعلام المستخدمين بما إذا كان طرف الفرشاة على اتصال بأي كائنات موجودة في المشهد ، مما يتيح للمستخدمين تحديد الفرشاة بدقة في الفضاء ثلاثي الأبعاد.

استشعار الاصطدامات طرف فرشاة

5. إعادة توطين المفاجئة في تطبيقات AR الثابتة.

في Placenote ، نقوم في المقام الأول بتصميم تطبيقات Persistent AR أو AR Cloud. الوظيفة الأساسية لهذه التطبيقات هي القدرة على حفظ محتوى AR بشكل دائم في مكان مادي. يمكن للمستخدمين تحميله في نفس الموقع في كل مرة.

هذا السلوك يسمى إعادة تحديد موقع المشهد.

التعريب العض في مكانه

لإعادة تنظيم مشهد AR ، يجب على المستخدم أولاً توجيه كاميرا هاتفه إلى العالم الحقيقي ، ثم الانتظار حتى تكتشف الكاميرا موقعها.

مع Placenote ، يحدث إعادة التوطين بشكل فوري تقريبًا ولكن كل ذلك يحدث داخليًا. وبالتالي ، نحن بحاجة إلى تصميم طريقة لإخطار المستخدم بعملية تغيير موقع ناجحة. قد تكون الإشارات البصرية كافية ، كما هو موضح في GIF أعلاه. ولكن هناك إشارة أكثر دقة تتمثل في توفير "تأثير تأثير" ساذج للإشارة إلى أنك قد التقطت مكانك في العالم الحقيقي.

كيفية إضافة haptics إلى مشروع ARKit الخاص بك

إذا كنت تعمل مع تطبيق Swift for Native iOS ARKit ، فتحقق من هذا البرنامج التعليمي حول تنفيذ تعليقات عشوائية في تطبيقات Native.

إذا كنت تعمل مع Unity ، فإن الباقة المفضلة حتى الآن هي حزمة ملاحظات iOS Haptic على Unity Asset Store. إنه 5 دولارات ولكنه يستحق ذلك لأن الوظيفة المدمجة في Unity هي Handheld.Vibrate () لا تعرض وظائف iTo Taptic Engine الجديدة بالفعل!

توفر حزمة ملاحظات نظام التشغيل iOS بنظام Haptic ملاحظات بسيطة وسكريبت لإضافة جميع أنواع التعليقات السبعة إلى تطبيقك. يمكنك الحصول عليها من رابط متجر الأصول هنا:

أشياء يجب الانتباه إليها

كما هو الحال مع أي أداة تصميم ، إليك بعض الأشياء التي يجب الانتباه إليها عند دمج haptics في تطبيق AR للجوال.

يمكن استخدام haptics أكثر من الفوضى تتبع ARKit

اختبار تأثير haptics على جلسة AR الخاص بك. نظرًا لأن ARKit يعتمد على الاستشعار بالقصور الذاتي لتتبع حركة الهاتف ، فإن إضافة عدد كبير جدًا من الاهتزازات أثناء جلسة ARKit يمكن أن يؤدي إلى التعقب قليلاً.

يمكن استخدام المحملات أكثر من اللازم ارتفاع درجة حرارة الجهاز

Haptics هي ، في النهاية ، حركة جسدية لجهازك المحمول وتميل بشكل طبيعي إلى استخدام المزيد من الطاقة. استخدم هذا بشكل ضعيف لضمان عدم ارتفاع حرارة هاتفك أو نفاد طاقة البطارية بسرعة كبيرة.

قد تؤدي الكثير من ردود الفعل المشوشة إلى إرباك المستخدم وإلغاء حساسيته

هذا صحيح لأي آلية haptic. لا تبالغي. على وجه التحديد ، لا تستخدمه دون فهم واضح لسبب أهمية ردود الفعل المفاجئة للإجراء الذي يقوم به المستخدم. إن خطر الإفراط في الاستخدام هو أن المستخدم الخاص بك مرتبك به ، وبالتالي يصبح محسوسًا من ملاحظاتك.

وهذا كل شيء! آمل أن يكون هذا المقال قد أعطاك جرعة مفيدة من أفكار التصميم وأقنعك بالمغامرة في عالم haptics AR المحمول. لقد استمتعنا حقًا باستكشاف الطرق المختلفة التي يمكننا من خلالها محاكاة الأحاسيس التي تعمل باللمس في AR المحمول وإذا كان لديك أي أفكار أخرى ، فإننا نود التحدث معك حول هذا الموضوع. إذا كنت مهتمًا بتجربة أي من أمثلة التعليمات البرمجية الخاصة بنا عن haptics AR للجوال ، فأرسل لي رسالة بريد إلكتروني على neil [at] placenote.com.

إذا كنت مهتمًا بتطبيقات AR الثابتة أو ما نقوم به على Placenote ، فأرسل لنا رسالة عبر Twitter أو تحقق من Placenote.com