Haptic teknolojisi: Video oyunları, giyilebilir cihazlar, sanal gerçeklik ve mobil elektronik cihazlarda bir sonraki sınır

Anonim

Haptic teknolojisi: Video oyunları, giyilebilir cihazlar, sanal gerçeklik ve mobil elektronik cihazlarda bir sonraki sınır

VRFeature

Richard Moss

16 Ocak 2015

15 fotoğraf

İnsan-bilgisayar etkileşimindeki bir sonraki sınır, sanal ve dijital dünyayı sanki gerçek ve somut gibi hissettirmekle ilgili olacaktır (Fotoğraf: David Brohede)

Dokunsal geribildirim yeni bir şey değildir. Telekomünikasyonda ve yıllardır eğlence amaçlı kullanıldı ve 1990'ların sonlarında cep telefonlarında ve video oyunlarında standart bir özellik haline geldi - titreşimlerin sizi yeni mesajlarla uyandırdığı veya size uyguladığı güçleri "hissetme" konusunda yardımcı olduğu senin avatarın. Haptic teknolojisi, infiltre olduğu alanlarda çok az oyuncu oldu ve şimdi sadece görsel-işitsel teknolojinin yanı sıra insan-bilgisayar etkileşiminde önemli bir unsur olarak yerini almaya başladığını görüyoruz.

Yaklaşan Apple Watch gibi akıllı saatler, size adım adım yol tarifleri vermek için haptikleri kucaklıyor. Bu arada araştırmacılar, daha fazla güvenlik sağlamak için otomobillerin direksiyon simidine yerleştirilmiş dokunsal ipuçlarını ve daha doğal duygu etkileşimleri için dokunmatik ekranlara ve genel haritalara yerleştirilmiş dokunsal geri bildirimlerle deney yapıyorlar.

Haptics sağır insanlara internette gezinmek (Mors Kodu sayesinde) veya hatta video oyunları oynamak için bile olanak tanır. Oyun alanında, sanal gerçekliğin yükselişi ve oyuncuların sanal ortamlarını gördükleri ve duydukları gibi içten içe hissetme isteği sayesinde haptikler hızla büyüyen bir alandır. Haptic teknolojisi aynı zamanda yeni nesil cerrahları eğitmeye ve endüstriyel sektörde pilotlar ve büyük makine operatörleri için simülasyonları geliştirmeye yardımcı oluyor.

Temeller

Bunlardan herhangi birine girmeden önce, bir an önce geri dönüp haptik teknolojinin ne olduğuna bakalım. Çoğu durumda elektrik, hidrolik veya pnömatik enerjiyi titreşimlere dönüştürmek için aktüatör adı verilen bir tür motor kullanır, bu da süreyi, sıklığı ve genliği belirleyen yazılım tarafından yönetilip kontrol edilebilir.

Nintendo 64 rumble paketi, bir denetleyici oyun geliştirmede titreşim fikrine kitlesel bir oyun izleyicisini tanıttı (Fotoğraf: Evan-Amos)

Akıllı telefonlar, genellikle mesajlar yazarken veya dokunmatik ekranlarında numara çevirirken dikkat çeken geri bildirimlerin yanı sıra uyarılar ve bildirimler için de haptik teknolojisini kullanır. Video oyun denetleyicileri, neredeyse 20 yıl önce Nintendo 64 sarsıntı paketi ve PlayStation DualShock oyun konsolu ile neredeyse 20 yıl önce yaptıkları gibi, haptikleri kullanıyorlar - bir manivela vermek, kontrolöre kavuşan ellerinizle, bir patlamaya veya çarpmaya veya pürüzlü bir yüzeye çıkmak sen sürüyorsun.

Ama haptiklerin bir Xbox veya PlayStation kontrolörü tarafından sunulan geri bildirimlerin daha düşük çözünürlüklerinde yapabileceği çok daha fazla şey var (ki bu da iki aktüatörün her biri için dimmer kontrolleri olan bir açma / kapama anahtarından biraz daha fazlasıdır) ve En son haptik teknolojisinin sağlayabileceği yüksek çözünürlükler (bu, yüzeyde ne kadar sert baskı yaptığınıza göre, özel koordinatlara ve hatta en üst düzeyde bile geri bildirim yapılmasına olanak tanır).

Haptikler, dijital dünya ile olan etkileşimlerimizde bir sonraki büyük şey olarak belirlendi. Surround ses efektlerini kulaklıklara takabilir ve akıllı telefonlarımızla yüksek doğrulukta ses kaydı yapabiliriz ve ekranda görünen her şeye dokunabilir ve sıkışabilir ve yakınlaştırabiliriz. Ama her şey düz ve cansız hissettiriyor, çünkü bunu yapmak için çok az çaba harcıyoruz. İnsan vücudu, dokuları, titreşimleri ve pokları ve reseptörleri somatosensoriyel sistemimize dahil eden diğer tüm dış kuvvetleri tanımak ve bunlara cevap vermek için oldukça gelişmiş bir kapasiteye sahiptir.

Tüketici teknolojisinde dokunsal geri bildirimin geliştirilmesi, fiziksel ve maddi olan ve dijital ve sanal olan her şey arasındaki uçurumu köprüleme girişimlerimizi daha da ileriye götürecek olmamız açısından çok önemli olacaktır. Olasılık alanını keşfetmeye çalışanlar arasında İsveç'teki Linköping Üniversitesi'nde bilişsel bir bilim adamı ve oyun tasarımcısı olan Mathias Nordvall yer alıyor.

Sightlence ve haptik Pong

"Bugün bir çok kültür vizyona dayalı veya ses tabanlı, " diyor Nordvall. “Konsere gidiyorsun ya da radyoyu dinliyorsun ya da sinemaya gidiyorsun.” Ve eğer bu hislerden yoksun kalırsan, diğerini telafi edersin. Web'de gezinmek gibi görsel arayüzler, görme engelli kişilere bir sayfada bulunan metni okuyan ekran okuyucuları aracılığıyla sunulurken, TV şovları ve filmler işitme engelliler için kapalı altyazılarla izlenebilir.

Bir gün Nordvall şaşkın: "Onlardan birine erişiminiz yoksa ne olur? ". İnsanları sağır edememek (az gören, hiç görüşmeyen, az veya hiç duymayan) modern dünyayla nasıl etkileşim kurabilir? Sağır körü spektrumunun daha uzak ucundakilerin çoğu, televizyon, internet veya video oyunlarından hiç zevk almamıştı. Yani Nordvall, bir video oyununun 'tamamen ve sadece ' haptik teknolojiye dayanarak yapılabileceğini görmek için yola çıktı - grafik ya da ses kullanmadan yapılan bir oyun.

Sadece düşük maliyetli, hazır tüketici teknolojisini kullanarak ucuza yapmaya çalıştı ve Xbox 360 kontrolörlerine, içinde iki motor bulunan hızlı bir şekilde yerleşti (ve Nordvall, neredeyse aynı olan iç çalışmalara dikkat çekti). İkinci bir aktüatörün eklenmesi hariç, Nintendo 64 yuvarlanma paketi on yıl önce piyasaya sürüldü. Ve bazı düşüncelerden sonra varolan bir oyunu Pong'a çevirmeye karar verdi, çünkü bu oyun oynamak için herhangi bir zorluğun, oyunun kuralındaki değil, kullanıcı arayüzündeki hatalardan kaynaklandığından emin olabilirdi.

Sonuç hiç Pong gibi ya da en azından ilk başta hissetmiyor. Oyuncular bir Xbox 360 kontrol cihazını ellerinde tutarlar, paddle 'ın hareketi joysticklerden biriyle eşleştirilir, ve kucağında veya vücudunda başka bir yere ikinci bir yer verirler. Kontrolörlerin her birinde titreşimler, topun aşağıdaki kurallara göre nerede olduğunu gösterir:

  • Topunuzdaki raket, eğer top kürenin üzerindeyse, topun altındaysa güçlü bir titreşim varsa ve aynı yükseklikte ise titreşim olmazsa, zayıf bir titreşime sahip olacaktır.
  • Kucağınızdaki gamepad, top kürek kemiğine doğru ilerledikçe ve hareket ettikçe yavaşlaştıkça, daha hızlı titreşir.
  • Bir veya diğer gamepad, topun zıplattığı şeye bağlı olarak, duvarlar veya kürekler ile darbeyi vurgular.

İlk kez görsel ve ses yardımcıları ile başladığımız ve daha sonra yavaş yavaş sadece haptik oyunumuza yöneldiğimiz gibi, oyunun asılmasını sağlamak benim kız arkadaşım ve ben yaklaşık yarım saat sürdü. Nordvall, standart hakkında diyor. "İnsanları her ne zaman test edersek, başlangıçta çok zordur " diyor Gizmag. "Ama 20-25 dakika sonra başınıza bir şey tıklıyoruz ve siz de farketmeye başlıyorsunuz 'Oh bekle, bu sinyal aslında benimle aynı şey değil, aynı zamanda hissettiğim de. ' Bunları kızdırmaya başlayabilir.

Onun saf haliyle, haptik Pong görsel ya da işitsel yardımcıları ve tamamen boş ama skor için bir ekran (Resim: Mathias Nordvall)

Nordvall, darbeleri bir dile benzetiyor. “Bu atımların, kendinize doğru gelen bir raket ya da bir toptan sıçrayan bir topun çok az yazışmasına sahip olduğunu hissedeceksiniz” diyor. "Bu anlamda, semantik bir dil hakkında daha fazla, burada topun size doğru geldiği anlamına gelen keyfi bir sinyal. . Ama sen bir parça kağıda yazarsın ve onu anlayabilecek birine gösterirsin. "

Video oyun denetleyicileri, oyunların 30 yılı aşkın bir süredir geliştirdiği bir oyun ve etkileşim diliyle ilişkili olarak gelir ve bu süre zarfında oyun oynamış olan insanlar dili kolayca öğrenebilirler. Ama haptik arayüzler henüz herhangi bir standart arayüze sahip değildir ve bir tane oluşturma fikri ile çok fazla deney yapılmamıştır. Sightlence girin.

Sightlence'nin beta sürümünden bir ekran görüntüsü, herhangi bir cihaz için uygulamalarda ve oyunlarda kullanılmak üzere haptik sinyallerin kolayca oluşturulmasını sağlayan basit bir haptik düzenleyici (Resim: Mathias Nordvall)

Haptic Pong oyununun bir uzantısı olarak Nordvall ve meslektaşları, yakında kullanıma hazır olacak ve herkesin oyun ve diğer yazılımlar için haptik çıkış sinyalleri tasarlamasını kolaylaştıracak bir haptik editör olan Sightlence'yi kurdu. Nordvall, müziği değil, haptikleri için oluşturduğu dijital ses iş istasyonuna benzetiyor. Tek tek sinyaller için kutular ve "örnekler " oluşturabilir veya içe aktarabilir, sonra karıştırabilir ve eşleştirebilirsiniz. Daha sonra, sinyalin nereye gittiğini seçersiniz - bir Xbox gamepad veya bir Android veya iOS cihazı veya belki de özel bir cihaz kendini sen inşa ettin. Editör eklentiye dayalıdır, bu yüzden bir cihaz için kutudan çıkarılmış destek olmasa bile, yeni bir eklenti sürücüsü yazabilir ve araçlara atlayabilirsiniz.

Buradaki düşünce, Sightlence'nin geliştiricilere, haptik arayüzler için bir tür iskele kurması için araçlar sunmasıdır. "Biz haptik arayüzleri hiç kullanmıyoruz " diye açıklıyor Nordvall. "Özellikle sadece haptikler yoluyla aktarılan ve başka hiçbir şeyden yoksun bilgi için değil. "

Haptik büyüme

Nordvall'ın haptik editörü, yeni dokunsal deneyimlerin (haptik "diller ") gelişimini başlatabilir - şu anda üç ayrı cephede ilgi çeken büyük bir artış var: sanal gerçeklik, giyilebilir bilgi işlem ve dokunmatik ekran teknolojisi.

Oculus Rift, toplam VR daldırma için bir altın acele parçası olarak haptiklerde araştırma ve geliştirmeye yardımcı oluyor

Görme, sanal gerçeklikte, simulasyona daha çok yönelmiş olan ve gerçekte kaydedilen gerçek dünya güçlerinin haptik sinyallere doğrudan dönüşümünden yararlanabilecek sanal gerçeklikte pek yardımcı olamaz. Ancak, giyilebilir cihazlar ve dokunmatik ekranların, teknolojinin kullanımında daha soyut olması ve sinyallere dokunmanıza veya çizmenize ve bunları yüreğinizin içeriğine göre düzeltmenize izin veren bir haptik editöre çok uygun görünmesi gerekir.

Apple, yaklaşan Saatini, bileğinizde dokunma hissi veren bir Taptik Motor ile birlikte geliyor. Bu, "her bir etkileşim türü için fark edilebilir bir şekilde farklı." Belgelere göre, kullanıcıların birbirlerine göre kalp atışlarını göndermelerine izin veriyor. Kalp atış hızı sensörü ve belki de diğer özelleştirilmiş haptik ipuçları. Seyir halindeyken saatiniz de doğru yönde sizi yönlendirecektir. Diğer akıllı saatler ve onların uygulama dizileri de benzer şeyler deniyor ve yeni türden giyilebilir cihazlar ortaya çıktıkça, haptiklerin yanımızda taşıdığımız teknolojiyle nasıl etkileşimde bulunduğunun önemli bir rol oynadığını görüyoruz.

Özellikle şimdi bu ekranlar, gelişmiş haptik teknolojisini kazanıyor. Önceden ayarlanmış dokunsal piksellere itme sıvısını içeren akıllı teknikler, fiziksel tuşlara basmanın hissini sağlayabilir. Fujitsu, geçtiğimiz yıl daha da uzaklaşan, kullanıcılara farklı frekans ve genişliklerde ultrasonik titreşimlerle parmaklarının altında bir doku hissi veren haptik gelişmiş tabletler için prototipler gösterdi.

Sanal gerçeklik alanında, haptik teknoloji Oculus Rift ve Sony 'nin Project Morpheus'unu ana akımına iten eksik bir bulmaca parçası olabilir. Sorun şu ki, sanal gerçeklik artık fiziksel olarak sanal uzaydaki gibi hissediyor olmanız ve bu kadar gerçekçi sesler duyuyorsunuz ve bu, bir şeylere dokunmak ve size dokunan şeyleri hissetmek istediğiniz anlamına geliyor. Ama haptikler (ya da bir sürü sahne ve dikkatli planlama) olmadan, bunların ikisi de mümkün değildir.

Bu yüzden bu alanda bir silah yarışı var. Kontrol VR ve PrioVR, diğerlerinin yanı sıra, ellerinizde ve parmaklarınızda veya tüm vücudunuzda gerçek zamanlı olarak izlenir ve haptik geri bildirimler çoğu zaman yavaş yavaş incelenir.

Diğerleri hareket izleme konusunda endişelenmiyor ve sadece haptiğe odaklanıyor. KOR-FX, göğsünüzdeki her bir sanal etkinin - büyük ya da küçük - hissetmenizi sağlar, çünkü patlamalar sizin tarafınızdan uçurulur, motorlar derinizin altında rumele olur ve aracınızın ya da uzay aracınızın gerçek g-gücüne benzer bir şey hissedersiniz. dönüm.

Diğerleri ise, Striker Virtual Recoil tüfeği veya Tactical Haptics Reaktif Kavrama cihazı gibi yerleşik haptik geribildirimle hareketli izler sunuyor.

Immerz 'ın KOR-FX haptik yelek oyunları ve filmleri, özellikle bir sanal gerçeklik kulaklığı ile birleştiğinde çok daha büyük bir yumruk verir.

Ve bu, endüstriyel, tıbbi ve askeri simülasyonlarda kullanılan yüksek maliyetli, özel tasarlanmış haptik araçlara bile girmeden. Cerrahlar, 3D gözlükler ve haptik aletler ile uzaktan ameliyat yapmakta ya da uzaktan cerrahiyi gerçekleştirmekte, askerler KOR-FX'den farklı olarak gerçekçi geri tepme ve yelekler kullanarak sahte silahlar kullanarak bir savaş tadı alırken, pilotlar ve madencilik makine teknisyenleri de eğitim programlarından dokunarak geri bildirim almaktadırlar.

Canlı bir gelecek

Dokunsal teknolojinin bu uygulamalarının tümünde, Nordvall, bir otomobilin içine girdiğinde sanal bir klavyeye ya da sanal bir klavyeye çarptığında sanal bir klavyede ya da titreşimde ince titreşimler gibi daha gerçekçi ya da tatmin edici hissettirmek için bir dokunmayla ilgili geribildirimin kullanılmasının anahtarı olduğunu ileri sürüyor. duvar) veya arayüzün elemanlarını tamamen bilgi haptiklerinin sağlayacağı şekilde değiştirmek yerine, ses görüntüsü veya görsel olarak ekranda görünmez.

Bir video oyununda, örneğin, "kuzeyde hangi yönde olduğunu söyleyen bir titreşim olabilir, böylece her zaman bir mini haritaya bakmak zorunda kalmazsınız" diyor Nordvall. Her iki yöntem de tam olarak araştırılmamıştır ve ikincisi özellikle dikkat için olgunlaşmıştır. Sadece haptiklerle, Nordvall'la mümkün olan deneyimleri yaşayabilir veya Pong oyunu gibi varolanları yeniden keşfedebilir veya belki de bir labirentte gezinebilirsiniz.

Hem yeni hem de dokunsal geribildirim biçimleri üreten (geçtiğimiz ay Gizmag'ın görülebilen ve hissedilen holografik nesneler hakkında raporlar) ve daha sofistike dokunsal görüntüler ve 3D haritalar üreterek, haptiklerin geleceği sadece hayal gücümüzle sınırlı görünüyor. Teknoloji hızla olgunlaşıyor ve geliştirici ilgisine değer bir ölçekte kitle pazarına giriyor. Şimdi onu uygulayan arayüzlerin yetişmesi gerekiyor.

İnsan-bilgisayar etkileşimindeki bir sonraki sınır, sanal ve dijital dünyayı sanki gerçek ve somut gibi hissettirmekle ilgili olacaktır (Fotoğraf: David Brohede)

Sightlence'nin beta sürümünden bir ekran görüntüsü, herhangi bir cihaz için uygulamalarda ve oyunlarda kullanılmak üzere haptik sinyallerin kolayca oluşturulmasını sağlayan basit bir haptik düzenleyici (Resim: Mathias Nordvall)

Mathias Nordvall, Oyun Geliştiricileri Konferansı 2012 Deneysel Oyun Atölyesi'nde haptik Pong oyununun ilk versiyonunu göstermeye hazırlanıyor (Fotoğraf: Rami İsmail)

Nordvall tarafından 2013 Oyun Geliştiricileri Konferansı'nda sunulduğu şekliyle haptik Pong'un teorisi ve tasarım akışı (Resim: Mathias Nordvall)

Haptik Pong oyunu, hem kürekler hem de topu gösteren tam grafiklerle oynanabilir (Resim: Mathias Nordvall)

... ya da iki kürekle birlikte görünmez bir top (Resim: Mathias Nordvall)

Onun saf haliyle, haptik Pong görsel ya da işitsel yardımcıları ve tamamen boş ama skor için bir ekran (Resim: Mathias Nordvall)

İki kişi haptik Pong oynar (Fotoğraf: Xavier V Stamps-Lafont)

Sightlence ortak yaratıcısı Mathias Nordvall (Fotoğraf: David Brohede)

Sightlence haptik Pong oyunu, görkemli oyuncuların alışılmadık tasarım modalitesine uyum sağlamasına yardımcı olacak görsel-işitsel öğreticiler içerir (Resim: Mathias Nordvall)

Yaklaşan Apple Watch, içeriğe bağlı olarak farklı türlerde ve farklı yerlerde dokunsal duyumlar sağlamaya söz veren doğrusal bir aktüatör içerir.

Immerz 'ın KOR-FX haptik yelek oyunları ve filmleri, özellikle bir sanal gerçeklik kulaklığı ile birleştiğinde çok daha büyük bir yumruk verir.

Oculus Rift, toplam VR daldırma için bir altın acele parçası olarak haptiklerde araştırma ve geliştirmeye yardımcı oluyor

Fujitsu'nun prototip haptik duyusal tabletleri, dokulu bir yüzeyin yanılsamasını yaratmak için ultrason kullanır.

Nintendo 64 rumble paketi, bir denetleyici oyun geliştirmede titreşim fikrine kitlesel bir oyun izleyicisini tanıttı (Fotoğraf: Evan-Amos)