Co-penemu HoloLens Avi Bar-Zeev Berbagi: Jalan Menuju Kacamata AR Segala Cuaca

Jalan menuju kacamata XR segala cuaca

Selama lebih dari 30 tahun, saya telah mengerjakan XR, metaverse, dan komputasi spasial, termasuk membantu atau memberi saran pada 10 proyek headset XR yang berbeda. Saya memiliki keberuntungan besar untuk berkontribusi pada berbagai proyek sejak awal, sebagian besar dengan membuktikan atau menolak persyaratan dan menentukan pengalaman pengguna utama sebelum tim menghabiskan $1 miliar untuk membangunnya. Sepanjang jalan, saya telah belajar pelajaran tentang apa yang berhasil dan apa yang tidak. Terkadang, jawaban yang benar adalah "belum matang".

Saya tidak akan mengungkapkan informasi apa pun yang masih dianggap milik majikan saya sebelumnya. Saya akan memberikan tautan ke paten yang diterbitkan yang dapat memberi kita beberapa wawasan. Itulah tujuan paten yang sebenarnya, percaya atau tidak. Tentu saja, saya akan menghindari paten yang menurut saya akan mengundang spekulasi.

Penting untuk berhati-hati agar tidak menganggap apa pun yang saya katakan atau tulis sebagai bukti rencana produk perusahaan mana pun, atau bahkan kritik apa pun terhadap upaya siapa pun. Ini bukan niat saya sama sekali.

Sebagai latar belakang, pengalaman XR nyata pertama yang saya buat adalah CAVE. Saat itu saya meminjam $250,000 komputer dan proyektor raksasa, dan menginvestasikan $30,000 lagi untuk bahan mentah. Headset VR senilai $100,000 Disney, yang dibuat pada tahun 90-an, tidak pernah berhasil dipasarkan secara komersial. Ini membutuhkan kabel yang tergantung di langit-langit untuk menahan beban, tetapi ratusan ribu orang telah mencobanya.

Pada Januari 2010, saya berharap kami sudah siap untuk mulai mengembangkan kacamata XR konsumen yang siap pakai. Saatnya untuk membuat percikan besar di bidang yang bergerak lambat ini. Plus, Google Glass dan Magic Leap muncul pada waktu yang bersamaan. Untungnya, salah satu tugas yang kami terima di tim inkubasi Microsoft adalah menemukan ide baru untuk XBox generasi berikutnya.

"Bersikaplah agresif, bahkan membuat kami mengatakan 'ini gila,'" kata seorang eksekutif Xbox saat itu.

Saya pasti punya ide "radikal". Tim kecil kami segera mulai mengerjakan konsep produk baru "Screen Zero": mengganti semua layar dengan satu layar. Saya bertanggung jawab atas eksplorasi teknis dan membantu menentukan pengalaman di tahun formatif pertama. Alasan saya untuk pergi tidak sebanding dengan ruang dalam artikel ini. Tetapi setelah lebih dari seribu orang, HoloLens diluncurkan pada 2016.

Ini adalah peralatan yang inovatif. Tapi itu masih bukan konsumen yang bisa dipakai di segala cuaca. Tak satu pun dari Magic Leap 2 hari ini, Snap Spectacles, Varjo, atau Quest.

Lantas, apa sebenarnya yang dibutuhkan untuk mencapai kacamata AR yang bisa dipakai seharian?

1. Maximalisme dan Minimalisme

Pendekatan maksimalis, seperti yang akhirnya dilakukan HoloLens, mengacu pada konsolidasi berbagai sensor, algoritme, dan daya ke dalam sistem kelas atas. Setelah kami menyelesaikan rekayasa dan pengalaman pengguna, kami secara teoritis dapat mempersempitnya. Tapi itu membutuhkan lebih banyak waktu, dan bisa memakan waktu hingga satu dekade untuk elektronik tertentu untuk mengoptimalkan daya saja.

Cambria dan perangkat serupa sama-sama maksimal, sedemikian rupa sehingga mereka mensimulasikan AR dengan layar VR buram raksasa dan beberapa kamera, dengan kontrol piksel demi piksel yang tepat atas campuran realitas dan simulasi. Maximalism adalah yang terbaik untuk aplikasi kelas atas dan R&D inti. Beberapa berpendapat bahwa meskipun aplikasinya lebih bersifat industri, itu adalah satu-satunya alat yang berfungsi saat ini.

Namun, bahkan perangkat paling mahal di pasaran saat ini tidak dapat dipakai sepanjang hari, dan tidak dapat digunakan untuk interaksi sosial biasa atau bahkan untuk berjalan dengan aman di jalanan. Fitur maksimalis seperti tampilan holografik atau bidang cahaya belum matang.

Di sisi lain, perangkat dengan pendekatan minimalis termasuk Amazon Echo Frames, Snap Spectacles, dan Ray-Ban Stories, untuk beberapa nama. Mereka hanya mengemas teknologi yang sesuai dengan batasan faktor bentuk kacamata yang dapat dikenakan saat ini, sering kali mengabaikan tampilan sama sekali.

Namun, bisakah kacamata tanpa layar dihitung sebagai XR?

Jika itu meningkatkan perspektif situasional seseorang, saya akan mengatakan ya. Podcast atau campuran musik bukan XR karena masih tidak merasakan Anda atau lingkungan Anda saat ini. Aplikasi navigasi GPS sedikit cocok, tetapi tidak cukup. Menambahkan audio spasial dan kamera untuk AI dan penentuan posisi tepat pasti dianggap sebagai XR, bahkan tanpa tampilan.

Pendekatan minimalis dapat menjual lebih banyak produk dalam jangka pendek, dan biasanya berfokus pada aspek tertentu dan menjadikannya solusi terbaik di kelasnya. Jika Anda bisa melakukannya dengan benar, seperti Walkman dan iPhone, Anda bisa menjual miliaran dolar. Tapi jangan berpikir minimalis itu mudah, karena dalam banyak hal, sulit untuk melakukannya dengan baik.

2. Metode terbaik

Saya berharap bahwa XBox's Screen Zero adalah hibrida antara kacamata minimalis dan konsol maksimalis. Kacamata AR harus berukuran sama dengan kacamata Oakley atau lebih kecil. Tuan rumah berikutnya akan melakukan sebagian besar angkat berat hingga empat pasang kacamata di ruangan yang sama.

3. Ergonomi, konsumsi energi dan panas

Mengapa terpisah? Itu tergantung pada konsumsi energi, atau lebih tepatnya: panas.

Semua pekerjaan komputer berakhir dalam bentuk panas, dan lainnya mungkin termasuk foton dan/atau penggerak mekanis, seperti suara. Berapa banyak panas? Sepasang kacamata AR ringan dapat menghasilkan sekitar satu watt energi.

Sebuah smartphone biasa dapat menghasilkan sekitar 10 watt dan kemudian memanas. Sebuah host atau PC dapat mengkonsumsi 10-100 kali lebih banyak energi daripada ponsel cerdas, dan karenanya 100-1000 kali lebih banyak energi daripada kacamata. Pikirkan senter LED kecil dan pengering pakaian raksasa. Ini adalah perbedaan besar dalam konsumsi energi.

Untuk menyeimbangkan konsumsi energi, kami membutuhkan solusi yang serupa dengan yang saya kerjakan sejak 2010, seperti fusi data, rendering split, streaming rendering yang dioptimalkan. Untuk bandwidth yang lebih rendah, rendering warping waktu berbasis pelacakan mata bekerja dengan baik dan mencakup penundaan komunikasi.

CPU, kamera, layar, dan RAM menghabiskan banyak energi dan menghasilkan banyak panas. Jadi, rahasianya adalah menggunakannya dengan hemat dalam banyak kasus. Pikirkan perangkat keras khusus berdaya rendah: sensor kontekstual baru, tampilan berdaya sangat rendah, dan algoritme yang "membangunkan" dengan cerdik.

Ini akan membutuhkan waktu untuk diselesaikan. Misalnya, jika mouse optik dan pengontrol host Anda tidak dalam keadaan siaga, baterainya akan habis, jadi mereka memulai dengan solusi yang ditambatkan. Saat ini, mouse optik dapat bertahan beberapa bulan dengan baterai kecil.

4. Di luar ruang tamu

Untuk mendukung berbagai kasus penggunaan, sistem AR yang transparan secara optik perlu memblokir cahaya secara ideal dari lingkungan yang terang (bahkan pencahayaan jendela atau ruang tamu), mempersonalisasikan dan mencampur audio spasial dengan kenyataan dengan lebih baik, menyesuaikan fokus optik, menangkap dan mereproduksi Hologram virtual orang lain dan banyak lagi.

Sekalipun perangkat dibagi menjadi unit utama dan headset, masih terlalu banyak "barang" di kepala kita. Tantangan ergonomis yang besar adalah menyingkirkan tali pengikat raksasa yang masih digunakan sebagian besar perangkat XR yang membuat headset terlihat seperti bug yang memeluk wajah.

Segala jenis tali pengikat yang memerlukan pengencangan akan membatasi keragaman basis pengguna (mengingat variasi ukuran kepala dan kerentanan terhadap rambut yang acak-acakan), dan ini akan mengurangi kemungkinan memakai kacamata. Ini berarti bahwa peralatan segala cuaca harus super ringan dan umumnya pas dengan kacamata biasa.

Mendapatkan ukuran kacamata Oakley atau lebih kecil sering kali berarti memindahkan lebih banyak sistem ke dalam klip atau remote. Magic Leap menawarkan klip seperti itu. Saya perhatikan perangkat XR menggunakan pengaturan neckband, yang berarti menggantungkan komponen komputasi di leher konsumen. Dengan desain split ini, semakin banyak pekerjaan terpisah yang dilakukan, semakin ringan susunan mata/kepalanya.

Pada tahun 2010, saya pribadi lebih tertarik pada bisep karena itu adalah titik jangkar dan garis pendek jika diperlukan. Ini menjauhkan komponen yang lebih berat dan lebih panas dari kepala dan leher dan memiliki banyak area permukaan untuk menghilangkan panas. Biosensor yang terletak di lengan juga dapat mendeteksi gerakan, mirip dengan cara Meta menggunakan perangkat Control plus Labs untuk membaca gerakan dari pergelangan tangan. Dengan cara ini, desainer produk masih bisa mengatakan "tidak ada kabel".

5. Fokus

Karena sejumlah besar orang dewasa perlu mengoreksi penglihatan dekat dan jauh, faktor bentuk yang dapat dipakai sepanjang hari sering kali perlu memperbesar dan memfokuskan dunia nyata untuk kita. Minimal, ini berarti bahwa lensa harus mendukung optik parameter penglihatan khusus. Perusahaan pemandu gelombang yang diakuisisi Snap sebelumnya mengumumkan rencana untuk menyematkan optik terkait ke dalam lensa penglihatan fungsional, tetapi itu sulit.

Tetapi apakah satu parameter visi cukup? Banyak orang dewasa hanya membutuhkan kacamata untuk membaca atau mengemudi (rabun jauh), yang berarti mereka membutuhkan kacamata untuk dapat beralih ke keadaan yang berbeda. Jadi, apakah kita membutuhkan dua atau tiga pasang kacamata mahal? Atau bifokal, trifokal, yang membelokkan cahaya sesuai dengan di mana Anda melihat? (Praktis, tetapi tidak ideal)

Salah satu solusi yang saya dorong adalah penyesuaian optik dinamis, memungkinkan sepasang kacamata yang sama untuk mendukung membaca atau mengemudi, dan bahkan memperbesar cetakan halus dan tanda-tanda jauh. Ini juga memungkinkan lebih banyak teman untuk mencobanya dengan mudah. Bayangkan jika Xbox Anda hanya mendukung permainan pemain tunggal dan Anda memiliki dua atau tiga teman di dalam ruangan? Jenis gelandangan.

Metode pemfokusan dinamis terbaik saat ini termasuk Alvarez (slide mekanis) dan lensa yang dapat disesuaikan berisi cairan. Solusi mekanis cenderung mengurangi keandalan. Ada cukup banyak R&D untuk menumpuk LCD khusus dan mengubah fokus secara elektronik. Mega mengakuisisi sebuah perusahaan untuk mengambil tugas itu.

Lalu ada masalah memfokuskan gambar virtual berdasarkan garis pandang saat ini. Avegant dan Magic Leap menunjukkan kepada kita cara cepat beralih di antara dua panjang fokus, mensimulasikan tampilan bidang cahaya sederhana, yang penting untuk menavigasi "objek virtual" pada panjang fokus yang tepat dalam rentang sayap. Saya telah mencari beberapa cara untuk terus memindai panjang fokus sebelumnya, tetapi monitor komersial tidak cukup cepat dalam praktiknya.

Melacak mata Anda dapat membantu pemrosesan, mengurangi beban komputasi, dan memberikan input pengguna yang lebih alami. Saya sangat akrab dengan masalah pelacakan mata dan mengingatkan pengambil keputusan akan risikonya sejak dini.

Terakhir, dari sisi bisnis, Luxottica menghasilkan banyak uang dengan menjual kacamata murah dan mahal. Ini mendominasi pasar saat ini, dan sebagian besar merek kacamata Anda tahu. Perusahaan kacamata XR harus bekerja dengan mereka atau melawan mereka, keduanya bukanlah pilihan yang mudah. Meta memilih untuk bekerja dengan mereka untuk mengembangkan kacamata Ray-Ban. Pesaing perusahaan termasuk Warby Parke dan pemain kecil lainnya. Anda tidak dapat menjual produk baru yang bagus tanpa saluran distribusi dan mitra yang baik.

6. Kontras

Magic Leap 2 menawarkan cara untuk mengaburkan dunia alami secara selektif. Saya telah mengerjakan masalah ini sejak 2010, tetapi masih belum ada solusi sempurna. Serangkaian insinyur optik tidak menganggapnya perlu. Alasannya adalah sebagai berikut:

Secara umum dipahami mengapa tampilan "aditif" transparan tidak dapat membuat "hitam". RGB{{0}},0,0 untuk hitam, yang sebenarnya tidak menambahkan apa pun dan tidak terlihat dalam cahaya yang ada. Namun, kami dapat dengan mudah mengelabui Anda untuk memahami warna hitam dan bayangan dengan mendekati area yang lebih terang.

Masalah yang sangat sulit muncul ketika Anda membawa kacamata XR Anda di luar ruangan dan melihat ke dinding yang diterangi oleh sinar matahari yang cerah, mungkin di dekat area yang gelap atau teduh. Area tertentu mungkin 1000 hingga 10000 kali lebih terang daripada yang lain. Kontrasnya begitu terasa di dalam ruangan sehingga visual AR terlihat sangat menakutkan. Insinyur optik sering berpendapat bahwa untuk mengatasi ini, Anda perlu mengeluarkan lebih banyak cahaya. Optik mereka biasanya hanya 1 persen -10 persen efisien, yang berarti sebagian besar cahaya bahkan tidak masuk ke mata Anda dan hanya menambah lebih banyak panas. Ingatlah bahwa Anda tidak bisa hanya merancang sistem di sekitar optik karena panas adalah salah satu faktor pembatas terbesar.

Kenyataannya adalah bahwa setiap kacamata transparan AR atau video tembus pandang perlu mempertimbangkan pemandangan nyata saat membuat peningkatan visual. Dalam hal transparansi, kacamata sering kali perlu dikurangi dari pencahayaan nyata untuk mendapatkan warna akhir yang diinginkan. Dalam hal perspektif video, tampilan dapat menggantikan seluruh piksel, tetapi transparansi apa pun dalam adegan 3D virtual masih perlu dicampur dengan warna latar belakang yang dibaca dari kamera. Jadi yang Anda lihat pada dasarnya adalah kamera dan sirkuit berenergi tinggi yang transparan atau buram. Ini adalah kendala desain yang besar karena menambah energi dan berat sambil menghalangi mata.

Di permukaan, naungan selektif dengan kacamata bening lebih murah daripada menambahkan daya ke tampilan atau menambahkan kamera. Pada tahun 2010, saya menempatkan LCD monokrom sederhana di depan pandu gelombang. Ini berfungsi seperti yang diharapkan, merender objek padat 3D dengan garis hitam lembut. Tetapi memiliki kekurangan, termasuk kebutuhan untuk kalibrasi dinamis, LCD mendistorsi cahaya nyata (terutama pembiasan kabel kontrol). Ini memiliki rentang dinamis yang buruk sendiri. Di luar ruangan, terkadang Anda membutuhkan opacity mendekati 100 persen. Di dalam ruangan, terutama dalam situasi sosial dan telepresence, Anda ingin lebih transparan melihat orang secara langsung di mata.

Keberatan utama dari pendekatan ini adalah bahwa LCD atau modulator cahaya spasial lainnya sering tidak fokus, satu inci dari mata. Namun distorsinya sedemikian rupa sehingga dengan tampilan AR transparan plus dan minus yang tepat dan beberapa sensor berdaya rendah yang cepat, kacamata hitam Anda dapat menghalangi sinar matahari, silau, atau lampu depan tanpa meredupkan penglihatan Anda di tempat lain. Anda dapat menggelapkan dunia secara halus dan membuat buku yang direkomendasikan terlihat berkilau. Dengan pengurangan (pemfilteran) yang lebih canggih, kacamata bahkan dapat mewarnai ulang dunia, meningkatkan penglihatan malam, dan bahkan memberikan umpan balik biometrik saat Anda merasa gelisah atau terganggu.

Saya membuat berbagai hal demo dan menghabiskan waktu lama mencari cara yang lebih baik. Tetapi mereka semua memiliki kekurangan tertentu. Namun, penerapan Magic Leap 2 memberi saya harapan bahwa masalah inti akan teratasi.

7. Jaringan

Radio juga membutuhkan energi, jadi selalu ada tradeoff dalam sistem split. Masa depan yang paling menjanjikan terletak pada penggunaan frekuensi radio kelas atas untuk mencapai daya yang lebih rendah dan bandwidth yang lebih tinggi daripada saat ini. Tetapi tantangan utamanya adalah bahwa frekuensi ini tidak dapat menembus kulit atau dinding (baik atau buruk). Jadi, solusinya harus sangat cerdas, karena gelombang radio memantul dan menyinari ruangan dan orang, sehingga lebih banyak pemancar mungkin perlu digunakan daripada yang ada saat ini. Jelas, ini menambah biaya dan kerumitan.

Untuk perangkat yang dapat dikenakan sepanjang hari, jaringan juga harus tersedia sebelum menjual produk yang mengandalkannya. Keterbatasan ini adalah alasan terbesar mengapa bisnis tidak pernah merilis solusi rendering terpisah yang saya anjurkan. 5G lebih dekat dengan apa yang kita butuhkan, tetapi setidaknya di AS, ini sebagian besar memecahkan masalah latensi yang lebih rendah dan lebih banyak orang yang menggunakan jaringan secara bersamaan. Kami membutuhkan lebih dari 5G, tapi ini awal yang baik.

Untuk menyingkirkan "host" asli (atau serupa) di dalam ruangan, sambil mempertahankan faktor bentuk yang kecil dan ringan, kita memerlukan cara untuk "mengembangkan" komputasi, dikombinasikan dengan cara yang tidak mengganggu privasi kita. Mengirim data sensor biometrik mereka ke solusi edge atau cloud mana pun sangat memprihatinkan bagi siapa saja karena dapat dengan mudah disalahgunakan.

8. Kamera

Menempatkan kamera ke kacamata adalah hal yang rumit. Google Glass telah membuat banyak kesalahan dalam penerimaan sosial dan telah diserang secara luas. Tapi Snap tampaknya memiliki sedikit masalah dalam hal itu. Pada saat yang sama, Facebook telah bekerja untuk menangkap detail kehidupan setiap orang, mungkin untuk memberikan lebih banyak iklan yang dipersonalisasi, suka atau tidak suka.

Kamera tertentu membutuhkan banyak energi, seperti digitalisasi adegan 3D, dan oklusi digital orang atau objek. Untuk menempatkan grafik 3D dengan benar, Anda harus terus melacak kepala di ruang angkasa, dan kamera masih menjadi solusi terdepan. Dengan memanfaatkan sensor IMU, kami meningkatkan konsumsi energi.

Mengambil foto atau video adalah kasus penggunaan yang cukup populer, terutama jika lebih alami dan nyaman daripada perangkat lain. Namun, karena keterbatasan ukuran dan daya, kualitas foto akan lebih rendah daripada smartphone biasa. Memberikan cahaya putih kecil dalam bingkai tidak cukup untuk memecahkan masalah kompleks persetujuan sosial.

Pemahaman pemandangan lebih mudah dibayangkan sebagai fitur utama kacamata kamera, sebagian karena tidak harus memotret orang lain, tetapi yang lebih penting membuka kasus penggunaan baru yang paling penting untuk memakai kacamata sepanjang hari: pemahaman situasional.

9. Pengalaman

Pada tahun 2010, R&D yang paling saya harapkan untuk dikembangkan adalah kacamata AR yang mendukung kemampuan pelacakan mata dan pelacakan tubuh yang kuat, dan mengeksplorasi antarmuka pengguna komputasi spasial yang lebih alami di luar "persegi panjang dalam persegi panjang" tradisional PC dan mouse. Sementara perangkat keras tentu memiliki keterbatasan, adopsi XR yang meluas membutuhkan seseorang untuk menjawab pertanyaan pengalaman tentang "bagaimana" berinteraksi di masa depan? "Kotak 3D dalam kotak" jelas tidak. Jadi kami masih memiliki banyak pekerjaan yang harus dilakukan.

Sementara Meta memfokuskan upaya VR mereka untuk lulus apa yang disebut "Tes Turing Visual", kacamata XR yang dapat dipakai sepanjang hari harus lebih berguna daripada yang lain. Banyak yang membayangkan lapisan atau saluran AR menembus realitas kita, menandai semua yang kita lihat, menambahkan informasi, menceritakan kisah spasial dalam 3D, dan menggambar ulang dunia. Meskipun ini mungkin sesuai permintaan, itu bukan pengalaman sehari-hari yang saya harapkan.

Sering kali, orang ingin meningkatkan apa yang sering mereka lakukan: berkomunikasi, menavigasi, menemukan dunia di sekitar kita, memahami dan bahkan mengubah tempat, berbelanja, menikmati konten, dan menghasilkan uang dari pekerjaan. Agar sukses, kacamata XR harus bekerja lebih baik daripada yang kita lakukan dengan smartphone atau perangkat lain.

Inilah yang tidak bisa dilakukan oleh smartphone. Bayangkan sepasang kacamata yang tampak normal yang secara dinamis menyesuaikan fokus dan secara selektif memblokir cahaya. Mereka dapat berbicara dengan Anda secara proaktif dan pribadi, tanpa Anda harus mengetik teks atau bertanya secara lisan. Itu saja akan menjadi produk bernilai miliaran dolar. Kacamata semacam itu dapat membantu Anda mengingat sesuatu atau memberikan rekomendasi yang dapat dipercaya sebagai bagian dari pengalaman sehari-hari Anda (vs iklan push).

Penelitian paling penting yang telah saya lakukan di bidang ini adalah komunikasi asinkron menggunakan kacamata XR non-visual. Kemampuan suara dan teks smartphone sudah cukup baik hari ini, tetapi apakah mereka tahu ketika Anda kesulitan untuk fokus? Bisakah mereka membantu Anda mengganti konteks pada waktu yang tepat agar pekerjaan atau permainan tetap mengalir? Begini cara di mana kacamata bisa bersinar (dengan asumsi kita bisa mempercayai pabrikannya).

Semua yang saya jelaskan sangat sulit, dan teknologi yang relevan hampir tidak ada. Memang belum di trek minimalis, tapi itu karena kami belum memprioritaskannya di atas miniaturisasi optik dan maksimalisasi bidang pandang. Tetapi jika Anda bertanya: Kacamata XR jenis apa yang bisa berhasil di mana orang lain tidak? Saya masih berpikir semua yang saya sebutkan di atas akan membantu Anda membangun produk yang hebat.