Masa Depan Mixed Reality: Menggabungkan Dunia Virtual dan Nyata

Pada Microsoft Ignite 2023, kami mengumumkan Copilot di Microsoft Dynamics 365 Guides, yang menggabungkan kekuatan AI generatif dengan realitas campuran untuk membantu pekerja garis depan menyelesaikan tugas kompleks dan mengatasi masalah lebih cepat dengan gangguan minimal terhadap alur kerja.

Copilot di Dynamics 365 Guides membantu pekerja di lingkungan industri yang berhadapan dengan peralatan dan proses yang kompleks. Teknisi baru perlu cepat beradaptasi sambil mempelajari cara mengoperasikan dan merawat peralatan tersebut. Ketika peralatan berhenti berfungsi, pekerja harus segera mendiagnosis masalah, melakukan perbaikan, dan mendokumentasikan pekerjaan mereka. Alih-alih harus mencari informasi dari banyak dokumen digital atau manual kertas, Copilot memungkinkan pekerja meminta informasi yang relevan menggunakan bahasa alami dan gerakan manusia, seperti melihat dan menunjuk. Copilot menggunakan AI generatif untuk mencari informasi dari dokumentasi teknis, catatan servis, materi pelatihan, dan sumber data lain yang dikurasi pelanggan. Copilot kemudian merangkum informasi tersebut untuk memberikan panduan interaktif melalui konten dan hologram yang ditampilkan di atas peralatan saat digunakan atau dirawat.

Realitas campuran bersama AI menghadirkan antarmuka yang berpusat pada manusia yang berpotensi mengubah operasi dunia nyata. Kini, Copilot dapat membantu pekerja industri secara real-time melalui suara dan hologram.

Kemampuan Copilot di Dynamics 365 Guides

Berikut beberapa kemampuan yang direncanakan:

1. Panduan dengan Menunjuk dan Bertanya (Point and Ask Guidance)
Manusia secara alami belajar melalui interaksi langsung dengan lingkungan dan bertanya saat bekerja. Copilot memanfaatkan cara ini untuk membantu pekerja memahami lingkungan mereka. Pekerja dapat menunjuk komponen dan bertanya, seperti “Berapa batas torsi untuk baut ini?” atau “Apa fungsi komponen ini?” Copilot mengenali objek yang ditunjuk dan memberikan jawaban. Dengan dukungan model 3D dan peta spasial, Copilot juga dapat menampilkan hologram untuk menunjukkan instruksi atau lokasi komponen.

2. Pembuatan Konten Spasial (Spatial Content Generation)
Copilot mempercepat penggunaan realitas campuran dengan mengurangi investasi awal dalam pembuatan konten spasial. Proses pembuatan, pengelolaan, dan distribusi konten menjadi lebih sederhana, sehingga perusahaan dapat mengadopsi teknologi ini lebih cepat.

3. Bantuan Langkah demi Langkah (Step-by-Step Assistance)
Didukung oleh Microsoft Azure OpenAI Service, Copilot tidak hanya menjawab pertanyaan tunggal, tetapi juga dapat mengikuti percakapan berkelanjutan. Pekerja bisa meminta panduan seperti “Jelaskan langkah membongkar unit filtrasi ini” atau “Saya sudah melepas motor, langkah selanjutnya apa?” Copilot memberikan panduan melalui suara, teks, atau hologram 3D.

4. Informasi Sesuai Permintaan (On-demand Information)
Dengan integrasi ke sensor IoT, data operasional, dan catatan servis, Copilot dapat menjawab pertanyaan seperti “Berapa tingkat kelembapan saat ini?” atau “Kapan terakhir diperiksa?” Dengan perangkat seperti HoloLens 2, Copilot dapat mengidentifikasi aset secara real-time dan menampilkan informasi yang relevan.

5. Integrasi Pengetahuan Ahli (Expert Knowledge Integration)
Pengetahuan dari pekerja berpengalaman sering kali sulit diwariskan. Copilot dapat memanfaatkan catatan atau transkrip sebelumnya untuk membantu pekerja baru memahami proses yang sama, sehingga transfer pengetahuan menjadi lebih cepat dan efisien.

6. Dokumentasi yang Disederhanakan (Streamlined Documentation)
Melalui Dynamics 365 Field Service mobile, pekerja dapat mempercepat dokumentasi pekerjaan. Mereka cukup menjelaskan progres melalui suara, dan Copilot akan membantu mengisi tugas, catatan, serta memperbarui data secara otomatis.

Copilot di Dynamics 365 Guides mengubah dunia nyata menjadi konteks langsung bagi AI. Dengan tetap menempatkan manusia sebagai pusatnya, teknologi ini membawa perubahan besar dalam cara teknologi membantu pekerja bertindak di dunia nyata. Solusi ini memiliki potensi besar bagi bisnis yang ingin meningkatkan efisiensi dan efektivitas operasional.

Penerapan Dynamics 365 Guides dan Remote Assist
Versi pratinjau terbatas Copilot di Dynamics 365 Guides mulai diluncurkan untuk sejumlah pelanggan. Versi pratinjau publik akan tersedia pertama kali di HoloLens 2, dan ke depannya juga direncanakan hadir di perangkat mobile. Pelanggan yang tertarik dapat mulai dengan menerapkan Dynamics 365 Guides dan Remote Assist di HoloLens 2 atau perangkat mobile.

Microsoft meyakini bahwa teknologi yang dapat mengubah dunia harus digunakan secara bertanggung jawab. Copilot di Dynamics 365 Guides dikembangkan sesuai dengan standar AI bertanggung jawab Microsoft, serta komitmen terhadap keamanan dan privasi data, untuk memastikan sistem AI yang aman dan tepercaya.

Pelajari lebih lanjut tentang pengumuman Microsoft Ignite 2023 untuk Dynamics 365 dan transformasi industri.