Mungkin anda tidak menyadari, sejak 2017 beberapa ponsel mulai menghadirkan ponsel dengan tambahan chip baru untuk melakukan perhitungan paling rumit dan algoritma kecerdasan buatan, yang disebut Neural Processing Unit atau disingkat NPU. Sebuah chip yang dedikasikan untuk Ai, yang digadang-gadang sebagai “game changer” dalam dunia teknologi.
Ketika Huawei menyematkan chip NPU di Kirin 970, tentu banyak yang tidak menyangka ini akan menjadi tren pada smartphone dan akhirnya juga telah hadir di perangkat komputer dan laptop. Dan bukan tidak mungkin, sistem operasi terbaru kelak akan mensyaratkan chip NPU, sama seperti Windows 11 yang mengharuskan komputer pengguna memiliki chip TPM 2.0.
Table of Contents
- Apa itu NPU?
- Bagaimana NPU bekerja
- Mengapa perlu adanya NPU di komputer atau smartphone?
- Implementasi NPU pada brand-brand ternama
Apa itu NPU?
NPU adalah chip yang berspesialisasi dalam algoritma pembelajaran mesin, biasanya dengan menjalankan operasi pada model prediktif seperti jaringan saraf tiruan. Jaringan saraf tiruan adalah dasar dari kecerdasan buatan, jaringan lapisan dengan algoritma dan instruksi. Jaringan ini bekerja seperti otak, dan bertanggung jawab untuk menerima informasi, memprosesnya, dan menghasilkan respons.
Bagaimana NPU bekerja
NPU bertugas menangani permintaan untuk melakukan operasi jaringan saraf dan pemrosesan pembelajaran mesin. CPU/GPU sebenarnya juga dapat melakukan tugas serupa, tetapi NPU yang secara khusus dioptimalkan untuk jaringan saraf dapat bekerja jauh lebih baik daripada CPU/GPU.
Jaringan syaraf berisi sekumpulan lapisan yang berurutan, yang masing-masing memiliki sejumlah neuron. Input yang masuk ke jaringan, baik itu gambar atau teks, dibagi menjadi beberapa bagian yang didistribusikan di antara neuron-neuron di lapisan pertama. Tiap-tiap bagian ini memiliki nilai tertentu, yang ketika dikalikan dengan nilai bobot (nilai yang telah dilatih sebelumnya), menyebabkan setiap neuron aktif atau tidak. Output dari setiap neuron akan melalui lapisan-lapisan berikutnya, hingga akhirnya mendapatkan hasil.
Di masa lalu, operasi ini dilakukan dengan menggunakan GPGPU (General Purpose GPU) atau chip FPGA (Field-programmable Gate Array), namun dengan penggunaan prosesor NPU sekarang, akan memungkinkan hasil yang lebih baik dengan konsumsi energi yang lebih sedikit.
Mengapa perlu adanya NPU di komputer atau smartphone?
Dalam jaringan syaraf, pada dasarnya melibatkan 2 proses perhitungan, yaitu:
Melatih jaringan saraf
Bagaimana jaringan saraf belajar pada dasarnya adalah dengan pengulangan. Setelah jaringan dirancang, bobot setiap neuron harus dihitung, dan untuk tujuan ini, satu set data berlabel disediakan dan digunakan dalam proses pelatihan.
Jadi, jika anda ingin jaringan belajar membedakan kucing dengan hewan lain, maka diperlukan ribuan gambar kucing dan hewan lain yang masing-masing telah diidentifikasi dengan benar. Hasilnya adalah jaringan akan memahami karakteristik apa yang membedakan kucing dengan hewan lain. Sekarang, seharusnya anda sudah mulai mengerti mengapa prinsip kerja jaringan saraf mirip dengan manusia.
Tugas NPU disini adalah melakukan jenis operasi yang melibatkan penyelesaian sistem persamaan dan operasi matriks yang dapat melibatkan jutaan parameter. NPU memang dirancang untuk melakukan perhitungan seperti ini. Namun, jika yang anda maksud NPU sebagai pelengkap prosesor pada ponsel atau PC, biasanya tidak dimaksudkan untuk pelatihan karena banyaknya data yang diperlukan.
Inferensi jaringan saraf
Proses inferensi ini adalah yang biasanya ditangani NPU komputer atau smartphone. Inferensi adalah proses penggunaan model jaringan saraf terlatih untuk membuat prediksi atau keputusan berdasarkan data masukan baru. Misalnya, anda memiliki jaringan saraf terlatih yang dapat mengidentifikasi anjing dengan hewan lain. Jaringan saraf belajar mengenali anjing. Saat anda memberikan gambar baru sebagai masukan ke jaringan saraf, NPU dapat melakukan inferensi untuk mengenali objek dalam gambar. Peran inferensi sangat penting, karena menjadi jembatan untuk kesenjangan antara data tempat mereka dilatih dan informasi ambigu di dunia nyata.
Inilah yang menjelaskan mengapa NPU bisa sangat diperlukan di ponsel dan PC. Memang benar bahwa proses pelatihan akan dilakukan di server, tetapi inferensi tidak harus dijalankan di server eksternal yang tentu akan menghabiskan banyak sumber daya. Anda dapat menjalankan proses tersebut secara langsung di perangkat.
CPU yang bagus tugas-tugas tujuan umum, sebenarnya mampu menjalankan jenis operasi yang dilakukan dalam jaringan saraf. Tetapi, dengan jutaan parameter yang berbeda, prosesor akan kewalahan. NPU dapat diintegrasikan sebagai bagian dari CPU atau SoC dan digunakan untuk tujuan khusus ini dengan hanya sedikit kenaikan harga dan efisiensi daya yang lebih besar.
Implementasi NPU pada brand-brand ternama
Dengan melihat bagaimana implementasi NPU pada brand-brand ternama pada perangkat buatan mereka, tentu anda akan memahami pentingnya chip ini. Kali ini kami akan fokuskan untuk membahas implementasi pada 4 brand ternama saja, yaitu Apple, Google, Intel dan AMD
Apple Silicon
Neural Engine telah hadir di Apple A11 Bionic yang menjadi otak dari iPhone 8 dan X. Setelah 3 tahun, Apple meninggalkan Intel dan mulai menggunakannya SoC buatan sendiri, yaitu Apple M1 untuk lini laptop dan komputer.
Apple Neural Engine (ANE) yang hadir di Apple M1 pada dasarnya terdiri dari beberapa inti yang didedikasikan untuk operasi jaringan saraf (konvolusi, perkalian matriks…) seperti halnya NPU lainnya. Dan SoC Apple saat ini mengintegrasikan CPU, GPU, NPU, RAM, Security, dan I/O pada chip yang sama. Hal ini tentu akan meningkatkan kecepatan dan efisiensi yang signifikan, karena satu sama lain dapat mengakses kumpulan data tanpa harus menyalinnya.
Neural Engine pada perangkat apple dirancang untuk tugas-tugas seperti:
- ID Wajah dan Animoji.
- Peningkatan kamera.
- Pengenalan orang, objek dan hewan peliharaan dalam gambar.
- Pendeteksian teks dalam gambar.
- Augmented Reality.
- Dikte.
- Pada dasarnya, semua fungsi berbasis AI pada iPhone atau Mac.
Apple menyediakan API untuk pengembang pihak ketiga agar bisa memanfaatkan Neural Engine. Kinerjanya juga telah berlipat ganda: iPhone X dapat melakukan 0,6 TFLOPS (triliun operasi) FP16 dengan ANE, sekarang chip M3 dapat melakukan 18 TFLOPS dan A17 PRO pada iPhone 15 Pro dapat melakukan 35 TFLOPS.
Google Tensor (TPU)
Sebagai pelopor besar dalam perangkat keras untuk menangani jaringan saraf, google memiliki konsep sendiri, yaitu TPU (Tensor Processing Unit). Ini adalah ASICs (application-specific integrated circuits) yang digunakan secara internal untuk pusat data sejak tahun 2015. TPU terus berkembang dan akhirnya berevolusi menjadi Edge TPU yang berukuran jauh lebih kecil untuk Edge Computing pada tahun 2018.
Pada tahun 2019, untuk pertama kalinya Google mengimplementasikan Edge TPU pada Pixel 4 yang disebut Pixel Neural Core. Dua tahun berikutnya, barulah chip Edge TPU diintegrasikan ke SoC yang bernama Google Tensor yang menjadi otak dari Pixel 6.
Hadirnya Google Tensor ini merupakan bagian dari upaya Google untuk mengikuti kemajuan mechine learning. Google ingin menghadirkan kekuatan transformatif Ai pada ponsel cerdas dengan lebih sedikit peran dari kekuatan komputasi di pusat data. Dengan kata lain, TPU pada Google Tensor dirancang untuk Inferensi. Selain itu, dengan rancangan TPU di dalam SoC, Google Tensor akan memberikan tingkat performa komputasi, efisiensi, dan keamanan yang tepat.
NPU terintegrasi Intel
Berikutnya kami alihkan pembahasan mengenai chip Arm ke arsitektur x86-64 yang mendominasi pasar PC. Di pasar ini, Intel dan AMD adalah penguasanya. Tidak seperti apa yang dipikirkan banyak orang yang menganggap mereka sudah berpuas diri, ternyata mereka sudah memiliki konsep NPU dalam portofolio mereka.
Intel memperkenalkan CPU generasi ke 14 yang akan hadir untuk lini notebook, dengan nama kode Meteor Lake pada Desember tahun lalu. CPU terbaru ini hadir dengan banyak kejutan. Dengan branding nama baru, mengubah Core i menjadi Core Ultra, Intel resmi menghadirkan NPU pada chip Meteor Lake.
Meteor Lake adalah CPU pertama yang dibangun pada proses Intel 4, yang merupakan proses fabrikasi 7nm. Yang menarik, CPU Intel kali ini menggunakan arsitektur chiplet berbasis ubin di mana setiap ubin ditumpuk satu sama lain dalam desain chiplet bertumpuk 3D.
NPU pada chip Meteor Lake dirancang untuk beberapa tugas yang didukung Ai, diantaranya algoritma yang mengubah latar belakang dalam video conferencing, yang membuatnya terlihat seperti mata kita melihat lurus ke depan, dan sebagainya.
Dalam hal ini, Microsoft melangkah lebih maju untuk memanfaatkannya, dan mereka juga mendorong serangkaian tool untuk Windows 11 yang memungkinkan pengembang mengimplementasikan Ai secara efisien dan memanfaatkan NPU komputer jika tersedia. Juga dengan fitur-fitur seperti Copilot.
AMD Ryzen AI
Beberapa bulan sebelum Intel memperkenalkan Meteor Lake, AMD lebih dahulu mengumumkan prosesor Ryzen 7040 (Zen 4) yang menyertakan Ryzen AI. Ini adalah prosesor x86 besutan AMD pertama dengan NPU terintegrasi. Menggunakan arsitektur AMD XDNA, prosesor dirancang untuk menawarkan latensi yang lebih kecil, masa pakai baterai yang lebih awet, dan lingkungan yang aman untuk menjalankan beban kerja AI dibandingkan dengan mengirim data ke cloud.
Konsumen bisa langsung melihat beberapa fitur pertama dari Ryzen AI, yaitu Windows Studio Effects, yang mencakup Automatic Framing, Eye Contact Correction, dan Advanced Background Effects. AMD mengklaim Ryzen Ai turut membantu meningkatkan kemampuan multitasking, produktivitas, dan efisiensi. Peningkatan pada konsumsi media juga disertakan, seperti peningkatan kualitas video real-time.
Demikian pembahasan kami mengenai NPU. Semoga anda sekarang bisa lebih memahami apa itu NPU dan cara kerjanya.
sumber3 : https://www.intel.com/content/www/us/en/content-details/788851/meteor-lake-architecture-overview.html
