Alibaba Cloud Bersama MediaTek Dorong Penggunaan AI di Smartphone

TRIBUNBATAM.id, BATAM - Alibaba Cloud bekerja sama dengan MediaTek, perusahaan semikonduktor fabless globalmendorong penggunaan Artificial Intelligence pada perangkat terbaru, dimulai dengan ponsel pintar.

Saat ini, versi large language model Qwen dengan parameter 1.8 miliar dan 4 miliar dapat dijalankan pada chipset premium generasi ketiga dari MediaTek, Dimensity 9300 dan Dimensity 8300.

Menurut mereka, ini memungkinkan ponsel pintar untuk menjalankan tugas AI seperti menjawab beragam pertanyaan bahkan saat tidak terhubung ke internet atau memiliki koneksi yang terbatas.

AI generatif, yang sebelumnya hanya dapat diakses melalui pusat data, kini bisa hadir langsung di ponsel pintar.

Gartner memperkirakan bahwa hingga akhir 2024, akan ada 240 juta ponsel pintar dengan GenAI dan 54,5 juta PC dengan AI yang akan didistribusikan.

Kehadiran gawai ini akan mencakup 22 persen dari ponsel pintar kelas biasa, menengah, dan premium, serta 22 persen dari semua PC di tahun 2024.

"Kami melihat minat yang meningkat dari banyak perusahaan untuk menggunakan LLMs berukuran lebih kecil ke dalam gawai, untuk mendorong aplikasi AI generatif. Melalui kemitraan dengan MediaTek, kami ingin memberikan lebih banyak kesempatan kepada para pengembang untuk bisa menciptakan aplikasi AI yang inovatif dan mudah digunakan supaya pengguna di seluruh dunia bisa merasakan manfaat dari AI generatif," ujar Head of Business Development di Qwen team, Xu Dong dalam keterangan yang diterima TribunBatam.id, Jumat (19/4/2024).

Peralihan dari cloud ke gawai didorong oleh munculnya LLMs yang lebih kecil yang biasanya berkisar dari beberapa juta hingga beberapa miliar.

Dibandingkan model sebelumnya yang lebih besar, model-model ini lebih efisien secara komputasi, lebih ekonomis, dan dapat disesuaikan dengan kebutuhan pengguna perangkat terbaru.

Alibaba Cloud telah menyediakan versi open source dari LLM dengan parameter 1,8 miliar, Qwen-1.8B, pada awal tahun lalu.

Oleh karena memang dioptimalkan untuk perangkat yang lebih kecil, model ini membutuhkan daya komputasi yang lebih sedikit untuk dijalankan, sehingga memungkinkan aplikasi yang didukung oleh LLM berjalan di ponsel pintar dengan keterbatasan atau tanpa koneksi jaringan.

Baca juga: Diskominfo Kepri Manfaatkan Kecerdasan Buatan, Tingkatkan Informasi Komunikatif

Untuk mengimplementasikan model AI di perangkat genggam, kompatibilitas merupakan tantangan utama.

Terutama karena perbedaan dalam perangkat keras, perangkat lunak, dan protokol komunikasi.

Alibaba Cloud mengatakan bahwa mereka bekerja sama dengan MediaTek dalam beberapa area untuk mengatasi tantangan integrasi ini.

Termasuk dalam optimasi ukuran model, optimasi inferensi, dan penyimpanan untuk mencapai keseimbangan antara akurasi model, efektivitas biaya dan efisiensi energi.

Dengan dukungan dari Dimensity 9300, versi model Qwen dengan parameter 1,8 miliar bisa mencapai kinerja terdepan di industri dan sanggup menggunakan kurang dari 30 persen CPU dan 2 GB RAM dalam proses inferensi AI sambil mencapai lebih dari 20 token per detik.

Baca juga: 3 Cara Cek dan Beli Masa Aktif Kartu Telkomsel lewat Smartphone

Konsumsi daya dalam proses inferensi kurang dari 3 watt, memberikan peningkatan kinerja dalam tugas AI tanpa mengorbankan efisiensi energi.

Untuk memastikan bahwa produsen ponsel pintar mengadopsi model AI di perangkat mereka.

Kedua perusahaan akan merilis paket pengembangan perangkat lunak bagi produsen dan pengembang ponsel pintar untuk mewujudkan inisiatif ini.

Solusi yang siap digunakan ini memungkinkan produsen ponsel pintar menyematkan fitur-fitur AI generatif pada perangkat mereka, mulai dari kontrol suara hingga asisten virtual. Para produsen juga dapat melatih dan menyempurnakan model untuk fitur AI yang lebih canggih.

Sebagai bagian dari inisiatif mereka untuk menciptakan ekosistem yang diperlukan untuk masa depan AI, pusat model dan alat pengembangan MediaTek untuk pengembang akan mengintegrasikan seri Qwen yang bisa memudahkan pengembangan berbagai skenario berdasarkan Qwen yang menggunakan platform Dimensity.

Baca juga: Aplikasi Berbasis AI, ngaji.ai, Bisa Belajar Mengaji di Mana Saja

Kedua perusahaan juga akan bekerja sama untuk mengeksplorasi pembangunan agen AI yang dapat menavigasi antarmuka yang kompleks dan menjalankan tugas melintasi beberapa aplikasi, memanfaatkan kemampuan LLM dari Alibaba Cloud dan daya komputasi dari Dimensity 9300.

"Memfasilitasi implementasi AI generatif secara menyeluruh, serta pengembangan cepat dari aplikasi AI dan ekosistem agen AI, akan memberikan pengalaman produk yang lebih menarik bagi para pengguna," tambah Deputy General Manager di MediaTek Wireless Communications Business Unit, Dr. Yenchi Lee. (TRIBUNBATAM.id/Hening Sekar Utami/*)

Baca juga Berita TribunBatam.id lainnya di Google News