Dosen DTETI FT UGM, Syukron Abu Ishaq Alfarozi, S.T., Ph.D., menjadi visiting professor di King Mongkut’s Institute of Technology Ladkrabang (KMITL), salah satu universitas teknik terkemuka di Thailand yang terkenal akan riset dan inovasinya. Periode visiting professor di KMITL dimulai pada 15 Juli hingga 15 Agustus 2024. Kehadirannya di KMITL bertujuan untuk menjalin kolaborasi riset dengan pihak universitas, khususnya dengan Assoc. Prof. Dr. Kuntpong Woraratpanya.
Selama masa kunjungannya, Syukron juga berkesempatan memberikan kuliah umum tentang optimalisasi kinerja LLM. Syukron berbagi wawasan mengenai inovasi terbaru dalam penggabungan model tanpa pelatihan tambahan. Ia juga memberikan kuliah umum berjudul Optimizing LLM Performance Through Model Merging: Enhancing Capabilities Without Additional Training di pada Jum’at (9/8) lalu.
Dalam kuliah umum tersebut, Syukron menjelaskan proses penggabungan model sebagai salah satu teknik untuk meningkatkan performa LLM. Penggabungan model memungkinkan berbagai model yang sudah dilatih untuk digabungkan, sehingga dapat memanfaatkan kekuatan masing-masing model tanpa harus melakukan pelatihan ulang yang memakan waktu dan sumber daya. Dengan metode ini, diharapkan kemampuan model dalam memahami dan memproses bahasa alami dapat ditingkatkan secara signifikan.
Salah satu poin yang diangkat adalah penggunaan 2048 GPU A100 dengan 80GB RAM untuk melatih model berukuran 65 miliar parameter. Dengan konfigurasi tersebut, kecepatan pemrosesan mencapai sekitar 380 token per detik per GPU. Untuk melatih model ini dengan dataset sebesar 1,4 triliun token, dibutuhkan waktu sekitar 21 hari. Hal ini menunjukkan betapa kompleks dan intensifnya proses pelatihan model LLM pada skala besar, serta pentingnya inovasi dalam optimisasi kinerja model tanpa harus terus-menerus meningkatkan beban pelatihan.
Kolaborasi riset antara Syukron dan KMITL diharapkan dapat menghasilkan terobosan baru dalam bidang teknologi informasi, khususnya dalam pengembangan model bahasa besar (LLM) yang semakin efisien dan efektif. Dengan dukungan dari KMITL dan juga DTETI FT UGM, Syukron dapat fokus pada penelitian yang akan membawa dampak positif bagi kedua institusi, baik KMITL maupun Universitas Gadjah Mada. (Penulis: Rasya Swarnasta/Dokumentasi: Tim Humas KMITL)