Emir BardakçıXiaomi telah membuat lompatan besar di bidang kecerdasan buatan dengan open-sourcing model penalaran spesialis pertamanya, Xiaomi MiMo. Model parameter 7B yang bersejarah ini telah mengguncang dunia AI dengan mengungguli saingan yang jauh lebih besar seperti model o1-mini sumber tertutup dari OpenAI dan model QwQ-Preview yang lebih besar dari Alibaba dengan parameter 32B. Model ini merupakan kemenangan besar bagi Tim Inti Model Besar Xiaomi yang baru dibentuk dan merupakan bukti peningkatan fokus perusahaan dalam mendorong kemampuan AI dari perangkat keras ke pengembangan perangkat lunak yang inovatif.
Memecahkan Tolok Ukur dengan Penalaran Inovatif
Apa yang sangat luar biasa dari MiMo adalah kinerjanya yang tinggi pada tes penalaran yang sulit dibandingkan dengan ukurannya yang relatif kecil. Pada set evaluasi penalaran matematika yang tersedia untuk umum (AIME 24-25) dan kompetisi kode (LiveCodeBench v5), model parameter 7B mengalahkan para pesaing dengan ukuran parameter yang jauh lebih tinggi.
Kelompok pengembang mengaitkan pencapaian mereka dengan strategi dua cabang yang inovatif:
Inovasi Pra-Pelatihan
- Korpus Penalaran yang Kaya: Penekanannya adalah pada penggalian informasi penalaran yang kaya
- Peningkatan Sintetis: Pembuatan sekitar 200 miliar token data penalaran tingkat pakar
- Pelatihan Kesulitan Progresif: Tiga fase terpisah untuk meningkatkan kesulitan implementasi
- Pelatihan Ekstensif: Pelatihan total lebih dari 25T token yang mengejutkan
Terobosan Pasca Pelatihan
Evolusi MiMo tidak berhenti pada pra-pelatihan. Inovasi pasca-pelatihan dari tim peneliti semakin meningkatkan kemampuan model ini:
- Hadiah Berdasarkan Tingkat Kesulitan Tes: Metode inovatif untuk mengatasi kelangkaan hadiah dalam tugas-tugas algoritmik yang rumit
- Pendekatan Pengambilan Sampel Ulang Data Sederhana: Penerapan metode untuk menstabilkan pelatihan pembelajaran penguatan
- Sistem Peluncuran yang mulus: Sistem yang berorientasi pada efisiensi yang mempercepat pelatihan RL sebanyak 2,29 kali dan verifikasi sebanyak 1,96 kali
Apa yang Menandakan Masa Depan Xiaomi di Bidang AI
Peluncuran MiMo menandai keseriusan Xiaomi dalam bidang AI. Meskipun Xiaomi telah membangun kredibilitasnya melalui inovasi perangkat keras, langkah ini mengindikasikan pergeseran strategis menuju penelitian dan pengembangan mutakhir di bidang AI. Dengan membuka sumber model itu sendiri, Xiaomi juga merangkul sifat terbuka dan kolektif dari inovasi AI, yang berpotensi mempercepat inovasi di industri ini.
Para pengembang dan penggemar AI yang ingin bereksperimen dengan atau membuat ekstensi untuk MiMo dapat memperoleh model dari repositori Hugging Face Xiaomi bersama dengan dokumentasi teknis yang terperinci.
Sumber: Hugging Face, GitHub
