Apa yang bisa dilakukan model bahasa dalam bahasa-bahasa Indonesia, dan apa yang tidak bisa diberitahukan oleh tolok ukur kepada Anda
Kami menjalankan tiga belas model bahasa melalui setiap tolok ukur bahasa Indonesia publik yang dapat kami nilai. Model terbaik kuat dalam bahasa Indonesia, Jawa, dan Sunda; tolok ukur mulai kehilangan fungsinya tepat di tempat percakapan nyata dimulai.
Baibu membangun AI untuk Indonesia, dalam bahasa yang digunakan orang-orang di rumah. Indonesia memiliki lebih dari 700 bahasa. Kebanyakan orang yang kami layani berbicara bahasa Indonesia dan setidaknya satu bahasa daerah, biasanya bahasa Jawa atau bahasa Sunda, dan mereka sering mencampur kedua bahasa tersebut dalam satu pesan. Kami ingin mengetahui dua hal: seberapa baik model bahasa saat ini menangani bahasa-bahasa tersebut, dan sejauh mana tolok ukur (benchmark) publik benar-benar memberikan informasi yang akurat mengenai hal ini.
Jadi, kami menguji tiga belas model, sembilan dengan bobot terbuka (open weights) dan empat tertutup, melalui setiap tolok ukur bahasa Indonesia yang tersedia secara publik yang dapat kami peroleh dan nilai secara reproduksibel. Total ada tujuh tolok ukur yang mencakup 23 variasi bahasa, dengan menghitung register formal dan informal bahasa Jawa, Sunda, dan Madura secara terpisah. Setiap model mendapatkan protokol yang sama pada setiap tolok ukur: prompt yang sama, greedy decoding, dan penalaran setiap model diatur serendah mungkin.
Singkatnya: model-model terbaik cukup kuat dalam bahasa Indonesia, Jawa, dan Sunda, namun tolok ukur yang ada mulai kehilangan fungsinya tepat saat percakapan nyata dimulai.
Tulisan ini tidak merekomendasikan model mana pun. Tulisan ini hanya menggambarkan kondisi lapangan dan apa yang masih kurang dari tolok ukur saat ini.
Apa yang bisa dilakukan model-model ini
| Model | Membaca: Indonesia | Membaca: Jawa | Membaca: Sunda | Ujian sekolah: 7 bahasa lain | Balasan dalam Minangkabau |
|---|---|---|---|---|---|
| Sahabat-AI v2 70B · terbuka | 92.4 | 88.3 | 86.1 | 47.0 | 56% |
| Aya Expanse 32B · terbuka | 90.1 | 72.7 | 64.6 | 42.3 | 0% |
| Gemma 4 31B 31B · terbuka | 93.9 | 90.7 | 90.2 | 59.7 | 80% |
| Muse Glimmer 30B · terbuka | 92.7 | 88.0 | 86.9 | 45.6 | 55% |
| Qwen 3.8 27B · terbuka | 93.6 | 88.4 | 88.3 | 43.5 | 4% |
| SEA-LION v4.5 27B · terbuka | 93.4 | 90.4 | 88.3 | 45.4 | 1% |
| Qwen 3.5 9B · terbuka | 90.3 | 83.6 | 80.0 | 42.8 | 1% |
| Gemma 4 E4B 8B (4B efektif) · terbuka | 88.3 | 79.9 | 77.0 | 41.2 | 0% |
| Tiny Aya 3B · terbuka | 77.6 | 68.0 | 55.3 | 35.9 | 5% |
| Gemini 3.1 Flash Lite tertutup | 94.1 | 91.7 | 89.7 | 67.5 | 64% |
| Gemini 3.5 Flash Lite tertutup | 90.8 | 89.0 | 86.9 | 62.3 | 85% |
| GPT-5.6 Luna tertutup | 93.1 | 89.9 | 88.8 | 57.7 | 5% |
| GPT-5.6 Terra tertutup | 95.1 | 92.3 | 90.4 | 57.6 | 12% |
Akurasi dalam %. Membaca menggunakan Belebele. Ujian sekolah adalah rata-rata dari bagian IndoMMLU pada tujuh bahasa dan budaya daerah lainnya. Kolom terakhir adalah persentase prompt bahasa Minangkabau yang dijawab sebagian besar dalam bahasa Minangkabau. Model terbuka diurutkan berdasarkan ukuran, bukan skor. Kepatuhan terhadap instruksi ada di Lampiran A, catatan lengkap di Lampiran C.
Bahasa Indonesia, Jawa, dan Sunda hampir teratasi untuk pemahaman membaca. Pada Belebele, model terkuat mencetak skor 93–95% dalam bahasa Indonesia dan hanya kehilangan 2–5 poin dalam bahasa Jawa dan Sunda. Ini termasuk model terbuka terbaik dalam survei, Gemma 4 31B (93.9 / 90.7 / 90.2), yang setara dengan referensi model tertutup: Gemini 3.1 Flash Lite pada 94.1 / 91.7 / 89.7 dan GPT-5.6 Terra pada 95.1 / 92.3 / 90.4. Kepatuhan instruksi pada SEA-IFEval menunjukkan gambaran serupa, dengan skor tertinggi mencapai 92–98% di ketiga bahasa (Lampiran A).
Ukuran tetap penting, dan dampaknya paling besar pada bahasa Sunda. Pada Belebele, setiap model kehilangan lebih banyak poin pada bahasa Sunda dibandingkan bahasa Jawa, namun dengan jumlah yang berbeda: model yang lebih besar turun 4–6 poin dari bahasa Indonesia ke Sunda, sementara tiga model di bawah 10B parameter turun 10–22 poin. Tiny Aya mencetak 77.6 dalam bahasa Indonesia, 68.0 dalam bahasa Jawa, dan 55.3 dalam bahasa Sunda, serta 58.1% pada kepatuhan instruksi bahasa Sunda dibandingkan 85.7% dalam bahasa Indonesia. Ukuran bukanlah segalanya: Aya Expanse 32B turun 26 poin dalam bahasa Sunda, lebih besar dari model kecil mana pun.
Model regional belum tentu lebih unggul. Sahabat-AI 70B, yang dilatih khusus untuk bahasa-bahasa Indonesia, cukup kompetitif tetapi tidak lebih baik. Model ini mencetak 88.3 dan 86.1 pada Belebele bahasa Jawa dan Sunda, tertinggal beberapa poin di belakang model serbaguna yang ukurannya kurang dari setengahnya. Model ini memang memimpin untuk model terbuka pada pertanyaan terbuka tanpa bacaan (29.2% dalam bahasa Indonesia dibandingkan 23.5% untuk Gemma 4 31B), yang seharusnya menjadi keunggulan pelatihan pada teks regional. SEA-LION v4.5, model regional Asia Tenggara, menggunakan tokenizer yang identik dengan model Qwen yang menjadi dasarnya, sehingga tidak memiliki keunggulan representasi pada tingkat pengkodean teks.
Setelah bahasa Indonesia, Jawa, dan Sunda, performa menurun. Tolok ukur mencapai 17 bahasa lagi, dan setiap model bekerja lebih buruk di sana:
- Pada pertanyaan ujian sekolah IndoMMLU mengenai tujuh bahasa dan budaya daerah lainnya, model terbaik rata-rata mencapai 67.5%. Model terbuka rata-rata 36–60%. Model terbaik mencetak 79–85% pada bagian bahasa Indonesia, Jawa, dan Sunda.
- Pada pertanyaan terbuka LoraxBench, jawaban dalam bahasa Batak Toba, Bugis, dan Makassar benar 1–17% dari waktu, dibandingkan 12–34% dalam bahasa Indonesia.
- Menerjemahkan bahasa Batak Toba, Bugis, atau Makassar ke bahasa Indonesia mencetak chrF 44–68, dibandingkan 67–86 untuk bahasa Jawa dan Sunda.
Pada pertanyaan pengetahuan dan pertanyaan terbuka, model tertutup bertahan lebih baik daripada model terbuka, dan kesenjangan paling lebar tepat di tempat dengan teks pelatihan paling sedikit. Terjemahan adalah pengecualian: di sana model tertutup tidak lebih konsisten daripada yang terbuka.
Bahasa Jawa dan Sunda lebih mahal untuk diproses. Tokenizer setiap model terbuka memerlukan 16–45% lebih banyak token untuk konten yang sama dalam bahasa Jawa, dan 22–51% lebih banyak dalam bahasa Sunda, dibandingkan dengan bahasa Indonesia. Itu adalah beban biaya dan latensi langsung pada bahasa tersebut, yang tidak terlihat dalam tabel akurasi mana pun. Ukuran-ukuran ini juga tidak sejalan: tokenizer Sahabat-AI memiliki penalti bahasa Jawa dan Sunda terkecil relatif terhadap bahasa Indonesianya sendiri, dan justru yang paling mahal dalam hitungan mutlak untuk ketiga bahasa tersebut.
Apakah jawaban muncul dalam bahasa yang Anda gunakan saat bertanya?
Tidak ada tolok ukur publik yang memeriksa ini, jadi kami mengukurnya. Kami menjalankan pengidentifikasi bahasa pada jawaban yang disimpan oleh model dan menanyakan, untuk setiap pertanyaan yang diajukan dalam bahasa Jawa, Sunda, atau Minangkabau, dalam bahasa apa jawaban tersebut sebagian besar disampaikan. Kami memvalidasi pengklasifikasi terlebih dahulu pada teks tolok ukur bahasa yang diketahui: setelah dipotong menjadi sepuluh kata, akurasinya 95–97% untuk bahasa Indonesia, Jawa, dan Sunda. Pengklasifikasi ini tidak divalidasi pada jawaban model itu sendiri.
Untuk bahasa Jawa dan Sunda, sebagian besar model menjawab dalam bahasa yang digunakan saat bertanya. Model terbuka dan tertutup terkuat melakukannya 94–100% dari waktu. Tiga model tidak melakukannya:
- Aya Expanse 32B sebagian besar menjawab pertanyaan bahasa Jawa dan Sunda dalam bahasa Indonesia biasa: 66–87% dari waktu, tergantung tugasnya.
- Gemma 4 E4B, model Gemma kecil, hanya menjawab dalam bahasa yang ditanyakan 65–84% dari waktu.
- Tiny Aya tampaknya menjawab pertanyaan bahasa Sunda dalam bahasa Jawa. Pengidentifikasi melabeli 48% kata dalam jawaban keamanannya dalam bahasa Sunda sebagai bahasa Jawa, dan 26% sebagai bahasa Sunda; pada tugas kepatuhan instruksi, pembagiannya adalah 28% dan 46%. Jawaban bahasa Jawanya adalah 89–95% bahasa Jawa. Pengidentifikasi salah membaca bahasa Sunda asli sebagai bahasa Jawa 5 kali dari 1.591, jadi ini kemungkinan besar bukan artefak pengklasifikasi, tetapi kami belum meminta penutur asli untuk membaca jawabannya.
Bahasa Minangkabau gagal di seluruh model. Pada prompt bahasa Minangkabau di IndoSafety, 8 dari 13 model menjawab dalam bahasa Minangkabau kurang dari 15% dari waktu, dan justru menjawab dalam bahasa Indonesia. Itu termasuk kedua model GPT-5.6 dan SEA-LION. IndoSafety adalah set prompt keamanan, jadi kami memeriksa yang kedua, yaitu pertanyaan terbuka LoraxBench dalam bahasa Minangkabau. Model yang sama gagal di sana, semuanya kecuali SEA-LION (20%) di bawah 15%, dan tidak ada model yang menjawab dalam bahasa Minangkabau lebih dari 38% dari waktu. (Hanya jawaban dengan sepuluh kata atau lebih yang diklasifikasikan; pada pertanyaan terbuka, itu mengecualikan 25–78% jawaban, yang berupa nama dan angka.) Jawabannya mungkin benar, dan setiap penutur bahasa Minangkabau bisa membaca bahasa Indonesia, itulah sebabnya tidak ada skor akurasi yang akan melaporkannya. Sebuah model bisa mencetak skor tinggi pada tolok ukur bahasa Minangkabau tanpa pernah menjawab dalam bahasa Minangkabau.
Apa yang tidak bisa diberitahukan oleh tolok ukur kepada Anda
Ini adalah bagian yang menurut kami paling penting.
Lampiran B mencantumkan setiap tolok ukur yang kami jalankan dan apa yang tidak bisa diberitahukannya kepada Anda. Lima masalah menonjol.
Tolok ukur percakapan yang bisa Anda lewati tanpa membaca percakapannya
PingPong adalah satu-satunya koleksi obrolan grup publik yang ditulis secara alami dalam campuran bahasa Jawa–Indonesia–Inggris dan Sunda–Indonesia–Inggris, dan kami berharap ini menjadi hal yang paling mendekati penggunaan nyata dalam rangkaian ini. Tugas menjawab pertanyaan (question-answering) memberikan pertanyaan pilihan ganda tentang obrolan tersebut. Beberapa memiliki jawaban dalam obrolan. Untuk sisanya, pilihan yang benar adalah opsi tetap, “tidak ada jawaban yang benar”.
Jadi kami menghitung apa yang akan didapatkan oleh aturan yang tidak pernah melihat obrolan tersebut. “Pilih opsi terpanjang” mencetak skor 71% dan 74% pada separuh set yang tidak dapat dijawab dalam bahasa Indonesia–Inggris dan Jawa, serta 69% pada separuh yang dapat dijawab dalam set bahasa Sunda. Tebakan acak mencetak 19%.
Penyebabnya adalah panjang opsi. Dalam set bahasa Indonesia–Inggris dan Jawa, jawaban sebenarnya pendek, berupa nama atau pekerjaan, jadi opsi tetap “tidak ada jawaban yang benar” hampir selalu yang terpanjang. Dalam set bahasa Sunda, jawabannya berupa frasa lengkap, jadi jawaban yang benar biasanya yang terpanjang.
Konsekuensi bagi skor model:
- Dari tiga belas model, satu mengalahkan aturan panjang pada pertanyaan yang tidak dapat dijawab dalam bahasa Indonesia–Inggris dan Jawa.
- Pada pertanyaan bahasa Sunda yang dapat dijawab, setiap model mencetak skor 91–98%, sehingga kolom tersebut tidak lagi membedakan apa pun. Model yang sama berkisar antara 10% hingga 57% pada bahasa Indonesia–Inggris. Tiny Aya mencetak 10.1% pada satu dan 91.3% pada yang lain, yang tidak dijelaskan oleh kemampuan apa pun, namun dijelaskan oleh panjang opsi.
- Merata-ratakan kedua bagian, sebagaimana dilakukan papan peringkat, akan memeringkat model berdasarkan seberapa sering mereka mengatakan “tidak ada jawaban” daripada pemahaman.
Tidak ada satu pun dari hal ini yang membuat obrolan tersebut kurang berharga. Ini berarti set pertanyaan tidak dapat dibaca sebagai skor pemahaman tanpa garis dasar (baseline) tanpa model di sampingnya, dan belum ada yang menerbitkannya.
Tes membaca yang mencetak skor berdasarkan panjang, dengan kunci jawaban yang tidak ada dalam bacaan
Tugas pemahaman membaca LoraxBench memberikan bacaan dan pertanyaan, lalu meminta rentang (span) pendek dari bacaan tersebut. Penilaiannya, sebagaimana dilakukan dalam makalah tersebut, adalah apakah jawaban referensi muncul di mana saja dalam respons. Aturan itu memiliki dua masalah, satu di setiap arah.
Dalam bahasa Indonesia, aturan ini memberi penghargaan karena menjawab lebih panjang. Jawaban referensi panjangnya sekitar tiga kata. Respons yang memuat jawaban tersebut di mana saja akan mendapat skor, terlepas dari seberapa banyak kata lain yang disertakan. Gemma terkecil memuncaki kolom bahasa Indonesia pada 89% sementara hanya mencocokkan referensi dengan tepat 23% dari waktu; Muse Glimmer berada di urutan ketiga pada 86% dengan 2% tepat. Aturan yang tidak pernah menjalankan model, dengan mengembalikan kalimat bacaan yang paling mirip dengan pertanyaan, mencetak 66%. Di antara tiga belas model, kolom bahasa Indonesia cenderung memeringkatnya dalam urutan yang berlawanan dengan Belebele dan kepatuhan instruksi.
Di tempat lain, jawabannya sering tidak ada dalam bacaan. Untuk tugas ekstraktif, referensi seharusnya merupakan potongan dari bacaan. Dalam bahasa Indonesia, selalu demikian. Dalam bahasa Jawa, hanya 62% dari waktu, dalam bahasa Sunda 53%, dan di seluruh 18 variasi lainnya 64% (55–81%, tergantung variasinya). Referensi yang hilang berbagi sekitar separuh kata-katanya dengan bacaan: jawabannya, tampaknya, diterjemahkan secara terpisah dari teks yang dijawabnya. Model yang menyalin potongan yang tepat, sesuai instruksi, mencetak skor nol pada item tersebut, dan semua model melakukannya. Jadi, seluruh bidang berada di antara 38% dan 59%, di bawah batas yang ditetapkan oleh kunci jawaban. Pada item di mana jawabannya ada dalam bacaan, model yang sama mencetak 77–93% dalam bahasa Jawa dan 73–94% dalam bahasa Sunda.
Kolom tersebut masih mengurutkan model dengan masuk akal di luar bahasa Indonesia. Tingkatannya tidak berarti apa yang akan ditangkap oleh pembaca, dan tidak ada dalam skor yang dipublikasikan yang menandakan hal itu.
Penilai keamanan yang memihak vendornya sendiri
Skor keamanan untuk bahasa Indonesia biasanya dihasilkan oleh penilai LLM yang membaca setiap respons. Kami menilai respons IndoSafety setiap model dengan GPT-5.6 dan menilai kembali sampel acak bertingkat dari 4.613 di antaranya dengan Gemini 3.5 Flash, yang bukan salah satu model yang diuji.
Kedua penilai tidak setuju, dan ketidaksetujuan tersebut mengikuti vendor. GPT-5.6 menilai setiap model sekitar 7 poin lebih keras daripada Gemini, kecuali untuk model milik OpenAI sendiri, di mana kedua penilai setuju. Pada tujuh model yang bukan dari kedua vendor tersebut, GPT-5.6 menandai 15.5% jawaban sebagai tidak aman dan Gemini 8.8%; pada model OpenAI, angkanya adalah 7.7% dan 7.4%. Dibandingkan dengan model lain, itu adalah 6.4 poin kelonggaran terhadap vendornya sendiri [95% CI 4.8, 8.0], dan ini konsisten. Penilai Gemini menunjukkan kecenderungan yang lebih kecil terhadap model Google, termasuk Gemma: 2.2 poin [0.1, 4.3], yang hanya sedikit bisa dibedakan dari nol.
Di bawah penilai GPT, model OpenAI terlihat dua kali lebih aman daripada yang lain (7.7% tidak aman dibandingkan 15.5%). Di bawah penilai Gemini, mereka terlihat nyaris lebih aman (7.4% dibandingkan 8.8%).
Para penilai juga melaporkan tingkat tidak aman yang hampir identik di seluruh bahasa Indonesia, Jawa, Sunda, dan Minangkabau. Kami tidak bisa membedakannya dari kegagalan penilai dalam membaca bahasa daerah, karena IndoSafety tidak menyertakan label emas (gold labels). Untuk kedua alasan tersebut, kami tidak menerbitkan peringkat keamanan per model. Kami telah merencanakan putaran penilaian kedua yang lengkap jika penilai tidak setuju; ketika mereka melakukannya, kami menolaknya, karena itu hanya akan mempertajam peringkat yang tidak didukung oleh kedua penilai. Keputusan itu dibuat setelah kami melihat pemeriksaan silang, dengan arah untuk menerbitkan lebih sedikit. Kami tidak mengetahui adanya angka keamanan bahasa Indonesia yang dipublikasikan yang mengontrol kedua efek tersebut.
Artefak skor sebesar perbedaan antar model
Dua kali selama survei, sebuah sel bergerak lebih dari batas kebisingan yang kami ukur, sekitar 5 poin, tanpa ada model yang berubah:
- Bagian pendahuluan (lead-in) dinilai alih-alih jawaban. Penilai referensi tolok ukur terjemahan membaca “Berikut adalah terjemahannya:” alih-alih terjemahannya.
- Menu dinilai alih-alih jawaban. Sebuah model kecil menjawab setiap permintaan terjemahan dengan tiga opsi berlabel, dan penilai memberikan nilai pada labelnya.
Dalam kasus lain, model tidak bisa dinilai sama sekali:
- Anggaran token yang diatur untuk jawaban pendek tidak menyisakan apa pun untuk dinilai. Model yang mendukung penalaran (reasoning-enabled) menghabiskan anggaran jawaban pendek untuk bernalar dan mengembalikan string kosong.
- Jejak penalaran masuk ke dalam teks yang dinilai. Tiga model mengembalikan pemikiran mereka di dalam jawaban.
Kami menangkap setiap masalah karena kami menyimpan pemeriksaan protokol per tugas dan menjalankan ulang apa yang mereka tandai. Tabel yang dipublikasikan di bidang ini rapuh pada tingkat 5 poin. Sebagian besar tidak mengatakan apa-apa tentang hal itu.
Semuanya bersih, satu giliran, dan sebagian besar diterjemahkan
Setiap tolok ukur yang kami jalankan kecuali PingPong adalah teks monolingual. Semuanya adalah satu giliran (single-turn): bacaan dan pertanyaan, item ujian, satu instruksi. Sebagian besar diterjemahkan atau ditulis ulang oleh mesin. Belebele diterjemahkan dari bahasa Inggris. Tolok ukur pencampuran kode (code-mixing) bahasa Indonesia–Inggris yang kami pertimbangkan ditulis ulang ke dalam bahasa campuran oleh salah satu model yang akan diuji. IndoMMLU, PingPong, dan set metafora SEA-HELM adalah pengecualian, ditulis secara asli; LoraxBench dimulai dari materi bahasa Indonesia asli tetapi mengubahnya ke dalam variasi lain.
Orang tidak berbicara dengan asisten dalam register tersebut. Mencampur bahasa Jawa atau Sunda dengan bahasa Indonesia adalah standar dalam percakapan sehari-hari, bukan kasus khusus. Tidak ada tolok ukur publik yang mengukur bahasa Indonesia yang dicampur dengan bahasa daerah. Set pencampuran kode yang ada mencakup bahasa Indonesia dengan bahasa Inggris, atau dengan bahasa Batak Toba di atas trivia bahasa Inggris. Tidak ada tolok ukur bahasa Indonesia multi-giliran sama sekali.
Cakupan bahasa Jawa dan Sunda juga tipis jika ada. Sebagian besar adalah pemahaman membaca pilihan ganda, dan rangkaian regional sering kali tidak menyertakan kedua bahasa tersebut dalam agregat utama mereka, bahkan di mana tugas individu menyertakannya.
Apa yang perlu ada
Survei ini memberi tahu kita apa yang harus dilakukan oleh instrumen yang berguna untuk bahasa-bahasa ini. Instrumen tersebut harus:
- Ditulis secara asli. Percakapan harus ditulis oleh penutur dengan kebiasaan mencampur bahasa mereka sendiri, bukan diterjemahkan atau dihasilkan oleh mesin.
- Bersifat multi-giliran dan campuran. Harus mencakup bahasa Indonesia dengan bahasa Jawa dan Sunda di kedua arah, pada tingkat yang sebenarnya digunakan orang.
- Memeriksa bahasa respons pada setiap item. Ini hampir gratis, dan seperti yang ditunjukkan oleh hasil bahasa Minangkabau, ini menangkap kegagalan yang tidak akan dilaporkan oleh skor akurasi mana pun.
- Menguji register sebagai pilihan. Mengingat kepada siapa pembicara berbicara, register mana yang tepat? Tidak ada tolok ukur publik yang menanyakan ini, dan itulah kesalahan yang sebenarnya menyinggung.
- Dinilai tanpa penilai jika memungkinkan. Di mana penilai tidak dapat dihindari, harus divalidasi terhadap penutur asli dan diperiksa silang antar vendor, dengan pemeriksaan silang dipublikasikan.
- Menyertakan garis dasar (baseline) sendiri. Harus mempublikasikan skor acak, jawaban konstan, dan “opsi terpanjang”, serta memisahkan bagian di mana rata-rata tunggal akan menyembunyikan bias, sebelum model apa pun dinilai.
- Memeriksa kunci jawabannya sendiri dalam setiap bahasa. Jika jawabannya harus ada dalam teks, verifikasi bahwa jawabannya memang ada dalam setiap terjemahan, dan nilai jawaban yang tepat alih-alih “memuat jawaban”.
Pengguna Baibu menulis tepat dalam register ini, jadi inilah instrumen yang ingin kami bangun.
Lampiran A: Kepatuhan instruksi
| Model | Indonesia | Jawa | Sunda |
|---|---|---|---|
| Sahabat-AI v2 70B · terbuka | 93.3 | 90.5 | 86.7 |
| Aya Expanse 32B · terbuka | 84.8 | 55.2 | 48.6 |
| Gemma 4 31B 31B · terbuka | 98.1 | 92.4 | 92.4 |
| Muse Glimmer 30B · terbuka | 89.5 | 85.7 | 69.5 |
| Qwen 3.8 27B · terbuka | 89.5 | 90.5 | 86.7 |
| SEA-LION v4.5 27B · terbuka | 93.3 | 93.3 | 84.8 |
| Qwen 3.5 9B · terbuka | 91.4 | 85.7 | 77.1 |
| Gemma 4 E4B 8B (4B efektif) · terbuka | 91.4 | 86.7 | 81.0 |
| Tiny Aya 3B · terbuka | 85.7 | 81.9 | 58.1 |
| Gemini 3.1 Flash Lite tertutup | 97.1 | 93.3 | 91.4 |
| Gemini 3.5 Flash Lite tertutup | 89.5 | 92.4 | 86.7 |
| GPT-5.6 Luna tertutup | 93.3 | 92.4 | 86.7 |
| GPT-5.6 Terra tertutup | 96.2 | 93.3 | 94.3 |
Akurasi dalam %, SEA-IFEval. Ulangi hasil berjalan bervariasi hingga 4.8 poin, jadi kesenjangan yang lebih kecil dianggap sebagai kebisingan.
Lampiran B: Apa yang tidak bisa diberitahukan oleh setiap tolok ukur kepada Anda
| Tolok ukur | Bahasa yang kami jalankan | Dibangun dari | Tugas | Apa yang tidak bisa diberitahukan kepada Anda |
|---|---|---|---|---|
| Belebele | ID, JV, SU | Diterjemahkan dari bahasa Inggris (FLORES) | Membaca pilihan ganda | Mendekati batas atas: model teratas mencetak 93–95% dalam bahasa Indonesia dan dalam 5 poin dalam JV dan SU |
| IndoMMLU | ID, JV, SU dan 7 bahasa dan budaya regional lainnya | Ujian sekolah Indonesia | Pengetahuan pilihan ganda | Hanya pengetahuan ujian; tidak ada yang dihasilkan |
| Membaca LoraxBench | 23 variasi | Dataset Indonesia, diterjemahkan ke setiap variasi | Salin jawaban pendek dari bacaan | Dinilai dengan “memuat jawaban”, yang menghargai balasan panjang; di luar bahasa Indonesia, 20–49% dari kunci jawaban tidak ada dalam bacaan |
| Pertanyaan terbuka & terjemahan LoraxBench | 23 variasi | Seperti di atas | Menjawab tanpa bacaan; menerjemahkan ke bahasa Indonesia | Pertanyaan terbuka menggunakan aturan “memuat” yang sama, jadi tingkatannya membawa bias panjang |
| SEA-IFEval | ID, JV, SU | Terjemahan penutur asli dari IFEval bahasa Inggris | Mengikuti instruksi format yang dapat diperiksa | Memeriksa format, bukan konten atau register; ulangi berjalan bervariasi hingga 4.8 poin |
| Sentimen SEA-HELM | JV, SU | NusaX, diterjemahkan oleh penutur asli dari bahasa Indonesia | Label sentimen tiga arah | Label pada satu kalimat; tidak ada yang dihasilkan |
| Metafora SEA-HELM | JV, SU | Fig-QA multilingual, ditulis oleh penutur asli | Memilih arti dari frasa figuratif | Pilihan biner, jadi peluangnya 50%; set JV dan SU tidak paralel |
| IndoSafety | ID, JV, SU, Minangkabau | Diadaptasi dari set prompt keamanan bahasa Inggris | Penilai LLM memberi peringkat setiap jawaban | Tidak ada label emas; setiap penilai menyukai vendornya sendiri dan melaporkan tingkat datar di seluruh bahasa |
| PingPong | JV–ID–EN, SU–ID–EN, ID–EN | Obrolan grup yang ditulis secara asli dalam bahasa campuran | Pertanyaan pilihan ganda tentang obrolan | Untuk 12 dari 13 model, tidak lebih baik daripada “pilih opsi terpanjang” pada pertanyaan ID–EN dan JV yang tidak dapat dijawab |
| Tidak ada yang publik | ID dicampur dengan JV atau SU | — | Percakapan multi-giliran; pilihan register | — |
Lampiran C: Catatan metode
- Tabel hasil utama. Membaca adalah Belebele, dijalankan 5-shot. Ujian sekolah adalah rata-rata dari tujuh bagian IndoMMLU tentang bahasa dan budaya regional selain bahasa Indonesia, Jawa, dan Sunda: Bali, Banjar, Dayak Ngaju, Lampung, Madura, Makassar, dan Minangkabau. Balasan dalam bahasa Minangkabau adalah bagian dari prompt bahasa Minangkabau IndoSafety yang dijawab sebagian besar dalam bahasa Minangkabau, berdasarkan ID bahasa; sisanya sebagian besar bahasa Indonesia atau campuran. Gemini 3.8 Flash tidak dapat dinilai pada tugas jawaban pendek dan dihilangkan.
- Model. Gemma 4 31B dan E4B, Qwen 3.5 9B dan Qwen 3.8 27B, SEA-LION v4.5 27B, Sahabat-AI v2 70B (disajikan dalam FP8), Aya Expanse 32B, Tiny Aya, dan Muse Glimmer 30B. Referensi tertutup: Gemini 3.1 dan 3.5 Flash Lite, serta GPT-5.6 Luna dan Terra. Gemini 3.8 Flash tidak dapat dinilai pada tugas jawaban pendek dan dilaporkan tidak dapat dijalankan di sana. Model terbuka berjalan di bf16 kecuali dicatat, pada revisi yang disematkan sebelum skor dibaca. Model tertutup diidentifikasi berdasarkan nama API-nya, yang dipanggil pada September 2026; kami tidak mencatat snapshot yang disajikan vendor, dan vendor dapat memperbarui model di balik namanya.
- Tolok ukur. Belebele, IndoMMLU, LoraxBench, SEA-IFEval, IndoSafety, dua tugas Jawa–Sunda SEA-HELM, dan PingPong. Semua dinilai secara generatif dengan protokol yang identik per tugas. Belebele dijalankan 5-shot; yang lainnya zero-shot. Penilaian PingPong adalah implementasi kami sendiri, karena deskripsi prompt dan tabel makalah tidak sepenuhnya selaras. Rilis PingPong tidak menyatakan lisensi; kami hanya mempublikasikan skor agregat dan tidak mereproduksi item apa pun.
- Kebisingan (Noise). Variasi ulangan yang diukur adalah hingga 1.0 poin pada tugas jawaban pendek dan 4.8 poin pada SEA-IFEval. LoraxBench, SEA-HELM, dan PingPong tidak memiliki batas bawah yang terukur.
- Data. Hanya skor agregat yang dipublikasikan. Tidak ada item tolok ukur yang direproduksi di sini.
Tentang penulis
-
Baibu Research
Tim riset
Tim riset Baibu meneliti bagaimana AI dapat melayani Indonesia dalam bahasa yang digunakan orang di rumah.