Bagaimana peringkat ini disusun

Dari mana daftar ini berasal, apa arti setiap angka, dan seberapa sering diperbarui.

Kembali ke peringkat

Cakupan evaluasi Image / Video

Image dan Video mengutip evaluasi preferensi publik Arena dan Artificial Analysis. Penyelenggara dihitung tanpa duplikasi; beberapa papan tugas dari satu penyelenggara bukan beberapa lembaga independen maupun sertifikasi kemampuan menyeluruh.

Teks ke gambar, penyuntingan gambar, teks ke video, dan gambar ke video memiliki tampilan terpisah. Papan video dengan audio Artificial Analysis membentuk kelompok tersendiri. Kondisi audio Arena mengikuti entri sumber; kami tidak mengklaim pengujian seragam tanpa audio. Setiap papan diurutkan terpisah, tanpa menggabungkan tugas, kondisi audio, atau setelan kualitas.

Sel mempertahankan entri sumber, tanggal pengambilan, jumlah sampel yang dicatat, dan interval. Preliminary adalah penanda sumber, bukan penilaian kami. Sampel yang hilang tidak diganti nol; interval tumpang tindih tidak membuktikan keunggulan signifikan.

Harga dan waktu generasi pihak ketiga ditampilkan pada tab terpisah dan tidak memengaruhi cakupan maupun urutan kualitas. Harga mempertahankan satuan dan konfigurasi. Waktu menyebut penyedia dan kondisi: median permintaan berhasil tiga hari, termasuk unduhan tanpa percobaan ulang. Ini bukan harga atau pengukuran ChinaAPI, dan bukan bukti bahwa model kami tidak mengalami pergeseran kualitas.

Cara sumber dipilih

Hanya papan peringkat sumber pertama yang bisa dibuka siapa saja: alamat yang sama, angka yang sama, dapat diperiksa siapa pun. Setiap angka mencatat halaman asalnya dan tanggal pembacaannya.

Tidak ada pengambilan data saat permintaan berlangsung. Data tersimpan dalam berkas di repositori, dan pembaruan berupa Pull Request yang memajukan tanggal cuplikan, sehingga perubahannya terlihat jelas pada diff.

Skor gabungan atau peringkat agregat pihak ketiga tidak disalin utuh. Pemilihan, penyusunan, dan pembobotan mereka adalah karya mereka; kami hanya mengutip angka asli yang dapat diperiksa, satu baris pada satu waktu.

Arti angka-angka dan cara tabel diurutkan

Teks memakai algoritme v15 sumber terbuka AIHOT: perbandingan berbobot tetap atas model yang diuji bersama, lalu meminimalkan ketidaksepakatan total. Daftar model dan data terverifikasi kami berbeda dari AIHOT, sehingga skor dan peringkat juga berbeda.

Bobot tetap: evaluasi umum 30%, preferensi manusia 10%, evaluasi khusus 60%. Data yang hilang bukan nol dan bobotnya tidak dibagikan ulang. Sumber dan bobot tersedia tercantum di bawah.

Syarat peringkat: minimal 3 sumber, 3 keluarga evaluasi, 3 operator, 3 kategori khusus dan 2 model acuan langsung, dalam jendela rilis 18 bulan. Model dengan bukti kurang tetap ditampilkan tanpa peringkat.

Setiap sumber memilih entri berdasarkan prioritas konfigurasi tetap, bukan skor tertinggi. Konsensus Kemeny menentukan peringkat; skor tampilan 0–100 memakai biaya pembalikan urutan bersebelahan dan acuan tetap, bukan akurasi. Filter mempertahankan peringkat keseluruhan.

Rentang sensitivitas dihitung ulang dengan menghapus sumber/operator, mengubah bobot ±20%, atau mengabaikan interval. Ini bukan interval kepercayaan statistik.

Skor Terminal-Bench bergantung pada model sekaligus pada scaffold agen yang menjalankannya, jadi angka itu harus menyebutkan agen mana yang menghasilkannya. Halaman ini mengutip kolom yang dijalankan Artificial Analysis dengan satu harness untuk semua model — mini-SWE-agent v2.4.6, 66 tugas, pass@1 dirata-ratakan atas 3 pengulangan per tugas — dan harness-nya disebutkan pada catatan sumber kolom tersebut. Sebelumnya papan resmi benchmark dikutip dengan mengambil baris terbaik tiap model, sehingga model berbeda bisa jatuh pada harness berbeda; dengan satu harness untuk seluruh kolom, yang dibandingkan adalah modelnya sendiri, bukan model plus scaffold terbaiknya.

MLCR-AA yang dikutip pada tampilan Medis berasal dari operator yang sama dengan papan utama (Artificial Analysis) tetapi bukan komponennya: Artificial Analysis menandainya sebagai evaluasi mandiri di luar Intelligence Index, jadi ini bukti yang benar-benar independen, berbeda dari dua kolom di atas. Benchmark dasarnya adalah MLCR terbuka dari Wisedocs: sintesis multidokumen atas rekam medis sintetis sekitar 25.000–64.000 token, merekonstruksi kronologi, kausalitas, pola perawatan, dan relevansi klaim, dengan pertanyaan berjenjang enam tingkat. Ia mengukur penalaran atas rekam panjang, bukan kemampuan medis secara umum, dan bukan merupakan nasihat medis.

Angka dari vendor sendiri hanya muncul jika tidak ada satu pun papan independen yang mencakup model itu. Angka tersebut diberi keterangan dan tidak pernah dipakai mengurutkan tabel.

Bila label baris pada papan berbeda dari nama model yang kami sediakan (versi preview, versi pro, tingkat resolusi lain), label papan itu dicetak apa adanya di bawah sel. Kami tidak diam-diam memindahkan skor milik model lain.

Kolom “Tanggal rilis” adalah tanggal rilis model yang diumumkan vendor, bukan tanggal mulai dijual di situs ini: tanggalnya diambil dari pengumuman rilis resmi vendor sendiri, dan nama model dengan akhiran tanggal (seperti -260628) memakai tanggal yang dikodekan akhiran itu. Tanggal yang dicatat papan peringkat pihak ketiga seperti Epoch hanya menjadi pembanding dan tidak dipakai langsung. Bila tidak ditemukan tanggal yang berdasar, sel dibiarkan “—” alih-alih menebak.

Cakupan

Edisi pertama mencakup teks dan multimodal, pembuatan gambar, serta pembuatan video. Sintesis dan pengenalan suara belum dimasukkan: papan publik yang halaman ini gunakan tidak mencakupnya, dan mengosongkannya lebih baik daripada mengarang peringkat.

Koleksi ini mencakup model Tiongkok yang dijual di sini, model baru terverifikasi yang sedang dipantau, dan model internasional sebagai pembanding. Pencantuman tidak berarti tersedia di ChinaAPI; bobot terbuka tidak berarti lisensi yang permisif. Model dengan bukti yang belum cukup tetap tanpa peringkat. Model internasional memberi konteks untuk membandingkan posisi model Tiongkok.

Penafian

Halaman ini bukan evaluasi kami sendiri. Kami tidak ikut merancang, menjalankan, atau menilai satu pun pengujian ini.

Posisi berubah seiring pembaruan sumber. Halaman ini hanya berlaku untuk tanggal cuplikan yang tertera di bagian atas.

Tolok ukur publik mengukur performa pada tugas yang diujinya, yang belum tentu sama dengan kebutuhan Anda. Pilih model dengan mengujinya pada kasus penggunaan Anda sendiri.

Nama, merek dagang, dan konten setiap sumber adalah milik pemiliknya masing-masing; halaman ini hanya mengutip dan menjelaskannya.

Irama pembaruan

Tidak ada tugas terjadwal dan tidak ada sinkronisasi otomatis. Perubahan data hanya masuk lewat Pull Request: sumber dibaca ulang, angka dan tanggal pengambilan diperbarui, tanggal cuplikan dimajukan, lalu dirilis bersama versi berikutnya setelah ditinjau.

Artinya halaman ini bisa tertinggal dari penyegaran terbaru sebuah papan. Kami lebih memilih dapat diperiksa dan bertanggal daripada seketika tetapi tanpa peninjauan.

Tanggal “Dipelihara” di atas tabel hanya mengikuti daftar koleksi: berubah saat model atau sumber kutipan baru ditambahkan, dan pembacaan ulang angka saja tidak menggesernya — itu tugas tanggal snapshot. Tanggal ini terikat pada jumlah koleksi, dan build gagal bila jumlahnya tak cocok, sehingga ia tidak bisa diam-diam kedaluwarsa.

Sumber publik yang dikutip di halaman ini

  • LMArena Text Arena
    LMArena (arena.ai) · Arena score (Elo) · Hugging Face dataset lmarena-ai/leaderboard-dataset (text_style_control, category overall), published 2026-10-02, revision 46919c467f7f. Each rating is rounded half-up to a whole number and its interval is rating_upper minus rating, as arena.ai prints them; the dataset carries no Preliminary badge, so each citation records its row's vote count instead, and row names follow the dataset, which can trail a rename on arena.ai · diambil 2026-10-05
    Lisensi: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), as labelled on the dataset card (https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)
  • Artificial Analysis Intelligence Index
    Artificial Analysis · Intelligence Index · Intelligence Index v4.3.2, read 2026-09-22; its figures are not comparable with the v4.3 figures this page quoted from its 2026-09-12 read. v4.3.1 refreshed the pairwise judge panels of AA-Briefcase and GDPval-AA, and v4.3.2 moved GDPval-AA to v2.1 (Elo scale anchored to DeepSeek V4.1 Flash (max) at 1600, fitted with a Crowd-BT model) and refitted AA-Briefcase v1.1 with Crowd-BT, so rows moved without any model changing. v4.3 had already swapped τ³-Banking out of the index for AutomationBench-AA and Terminal-Bench v2.1 for v4.0. The leaderboard's default Status: Current filter hides rows Artificial Analysis marks deprecated; they still render with Status set to All and are re-read from that view like any other row (CA-948). A trailing * is reproduced as the board prints it: the board's data marks that score as estimated (intelligenceIndexIsEstimated), i.e. not every evaluation in the index had been run for that model · diambil 2026-09-22
    Halaman tersebut tidak menyatakan lisensi penggunaan ulang, sehingga halaman ini mengutipnya sebagai sumber dan menautkan kembali ke sana.
  • SuperCLUE 智能指数
    SuperCLUE · 总分 (overall) · 2026-07 evaluation, published 2026-08-06. The homepage reads this edition from its data file (/data/generalboard/2026年7月.xlsx, sheet 总排行榜, last modified 2026-09-11), which also carries rows evaluated after publication, each with its own evaluation publication date (the latest 2026-09-11); the page's Latest Update line refers to a different sub-board · diambil 2026-10-04
    Halaman tersebut tidak menyatakan lisensi penggunaan ulang, sehingga halaman ini mengutipnya sebagai sumber dan menautkan kembali ke sana.
  • Epoch Capabilities Index (ECI)
    Epoch AI · General ECI · live board · diambil 2026-10-04
    Lisensi: CC BY 4.0, as labelled on the page (https://creativecommons.org/licenses/by/4.0/)
  • Vals Index
    Vals AI · Accuracy (GDP-weighted finance, coding, legal and tax) · V2.2, page updated 2026-10-22; complete current cohort read 2026-10-23. Finance Agent v2.1 replaces v2 in this index; figures are not comparable with the V2.1 snapshot. Missing exact builds are not carried forward. · diambil 2026-10-23
    Halaman tersebut tidak menyatakan lisensi penggunaan ulang, sehingga halaman ini mengutipnya sebagai sumber dan menautkan kembali ke sana.
  • Vendor's own evaluation card
    the model's own vendor · varies; the benchmark is named in each row · self-reported · diambil 2026-09-22
    dilaporkan vendor, tidak pernah dipakai untuk mengurutkan
  • LMArena Text-to-Image Arena
    LMArena (arena.ai) · Arena score (Elo) · Hugging Face dataset lmarena-ai/leaderboard-dataset (text_to_image, category overall), published 2026-09-24, revision 46919c467f7f. Each rating is rounded half-up to a whole number and its interval is rating_upper minus rating, as arena.ai prints them; the dataset carries no Preliminary badge, so each citation records its row's vote count instead, and row names follow the dataset, which can trail a rename on arena.ai · diambil 2026-10-05
    Lisensi: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), as labelled on the dataset card (https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)
  • LMArena Image Edit Arena
    LMArena (arena.ai) · Arena score (Elo) · Hugging Face dataset lmarena-ai/leaderboard-dataset (image_edit, category overall), published 2026-09-30, revision 46919c467f7f. Each rating is rounded half-up to a whole number and its interval is rating_upper minus rating, as arena.ai prints them; the dataset carries no Preliminary badge, so each citation records its row's vote count instead, and row names follow the dataset, which can trail a rename on arena.ai · diambil 2026-10-05
    Lisensi: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), as labelled on the dataset card (https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)
  • LMArena Text-to-Video Arena
    LMArena (arena.ai) · Arena score (Elo) · Hugging Face dataset lmarena-ai/leaderboard-dataset (text_to_video, category overall), published 2026-09-22, revision 46919c467f7f. Each rating is rounded half-up to a whole number and its interval is rating_upper minus rating, as arena.ai prints them; the dataset carries no Preliminary badge, so each citation records its row's vote count instead, and row names follow the dataset, which can trail a rename on arena.ai · diambil 2026-10-05
    Lisensi: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), as labelled on the dataset card (https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)
  • LMArena Image-to-Video Arena
    LMArena (arena.ai) · Arena score (Elo) · Hugging Face dataset lmarena-ai/leaderboard-dataset (image_to_video, category overall), published 2026-09-22, revision 46919c467f7f. Each rating is rounded half-up to a whole number and its interval is rating_upper minus rating, as arena.ai prints them; the dataset carries no Preliminary badge, so each citation records its row's vote count instead, and row names follow the dataset, which can trail a rename on arena.ai · diambil 2026-10-05
    Lisensi: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), as labelled on the dataset card (https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)
  • LMArena Text Arena · Chinese
    LMArena (arena.ai) · Arena score (Elo) · Hugging Face dataset lmarena-ai/leaderboard-dataset (text_style_control, category chinese, prompts in Chinese), published 2026-10-02, revision 46919c467f7f. Each rating is rounded half-up to a whole number and its interval is rating_upper minus rating, as arena.ai prints them; the dataset carries no Preliminary badge, so each citation records its row's vote count instead, and row names follow the dataset, which can trail a rename on arena.ai · diambil 2026-10-05
    Lisensi: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), as labelled on the dataset card (https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)
  • LMArena Text Arena · Coding
    LMArena (arena.ai) · Arena score (Elo) · Hugging Face dataset lmarena-ai/leaderboard-dataset (text_style_control, category coding), published 2026-10-02, revision 46919c467f7f. Each rating is rounded half-up to a whole number and its interval is rating_upper minus rating, as arena.ai prints them; the dataset carries no Preliminary badge, so each citation records its row's vote count instead, and row names follow the dataset, which can trail a rename on arena.ai · diambil 2026-10-05
    Lisensi: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), as labelled on the dataset card (https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)
  • Artificial Analysis · Output Speed
    Artificial Analysis · Median output tokens/s · live board; measured by Artificial Analysis against the vendor's own API, not through ChinaAPI. Rows Artificial Analysis marks deprecated are read with the leaderboard's Status filter set to All (CA-948) · diambil 2026-09-22
    Halaman tersebut tidak menyatakan lisensi penggunaan ulang, sehingga halaman ini mengutipnya sebagai sumber dan menautkan kembali ke sana.
  • Artificial Analysis · GDPval-AA v2.1
    Artificial Analysis · Agentic Real-World Work Tasks, (Elo-500)/2000 (%) · GDPval-AA v2.1, live board, read 2026-09-22. 220 agentic task-completion tasks with file outputs, ranked pairwise by a panel of three frontier LLM judges; since v2.1 the Elo scale is anchored to DeepSeek V4.1 Flash (max) at 1600 and fitted with a Crowd-BT model, so its figures are not comparable with the v2 figures this page quoted from its 2026-09-12 read. The column prints clamp((Elo-500)/2000). It carries 10% of the Agents category inside Intelligence Index v4.3.2, so this column is a component of the AA Intelligence Index shown as an individual source, not an independent operator. Rows Artificial Analysis marks deprecated are read with the leaderboard's Status filter set to All (CA-948). The column is hidden until the leaderboard's Intelligence group is expanded · diambil 2026-09-22
    Halaman tersebut tidak menyatakan lisensi penggunaan ulang, sehingga halaman ini mengutipnya sebagai sumber dan menautkan kembali ke sana.
  • Artificial Analysis · Terminal-Bench v4.0
    Artificial Analysis · Agentic Coding & Terminal Use (%) · Terminal-Bench 4.0 (66 tasks), run by Artificial Analysis with the mini-swe-agent harness, pass@1 averaged over 3 repeats per task; read 2026-09-22. When this column replaced the benchmark's own board on 2026-09-07 the methodology page named the harness as mini-SWE-agent v2.4.6; on 2026-09-21 it and the evaluation page name mini-swe-agent without a version, and every figure quoted before then read back unchanged. One harness for every model, so the column compares models rather than model-plus-best-scaffold — which is why it replaced the benchmark's own board, whose rows are agent × model and covered one Chinese model out of 34 (CA-788, overturning CA-734). It carries 10% of the Coding category inside Intelligence Index v4.3.2, so this column is a component of the AA Intelligence Index shown as an individual source, not an independent operator. Rows Artificial Analysis marks deprecated are read with the leaderboard's Status filter set to All (CA-948). The column is hidden until the leaderboard's Intelligence group is expanded · diambil 2026-09-22
    Halaman tersebut tidak menyatakan lisensi penggunaan ulang, sehingga halaman ini mengutipnya sebagai sumber dan menautkan kembali ke sana.
  • Artificial Analysis · MLCR-AA
    Artificial Analysis · Medical Long Context Reasoning (%) · MLCR-AA, live board, read 2026-09-22. Artificial Analysis marks it a standalone evaluation that is NOT part of Intelligence Index v4.3 — unlike the GDPval-AA v2 and Terminal-Bench v4.0 columns, this one is not a component of the AA Intelligence Index shown as an individual source, only the same operator. The underlying benchmark is Wisedocs' open MLCR (Wisedocs-AI/medical-long-context-reasoning): synthetic medical records of roughly 25,000-64,000 tokens, graded across six tiers from locating a single fact to expert-level clinical synthesis. It measures multi-document reasoning over long records, not medical capability in general. The main leaderboard carries no column for it; the figures were first read off the evaluation page's chart (2026-09-07) and since 2026-09-22 from the per-model pages' payload, which carries every model the chart can show (CA-956) · diambil 2026-09-22
    Halaman tersebut tidak menyatakan lisensi penggunaan ulang, sehingga halaman ini mengutipnya sebagai sumber dan menautkan kembali ke sana.
  • Artificial Analysis Text To Image
    Artificial Analysis · Elo · live board; exact row settings retained · diambil 2026-09-13
    Halaman tersebut tidak menyatakan lisensi penggunaan ulang, sehingga halaman ini mengutipnya sebagai sumber dan menautkan kembali ke sana.
  • Artificial Analysis Editing
    Artificial Analysis · Elo · live board; exact row settings retained · diambil 2026-09-13
    Halaman tersebut tidak menyatakan lisensi penggunaan ulang, sehingga halaman ini mengutipnya sebagai sumber dan menautkan kembali ke sana.
  • Artificial Analysis Text To Video · With Audio
    Artificial Analysis · Elo · live board; with audio pool; exact row settings retained · diambil 2026-09-13
    Halaman tersebut tidak menyatakan lisensi penggunaan ulang, sehingga halaman ini mengutipnya sebagai sumber dan menautkan kembali ke sana.
  • Artificial Analysis Image To Video · With Audio
    Artificial Analysis · Elo · live board; with audio pool; exact row settings retained · diambil 2026-09-13
    Halaman tersebut tidak menyatakan lisensi penggunaan ulang, sehingga halaman ini mengutipnya sebagai sumber dan menautkan kembali ke sana.

Berkas data

Seluruh data halaman ini tersedia dalam format terbaca mesin: /api/model-rankings (2026-10-23)