Как построены эти рейтинги

Откуда взят список, что означает каждая цифра и как часто он обновляется.

Вернуться к рейтингам

Область оценок Image / Video

Image и Video ссылаются на открытые оценки предпочтений Arena и Artificial Analysis. Организаторы считаются без повторов: несколько таблиц задач одного организатора — не несколько независимых организаций и не полная сертификация возможностей.

Генерация изображений, редактирование, текст → видео и изображение → видео показаны отдельно. Видеотаблицы Artificial Analysis со звуком образуют отдельные группы. Условия звука Arena определяются исходными записями; единый тест без звука не заявляется. Каждая таблица сортируется отдельно, без объединения задач, звуковых условий и настроек качества.

В ячейках сохранены исходное название записи, дата получения, доступные размеры выборок и интервалы. Preliminary — пометка источника, не наша оценка. Пропуски не заменяются нулём; пересечение интервалов не доказывает значимого превосходства.

Сторонние цены и время генерации вынесены на отдельные вкладки и не влияют на охват или порядок качества. Цены сохраняют единицы и настройки; время указывает поставщика и условия: медиана успешных запросов за три дня, включая скачивание, без повторов. Это не цены или замеры ChinaAPI и не доказательство отсутствия дрейфа наших моделей.

Как выбираются источники

Цитируются только первичные публичные рейтинги, которые может открыть каждый: тот же адрес, та же цифра, доступная для проверки любому. У каждой цифры записаны страница, с которой она прочитана, и дата чтения.

Никакого сбора данных во время запроса. Данные лежат файлом в репозитории, а обновление — это Pull Request, сдвигающий дату снимка, поэтому изменения видны прямо в diff.

Мы не перепечатываем целиком ничьи сводные баллы и агрегированные рейтинги. Отбор, компоновка и веса — авторский труд их составителей; мы цитируем построчно только проверяемые исходные значения.

Что означают цифры и как упорядочена таблица

Текст использует открытый алгоритм AIHOT v15: сравнение совместно оценённых моделей с фиксированными весами и минимизация общего расхождения. Наш набор моделей и проверенных данных отличается от AIHOT, поэтому баллы и места тоже отличаются.

Фиксированные веса: общие оценки 30%, слепые предпочтения людей 10%, специализированные оценки 60%. Пропуски не заменяются нулями, их вес не перераспределяется. Доступные источники и веса указаны ниже.

Для ранжирования нужны минимум 3 источника, 3 семейства оценок, 3 оператора, 3 специализированные категории и 2 прямых опорных модели; окно выпуска — 18 месяцев. При нехватке данных модель отображается без места.

Запись каждого источника выбирается по фиксированному приоритету конфигураций, а не по максимальному баллу. Порядок определяет консенсус Кемени; балл 0–100 основан на цене перестановки соседей и фиксированных ориентирах, а не на точности. Фильтры сохраняют места общего рейтинга.

Диапазон чувствительности получен исключением источников или операторов, изменением весов на ±20% и расчётом без интервалов. Это не статистический доверительный интервал.

Результат Terminal-Bench зависит и от модели, и от агентного каркаса, который её ведёт, поэтому цифра обязана указывать, каким агентом она получена. На этой странице приводится столбец, который Artificial Analysis прогоняет одним harness для всех моделей — mini-SWE-agent v2.4.6, 66 задач, pass@1 усреднённый по 3 повторам на задачу, — и harness назван в описании источника этого столбца. Раньше цитировалась официальная таблица бенчмарка, из которой бралась лучшая строка каждой модели, из-за чего разные модели могли попадать на разные harness. Теперь harness единый для всего столбца, и сравниваются сами модели, а не модель вместе с её лучшим каркасом.

MLCR-AA, который приводится в виде «Медицина», принадлежит тому же оператору, что и основной рейтинг (Artificial Analysis), но не является его составной частью: Artificial Analysis помечает его как самостоятельную оценку вне Intelligence Index, поэтому это по-настоящему независимое свидетельство, в отличие от двух столбцов выше. В основе лежит открытый бенчмарк MLCR от Wisedocs: сведение сведений из нескольких документов по синтетическим медицинским картам объёмом примерно 25 000–64 000 токенов — восстановление хронологии, причинно-следственных связей, схем лечения и относимости к страховому случаю, с вопросами шести уровней сложности. Он измеряет рассуждение по длинным записям, а не медицинскую компетентность вообще, и не является медицинской рекомендацией.

Цифры, заявленные самим вендором, появляются только там, где модель не охвачена ни одним независимым рейтингом. Они помечаются отдельно и никогда не влияют на порядок таблицы.

Если название строки в рейтинге не совпадает с именем модели у нас (превью-версия, pro-версия, другая ступень разрешения), под ячейкой дословно указывается собственное название из этого рейтинга. Мы не переприписываем чужую оценку другой модели.

Столбец «Дата выхода» — это объявленная вендором дата выпуска модели, а не дата её появления у нас: она берётся из официального анонса самого вендора, а для моделей с датой в суффиксе имени (например, -260628) — из суффикса. Даты, которые фиксируют сторонние рейтинги вроде Epoch, служат только для сверки и напрямую не используются. Если подтверждённой даты найти не удалось, в ячейке остаётся «—», а не догадка.

Охват

Первая редакция охватывает три категории: текст и мультимодальность, генерацию изображений и генерацию видео. Синтез и распознавание речи пока не включены — публичные рейтинги, которым доверяет эта страница, их не охватывают, а пустое место честнее выдуманной позиции.

В список входят все китайские модели, которые обслуживает этот шлюз, плюс международные модели, взятые для сравнения. Международные позиции отвечают на вопрос «где сегодня находятся китайские модели» и не являются списком рекомендаций.

Оговорки

Эта страница — не наше собственное тестирование: мы не участвовали ни в разработке, ни в проведении, ни в оценке ни одного из этих тестов.

Позиции меняются вместе с обновлениями источников, и эта страница верна только на дату снимка, указанную вверху.

Публичный бенчмарк измеряет результат на тех задачах, которые он проверяет, и они могут не совпасть с вашими. Выбирайте модель по проверке на собственном сценарии.

Названия, товарные знаки и содержание каждого источника принадлежат их правообладателям; эта страница лишь цитирует и поясняет их.

Периодичность обновления

Ни планировщика, ни автоматической синхронизации. Изменения данных попадают на страницу только через Pull Request: источники перечитываются, цифры и даты получения обновляются, дата снимка сдвигается вперёд — и после ревью всё выходит вместе с релизом.

Это значит, что страница может отставать от последнего обновления какого-либо рейтинга. Мы считаем, что «проверяемо и с датой» важнее, чем «в реальном времени, но без ревью».

Дата «Актуализировано» над таблицей следует только за составом: она сдвигается при добавлении модели или нового цитируемого источника, а простое перечитывание цифр её не меняет — это задача даты снимка вверху страницы. Дата привязана к числу записей, и если счётчики расходятся, сборка падает, поэтому она не может незаметно устареть.

Публичные источники, цитируемые на этой странице

  • LMArena Text Arena
    LMArena (arena.ai) · Arena score (Elo) · Hugging Face dataset lmarena-ai/leaderboard-dataset (text_style_control, category overall), published 2026-10-02, revision 46919c467f7f. Each rating is rounded half-up to a whole number and its interval is rating_upper minus rating, as arena.ai prints them; the dataset carries no Preliminary badge, so each citation records its row's vote count instead, and row names follow the dataset, which can trail a rename on arena.ai · данные получены 2026-10-05
    Лицензия: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), as labelled on the dataset card (https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)
  • LiveBench
    LiveBench (sponsored by Abacus.AI) · Overall · LiveBench-2026-06-25 · данные получены 2026-10-04
    На той странице условия повторного использования не объявлены, поэтому здесь она указана как источник со ссылкой на оригинал.
  • Artificial Analysis Intelligence Index
    Artificial Analysis · Intelligence Index · Intelligence Index v4.3.2, read 2026-09-22; its figures are not comparable with the v4.3 figures this page quoted from its 2026-09-12 read. v4.3.1 refreshed the pairwise judge panels of AA-Briefcase and GDPval-AA, and v4.3.2 moved GDPval-AA to v2.1 (Elo scale anchored to DeepSeek V4.1 Flash (max) at 1600, fitted with a Crowd-BT model) and refitted AA-Briefcase v1.1 with Crowd-BT, so rows moved without any model changing. v4.3 had already swapped τ³-Banking out of the index for AutomationBench-AA and Terminal-Bench v2.1 for v4.0. The leaderboard's default Status: Current filter hides rows Artificial Analysis marks deprecated; they still render with Status set to All and are re-read from that view like any other row (CA-948). A trailing * is reproduced as the board prints it: the board's data marks that score as estimated (intelligenceIndexIsEstimated), i.e. not every evaluation in the index had been run for that model · данные получены 2026-09-22
    На той странице условия повторного использования не объявлены, поэтому здесь она указана как источник со ссылкой на оригинал.
  • SuperCLUE 智能指数
    SuperCLUE · 总分 (overall) · 2026-07 evaluation, published 2026-08-06. The homepage reads this edition from its data file (/data/generalboard/2026年7月.xlsx, sheet 总排行榜, last modified 2026-09-11), which also carries rows evaluated after publication, each with its own evaluation publication date (the latest 2026-09-11); the page's Latest Update line refers to a different sub-board · данные получены 2026-10-04
    На той странице условия повторного использования не объявлены, поэтому здесь она указана как источник со ссылкой на оригинал.
  • Epoch Capabilities Index (ECI)
    Epoch AI · General ECI · live board · данные получены 2026-10-04
    Лицензия: CC BY 4.0, as labelled on the page (https://creativecommons.org/licenses/by/4.0/)
  • Vals Index
    Vals AI · Accuracy (GDP-weighted finance, coding, legal and tax) · V2.1, page states updated 2026-10-02; read 2026-10-04. This revision covers finance, coding, legal and tax tasks and is not comparable with the V2 figures previously quoted. The entire cited cohort was re-read, including standard errors; 11 previously cited V2 rows are absent from the V2.1 board. Figures use the default scores including provider fallbacks, as labelled by Vals. · данные получены 2026-10-04
    На той странице условия повторного использования не объявлены, поэтому здесь она указана как источник со ссылкой на оригинал.
  • Vendor's own evaluation card
    the model's own vendor · varies; the benchmark is named in each row · self-reported · данные получены 2026-09-22
    заявлено вендором, в сортировке не участвует
  • LMArena Text-to-Image Arena
    LMArena (arena.ai) · Arena score (Elo) · Hugging Face dataset lmarena-ai/leaderboard-dataset (text_to_image, category overall), published 2026-09-24, revision 46919c467f7f. Each rating is rounded half-up to a whole number and its interval is rating_upper minus rating, as arena.ai prints them; the dataset carries no Preliminary badge, so each citation records its row's vote count instead, and row names follow the dataset, which can trail a rename on arena.ai · данные получены 2026-10-05
    Лицензия: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), as labelled on the dataset card (https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)
  • LMArena Image Edit Arena
    LMArena (arena.ai) · Arena score (Elo) · Hugging Face dataset lmarena-ai/leaderboard-dataset (image_edit, category overall), published 2026-09-30, revision 46919c467f7f. Each rating is rounded half-up to a whole number and its interval is rating_upper minus rating, as arena.ai prints them; the dataset carries no Preliminary badge, so each citation records its row's vote count instead, and row names follow the dataset, which can trail a rename on arena.ai · данные получены 2026-10-05
    Лицензия: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), as labelled on the dataset card (https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)
  • LMArena Text-to-Video Arena
    LMArena (arena.ai) · Arena score (Elo) · Hugging Face dataset lmarena-ai/leaderboard-dataset (text_to_video, category overall), published 2026-09-22, revision 46919c467f7f. Each rating is rounded half-up to a whole number and its interval is rating_upper minus rating, as arena.ai prints them; the dataset carries no Preliminary badge, so each citation records its row's vote count instead, and row names follow the dataset, which can trail a rename on arena.ai · данные получены 2026-10-05
    Лицензия: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), as labelled on the dataset card (https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)
  • LMArena Image-to-Video Arena
    LMArena (arena.ai) · Arena score (Elo) · Hugging Face dataset lmarena-ai/leaderboard-dataset (image_to_video, category overall), published 2026-09-22, revision 46919c467f7f. Each rating is rounded half-up to a whole number and its interval is rating_upper minus rating, as arena.ai prints them; the dataset carries no Preliminary badge, so each citation records its row's vote count instead, and row names follow the dataset, which can trail a rename on arena.ai · данные получены 2026-10-05
    Лицензия: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), as labelled on the dataset card (https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)
  • LMArena Text Arena · Chinese
    LMArena (arena.ai) · Arena score (Elo) · Hugging Face dataset lmarena-ai/leaderboard-dataset (text_style_control, category chinese, prompts in Chinese), published 2026-10-02, revision 46919c467f7f. Each rating is rounded half-up to a whole number and its interval is rating_upper minus rating, as arena.ai prints them; the dataset carries no Preliminary badge, so each citation records its row's vote count instead, and row names follow the dataset, which can trail a rename on arena.ai · данные получены 2026-10-05
    Лицензия: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), as labelled on the dataset card (https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)
  • LMArena Text Arena · Coding
    LMArena (arena.ai) · Arena score (Elo) · Hugging Face dataset lmarena-ai/leaderboard-dataset (text_style_control, category coding), published 2026-10-02, revision 46919c467f7f. Each rating is rounded half-up to a whole number and its interval is rating_upper minus rating, as arena.ai prints them; the dataset carries no Preliminary badge, so each citation records its row's vote count instead, and row names follow the dataset, which can trail a rename on arena.ai · данные получены 2026-10-05
    Лицензия: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), as labelled on the dataset card (https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset)
  • LiveBench · Coding
    LiveBench (sponsored by Abacus.AI) · Coding · LiveBench-2026-06-25 · данные получены 2026-10-04
    На той странице условия повторного использования не объявлены, поэтому здесь она указана как источник со ссылкой на оригинал.
  • LiveBench · Agentic Coding
    LiveBench (sponsored by Abacus.AI) · Agentic Coding · LiveBench-2026-06-25 · данные получены 2026-10-04
    На той странице условия повторного использования не объявлены, поэтому здесь она указана как источник со ссылкой на оригинал.
  • Artificial Analysis · Output Speed
    Artificial Analysis · Median output tokens/s · live board; measured by Artificial Analysis against the vendor's own API, not through ChinaAPI. Rows Artificial Analysis marks deprecated are read with the leaderboard's Status filter set to All (CA-948) · данные получены 2026-09-22
    На той странице условия повторного использования не объявлены, поэтому здесь она указана как источник со ссылкой на оригинал.
  • Artificial Analysis · GDPval-AA v2.1
    Artificial Analysis · Agentic Real-World Work Tasks, (Elo-500)/2000 (%) · GDPval-AA v2.1, live board, read 2026-09-22. 220 agentic task-completion tasks with file outputs, ranked pairwise by a panel of three frontier LLM judges; since v2.1 the Elo scale is anchored to DeepSeek V4.1 Flash (max) at 1600 and fitted with a Crowd-BT model, so its figures are not comparable with the v2 figures this page quoted from its 2026-09-12 read. The column prints clamp((Elo-500)/2000). It carries 10% of the Agents category inside Intelligence Index v4.3.2, so this column is a component of the AA Intelligence Index shown as an individual source, not an independent operator. Rows Artificial Analysis marks deprecated are read with the leaderboard's Status filter set to All (CA-948). The column is hidden until the leaderboard's Intelligence group is expanded · данные получены 2026-09-22
    На той странице условия повторного использования не объявлены, поэтому здесь она указана как источник со ссылкой на оригинал.
  • Artificial Analysis · Terminal-Bench v4.0
    Artificial Analysis · Agentic Coding & Terminal Use (%) · Terminal-Bench 4.0 (66 tasks), run by Artificial Analysis with the mini-swe-agent harness, pass@1 averaged over 3 repeats per task; read 2026-09-22. When this column replaced the benchmark's own board on 2026-09-07 the methodology page named the harness as mini-SWE-agent v2.4.6; on 2026-09-21 it and the evaluation page name mini-swe-agent without a version, and every figure quoted before then read back unchanged. One harness for every model, so the column compares models rather than model-plus-best-scaffold — which is why it replaced the benchmark's own board, whose rows are agent × model and covered one Chinese model out of 34 (CA-788, overturning CA-734). It carries 10% of the Coding category inside Intelligence Index v4.3.2, so this column is a component of the AA Intelligence Index shown as an individual source, not an independent operator. Rows Artificial Analysis marks deprecated are read with the leaderboard's Status filter set to All (CA-948). The column is hidden until the leaderboard's Intelligence group is expanded · данные получены 2026-09-22
    На той странице условия повторного использования не объявлены, поэтому здесь она указана как источник со ссылкой на оригинал.
  • Artificial Analysis · MLCR-AA
    Artificial Analysis · Medical Long Context Reasoning (%) · MLCR-AA, live board, read 2026-09-22. Artificial Analysis marks it a standalone evaluation that is NOT part of Intelligence Index v4.3 — unlike the GDPval-AA v2 and Terminal-Bench v4.0 columns, this one is not a component of the AA Intelligence Index shown as an individual source, only the same operator. The underlying benchmark is Wisedocs' open MLCR (Wisedocs-AI/medical-long-context-reasoning): synthetic medical records of roughly 25,000-64,000 tokens, graded across six tiers from locating a single fact to expert-level clinical synthesis. It measures multi-document reasoning over long records, not medical capability in general. The main leaderboard carries no column for it; the figures were first read off the evaluation page's chart (2026-09-07) and since 2026-09-22 from the per-model pages' payload, which carries every model the chart can show (CA-956) · данные получены 2026-09-22
    На той странице условия повторного использования не объявлены, поэтому здесь она указана как источник со ссылкой на оригинал.
  • Artificial Analysis Text To Image
    Artificial Analysis · Elo · live board; exact row settings retained · данные получены 2026-09-13
    На той странице условия повторного использования не объявлены, поэтому здесь она указана как источник со ссылкой на оригинал.
  • Artificial Analysis Editing
    Artificial Analysis · Elo · live board; exact row settings retained · данные получены 2026-09-13
    На той странице условия повторного использования не объявлены, поэтому здесь она указана как источник со ссылкой на оригинал.
  • Artificial Analysis Text To Video · With Audio
    Artificial Analysis · Elo · live board; with audio pool; exact row settings retained · данные получены 2026-09-13
    На той странице условия повторного использования не объявлены, поэтому здесь она указана как источник со ссылкой на оригинал.
  • Artificial Analysis Image To Video · With Audio
    Artificial Analysis · Elo · live board; with audio pool; exact row settings retained · данные получены 2026-09-13
    На той странице условия повторного использования не объявлены, поэтому здесь она указана как источник со ссылкой на оригинал.

Файл данных

Все данные этой страницы доступны в машиночитаемом виде: /api/model-rankings (2026-10-05)