Pořadí modelů
Index. Modely jsou seřazené od nejlepšího výsledku k nejhoršímu.
Sloupec sahá k lepšímu z výsledků modelu při nízkém a vysokém úsilí uvažování; číslo je tento výsledek a podle něj modely řadíme. Světlejší nebo šrafovaná část ukazuje, o kolik se výsledek při vysokém úsilí liší. Malý rozdíl mezi modely nemusí nic znamenat: hodnoty a intervaly spolehlivosti najdete v tabulce výsledků i po najetí nebo klepnutí na graf.
Poznáte, který text psal člověk?
Vyzkoušejte si, jestli poznáte, který text psal člověk, a jaké modely vám víc sedí. Texty v benchmarku hodnotí jazykový model. Jestli hodnotí jako lidé, ověřujeme na odpovědích čtenářů.
Co index měří
Jako člověk. Porotce čte každý text zvlášť a odhaduje, s jakou pravděpodobností ho psal člověk. Skóre je průměr těchto odhadů.
Lepší čeština. Porotce porovnává úryvek textu modelu s úryvky textů tří referenčních modelů na stejné zadání a vybírá, který zní jako lepší čeština. Skóre je podíl získaných bodů krát 100.
Korektura. Do odstavců, které napsali lidé, jsme vložili 3–5 projevů strojové češtiny, například šablonovité obraty, vatu nebo anglickou stavbu vět. Model má text upravit tak, aby zněl přirozeně, a nic jiného neměnit. Skóre počítá odstraněné projevy a zbytečné zásahy stejnou vahou.
Skóre a cena
Index. Vlevo nahoře jsou modely, které píšou nejlépe za nejnižší cenu. Čára spojuje modely, které na své cenové hladině nikdo nepřekonává.
Kroužek značí nízké úsilí uvažování, plný bod vysoké; čára spojuje body téhož modelu.
Kombinované skóre a cena
Skóre z tohoto benchmarku smíchané s indexem inteligence Artificial Analysis při stejném úsilí uvažování.
Kombinované skóre = 50 % × index tohoto benchmarku + 50 % × index inteligence Artificial Analysis. Obě složky před vážením přepočítáme na 0–100 mezi zobrazenými modely, skóre proto vyjadřuje pořadí mezi nimi, ne absolutní kvalitu. V grafu chybí modely bez indexu Artificial Analysis při stejném úsilí uvažování: DeepSeek V4.1 Flash, GLM 5.3 Flash, Kimi K3 (high), GLM 5.3 (high), DeepSeek V4.1 Flash (high), GLM 5.3 Flash (high). Kroužek značí nízké úsilí uvažování, plný bod vysoké; čára spojuje body téhož modelu.
Tabulka výsledků
Hodnoty v šedé barvě jsou 95% intervaly spolehlivosti. Pořadí je podle metriky Index. Kliknutím na záhlaví sloupce tabulku seřadíte.
| GPT-6 Astra | 1. | OpenAI | 60,856,3–65,4 | 46,543,2–49,9 | 89,385,2–92,7 | 42,839,1–46,4 | 62,8 | 67,5 | 2,25 USD | 23 | 1,26×1,19–1,35 | 45,8 | 0 z 213 |
| GPT-6.1 Sol | 2. | OpenAI | 60,556,3–64,9 | 47,944,7–51,2 | 89,085,9–92,0 | 40,837,3–44,5 | 60,9 | 69,3 | 0,45 USD | 29 | 1,18×1,14–1,28 | 42,1 | 0 z 213 |
| Grok 4.7 (high) | 3. | xAI | 59,955,1–64,6 | 52,348,5–55,8 | 47,541,3–53,9 | 42,938,9–46,5 | 60,4 | 66,8 | 3,31 USD | 4 978 | 1,00×0,97–1,03 | 46,3 | 0 z 213 |
| GPT-6 Astra (high) | 4. | OpenAI | 59,455,4–64,0 | 45,742,5–48,9 | 90,686,2–94,2 | 41,938,4–45,5 | 64,9 | 69,0 | 6,01 USD | 770 | 1,34×1,25–1,42 | 50,9 | 0 z 213 |
| Grok 4.7 | 5. | xAI | 59,055,0–63,1 | 50,247,2–53,0 | 58,552,5–64,3 | 42,238,5–46,0 | 64,2 | 68,5 | 1,22 USD | 1 501 | 1,01×0,97–1,03 | 42,2 | 0 z 213 |
| GPT-6.1 Sol (high) | 6. | OpenAI | 58,554,3–62,7 | 46,343,2–49,3 | 89,986,0–93,2 | 40,236,8–43,8 | 62,3 | 70,3 | 1,10 USD | 669 | 1,24×1,18–1,35 | 50,2 | 0 z 213 |
| Claude Sonnet 5.5 (high) | 7. | Anthropic | 55,651,6–59,8 | 44,641,4–47,7 | 70,163,8–75,6 | 42,739,5–46,1 | 61,4 | 67,3 | 1,19 USD | 568 | 1,37×1,28–1,45 | 46,8 | 0 z 213 |
| Claude Opus 5.5 (high) | 8. | Anthropic | 54,550,9–58,7 | 42,840,1–45,8 | 85,581,1–89,6 | 40,637,6–43,5 | 82,7 | 73,1 | 2,81 USD | 753 | 1,55×1,43–1,61 | 53,6 | 0 z 213 |
| Claude Opus 5.5 | 9. | Anthropic | 54,550,6–58,3 | 42,539,5–45,4 | 87,183,0–90,8 | 40,637,7–43,4 | 85,0 | 73,4 | 1,59 USD | 149 | 1,54×1,44–1,63 | 42,3 | 0 z 213 |
| GPT-6 Luna (high) | 10. | OpenAI | 52,148,3–55,7 | 48,845,9–51,8 | 83,377,6–88,2 | 30,227,7–32,6 | 71,0 | 80,8 | 0,064 USD | 891 | 1,05×1,04–1,12 | 32,9 | 0 z 213 |
| Claude Sonnet 5.5 | 11. | Anthropic | 52,048,1–55,8 | 41,939,4–44,5 | 67,661,2–73,7 | 42,239,2–45,4 | 70,3 | 69,8 | 0,61 USD | – | 1,36×1,28–1,45 | 35,9 | 0 z 213 |
| DeepSeek V4.1 Flash (high) | 12. | DeepSeek | 51,747,6–56,0 | 51,848,4–55,4 | 45,939,4–52,2 | 33,630,4–36,8 | 56,0 | 76,0 | 0,37 USD | 4 261 | 1,02×0,96–1,08 | 39,5 (max) | 0 z 213 |
| GPT-6 Luna | 13. | OpenAI | 51,347,3–55,0 | 47,844,8–51,0 | 82,476,8–87,1 | 30,727,7–33,5 | 68,1 | 80,2 | 0,026 USD | 123 | 1,05×1,02–1,10 | 21,5 | 0 z 213 |
| Qwen 3.8 Max (high) | 14. | Alibaba | 51,346,9–55,4 | 48,845,1–52,0 | 57,150,5–63,2 | 34,731,6–37,9 | 63,0 | 76,1 | 5,09 USD | 7 032 | 1,14×1,09–1,21 | 45,4 | 0 z 213 |
| Kimi K3referenční | 15. | Moonshot | 50,947,0–55,1 | 45,542,4–48,8 | 67,961,9–73,8 | 36,133,2–38,9 | 62,3 | 74,5 | 0,88 USD | 55 | 1,29×1,19–1,36 | 30,1 | 0 z 213 |
| Qwen 3.8 Maxreferenční | 16. | Alibaba | 50,344,7–55,5 | 41,538,2–45,1 | 63,757,8–70,0 | 41,437,0–45,9 | 47,1 | 63,1 | 0,99 USD | 1 158 | 1,44×1,32–1,54 | 45,4 | 1 z 213 |
| Kimi K3 (high) | 17. | Moonshot | 49,044,7–53,5 | 44,541,5–47,9 | 70,363,8–76,3 | 34,531,5–37,4 | 61,4 | 76,0 | 1,01 USD | 195 | 1,33×1,25–1,40 | 43,6 (max) | 0 z 213 |
| DeepSeek V4.1 Flash | 18. | DeepSeek | 48,543,9–52,8 | 49,646,0–53,1 | 40,933,3–46,9 | 33,530,2–36,5 | 55,0 | 75,9 | 0,22 USD | 2 767 | 1,03×0,99–1,07 | 39,5 (max) | 0 z 213 |
| Gemini 3.1 Pro (high) | 19. | 48,243,3–53,5 | 43,940,2–47,8 | 57,250,5–63,7 | 36,934,0–39,7 | 83,4 | 76,3 | 4,12 USD | 3 002 | 1,50×1,43–1,59 | 29,7 | 0 z 213 | |
| Gemini 3.1 Pro | 20. | 48,143,8–52,6 | 45,842,3–49,3 | 54,147,4–61,3 | 35,132,6–37,8 | 83,8 | 77,8 | 2,47 USD | 1 641 | 1,42×1,36–1,44 | 29,7 | 0 z 213 | |
| MiMo V2.6 Pro | 21. | Xiaomi | 44,940,1–50,1 | 41,037,5–44,9 | 46,540,2–53,1 | 38,734,4–43,0 | 38,9 | 61,5 | 0,35 USD | 2 789 | 1,43×1,38–1,61 | 46,3 | 0 z 213 |
| Claude Haiku 5.5 (high) | 22. | Anthropic | 43,940,1–47,4 | 40,437,4–43,5 | 57,250,3–63,4 | 36,133,5–38,6 | 73,8 | 76,1 | 0,11 USD | 1 587 | 1,44×1,31–1,56 | 37,8 | 0 z 213 |
| Gemini 3.8 Flash (high) | 23. | 43,138,9–47,3 | 38,235,1–41,4 | 52,846,3–58,5 | 38,835,9–41,9 | 79,4 | 74,4 | 1,99 USD | 4 420 | 1,50×1,43–1,59 | 40,9 | 0 z 213 | |
| Mistral Large 4 | 24. | Mistral | 42,037,0–46,8 | 41,838,0–45,6 | 44,038,8–49,2 | 34,631,2–38,1 | 51,5 | 73,9 | 1,19 USD | 4 238 | 1,26×1,21–1,29 | 38,4 | 0 z 213 |
| Gemini 3.8 Flash | 25. | 41,537,7–45,8 | 39,936,7–43,2 | 65,159,9–70,3 | 32,129,8–34,4 | 85,0 | 80,2 | 0,18 USD | 54 | 1,44×1,39–1,50 | 33,5 | 0 z 213 | |
| GLM 5.3 (high) | 26. | Z.ai | 41,336,7–45,7 | 40,136,7–43,8 | 38,432,2–44,5 | 37,033,8–40,0 | 56,7 | 72,5 | 0,67 USD | 860 | 1,53×1,39–1,62 | 44,8 (max) | 0 z 213 |
| Mistral Large 4 (high) | 27. | Mistral | 41,036,2–45,4 | 41,437,5–44,8 | 42,135,5–49,0 | 34,331,2–37,2 | 53,4 | 74,8 | 1,18 USD | 4 137 | 1,23×1,17–1,31 | 38,4 | 0 z 213 |
| MiMo V2.6 Pro (high) | 28. | Xiaomi | 40,836,2–45,3 | 39,436,4–42,8 | 42,136,6–47,6 | 36,532,2–40,4 | 36,3 | 63,3 | 0,42 USD | 3 188 | 1,54×1,40–1,67 | 46,3 | 0 z 213 |
| GLM 5.3 | 29. | Z.ai | 40,035,6–44,8 | 42,538,8–46,7 | 37,731,6–43,9 | 32,529,6–35,5 | 51,5 | 76,2 | 0,21 USD | 31 | 1,40×1,30–1,50 | 34,3 | 0 z 213 |
| Claude Haiku 5.5 | 30. | Anthropic | 38,935,1–42,7 | 37,234,1–40,2 | 50,042,1–56,9 | 35,432,9–38,1 | 68,9 | 76,2 | 0,049 USD | 333 | 1,46×1,36–1,51 | 29,5 | 0 z 213 |
| GLM 5.3 Flashreferenční | 31. | Z.ai | 37,833,3–42,5 | 42,338,7–46,2 | 18,413,2–24,1 | 33,931,2–36,8 | 56,2 | 75,7 | 0,026 USD | 30 | 1,33×1,30–1,40 | 41,8 (max) | 0 z 213 |
| GLM 5.3 Flash (high) | 32. | Z.ai | 35,330,9–39,9 | 37,934,3–42,1 | 25,018,1–31,7 | 35,031,6–38,4 | 55,5 | 74,4 | 0,036 USD | 250 | 1,53×1,42–1,63 | 41,8 (max) | 0 z 213 |
| Lidské texty | – | – | – | 86,184,8–87,4 | 36,530,5–43,5 | – | – | – | – | – | – | – | – |
Rodiny úloh
Průměrné skóre úloh (psaní podle lidského textu: Lepší čeština, korektura: F1 × 100, u korektury ze součtů přes úlohy).
| GPT-6 Astra (high) | 90,6 | 41,9 | 212 |
| GPT-6.1 Sol (high) | 89,9 | 40,2 | 203 |
| GPT-6 Astra | 89,3 | 42,8 | 205 |
| GPT-6.1 Sol | 89,0 | 40,8 | 193 |
| Claude Opus 5.5 | 87,1 | 40,6 | 251 |
| Claude Opus 5.5 (high) | 85,5 | 40,6 | 254 |
| GPT-6 Luna (high) | 83,3 | 30,2 | 178 |
| GPT-6 Luna | 82,4 | 30,7 | 177 |
| Kimi K3 (high) | 70,3 | 34,5 | 218 |
| Claude Sonnet 5.5 (high) | 70,1 | 42,7 | 231 |
| Kimi K3 | 67,9 | 36,1 | 211 |
| Claude Sonnet 5.5 | 67,6 | 42,2 | 235 |
| Gemini 3.8 Flash | 65,1 | 32,1 | 236 |
| Qwen 3.8 Max | 63,7 | 41,4 | 226 |
| Grok 4.7 | 58,5 | 42,2 | 176 |
| Claude Haiku 5.5 (high) | 57,2 | 36,1 | 241 |
| Gemini 3.1 Pro (high) | 57,2 | 36,9 | 252 |
| Qwen 3.8 Max (high) | 57,1 | 34,7 | 192 |
| Gemini 3.1 Pro | 54,1 | 35,1 | 238 |
| Gemini 3.8 Flash (high) | 52,8 | 38,8 | 241 |
| Claude Haiku 5.5 | 50,0 | 35,4 | 246 |
| Grok 4.7 (high) | 47,5 | 42,9 | 175 |
| MiMo V2.6 Pro | 46,5 | 38,7 | 236 |
| DeepSeek V4.1 Flash (high) | 45,9 | 33,6 | 177 |
| Mistral Large 4 | 44,0 | 34,6 | 208 |
| MiMo V2.6 Pro (high) | 42,1 | 36,5 | 253 |
| Mistral Large 4 (high) | 42,1 | 34,3 | 206 |
| DeepSeek V4.1 Flash | 40,9 | 33,5 | 179 |
| GLM 5.3 (high) | 38,4 | 37,0 | 246 |
| GLM 5.3 | 37,7 | 32,5 | 238 |
| GLM 5.3 Flash (high) | 25,0 | 35,0 | 252 |
| GLM 5.3 Flash | 18,4 | 33,9 | 225 |
| Lidské texty | 36,5 | – | 173 |
Poznámky k metodě
- Každá úloha má jeden vzorek; intervaly spolehlivosti zachycují rozptyl mezi úlohami.
- Každou ze tří částí (Jako člověk, Lepší čeština, Korektura) převádíme na společnou škálu: průměr 14 modelů, ze kterých škála vznikla, má hodnotu 50 a jedna směrodatná odchylka mezi nimi je 10 bodů. Index je průměr tří převedených částí. Bez převodu by o něm rozhodovala hlavně část, ve které se modely liší nejvíc. Na rozdíl od částí není index omezený na 0–100.
- Řádek Lidské texty: 106 lidských originálů úloh, které porotce hodnotil stejně jako texty modelů. Člověku jich připsal 100 %. Porotce dal lidskému textu vyšší pravděpodobnost než textu modelu v 99,9 % dvojic (stejná pravděpodobnost se počítá jako půl). V části Lepší čeština je srovnáváme s texty referenčních modelů.
- Referenční modely části Lepší čeština jsou Qwen 3.8 Max, Kimi K3 a GLM 5.3 Flash; v tabulce mají značku „referenční“. Řádky těchto modelů srovnáváme jen s ostatními referenčními modely, každý jiný řádek se všemi.
- Korektura je F1 × 100, míra, která počítá odstraněné projevy a zbytečné zásahy stejnou vahou. Odstraněné projevy, zbytečné zásahy a přehlédnutá místa sčítáme přes všech 107 úloh a F1 počítáme z těchto součtů. Sloupec „Odstraněné antivzory“ ukazuje podíl vložených míst, která model přepsal nebo vypustil, sloupec „Zbytečné zásahy“ podíl jeho změn mimo vložená místa. Zjevnou chybu původního odstavce, kterou model opraví, třeba chybějící čárku, špatný tvar slova nebo překlep, jako zbytečný zásah nepočítáme. Položek v seznamu takových oprav: 52. Platí to jen pro opravu, kterou model udělá samostatně; když přepíše i slova kolem, počítáme celý zásah. Odstavce lidé napsali před koncem roku 2022. Projevy strojové češtiny bereme z katalogu: rozsekané věty bez návaznosti, šablonovité obraty, vata, anglická stavba vět, přeplněná souvětí, dlouhé pomlčky a další.
- Délka proti originálu: délku textu modelu ve slovech dělíme délkou lidského textu na stejné zadání a uvádíme medián přes 72 úloh psaní, jejichž zadání délku neuvádí.
- Index Artificial Analysis bereme u každého řádku při úsilí uvažování, se kterým model v tom řádku psal (low, high). V žebříčku Artificial Analysis stojí nejvýš varianty s nejvyšším úsilím uvažování, proto tam pořadí vychází jinak. V jediném nastavení měří Artificial Analysis tyto modely, bereme tedy tu jednu hodnotu: Gemini 3.1 Pro, Qwen 3.8 Max, MiMo V2.6 Pro, Mistral Large 4, Gemini 3.1 Pro (high), Qwen 3.8 Max (high), MiMo V2.6 Pro (high), Mistral Large 4 (high). Pokud Artificial Analysis měřila model při jiném úsilí uvažování, uvádíme toto úsilí v závorce za indexem. Takový index do kombinovaného skóre nezapočítáváme. V kombinovaném skóre má u každé složky nejslabší model v grafu 0 a nejsilnější 100.
- Části Jako člověk a Lepší čeština posuzuje GPT-6.1 Sol. Hodnotí i texty modelů svého výrobce a ve slepém hodnocení kolegů ze Scia jim v párovém srovnání dával přednost častěji než lidé.
- Řádky označené (high) psaly s vysokým úsilím uvažování, ostatní s nízkým.
- Cena je to, co texty stojí za běžnou cenu každého modelu.
- Index verze 1.3.1 má vlastní škálu a s indexem starších verzí se nedá srovnávat.
- Psaní má 106 úloh, Korektura 107.
- Shodu porotce s lidmi jsme zatím ověřovali jen podle odpovědí kolegů ze Scia. Odpovědi čtenářů sbíráme.
Stylové ukazatele
Čtyři čísla počítáme přímo z textů každého modelu a pro srovnání z 106 lidských originálů stejných úloh (19 804 slov, poslední řádek tabulky). Tabulka styl popisuje a nehodnotí: do indexu tato čísla nevstupují. Hodnoty v šedé barvě jsou 95% intervaly spolehlivosti.
| Claude Sonnet 5.5 (high) | 2,351,80–2,94 | 0,00 | 0,400,39–0,42 | 11,611,3–11,9 | 106 |
| Claude Opus 5.5 | 2,231,68–2,83 | 0,00 | 0,420,40–0,44 | 12,412,0–12,8 | 106 |
| GPT-6.1 Sol | 2,211,65–2,84 | 0,530,14–1,04 | 0,380,36–0,41 | 13,112,7–13,4 | 106 |
| Claude Sonnet 5.5 | 2,191,55–2,91 | 0,00 | 0,400,39–0,41 | 11,611,3–12,0 | 106 |
| GPT-6 Astra | 2,141,65–2,69 | 0,340,05–0,66 | 0,390,37–0,41 | 12,912,6–13,3 | 106 |
| GLM 5.3 (high) | 2,041,39–2,69 | 0,220,00–0,63 | 0,430,41–0,45 | 13,913,5–14,4 | 106 |
| Gemini 3.1 Pro (high) | 1,991,42–2,51 | 0,00 | 0,370,36–0,38 | 14,514,1–14,9 | 106 |
| GPT-6.1 Sol (high) | 1,981,43–2,59 | 0,520,20–0,88 | 0,370,36–0,39 | 12,712,4–13,0 | 106 |
| Claude Opus 5.5 (high) | 1,851,33–2,40 | 0,00 | 0,420,40–0,44 | 12,412,1–12,7 | 106 |
| GLM 5.3 | 1,781,24–2,38 | 0,310,00–0,82 | 0,410,39–0,43 | 14,013,6–14,4 | 106 |
| GLM 5.3 Flash (high) | 1,721,26–2,19 | 0,150,00–0,37 | 0,420,40–0,44 | 14,714,2–15,1 | 106 |
| GLM 5.3 Flash | 1,691,18–2,29 | 0,320,00–1,07 | 0,420,40–0,44 | 14,313,9–14,7 | 106 |
| Claude Haiku 5.5 (high) | 1,651,14–2,16 | 0,00 | 0,410,39–0,42 | 12,311,9–12,6 | 106 |
| Grok 4.7 (high) | 1,611,05–2,21 | 0,520,09–1,04 | 0,400,38–0,42 | 12,312,0–12,7 | 106 |
| Gemini 3.1 Pro | 1,601,12–2,14 | 0,00 | 0,380,36–0,39 | 14,314,0–14,8 | 106 |
| GPT-6 Astra (high) | 1,551,08–2,07 | 0,250,05–0,50 | 0,380,36–0,40 | 12,812,5–13,2 | 106 |
| Kimi K3 (high) | 1,531,09–2,04 | 0,00 | 0,410,39–0,42 | 14,013,5–14,4 | 106 |
| Claude Haiku 5.5 | 1,470,95–2,02 | 0,00 | 0,420,40–0,44 | 12,812,4–13,2 | 106 |
| Grok 4.7 | 1,250,81–1,74 | 2,131,23–3,05 | 0,410,40–0,43 | 12,812,4–13,3 | 106 |
| MiMo V2.6 Pro | 1,220,84–1,62 | 1,770,67–3,08 | 0,420,41–0,44 | 14,213,7–14,7 | 106 |
| DeepSeek V4.1 Flash (high) | 1,190,65–1,88 | 0,00 | 0,410,39–0,42 | 11,511,1–12,0 | 106 |
| Kimi K3 | 1,180,71–1,69 | 0,00 | 0,420,40–0,44 | 13,813,4–14,3 | 106 |
| Gemini 3.8 Flash | 1,160,76–1,59 | 0,00 | 0,380,37–0,40 | 15,715,1–16,2 | 106 |
| Gemini 3.8 Flash (high) | 1,130,67–1,62 | 0,00 | 0,380,37–0,40 | 15,715,2–16,2 | 106 |
| Mistral Large 4 | 1,110,74–1,52 | 0,00 | 0,390,37–0,40 | 14,413,9–15,0 | 106 |
| MiMo V2.6 Pro (high) | 0,980,62–1,38 | 2,540,85–4,75 | 0,430,41–0,46 | 14,513,9–15,1 | 106 |
| DeepSeek V4.1 Flash | 0,970,51–1,56 | 0,100,00–0,33 | 0,430,40–0,45 | 11,611,1–12,0 | 106 |
| GPT-6 Luna (high) | 0,940,55–1,41 | 1,991,16–2,92 | 0,390,37–0,41 | 13,413,0–13,8 | 106 |
| GPT-6 Luna | 0,900,46–1,41 | 2,241,52–3,11 | 0,390,38–0,41 | 12,912,6–13,2 | 106 |
| Qwen 3.8 Max (high) | 0,780,40–1,22 | 0,230,00–0,58 | 0,400,38–0,42 | 13,713,2–14,2 | 106 |
| Qwen 3.8 Max | 0,760,40–1,22 | 0,400,00–1,00 | 0,420,41–0,44 | 13,212,6–13,7 | 105 |
| Mistral Large 4 (high) | 0,630,32–0,96 | 0,00 | 0,380,36–0,40 | 14,413,9–15,1 | 106 |
| Lidské texty (originály úloh) | 1,721,20–2,28 | 0,00 | 0,480,45–0,50 | 15,915,1–16,7 | 106 |
O benchmarku
Proč vznikl. Benchmark připravilo Scio, aby vědělo, kterému modelu svěřit české texty ve svých produktech.
Jiné české benchmarky. BenCzechMark připravili lidé z VUT, Masarykovy univerzity, ČVUT a Hugging Face. Ve verzi popsané v říjnu 2024 má 50 úloh a zkouší mimo jiné porozumění textu, znalost faktů, matematiku a rozpoznání kladného nebo záporného hodnocení v textu. U otázek s výběrem z možností a u krátkých odpovědí počítá správné odpovědi, u zařazování textů sleduje, jak dobře model kategorie rozlišuje, a u textů z korpusu měří, jakou pravděpodobnost jim model přisuzuje. Žádná z těchto úloh nehodnotí, jak je napsaný delší text, který model sám vytvoří. V našem benchmarku model píše celé e-maily, pozvánky nebo zprávy a porotce posuzuje, jestli působí, jako by je napsal člověk. Stylistický benchmark Českého národního korpusu popisuje, čím se texty modelů stylově liší od lidských; modely neřadí podle toho, jak jejich čeština působí na čtenáře.
Úlohy. 106 úloh psaní vychází z textů, které lidé napsali před 30. 11. 2022, tedy před nástupem ChatGPT: z e-mailů, interních příspěvků, dopisů rodičům, pozvánek a dalších textů běžného provozu. Jména, čísla, data a místa jsme v nich zaměnili. Model dostane fakta textu a lidský originál nevidí. Jak má psát, mu zadání neříká; u části úloh jen žádá stručný text. Každá úloha má jednu ze dvanácti podob zadání, kterou jsme určili předem. Fakta dostává model v heslech (53 úloh), nebo jako narychlo psané pracovní poznámky s překlepy (53). Pokyny jsou napsané česky (54), nebo anglicky (52); text má model vždy napsat česky. Zadání délku textu neuvádí (72), žádá stručný text (18), nebo uvádí délku lidského originálu (16). Korektura má 107 úloh.
Porotce. Texty hodnotí jazykový model GPT-6.1 Sol. V části Jako člověk ho ověřujeme na lidských originálech úloh, u kterých správnou odpověď známe. V části Lepší čeština ho ověřujeme slepým hodnocením lidí.
Veřejné a neveřejné úlohy. Část úloh psaní ukazujeme čtenářům ve slepém hodnocení. Ostatní úlohy psaní a úlohy Korektury nezveřejňujeme, aby se na nich modely nemohly učit.
Omezení. Výsledek platí pro nastavení modelů a porotce, které popisují poznámky pod tabulkou výsledků. Rozdíl menší než interval indexu (v průměru ±4,3 bodu) nemusí nic znamenat.
Kontakt. Otázky a připomínky pište na cestina@scio.cz.