BullshitBench v2 mittaa, tunnistaako malli tarkoituksella virheellisen tai ristiriitaisen pyynnön ja osaako se sanoa selkeästi vastaan sen sijaan, että jatkaisi väärän oletuksen pohjalta.
Tulostaulukko
| Sija | Malli | Tulos | Lähde |
|---|---|---|---|
| #1 | 89 % | ||
| #2 | 83 % | ||
| #3 | 71 % | ||
| #4 | 67 % | ||
| #5 | 56 % | ||
| #6 | 48 % | ||
| #7 | 42 % | ||
| #8 | 39 % | ||
| #9 | 37 % | ||
| #10 | 11 % | ||
| #11 | 10 % | ||
| #12 | 2 % |
Tietoa benchmarkista
- Lähde
- BullshitBench
- Päivitetty
- 17.3.2026
- Linkki
- Avaa lähde
BullshitBench v2 testaa mallin kykyä pysäyttää tilanne silloin, kun käyttäjän pyyntö on tarkoituksella rikkinäinen, ristiriitainen tai muuten vailla järkevää perustaa. Hyvä malli ei tällöin lähde itsevarmasti jatkamaan virheellisen oletuksen päältä, vaan huomauttaa ongelmasta selvästi ja ohjaa keskustelun takaisin oikeille raiteille.
Tekoälytiedossa näytämme BullshitBenchin julkisen v2-version Clear Pushback -tuloksen. Se kertoo käytännössä, kuinka usein malli sanoo hölynpölylle napakasti vastaan sen sijaan, että se yrittäisi miellyttää käyttäjää väärällä tai harhaanjohtavalla vastauksella.
Miten tulosta kannattaa lukea?
Korkeampi prosentti on tässä benchmarkissa parempi. Se ei tarkoita, että malli olisi kaikessa "älykkäämpi", vaan että se on varovaisempi ja luotettavampi tilanteissa, joissa käyttäjän lähtöoletus on selvästi pielessä. Siksi BullshitBench täydentää hyvin perinteisiä päättely- ja koodausbenchmarkeja: se mittaa erityisesti mallin kykyä olla menemättä mukaan virheeseen.