SWE-Bench Pro mittaa pitkäkestoisia ohjelmistokehitystehtäviä oikeissa avoimen lähdekoodin koodikannoissa. Se on vaikeampi ja realistisempi koodausbenchmark kuin SWE-Bench Verified, joten erot agenttimallien välillä näkyvät selvemmin.
Tulostaulukko
| Sija | Malli | Tulos | Lähde |
|---|---|---|---|
| #1 | 81,2 % | ||
| #2 | 80 % | ||
| #3 | 79,2 % | ||
| #4 | 64,6 % | ||
| #5 | 63,4 % | ||
| #6 | 62,7 % | ||
| #7 | 59,4 % | ||
| #8 | 59,1 % | ||
| #9 | 57,7 % | ||
| #10 | 56,8 % | ||
| #11 | 55,6 % | ||
| #12 | 51,9 % | ||
| #13 | 46,1 % | ||
| #14 | 45,89 % | ||
| #15 | 43,6 % | ||
| #16 | 43,3 % | ||
| #17 | 42,7 % | ||
| #18 | 41,78 % | ||
| #19 | 41,04 % | ||
| #20 | 39,45 % | ||
| #21 | 38,7 % | ||
| #22 | 36,81 % | ||
| #23 | 34,63 % | ||
| #24 | 29,94 % | ||
| #25 | 27,67 % | ||
| #26 | 21,41 % | ||
| #27 | 16,2 % | ||
| #28 | 15,56 % | ||
| #29 | 11,38 % | ||
| #30 | 11,18 % | ||
| #31 | 9,67 % | ||
| #32 | 5,24 % | ||
| #33 | 1,51 % |
Tietoa benchmarkista
- Mitä tämä mittaa
- Pitkäkestoinen ohjelmistokehitys
- Lähde
- Scale Labs, Anthropic ja OpenAI
- Päivitetty
- 7.9.2026
- Linkki
- Avaa lähde
SWE-Bench Pro (Public) mittaa pitkäkestoisten ohjelmistokehitystehtävien ratkaisua avoimissa koodikannoissa. Ratkaisuprosentti kertoo hyväksytysti ratkaistujen tehtävien osuuden.
Uusimmat julkaistut tulokset
Anthropic raportoi Fable 5.1:lle 81,2 %, Fable 5:lle 80,0 % ja Opus 5:lle 79,2 %. OpenAI raportoi GPT-5.6 Solille 64,6 %, Terralle 63,4 % ja Lunalle 62,7 %. Tulokset ja lähteet on tarkistettu käsin 7.9.2026.
Näin luet vertailua
Lista sisältää sekä valmistajien omia arvioita että Scale Labsin riippumattomia ajoja. Näiden agenttiohjelmisto, työkalut, laskentabudjetti ja toistojen määrä voivat poiketa toisistaan. Järjestys on julkaistujen pistemäärien järjestys, ei kaikille malleille samalla ohjelmistolla tehty kontrolloitu testi. Rivin lähde kertoo arvioijan. Anthropic käyttää Fable-raportin oletusasetuksissa mukautuvaa max-päättelyä ja viittä ajoa.
Scalen taulukossa GPT-5.4:n tulos on 59,1 %, Opus 4.6:n 51,9 % ja Gemini 3.1 Pron 46,1 %. Näille malleille näytetään tässä Scalen tulos. GPT-6 Astralle tai Gemini 3.8 Flashille ei tarkistetuista julkaisuista löytynyt tämän nimenomaisen benchmarkin tulosta; esimerkiksi DeepSWE-tulosta ei siirretä SWE-Bench Pro -riville.
Lähteet: Anthropicin system card, s. 167–168, OpenAI:n GPT-5.6-julkaisu ja Scale Labsin leaderboard.