3D Mark 2003 - The Gamers' Benchmark

Inhoudsopgave
  1. 1. Inleiding
  2. 2. De vier benchmark onderdelen
  3. 3. Alle courante videokaarten getest!
  4. 4. nVidia versus Futuremark
  5. 5. Hardware.Info en 3D Mark 2003
  6. 6. Screenshots Game Test 1
  7. 7. Screenshots Game Test 2
  8. 8. Screenshots Game Test 3
  9. 9. Screenshots Game Test 4
  10. 10. Reacties

Inleiding

Een paar dagen geleden introduceerde Futuremark, het voormalige MadOnion.com, na anderhalf jaar eindelijk een nieuwe versie in de 3D Mark serie. 3D Mark 2003, of 3DMark03 zoals Futuremark de benchmark zelf noemt, moet net als zijn voorlopers een maat geven voor de games van de toekomst en zodoende alles uit de kast halen om de 3D-effecten van de nieuwste 3D-chips volledig te ondersteunen. Waar 3D Mark 99 een benchmark was voor DirectX 6, 3D Mark 2000 voor DirectX 7 en 3D Mark 2001SE voor DirectX 8, is 3D Mark 2003 de eerste 3D-Benchmark die DirectX 9 effecten gebruikt, die op dit moment enkel en alleen op de ATI Radeon 9500/9700 en de nVidia GeForce FX getoond kunnen worden. Zoals altijd is de nieuwe 3D Mark weer een lust voor het oog, en is er een demo die je met open mond voor het scherm zal laten zitten... als je systeem maar geavanceerd genoeg is om deze af te spelen!

Sinds de release van 3D Mark 2003 is het pakket al miljoenen keren gedownload en zijn velen aan de slag gegaan om de nieuwe 3D Mark score van hun systeem te meten. Iets wat velen direct zal zijn opgevallen is dat 3D Mark 2003 veel minder CPU-afhankelijk is dan zijn voorlopers. Futuremark geeft dan ook aan dat 3D Mark puur en alleen als videokaart benchmark bedoeld is, en dat men voor CPU-benchmarks het gebruik van PC Mark 2002 adviseert. Wat ook velen zal opvallen is dat sommige videokaarten niet helemaal presteren zoals je zou verwachten. Inmiddels zijn er dan ook al de nodige discussies vanuit de kampen van nVidia en ATI ontstaan over de betrouwbaarheid van 3D Mark 2003 als benchmark. Hoewel ik me niet té veel in deze discussie wil mengen, lees je verderop in dit artikel wel mijn mening over de verwijten die nVidia, ATI en Futuremark elkaar maken. Op de volgende pagina zullen we eerst de verschillende onderdelen van 3D Mark 2003 aan je voorstellen, om daarna een overzicht te geven van alle courante 3D-videokaarten, gemeten met deze benchmark.

Zelf met 3D Mark 2003 aan de slag? Je kunt het pakket hier downloaden (171 MB):
http://www.futuremark.com/download/?3dmark03.shtml

De vier benchmark onderdelen

Net als bij de vorige versies, berekent 3D Mark 2003 een uiteindelijke benchmark score op basis van de prestaties behaald bij een aantal gametests. De standaard instellingen waarop de benchmark werkt zijn 1024x768 met optimale texture-filtering, zonder anti-aliasing. Bezitters van de Professional-versie van 3D Mark 2003 kunnen ook andere resoluties en filtering/anti-aliasing instellingen gebruiken. De uiteindelijke score wordt bij 3D Mark 2003 gebaseerd op een viertal gametests. Hieronder vind je de beschrijvingen van die verschillende gametests, aan het slot van dit artikel vind je nog een aantal screenshots.

Game Test 1: Wings of Fury

De eerste test binnen 3D Mark 2003 is getiteld Wings of Fury en is een actie flightsimulator gebaseerd op de Tweede Wereldoorlog. Dit 3D Mark 2003 onderdeel is voornamelijk gebaseerd op DirectX 7 technologie en zodoende ook het enige deel van 3D Mark 2003 dat nog op DirectX 7 videokaarten werkt. Er wordt echter met programmeerbare vertex shaders zoals gedefinieerd in DirectX 8.1 gewerkt. Alleen als een DirectX 7 videokaart gebruikt wordt, wordt de CPU ingeschakeld om de vertex berekeningen te voltooien. Hoewel binnen deze eerste test geen bijzondere 3D-effecten gebruikt worden, is zelfs dit onderdeel van 3D Mark 2003 absoluut het bekijken waard.

Game Test 2: The Battle of Proxycon

Het tweede gedeelte van 3D Mark 2003 heet The Battle of Proxycon, een 3D-shooter die duidelijk gebaseerd is op het toekomstige Doom 3. Deze tweede test maakt volledig gebruik van DirectX 8 inclusief programmeerbare vertex en pixel shaders. Futuremark maakt gebruik van pixel shader versie 1.4, onderdeel van DirectX 8.1. Dankzij pixel shader 1.4 zijn complexere (en snellere) pixel programma's mogelijk. Voor videokaarten die pixel shader 1.4 niet ondersteunen (zoals de nVidia GeForce 4 Ti reeks) wordt er teruggevallen op alternatieve methoden die dezelfde 3D-effecten berekenen met ietwat omslachtiger pixel shader 1.1 programma's.

Game Test 3: The Troll's Lair

De derde game test is een Lara Croft-achtige adventure scène. Qua 3D-technologie is Game Test 3 gelijk aan onderdeel 2: ook hier wordt gebruik gemaakt van DirectX 8.1 3D-effecten inclusief pixel shader 1.4. Het detail en de belichtingseffecten binnen dit benchmark-onderdeel zijn echt heel mooi uitgevoerd.

Game Test 4: Mother Nature

Het vierde onderdeel van 3D Mark 2003, Mother Nature, is het enige onderdeel dat gebruikt maakt van nieuwe DirectX 9 effecten en dus van pixel shader versie 2.0. Zodoende werkt Game Test 4 dan ook alleen maar op de ATI Radeon 9500 en 9700 en nVidia's GeForce FX. Wie al genoot van de 'nature' benchmark binnen 3D Mark 2001 zal nu helemaal smullen. De geavanceerde effecten die DirectX 9 mogelijk maakt, zorgen voor het in mijn ogen mooiste stukje 3D-beeld dat ik ooit real-time door een PC berekend heb zien worden.

Alle courante videokaarten getest!

Welke scores mag je nu met de verschillende courante 3D-videokaarten verwachten bij 3D Mark 2003? Wij installeerden de benchmark op ons standaard videokaarten test systeem (Intel Pentium 4 3.06 GHz processor met HyperThreading, Intel E7205 Chipset moederbord met AGP 8X en 512 MB DDR-geheugen) en haalden alle recente nVidia en ATI videokaarten weer eens uit de kast. Voor de ATI videokaarten is gebruik gemaakt van Catalyst driver versie 3.1 en voor de nVidia videokaarten is gebruik gemaakt van Detonator driver versie 42.34.

De nVidia GeForce FX score in onderstaande grafiek is helaas niet van onszelf afkomstig, aangezien ons testexemplaar van de GeForce FX alweer vóór de release van 3D Mark 2003 naar nVidia geretourneerd is. De gegeven score is afkomstig uit de Futuremark scores-database, bij een vergelijkbaar systeem. De ATI Radeon 9500 (niet Pro) ontbreekt helaas ook in de grafiek, aangezien een dergelijke videokaart niet meer in ons testlab aanwezig is. Onze uitgebreide test van de GeForce FX lees je vanaf 6 maart in Hardware.Info Magazine #4.

Wat meteen opvalt is dat de niet DirectX 9 compatible videokaarten (ATI Radeon 9000 / 9100 en nVidia GeForce 4 Ti) stukken lager presteren dan de wél DirectX 9 compatible videokaarten. Belangrijkste reden daarvoor is dat Game Test 4 bij niet DirectX 9 compatible videokaarten niet kan worden uitgevoerd, zodat de score nog maar op basis van de drie andere game tests bepaald kan worden. De hoogste scores worden behaald door de ATI Radeon 9700 Pro die met de standaard 3D Mark 2003 instellingen een score van 4767 behaalt. De Radeon 9700 Pro wordt op de voet gevolgd door de Radeon 9700 en Radeon 9500 Pro.

Opvallend is de relatief lage score van de nVidia GeForce FX 5800 Ultra ten opzichte van de ATI Radeon 9700 Pro. Het lijkt er haast op dat de ATI-kaarten zich in dergelijk complexe 3D-omgevingen toch beter staande kunnen houden. Maar ook de scores van de GeForce 4 Ti videokaarten zijn niet bepaald goed te noemen. Een nVidia GeForce 4 Ti 4600/4800 behaalt een score die lager is dan de helft van de score van de ATI Radeon 9500 Pro. Niet alleen het feit dat bij de GeForce 4 kaarten de vierde game test niet kan worden uitgevoerd zorgt voor een lage score, ook Futuremarks keuze om van pixel shader 1.4 programma's gebruik te maken bij Game Test 2 en 3 zorgt voor lage scores bij de nVidia kaarten. De nVidia GeForce 4 biedt namelijk geen ondersteuning voor pixel shader 1.4, zodat 3D Mark 2003 bij deze kaarten terug moet vallen op omslachtigere pixel shader 1.1 implementaties.

Enkele dagen geleden heeft nVidia een nieuwe driver, versienummer 42.68, beschikbaar gesteld aan de pers. Met deze nieuwe driver schiet de score van de GeForce FX in 3D Mark 2003 omhoog naar meer dan 5200 punten, bijna 50% meer dan met bestaande drivers. De prestaties bij andere games zijn echter ongewijzigd met deze nieuwe drivers. Aangezien we zelf geen GeForce FX meer beschikbaar hebben, is het moeilijk te achterhalen of het hier om échte optimalisaties gaat of dat nVidia vals speelt. Het is immers goed mogelijk om binnen drivers bepaalde vertex- en pixel-shader programma's af te vangen en deze op een andere manier uit te voeren. Nog geen van onze buitenlandse collega's hebben een goede vergelijking gedaan tussen de beeldkwaliteit binnen 3D Mark 2003 met de oude en nieuwe drivers om te bekijken of alle effecten wel juist berekend worden. Totdat we zelf hier onderzoek naar hebben kunnen doen, blijf ik sceptisch over dit voorval. Als blijkt dat benchmarks als 3D Mark 2003 heel makkelijk te foppen zijn via drivers, kan benchmarking nog wel eens heel complex worden in de toekomst. Een reactie van Futuremark op deze performance sprong is nog niet beschikbaar.

nVidia versus Futuremark

In een uitgebreid[-e] whitepaper heeft nVidia zoals gezegd inmiddels duidelijk laten weten niet gecharmeerd te zijn van 3D Mark 2003. Volgens de marktleider in 3D-graphics heeft Futuremark bij 3D Mark 2003 een paar duidelijke beslissingsfouten gemaakt. Het hele pleidooi van nVidia is hier bij XBit Labs terug te lezen. Belangrijke verwijten zijn dat bij Game Test 1 gebruik gemaakt wordt van single textured 3D-objecten, wat volgens nVidia volledig out-of-date is. Verder zou het gebruik van Pixel Shader 1.4 bij Game Test 2 en 3 zwaar in het nadeel van de GeForce 4 Ti werken, terwijl volgens nVidia vrijwel geen enkele echte game hiervan gebruik maakt. Het derde punt van nVidia is dat het aantal objecten dat daadwerkelijk van Pixel Shader 2.0 (DirectX 9) gebruik maakt in Game Test 4 zwaar in de minderheid is.

Natuurlijk zijn er van de kant van Futuremark (en ook ATI) alweer de nodige tegenreacties gekomen. Belangrijkste punt van Futuremark is dat 3D Mark 2003 geen maat moet geven voor de prestaties bij huidige games, maar voor de prestaties bij games die tussen nu en 18 maanden op de markt komen. De keuze voor single textured objecten in Game Test 1 zou gerechtvaardigd zijn door het feit dat binnen flightsimulator-achtige games dit voor voldoende mooie effecten zorgt. Verder verwacht men dat juist bij dit type games in 2004 nog DirectX 7 compatible effecten toereikend zijn. De keuze van Pixel Shader 1.4 effecten binnen Game Test 2 en 3 is gebaseerd op het feit dat de gewenste effecten met deze versie van de Pixel Shader veel efficiënter berekend kunnen worden. Wederom geeft Futuremark aan dat 3D Mark 2003 bedoeld is voor toekomstige games en DirectX 9 compatible videokaarten, die ook alle Pixel Shader 1.4 ondersteunen. Dat Game Test 4 slechts voor de minderheid van de 3D-objecten echte DirectX 9 functies gebruikt, geeft Futuremark ook toe, maar men verweert zich met het feit dat dit bij toekomstige DirectX 9 games ook het geval zal zijn. Als Pixel Shader 1.4 functies voldoende zijn om gewenste 3D-effecten te behalen zal niemand Pixel Shader 2.0 uit de kast halen, puur en alleen omdat dit tot de mogelijkheden behoort.

Beide kampen in de 3D Mark 2003 discussie hebben zondermeer sterke punten en als Hardware.Info kiezen we liever geen partij in deze discussie. Het hele verhaal doet mij wel een beetje denken aan de discussie die er liep ten tijde van de komst van 3D Mark 2001, vrijwel tegelijkertijd geïntroduceerd met nVidia's GeForce 3, de eerste DirectX 8 kaart. Bij alle huidige benchmarks was het verschil in scores tussen de GeForce 2 en de GeForce 3 slechts miniem, omdat er van de nieuwe mogelijkheden nog geen gebruik gemaakt kon worden. Juist 3D Mark 2001 gaf wegens de nieuwe DirectX 8.1 test een enorm verschil tussen de GeForce 2 (en andere bestaande 3D-chips) en de GeForce 3 aan. Destijds hoorde je nVidia daar natuurlijk niet over klagen. 3D Mark 2003 is nu de eerste benchmark die veel gebruik maakt van effecten die binnen DirectX 9 en DirectX 8.1 vallen. Alleen de nieuwste DirectX 9 videokaarten van nVidia en ATI bieden goede ondersteuning voor zowel Pixel Shader 1.4 (DirectX 8.1) en Pixel Shader 2.0 (DirectX 9). Hoewel er al veel Radeon 9700 Pro versus GeForce FX vergelijkingen zijn geweest, het is nu voor het eerst mogelijk om deze kaarten ook met de nieuwe functies te vergelijken. Het is goed mogelijk dat óf ATI óf nVidia stukken sneller blijkt zodra deze nieuwe functies ingeschakeld worden. De toekomstige en de eerste echte DirectX 9 games zullen dat uitwijzen. Om te bepalen of 3D Mark 2003 nu wel of geen waarde heeft als benchmark voor games van de toekomst, zal eerst uitgezocht dienen te worden hoe makkelijk het nu is voor 3D-chip fabrikanten om te knoeien met de scores bij verschillende drivers.

Hardware.Info en 3D Mark 2003

Wat kun je nu van Hardware.Info verwachten in relatie tot 3D Mark 2003? nVidia en Futuremark zijn het ondanks de meningsverschillen over één ding eens: 3D Mark 2003 is geen geschikte benchmark om videokaarten uit het DirectX 7 en DirectX 8.0 tijdperk te vergelijken. Voor videokaarten uit de DirectX 9 generatie lijkt 3D Mark 2003 wél alles in huis te hebben voor een goede benchmark, want het is een feit dat game developers in games die in 2004 op de markt zullen komen gegarandeerd gebruik zullen maken van Pixel Shader 1.4 en 2.0 effecten.

Bij de komst van 3D Mark 2001 was er geen zekerheid of de behaalde scores zouden correleren met echte DirectX 8 games. Nu die langzaam beschikbaar komen, blijkt 3D Mark 2001 zondermeer waardevol te zijn geweest. Futuremark geeft aan veel onderzoek te hebben gedaan bij game developers naar de effecten die zij in de toekomst willen gaan gebruiken, dus ik verwacht dat 3D Mark 2003 ook in de toekomst waardevol zal blijken. Het enige wat dus roet in het eten zou kunnen gooien is als blijkt dat de benchmark scores eenvoudig te beïnvloeden zijn door middel van drivers. Eerst zal dus uitgezocht moeten worden of de enorme prestatiewinst bij de nieuwe GeForce FX drivers te danken is aan DirectX 8.1/9 optimalisaties die eerst niet aanwezig waren, of dat nVidia vuile trucjes toepast.

De komende tijd zullen we in ieder geval 3D Mark 2001 en 3D Mark 2003 naast elkaar blijven gebruiken, net zoals we ook lang 3D Mark 2000 en 3D Mark 2001 naast elkaar hebben gebruikt. 3D Mark 2001 als goede maat voor DirectX 8.0 games die rond deze tijd uitkomen, 3D Mark 2003 als mogelijk goede maat voor DirectX 8.1 en 9 games die we over een jaar en later kunnen verwachten.

Screenshots Game Test 1

Screenshots Game Test 2

Screenshots Game Test 3

Screenshots Game Test 4

0