Nie wierzcie benchmarkom

est

Nie wierzcie benchmarkom

Ryszard Sobkowski, Marek Winter

J ak siΩ maj▒ wyniki test≤w procesor≤w, s│ynne benchmarki, do rzeczywistych wydajno╢ci uk│ad≤w w u┐ytkowych aplikacjach? - to pytanie zadaje sobie wiΩkszo╢µ os≤b patrz▒c na niewiele m≤wi▒ce warto╢ci r≤┐nych benchmark≤w podawane przez producent≤w procesor≤w. W Laboratorium ENTER-a przeprowadzili╢my testy pozwalaj▒ce oceniµ efektywno╢µ procesor≤w w r≤┐nych typach aplikacji. Mamy nadziejΩ, ┐e ich wyniki pomog▒ przy zakupie nowego lub modyfikacji konfiguracji posiadanego komputera.
Jako materia│ por≤wnawczy potraktowali╢my wyniki pomiar≤w przy u┐yciu typowego benchmarku aplikacyjnego, jakim jest SysMark firmy BAPCO. Zawiera on reprezentatywn▒ grupΩ aplikacji i udostΩpnia wyniki uzyskiwane przez komputer w ka┐dej z nich, obrazuj▒c rzeczywist▒ wydajno╢µ maszyny w danym typie aplikacji. Drugim zastosowanym programem by│ Intel Media Benchmark - program Intela rzekomo przeznaczony do oceny wydajno╢ci procesor≤w w aplikacjach o charakterze graficznym i multimedialnym.
Nie trzeba siΩ d│ugo przygl▒daµ wynikom pomiar≤w SysMark ani ilustruj▒cemu je wykresowi, by zauwa┐yµ ┐e procesor Cyrix 6╫86MX zdecydowanie wyr≤┐nia siΩ w aplikacjach o charakterze graficznym, szczeg≤lnie w CorelDRAW!, a i w innych typach aplikacji jest wyra╝nie na czele. Zupe│nie inny obraz przedstawia Intel Media Benchmark - gdyby chcieµ potraktowaµ powa┐nie dostarczane przez ten program wyniki, nale┐a│oby uznaµ procesor Cyrixa za nieporozumienie, a AMD K6 200 MHz za znacz▒co s│abszy od Pentium MMX 166 MHz. Sk▒d taka rozbie┐no╢µ wynik≤w i w co w│a╢ciwie wierzyµ?
Aplikacje nie k│ami▒ - je╢li pos│uguj▒cy siΩ bibliotekami DLL z rzeczywistych aplikacji SysMark twierdzi, ┐e maszyna jest szybka, bΩdzie ona rzeczywi╢cie szybka w tych aplikacjach. A Intel Media Benchmark wydaje siΩ s│u┐yµ tylko jednemu - wykazywaniu wy┐szo╢ci procesor≤w Intela nad konkurencj▒. Tym niemniej, potraktowany krytycznie, pozwala jednak okre╢liµ s│absze strony niekt≤rych procesor≤w. S│abe wyniki procesor≤w nieintelowskich w grafice 3D to fakt. Wydajno╢µ intelowej jednostki zmiennoprzecinkowej jest wy┐sza ni┐ konkurencji.
Ale przecie┐ obecnie grafikΩ 3D i tak obs│uguj▒ specjalizowane akceleratory. Podobnie jest przy obr≤bce d╝wiΩku - s│abo╢µ jednostek zmiennoprzecinkowych powoduje znacznie gorsze wyniki, ale w rzeczywisto╢ci do obr≤bki d╝wiΩku s│u┐▒ specjalizowane DSP. Tym niemniej tam, gdzie wa┐n▒ rolΩ odgrywa "wydajno╢µ zmiennoprzecinkowa" rzeczywi╢cie - Intel g≤r▒.
Nie wierzcie benchmarkom! Zasadnicz▒ wad▒ benchmark≤w specjalizowanych, jak choµby wspomniane narzΩdzie Intela, jest to, ┐e nie do ko±ca wiadomo, co w│a╢ciwie autor umie╢ci│ w ╢rodku i jakie mia│ intencje - klasycznym przyk│adem jest nortonowskie SI, kt≤re po zwiΩkszeniu pamiΩci komputera z 16 do 32 MB potrafi│o wykazaµ dwukrotny spadek og≤lnej wydajno╢ci systemu! Wierzmy tylko aplikacjom.
Nasz redakcyjny WinLupi twierdzi, ┐e wszystkie testowane procesory s▒ do siebie bardzo zbli┐one - i ma racjΩ, gdy┐ nie pos│uguje siΩ wy│▒cznie DLL-ami, jak SysMark, ale u┐ywa ca│ych kompletnych aplikacji.

Zaskuj▒ce wyniki test≤w

R≤┐nice wynik≤w uzyskiwane przez poszczeg≤lne procesory w te╢cie aplikacyjnym SysMark s▒, jak widaµ, niewielkie, przy czym najkorzystniej wypada w nim procesor Cyrix 6╫86MX. Zupe│nie inne relacje pomiΩdzy procesorami pokazuje specjalizowany benchnark, kt≤rego specjalno╢ci▒ jest wykazywanie wy┐szo╢ci procesor≤w Intela.