V tomto článku se dozvíme, o poražených a poražených. Předpokládám, že nvidia tohle reklamovat nebude, takže všichni poražení jsou bohužel všichni hrdí majitelé těchto karet. Možná budou mít jednoho dne vyšší sběratelskou hodnotu, ale bavíme se o době za 30 let odteď. A druhých poražených a kterými je celá Linuxová a FreeBSD komunita, která nemá jediný kvalitní nástroj na to, aby dokázali zjistit, že jejich karty tento defakt vůbec mají.
Moje nezaujatost
Prvně bych rád napsal, že se neúčastním a nikdy jsem se neúčastnil věčné diskuse „kdo je lepší“, protože to považuji za nepodstatné.
Momentálně mám v pracovním stroji Geforce RTX 3090 24GB. Ve svých počítačích jsem za posledních 20 let vystřídal velké množství grafických karet snad od všech výrobců, kteří vyrábí grafické karty (včetně bizarností typu Volari atd…) s výjimkou snad grafických karet značky Intel, ale ne kvůli nějakým antipatiím.
Kdyby Intel dělal karty s větším množstvím grafické paměti
Pozor, ani Intel nehážu do koše, (nemám teď na mysli starou kartu i740, ani integrované grafiky od intelu, ale ty nové), protože se na to dívám pozitivně kvůli výskytu 3. konkurence na trhu grafických karet. Kdyby Intel dělal jejich slabší čipy např. s 24GB nebo 32GB grafickou pamětí, tak jsem přesvědčen, že pokud budou mít nízké ceny, tak budou bestseller na poli grafických karet využívaných pro AI/LLM.
Vulkan API a Radeony, aneb když to vyjde v poměru cena/výkon
Díky podpoře Vulkan API hodnotím i Radeony s větší grafickou pamětí jako velmi použitelné karty pro práci s AI/LLM na vlastním počítači. Zrovna RX 6950XT nebo Rx 6800XT, pokud jsou za dobrou cenu a spočítáte si cenu elektřiny na rok, tak najdete spoustu případů použití, kde s těmito kartami budete velmi spokojení. Věřím, že jakmile se objeví z druhé ruky za dobrou i AMD Radeon RX 7900XTX s 24GB videopamětí, určitě to bude vítaná grafická karta pro mě k využití na jazykové modely (LLM). Jinými slovy, pokud se na tom dá hrát, nebo provozovat AI, tak říkám ANO bez ohledu na výrobce, či značku, nebo model grafické karty.
Co je to ROP
Vysvětleme si prvně, co to ROP vlastně znamená a proč chybějících 8 kusů ROP v modelech RTX 5090, 5080, 5070 Ti znamená problém pro majitele těchto karet.
Jednotka ROP (Raster Operations Pipeline) v GPU zpracovává pixelová data a provádí úlohy, jako je míchání (blending), vyhlazování (antialiasing), vykreslování do textury/nanášení textur (render-to-texture) a zápis finálních hodnot pixelů do framebufferu. Naproti tomu stínicí jednotka (shading unit = stream procesor), známá také jako „jádro GPU“, je zodpovědná za výpočet barvy, osvětlení a materiálových vlastností pixelů nebo vrcholů během procesu renderování, aniž by přímo interagovala s framebufferem. Výkonnostní dopad osmi chybějících ROP jednotek tedy závisí na tom, jak moc je hra náročná na ROP operace. (zdroj původního textu před překladem a před vložením dalších zdrojů)
Za pár let
Nicméně dnešní zpráva nepotěší žádného hráče a je to i rada pro ty z vás, kteří budete jednoho dne kupovat tyto karty např. za zlomek ceny z druhé ruky. Nechte si proto udělat před koupí screenshot z GPU-Z, ať máte informaci, kolik ROP grafická karta má. Dobrá zpráva je, že na použití grafické karty na AI to nebude mít vliv. Nicméně kvůli tomu Nvidia pozdržela vydání mainstreamových slabších kousků karet, evidentně se problém objevuje napříč celou sérií RTX 5000.
V případě RTX 5090 je místo 176 ROP „jen“ 168. (zdroj)
V případě RTX 5080 je místo 112 ROP „jen“ 104 (tedy blok 8 kousků ROP chybí).
V případě RTX 5070 Ti má být správně 96 ROP, postižené karty ukazují 88 ROP.
Ověřit si to můžete jako na následujícím obrázku pomocí utility Gpu-z. Na Linuxu je tato možnost pouze pomocí nvidia-smi, která to dle stávajících zjištění nemá doimplementováno.
Tato kauza bude mít snad pozitivní vliv na vývoj linuxových utilit pro zjištění podrobnějších údajů o vaší grafické kartě na Linuxu
Zkouším googlit a opravdu nenacházím jednoduché řešení, jak tuto hodnotu zjistit na Linuxu.
Na Linuxu obecně doporučím asi utilitu gpustat, která vám však neukáže počet ROP, dále můžete zkusit nvidia-smi, ale domnívám se, že tam asi taky skončíte s nepořízenou.
Jedním z řešení, které můžete vyzkoušet, je popisované zde pomocí ChatGPT. Nicméně budu rád, když v diskusích hodíte odkaz s doporučením na Linuxovou utilitu či příkaz, který vám počet ROP zjistí. Naposledy jsem používal grafiku na linuxu ve spojistosti s provozem LLAMA 7B a 13B jazykového modelu. Rozchodit to nebylo vůbec snadné a od té doby uplynuly cca 2 roky a dnes máme LM Studio na počítači pro Windows, Linux, MacOS. Na všech ostatních linuxových strojích v domácnosti nemám grafiku od Nvidie, ale většinou integrovanou grafiku, takže tento problém jsem nemusel řešit.
Prostor pro vznik Linuxové Live utility
S tím mě napadá, že by někdo mohl vymyslet bootovatelné Linuxové distro na flashku, které strčíte do počítače a udělá přesně to, co zde popisuji. Stáhne nejnovější ovladače (nebo ovladače dle výběru uživatele) pro grafickou kartu, ukáže veškeré diagnostické informace o kartě, spustí nějaký benchmark (unigine heaven?) či jiný benchmark a nakonec spustí stress test a zeptá se uživatele, jak dlouho chce nechat počítač testovat s doporučením času testování, než označí grafickou kartu za 100% stabilní a bezproblémovou. Berte tento odstavec proto jako čistou spekulaci, nicméně kdykoliv se v historii něco odehrálo, co mělo negativní vliv na zjištění/detekci něčeho, dříve, či později došlo k vytvoření nějaké utility, či nástroje, který tento problém řešil.
Phoronix Test Suite a další live USB?
Když už se bavíme o benchmarkování, našel jsem tohle (zdrojáky zde).
Teoreticky byste mohli ohnout SystemRescue tak, abyste do něj nainstalovali drivery na grafiku a potom utility (glxinfo, glmark2, stress-ng) pro otestování či zjištění informací o grafické kartě, nicméně stále nezjistíte počet ROP na vaší kartě. Říkám to opravdu nerad, nicméně žádná z těchto utilit nenahradí GPU-Z.