Phenquestions
Zkušenosti jsou zásadní pro rozvoj dovedností nezbytných k uplatnění hlubokého učení na nové problémy. Rychlý GPU znamená rychlý zisk praktických zkušeností prostřednictvím okamžité zpětné vazby. GPU obsahují více jader pro řešení paralelních výpočtů. Zahrnují také rozsáhlou šířku pásma paměti pro snadnou správu těchto informací.
 |
S ohledem na tuto skutečnost se snažíme odpovědět na otázku: „Jaká je nejlepší grafická karta pro AI, strojové učení a hluboké učení?“Kontrolou několika grafických karet aktuálně dostupných v roce 2021. Karty zkontrolovány:
- AMD RX Vega 64
- NVIDIA Tesla V100
- Nvidia Quadro RTX 8000
- GeForce RTX 2080 Ti
- NVIDIA Titan RTX
Níže jsou uvedeny výsledky:
AMD RX Vega 64
Radeon RX Vega 64
Funkce
- Datum vydání: 14. srpna 2017
- Architektura Vega
- Rozhraní PCI Express
- Taktovací frekvence: 1247 MHz
- Stream procesory: 4096
- VRAM: 8 GB
- Šířka pásma paměti: 484 GB / s
Posouzení
Pokud se vám nelíbí grafické karty NVIDIA nebo vám rozpočet neumožňuje utratit více než 500 $ na grafickou kartu, pak AMD má chytrou alternativu. Je slušné množství RAM, rychlá šířka pásma paměti a více než dostatek streamových procesorů, AMD RS Vega 64 je velmi těžké ignorovat.
Architektura Vega je upgradem z předchozích karet RX. Pokud jde o výkon, tento model se blíží GeForce RTX 1080 Ti, protože oba tyto modely mají podobnou VRAM. Vega navíc podporuje nativní poloviční přesnost (FP16). ROCm a TensorFlow fungují, ale software není tak vyspělý jako u grafických karet NVIDIA.
Celkově vzato, Vega 64 je slušný GPU pro hluboké učení a AI. Tento model stojí hluboko pod 500 USD a dělá práci pro začátečníky. U profesionálních aplikací však doporučujeme zvolit kartu NVIDIA.
AMD RX Vega 64 Podrobnosti: Amazon
NVIDIA Tesla V100
Tesla V100
Funkce:
- Datum vydání: 7. prosince 2017
- Architektura NVIDIA Volta
- Rozhraní PCI-E
- 112 TFLOPS Tenzorový výkon
- 640 tenzorových jader
- 5120 NVIDIA CUDA® jader
- VRAM: 16 GB
- Šířka pásma paměti: 900 GB / s
- Compute APIs: CUDA, DirectCompute, OpenCL ™, OpenACC®
Posouzení:
NVIDIA Tesla V100 je monstrum a jedna z nejlepších grafických karet pro AI, strojové učení a hluboké učení. Tato karta je plně optimalizována a je dodávána se všemi dobrotami, které pro tento účel budete potřebovat.
Tesla V100 se dodává v konfiguracích paměti 16 GB a 32 GB. Díky spoustě VRAM, akceleraci AI, vysoké šířce pásma paměti a specializovaným tenzorovým jádrům pro hluboké učení si můžete být jisti, že každý váš tréninkový model poběží hladce - a za kratší dobu. Konkrétně Tesla V100 může přinést 125 TFLOPS výkonu hlubokého učení jak pro trénink, tak pro odvození [3], což umožňuje architektura Volta od společnosti NVIDIA.
NVIDIA Tesla V100 Podrobnosti: Amazon, (1)
Nvidia Quadro RTX 8000
Nvidia Quadro Rtx 8000
Funkce:
- Datum vydání: srpen 2018
- Turingova architektura
- 576 tenzorových jader
- CUDA jádra: 4 608
- VRAM: 48 GB
- Šířka pásma paměti: 672 GB / s
- 16.3 TFLOPS
- Systémové rozhraní: PCI-Express
Posouzení:
Quadro RTX 8000 je speciálně vytvořen pro aritmetiku matic a výpočty matice hlubokého učení a je špičkovou grafickou kartou. Vzhledem k tomu, že tato karta je dodávána s velkou kapacitou VRAM (48 GB), je tento model doporučen pro výzkum mimořádně velkých výpočetních modelů. Při použití ve dvojici s NVLink lze kapacitu zvýšit až na 96 GB VRAM. Což je hodně!
Kombinace 72 RT a 576 tenzorových jader pro lepší pracovní postupy vede k výkonu přes 130 TFLOPS. Ve srovnání s nejdražší grafickou kartou na našem seznamu - Tesla V100 - nabízí tento model potenciálně o 50 procent více paměti a stále dokáže stát méně. I v nainstalované paměti má tento model výjimečný výkon při práci s většími velikostmi dávek na jednom GPU.
Stejně jako Tesla V100 je i tento model omezen pouze vaší cenovou střechou. To znamená, že pokud chcete investovat do budoucnosti a do vysoce kvalitních počítačů, pořiďte si RTX 8000. Kdo ví, můžete vést výzkum AI. Tesla V100 je založena na architektuře Turing, kde V100 je založena na architektuře Volta, takže Nvidia Quadro RTX 8000 lze považovat za mírně modernější a mírně výkonnější než V100.
Podrobnosti Nvidia Quadro RTX 8000: Amazon
GeForce RTX 2080 Ti
Vydání Geforce RTX 2080 Founders Edition
Funkce:
- Datum vydání: 20. září 2018
- Turingova architektura GPU a platforma RTX
- Taktovací frekvence: 1350 MHz
- CUDA jádra: 4352
- 11 GB ultrarychlé paměti GDDR6 nové generace
- Šířka pásma paměti: 616 GB / s
- Výkon: 260 W
Posouzení:
GeForce RTX 2080 Ti je možnost rozpočtu ideální pro úlohy v malém měřítku namísto rozsáhlých tréninkových vývojů. Je to proto, že má menší paměť GPU na kartu (pouze 11 GB). Omezení tohoto modelu se stanou zjevnějšími při tréninku některých moderních modelů NLP. To však neznamená, že tato karta nemůže soutěžit. Konstrukce ventilátoru u RTX 2080 umožňuje mnohem hustší konfigurace systému - až čtyři GPU v rámci jedné pracovní stanice. Navíc tento model trénuje neurální sítě na 80 procentech rychlostí Tesla V100. Podle srovnávacích testů LambdaLabs pro hluboké učení je RTX 2080 ve srovnání s Tesla V100 73% rychlostí FP2 a 55% rychlostí FP16.
Mezitím tento model stojí téměř 7krát méně než Tesla V100. Z hlediska ceny i výkonu je GeForce RTX 2080 Ti skvělým GPU pro hluboké učení a vývoj AI.
Podrobnosti GeForce RTX 2080 Ti: Amazon
NVIDIA Titan RTX
Grafika NVIDIA Titan RTX
Funkce:
- Datum vydání: 18. prosince 2018
- Poháněno architekturou NVIDIA Turing ™ navrženou pro AI
- 576 tenzorových jader pro akceleraci AI
- 130 teraFLOPS (TFLOPS) pro trénink hlubokého učení
- CUDA jádra: 4608
- VRAM: 24 GB
- Šířka pásma paměti: 672 GB / s
- Doporučené napájení 650 wattů
Posouzení:
NVIDIA Titan RTX je další grafický procesor střední třídy používaný pro složité operace hlubokého učení. 24 GB paměti VRAM tohoto modelu je dostatečné pro práci s většinou velikostí dávek. Pokud však chcete trénovat větší modely, spárujte tuto kartu s mostem NVLink, abyste měli efektivně 48 GB VRAM. Toto množství by stačilo i pro velké transformátorové modely NLP. Titan RTX navíc umožňuje trénink se smíšenou přesností v plné míře pro modely (tj.E., FP 16 spolu s akumulací FP32). Výsledkem je, že tento model pracuje přibližně o 15 až 20 procent rychleji v operacích, kde se využívají jádra tenzoru.
Jedním z omezení NVIDIA Titan RTX je design se dvěma ventilátory. To brání složitějším konfiguracím systému, protože jej nelze zabalit na pracovní stanici bez podstatných úprav chladicího mechanismu, což se nedoporučuje.
Celkově je Titan vynikajícím univerzálním GPU pro téměř jakýkoli úkol hlubokého učení. Ve srovnání s jinými univerzálními grafickými kartami je to určitě drahé. Proto se tento model hráčům nedoporučuje. Výzkumníci využívající složité modely hlubokého učení by nicméně pravděpodobně ocenili další VRAM a zvýšení výkonu. Cena Titan RTX je významně nižší než výše uvedená verze V100 a byla by dobrou volbou, pokud váš rozpočet neumožňuje, aby ceny V100 umožňovaly hluboké učení nebo vaše pracovní zátěž nepotřebuje více než Titan RTX (viz zajímavé měřítka)
Podrobnosti NVIDIA Titan RTX: Amazon
Výběr nejlepší grafické karty pro AI, strojové učení a hluboké učení
AI, strojové učení a úkoly hlubokého učení zpracovávají hromadu dat. Tyto úkoly mohou být pro váš hardware velmi náročné. Před zakoupením GPU je třeba mít na paměti níže uvedené funkce.
Jádra
Jednoduše řečeno, čím větší je počet jader, tím vyšší bude výkon vašeho systému. Je třeba vzít v úvahu také počet jader, zvláště pokud pracujete s velkým množstvím dat. NVIDIA pojmenovala svá jádra CUDA, zatímco AMD nazývá jejich jádra stream procesory. Jděte na nejvyšší počet procesorových jader, jaký váš rozpočet umožní.
Procesní výkon
Procesní výkon GPU závisí na počtu jader uvnitř systému vynásobených takty hodin, při kterých jádra běžíte. Čím vyšší rychlost a čím vyšší počet jader, tím vyšší bude výpočetní výkon, při kterém může váš GPU vypočítat data. To také určuje, jak rychle váš systém provede úkol.
VRAM
Video RAM nebo VRAM je měření množství dat, které váš systém dokáže zpracovat najednou. Vyšší VRAM je zásadní, pokud pracujete s různými modely počítačového vidění nebo provádíte jakékoli soutěže CV Kaggle. VRAM není tak důležitý pro NLP nebo pro práci s jinými kategorickými daty.
Šířka pásma paměti
Paměťová šířka pásma je rychlost, jakou jsou data čtena nebo ukládána do paměti. Jednoduše řečeno, jedná se o rychlost VRAM. Měřeno v GB / s, větší šířka pásma paměti znamená, že karta může čerpat více dat za kratší dobu, což znamená rychlejší provoz.
Chlazení
Teplota GPU může být významným problémem, pokud jde o výkon. Moderní GPU zvyšují svou rychlost na maximum při běhu algoritmu. Ale jakmile je dosaženo určité prahové hodnoty teploty, GPU snižuje rychlost zpracování, aby chránila před přehřátím.
Konstrukce ventilátoru ventilátoru pro vzduchové chladiče tlačí vzduch mimo systém, zatímco ventilátory bez ventilátoru nasávají vzduch dovnitř. V architektuře, kde je více GPU umístěno vedle sebe, se ventilátory bez ventilátoru více zahřívají. Pokud používáte chlazení vzduchem v sestavě se 3 až 4 GPU, vyhněte se ventilátorům bez ventilátoru.
Další možností je vodní chlazení. Ačkoli je tato metoda drahá, je mnohem tišší a zajišťuje, že i ta nejpevnější nastavení GPU zůstanou po celou dobu provozu v pohodě.
Závěr
Pro většinu uživatelů, kteří se pustí do hlubokého učení, vám RTX 2080 Ti nebo Titan RTX poskytnou tu největší odměnu. Jedinou nevýhodou RTX 2080 Ti je omezená velikost VRAM 11 GB. Školení s většími velikostmi dávek umožňuje modelům trénovat rychleji a mnohem přesněji, což šetří spoustu času uživatele. To je možné pouze v případě, že máte grafické karty Quadro nebo TITAN RTX. Použití poloviční přesnosti (FP16) umožňuje modelům zapadnout do GPU s nedostatečnou velikostí VRAM [2]. Pro pokročilejší uživatele je však Tesla V100 místem, kam byste měli investovat. To je naše nejlepší volba pro nejlepší grafickou kartu pro AI, strojové učení a hluboké učení. To je pro tento článek vše. Doufáme, že se vám to líbilo. Do příště!
Reference
- Nejlepší GPU pro AI, strojové učení a hluboké učení v roce 2020
- Nejlepší GPU pro hluboké učení v roce 2020
- NVIDIA AI INFERENCE PLATFORM: Obrovské skoky ve výkonu a efektivitě pro služby AI, od datového centra po okraj sítě
- NVIDIA V100 TENSOR CORE GPU
- Srovnávací testy Titan RTX Deep Learning
