Minulý týden Google oznámil zpřístupnění TorchTPU jako open-source projektu, což je jeho dlouho očekávaná verze frameworku PyTorch. Tímto krokem se Google připojuje k Amazonu ve snaze prolomit silnou pozici Nvidie v odvětví umělé inteligence, kde je drtivá většina AI aplikací primárně navržena pro běh na čipech Nvidia, známých jako GPU.
PyTorch je široce oblíbený open-source nástroj, který vývojáři a startupy v oblasti AI využívají k tvorbě, trénování a nasazování modelů umělé inteligence. Odhaduje se, že jej využívá až 85 % všech AI aplikací. PyTorch byl původně vyvinut společností Meta (tehdy Facebook) v roce 2016, dlouho předtím, než se všeobecně tušilo, jak velký dopad budou mít velké jazykové modely (LLM) na svět. V té době již byly GPU od Nvidie standardním hardwarem pro výzkum AI, a proto byla řada funkcí PyTorche navržena tak, aby s nimi specificky fungovala. V roce 2022 Meta převedla správu PyTorche pod Linux Foundation, neziskovou organizaci spravující mnoho klíčových open-source projektů.
Verze od Googlu, nazvaná TorchTPU, umožňuje AI aplikacím běžet na vlastních AI čipech Googlu, známých jako Tensor Processing Units (TPU). Zároveň výrazně usnadňuje přesun stávajících PyTorch aplikací na TPU a tím i do Google Cloudu. Vývojáři mohou tohoto dosáhnout jednoduchou změnou konfigurace, bez nutnosti přepisovat kód svých aplikací.
Amazon učinil podobné oznámení, když představil svou vlastní verzi PyTorche, nazvanou TorchNeuron. TorchNeuron umožňuje portování AI aplikací na interně vyvinutý AI čip Amazonu, Trainium, a do AWS, rovněž bez přepisování kódu. Amazon navíc uvedl, že jde ve svém úsilí o uvolnění závislosti PyTorche na Nvidii ještě dál. Předkládá kód do hlavního projektu PyTorch, který odděluje různé funkce od čipů Nvidie, čímž ho ve výchozím nastavení činí otevřenějším pro jakýkoli hardware.
Potřebujete pomoc s webem nebo aplikací?
Ozvěte se mi — do 24 hodin se Vám ozvu zpět s návrhem dalšího postupu.
Google však v některých ohledech Amazon možná překonává. Uvádí, že přímo spolupracoval se společnostmi Meta, Hugging Face, Inferact (výrobce vLLM) a RadixArk (výrobce SGLang) a dalšími, aby zajistil, že funkce a kódové knihovny TorchTPU budou dobře fungovat s těmito populárními vývojovými nástroji pro AI, stejně jako původní PyTorch.
Kromě toho, gigant ve vyhledávání spustil specializovaný nástroj, sadu TPU agentů, která má vývojářům pomoci s přesunem jejich aplikací na čipy a cloud Googlu a s opravou chyb během procesu. Dokonce aktualizoval svůj populární nástroj LiteRT, který spouští AI na telefonech, laptopech a vestavěných zařízeních, aby lépe spolupracoval s AI aplikacemi postavenými na PyTorchi.
Nic z toho neznamená, že vývojáři AI aplikací automaticky hromadně opustí hardware Nvidie jen proto, že se nyní mohou snadno přesunout na alternativní čipy a cloudové platformy. Nicméně Amazon a Google jasně usilují o ukončení výhody, kterou Nvidia dosud požívala.