V posledních měsících se stalo zřejmým, že ačkoli výdaje na umělou inteligenci rostou, firmy aktivně hledají efektivnější způsoby, jak tyto náklady spravovat. Počáteční nadšení z pokročilých proprietárních modelů s sebou přineslo vysoké faktury, což vedlo k rozmanitým strategiím optimalizace. Ty zahrnují experimentování s levnějšími otevřenými modely běžícími na inferenčních platformách, chytřejší směrování požadavků k nejvhodnějším modelům a dokonce i interní sdílení znalostí o nákladově efektivním využívání AI.
Společnost Uber je zářným příkladem úspěšné optimalizace. Poté, co na počátku roku vyčerpala roční rozpočet na AI, se inženýrské týmy zaměřily na snížení nákladů. Díky kombinaci strategií, včetně přechodu na otevřené modely pro specifické úlohy, optimalizované volby modelu na základě výkonnostních testů, použití levnějších sub-agentů pro menší úlohy a efektivního cachování, dokázala snížit náklady na AI požadavek o 34 % a na AI relaci o 52 %. I přes výrazné zvýšení celkového využití AI se náklady od března udržely na stabilní úrovni. Klíčovým faktorem úspor v Uberu byl přechod na otevřené modely pro určité úkoly, které se ukázaly být 2-20krát levnější ve srovnání s nejdražšími proprietárními alternativami.
Sociální platforma Pinterest hlásí ještě dramatičtější úspory, přesahující 90 %. Využívají vlastní, účelové modely a vhodně vybrané otevřené modely, které jsou dodatečně trénovány na jejich unikátních datech v rámci zabezpečené cloudové infrastruktury. CEO William Ready potvrdil, že takto upravené otevřené modely prokazují vynikající výkon pro jejich specifické případy použití ve srovnání s uzavřenými modely třetích stran. Náklady na transakci klesly na méně než 8 % ceny srovnatelných proprietárních řešení, což otevírá obrovský prostor pro budoucí inovace.
Telekomunikační gigant AT&T s více než 100 000 zaměstnanci dosáhl úspor ve výši 56 % přesunutím části úloh na otevřené modely. Zajímavé je, že pokles kvality výstupu AI byl změřen na pouhá 2 %. Inženýři AT&T nadále využívají nejmodernější modely pro komplexní úkoly, jako je generování kódu, zatímco pro méně náročné operace, jako je shrnování stávajícího kódu, nasazují ekonomicky efektivnější otevřené modely.
Chystáte nový web nebo aplikaci?
Napište mi, co plánujete — rád se na to podívám a poradím, jak na to nejlépe jít.
Trend naznačuje, že zatímco některé dříve oblíbené proprietární modely znatelně zdražují, otevřené modely a dokonce i některé konkurenční proprietární alternativy se stávají dostupnějšími. Rozdíly v ceně mohou být značné; některé pokročilé modely jsou až 100krát dražší než jejich efektivnější otevřené nebo levnější proprietární protějšky. To nutí technologické společnosti k pečlivému přehodnocování svých AI strategií.
Průzkum provedený mezi inženýrskými týmy společností jako Stripe, Coinbase, Uber a Ramp potvrdil, že největších úspor lze dosáhnout právě nasazením otevřených modelů. Druhou nejúčinnější metodou je inteligentní směrování modelů, následované kontrolou výdajů a optimalizací kontextu. Tyto strategie se promítají do reálných čísel, kdy největší firmy začínají snižovat své celkové výdaje na AI, pravděpodobně ne snížením využití, ale právě chytrou optimalizací nákladů.