A mesterséges intelligencia chipek piaca figyelemre méltó növekedést mutat, és a 2024-es 50 milliárd dollárról 2027-re akár 400 milliárd dollárra is ugorhat. Ez a nyolcszoros növekedés jól mutatja, hogy a vállalkozások és a fogyasztók hogyan fogadják el a mesterséges intelligencia technológiáit. A Deloitte előrejelzése szerint a globális adatközpontok kapacitása 2027-re megduplázódik a mesterséges intelligencia növekvő népszerűsége miatt.
A vállalatok versenyt futnak azért, hogy gyorsabb és jobb MI-chipeket építsenek a mai digitális világban. Az Nvidia vezeti a mezőnyt a H100 Tensor Core GPU-jával és a Blackwell architektúrájával. Az Edge MI-gyorsítók számos szektorban egyre népszerűbbek, különösen a biztosítási alkalmazások terén. A PC-k is változnak - 2027-re az összes szállítmány mintegy 60%-a MI-képes lesz. Ezek a technológiák már nem korlátozódnak az adatközpontokra, hanem a mindennapi eszközeink részévé válnak.
Az új év új lehetőségeket és akadályokat is hoz a mesterséges intelligencia hardverei számára. A legtöbb szervezet (70%) 2026-ra mesterséges intelligencia modelleket fog használni a napi feladatokhoz, így a mesterséges intelligencia olyan alapvető lesz, mint az elektromosság. A növekvő mesterséges intelligencia által generált munkaterhelés a következő évtizedben akár megháromszorozhatja az adatközpontok energiafogyasztását. A Big Data Supply fokozta hardver-újrahasznosítási szolgáltatásait, hogy segítsen a vállalatoknak csökkenteni mesterséges intelligencia infrastruktúrájuk környezeti lábnyomát.
A vállalatok a jobb hatékonyság felé haladnak, a vállalkozások 75%-a kisebb, specializált modelleket tanul meg adott feladatokhoz. A Microsoft Copilot+ PC-i ezt a trendet jól mutatják az új szilíciumlapkákkal, amelyek másodpercenként több mint 40 billió műveletet képesek végrehajtani. Ez a cikk mindent lefed az egyedi chipektől a peremhálózati számítástechnikai megoldásokig a folyamatosan változó mesterséges intelligencia hardveres világunkban.
Az egyedi MI-chipek megváltoztatták a hardvertérképet. A nagy szereplők most olyan célzott szilíciumlapkákat készítenek, amelyek speciális MI-munkaterheléseket kezelnek. A vállalatok alternatívákat keresnek az általános célú processzorokra, ahogy a specializált gyorsítók piaca felforrósodik.
Az AMD MI300X és az Nvidia H100 chipjei uralják a csúcskategóriás mesterséges intelligencia gyorsítók piacát. Az AMD MI300X lenyűgöző, 192 GB HBM3 memóriával rendelkezik. Ez 2.72-szer több helyi memóriát és 2.66-szor nagyobb memória-sávszélességet biztosít, mint a H100 PCIe. Az AMD zászlóshajója a gyorsítótár-teljesítménytesztekben 1.6-szor nagyobb L1 gyorsítótár-sávszélességgel veri a H100-at. A számok 3.49-szer nagyobb L2 gyorsítótár-sávszélességet és 3.12-szer nagyobb sávszélességet mutatnak a hatalmas, 256 MB-os Infinity gyorsítótárnak köszönhetően.
A nyers számítási átviteli tesztek az AMD egyértelmű vezető szerepét mutatják az utasításfeldolgozásban. A tesztek akár ötszörös teljesítményt is mutatnak az Nvidia kínálatához képest. Ennek ellenére az Nvidia vezet a memória késleltetésében, 57%-kal gyorsabb teljesítménnyel ebben a kulcsfontosságú mutatóban.
Az MI300X lényegesen felülmúlja a H100 konfigurációkat a valós mesterséges intelligencia következtetési feladatokban, különösen akkor, ha nagyméretű nyelvi modellekről van szó, mint például az LLaMA3-70B. Az MI300X másodpercenként 4,858 tokent ért el, miközben ezt a modellt FP16 pontossággal és 128 bemeneti/kimeneti hosszal futtatta. A memóriakorlátok megakadályozták, hogy két H100 GPU hosszabb szekvenciahosszal futtassa a modellt.
A szoftver továbbra is nagy kihívást jelent a lenyűgöző specifikációk ellenére. Az AMD hardveres képességei kiemelkedőek, de a fejlesztők akadályokba ütköznek az ROCm szoftvercsomaggal az Nvidia kiforrott CUDA ökoszisztémájához képest.
A felhőszolgáltatók jelentős összegeket fektettek be az egyedi szilícium-fejlesztésbe. A Google TPU v5p 459 teraFLOP bfloat16 teljesítményt nyújt. A chip 95 GB nagy sávszélességű memóriát tartalmaz, amely 2.76 TB/s sebességgel viszi át az adatokat. Ez a kialakítás akár 8,960 gyorsítót is képes egyetlen podban elhelyezni. A nagy modellek, mint például a GPT-3, akár 2.8-szor gyorsabban is betaníthatók.
Az AWS folyamatosan fejleszti a Trainium chipeket a betanításhoz és az Inferentia-t a következtetések kezeléséhez. A Trainium2 négyszer nagyobb betanítási teljesítményt nyújt, mint elődje. Minden chip nagyjából 650 TFLOPS-ot és 96 GB nagy sávszélességű memóriát kínál. Ezek a saját fejlesztésű chipek azzal tűnnek ki, hogy zökkenőmentesen integrálódnak a felhőalapú ökoszisztémákkal. Az AWS Neuron SDK egyszerűvé teszi a Trainium munkaterhelés-optimalizálást, miközben népszerű keretrendszerekkel is működik.
A költségvetési előnyök egyértelműek. A Google TPU-k és az AWS Trainium milliárd tokenenként 50-70%-kal kevesebbe kerülnek, mint a csúcskategóriás Nvidia H100 klaszterek. Egyes tanulmányok szerint a TPU-telepítések 4-10-szer költséghatékonyabban működnek, mint a GPU-k a nagy nyelvi modellek betanításakor.
A TPU v5e körülbelül 0.30 dollárért kínál LLaMA2-70B-t millió kimeneti tokenenként következtetési feladatokhoz. Ez az árszint messze felülmúlja a GPU-alapú alternatívákat.
A specializált hardverek fontos piaci rést találtak a hagyományos gyorsítókon túl. A Cerebras Wafer-Scale Engine (WSE) új szemszögből vizsgálja a processzorarchitektúrát. A legújabb WSE-3 4 billió tranzisztort és 900 000 mesterséges intelligencia-specifikus magot tartalmaz egyetlen ostyaméretű chipen. Ez a kialakítás kiküszöböli a többchipes rendszerekben gyakori adatátviteli szűk keresztmetszeteket.
A Cerebras architektúra lenyűgöző hatékonyságot mutatott bizonyos munkaterhelések, például a szén-dioxid-leválasztási szimulációk során. A tesztek 210-szeres teljesítményelőnyt mutattak ki az Nvidia H100 GPU-kkal szemben. A WSE adatfolyam-architektúrája elkerüli a hagyományos processzorokban található memória-késleltetési és sávszélesség-korlátokat.
A Graphcore Intelligence Processing Unit (IPU) saját, egyedi megközelítést alkalmaz a mesterséges intelligencia gyorsításában. Az IPU Multiple Instruction Multiple Data architektúrát használ 1,472 párhuzamos feldolgozási csempével. Ez a kialakítás bizonyos feladatoknál kivételesen jól működik. A DNS- és fehérjeszekvenciák illesztése 10-szer gyorsabban fut, mint az Nvidia A100 GPU-kon, és 4.65-szer gyorsabban, mint a CPU-kon.
Az IPU architektúrája kiemelkedően teljesít a gráf neurális hálózatokban. A nagyméretű, chipre integrált SRAM jól kezeli a kis mátrixszorzásokat. Ezek a tulajdonságok teszik az IPU-t nagyszerűvé a gráffeldolgozás központi elemeit jelentő gyűjt-szór műveletekben. Az általános célú GPU-k és a speciális gyorsítók közötti verseny egyre erősebb, ahogy a mesterséges intelligencia modelljei egyre nagyobbak és összetettebbek lesznek. Ez a rivalizálás folyamatosan hajtja előre a félvezető innovációt.
A mesterséges intelligencia hardverarchitektúrájának kulcsfontosságú döntéssel kell szembenéznie a peremhálózati és a felhőalapú feldolgozás között. A szervezeteknek az egyedi igényeik és korlátaik alapján kell kiválasztaniuk, hogy hol történjen a mesterséges intelligencia általi számítás.
Az Edge AI közvetlenül a helyi eszközökre juttatja az intelligenciát, az okostelefonoktól az ipari érzékelőkig. Ez lehetővé teszi az adatfeldolgozást megszakítás nélküli felhőkapcsolat nélkül. A megközelítés milliszekundumos szintű válaszidőket biztosít a felhőalapú feldolgozás másodperceihez képest. Ez a sebességkülönbség jelentős az időérzékeny alkalmazásoknál, mint például az önvezető járművek vagy a gyártósori minőségellenőrzés.
A sebesség nem az egyetlen előny. A peremhálózati feldolgozás segít az adatvédelemben azáltal, hogy a bizalmas adatokat helyi eszközökön tárolja ahelyett, hogy külső szerverekre küldené azokat. Az olyan egészségügyi eszközök, mint a fitneszmonitorok és az EKG-készülékek, jobban működnek a helyi feldolgozással. Ez védi a személyes egészségügyi adatokat, miközben gyors válaszokat ad.
Az Edge AI a sávszélesség-igényt is csökkenti. A vállalatok hálózati költségeket takarítanak meg és csökkentik a torlódást, mivel az adatokat nem kell folyamatosan távoli szerverekre továbbítani. A bányászati, olaj- és gázipari vállalatok ezt különösen értékesnek találják, amikor korlátozott internetkapcsolattal rendelkező távoli helyszíneken telepítenek mesterséges intelligencia megoldásokat.
Van egy másik ok is, amiért érdemes megfontolni a peremhálózati mesterséges intelligenciát – az offline funkcionalitás. A peremhálózati mesterséges intelligenciát támogató eszközök hálózati kimaradások esetén is működnek. Ez ideálissá teszi őket olyan kritikus fontosságú alkalmazásokhoz, ahol a kapcsolat nem megbízható.
A felhőplatformok továbbra is létfontosságúak a hatalmas számítási teljesítményt igénylő komplex MI-munkaterhelések számára, a peremhálózati számítástechnika előnyei ellenére. A vezető felhőalapú MI-platformok ma már teljes eszközkészletet kínálnak a gépi tanulás fejlesztéséhez:
Ezek a platformok olyan erőforrás-igényes modellek betanításában jeleskednek, amelyeket a peremhálózati eszközök nem tudnak kezelni. Csak egy példa erre a nagyméretű nyelvi modellek, mint a GPT, amelyek olyan számítási teljesítményt igényelnek, amelyet csak a felhőinfrastruktúra tud biztosítani. A felhőplatformok jobban skálázódnak is, és az adat- és feldolgozási igények növekedésével növelik az erőforrásaikat.
Azok a vállalatok, amelyek már használnak speciális felhőalapú rendszereket, gyakran úgy találják, hogy ezek a platformok illeszkednek a meglévő infrastruktúrájukhoz. A Microsoft-központú vállalatok az Azure AI-t választják, míg a Google Cloud felhasználói a Vertex AI-t részesítik előnyben.
A jövő nem a peremhálózati és a felhőalapú megoldások közötti választásról szól. Sok szervezet hibrid megközelítéseket alkalmaz, amelyek mindkettőt használják. Ez a stratégia a valós idejű feldolgozást az adatforrások közelébe helyezi, miközben a felhőalapú erőforrásokat használja az intenzív feladatokhoz.
Az intelligens megfigyelőrendszerek jól mutatják ezt az egyensúlyt. Az Edge AI kamerákon helyi mozgásérzékelést és arcfelismerést végez. Csak a gyanús tevékenységeket küldi a felhőszervereknek mélyebb elemzés céljából. Ez a módszer csökkenti a sávszélesség-használatot, miközben megőrzi a hozzáférést a hatékony felhőanalitikához.
A hibrid mesterséges intelligencia infrastruktúra népszerűsége folyamatosan növekszik. A Gartner előrejelzése szerint „2028-ra a vállalatok több mint 20%-a fog MI-alapú munkafolyamatokat helyben, adatközpontjaiban futtatni, ami nagy dolog, mivel azt jelenti, hogy kevesebb mint 2% tette ezt meg”. Ezt a változást három fő tényező hajtja: a költségkontroll, az adatszuverenitási követelmények és az azonnali teljesítményigények.
A költségmegtakarítás erős érv. A felhőalapú mesterséges intelligencia költségei gyorsan emelkedhetnek az adatkimeneti díjak, a tárolási költségek és a nagy teljesítményű számítási díjak miatt. Egy tanulmány szerint a szervezetek felhőalapú kiadásaik körülbelül 32%-át elpazarolják . Ez pénzügyileg okossá teszi a szelektív felhőalapú erőforrás-felhasználást.
A mesterséges intelligencia hardvertrendjei folyamatosan fejlődnek. A kérdés nem csak az, hogy hol dolgozzuk fel az adatokat. Arról is van szó, hogyan osztjuk el a munkaterhelést a teljes számítástechnikai spektrumban, a peremhálózati eszközöktől az adatközpontokon át a speciális felhőszolgáltatásokig.
A kvantumszámítástechnika és a neuromorf architektúrák a számítási áttörések következő határát képviselik, túlmutatva a hagyományos mesterséges intelligencia hardvereken. A hagyományos rendszerek gyakran küzdenek összetett problémákkal, de ezek a technológiák új megoldásokat kínálnak ezekre.
Az Intel neuromorfikus számítástechnikája az idegtudományból merít ihletet a mai mesterséges intelligencia rendszerek energiahatékonysági kihívásainak megoldásához. A második generációs Loihi 2 processzor akár tízszer gyorsabban is teljesít, mint az előző verziója. A processzor az aszinkron tüskés neurális hálózat (SNN) használatával tűnik ki a hagyományos chipektől. Ez a hálózat a valódi neuronok működését másolja azáltal, hogy tüskéket küld az aktivált szinapszisokon keresztül a jelek manipulálása helyett.
Ez az architektúra azért tűnik ki, mert a ritka, eseményvezérelt számításra összpontosít, amely csökkenti az aktivitást és az adatmozgatást. Az eredmények figyelemre méltóak – a Loihi-alapú rendszerek 100-szor kevesebb energiafelhasználással végeznek mesterséges intelligencia alapú következtetéseket és oldanak meg optimalizálási problémákat, miközben akár 50-szer gyorsabban futnak, mint a hagyományos CPU- és GPU-architektúrák.
Az Intel megépítette a Hala Pointot, amely mára a világ legnagyobb neuromorf rendszere. A rendszer 1,152 Loihi 2 processzort sűrít egy hat rackes adatközponti házba, amely 1.15 milliárd neuront tartalmaz. A számítási teljesítmény lenyűgöző - másodpercenként akár 20 kvadrillió műveletet is képes kezelni, miközben wattonként 15 billió 8 bites műveletet képes végrehajtani másodpercenként.
Az IBM a kvantumszámítástechnikát alapvető fontosságúnak tekinti mesterséges intelligencia stratégiájában. A vállalat olyan rendszereket épít, ahol a kvantum- és a klasszikus számítástechnika együttműködik. A kvantum-mesterséges intelligencia a kvantumszámítástechnikát a mesterséges intelligenciával ötvözi, hogy leküzdje a hagyományos rendszerek korlátait.
A kvantumszámítógépek olyan alapelveknek köszönhetően tűnnek ki, mint a szuperpozíció. Több lehetőséget is képesek egyszerre kiértékelni, ahelyett, hogy egymás után tennék. Ez a képesség hetekről percekre csökkentheti a mesterséges intelligencia modelljének betanítási idejét.
Az IBM és az AMD egyesítette erőit, hogy új generációs hibrid rendszereket hozzanak létre. Ezek a kvantumközpontú szuperszámítógépek a kvantum-számítástechnikát HPC és MI gyorsítókkal ötvözik. A rendszerek az AMD CPU-it, GPU-it és FPGA-it az IBM kvantum hardverével kombinálják az új kvantumklasszikus algoritmusok felgyorsítása érdekében.
Az IBM kvantumtechnológiája jelentős előrelépést tett. A 2023-ban még 112 órát igénybe vevő feladatok ma már mindössze 2.2 órát vesznek igénybe a legújabb IBM Heron processzoron – ez 50-szeres javulás. Az IBM egy több mint 1,000 qubites rendszer, a „Flamingo” bemutatását tervezi.
A hagyományos hardverek nem tudják felvenni a versenyt ezeknek a fejlett számítástechnikai rendszereknek a képességeivel:
A tudósok egy in situ képkriptográfiai sémát is létrehoztak, amely teljes egészében optikailag vezérelt memrisztorokat használ. Ezek a vizuális érzékelők képesek a vizuális adatok tárolására, titkosítására, visszafejtésére és törlésére közvetlenül az érzékelőn belül. Ezáltal a vizuális információk védve vannak anélkül, hogy jelentős számítási erőforrásokra lenne szükség.
Ezek a technológiák a mesterséges intelligencia hardvereinek fejlődésével párhuzamosan fognak működni a hagyományos processzorok mellett. Az eredmény olyan hibrid rendszerek lesznek, amelyek a speciális képességeket ötvözik az általános célú számítástechnikával.
A mesterséges intelligencia rendszereket fejlesztő és telepítő szervezetek ma már komoly gazdasági kihívással néznek szembe a mesterséges intelligencia hardverek terén. A számítási igények exponenciálisan nőttek, és a mesterséges intelligencia infrastruktúra pénzügyi megfontolásai ma már irányítják a technológiai döntéseket és a telepítési terveket.
A nagy nyelvi modellek betanítása jelentős anyagi ráfordítást igényel. A GPT-3 (175 milliárd paraméter) betanításának költsége 2020-ban 500 000 és 4.6 millió dollár között mozgott. A GPT-4 betanítási költségei meghaladták a 100 millió dollárt, a számítási költségek pedig csak a 78 millió dollárt is elérték.
Ezeket a költségeket számos fő tényező befolyásolja:
A felhőszolgáltatók hatalmas, mesterséges intelligencia-specifikus szuperszámítógépeket hoztak létre. A Microsoft egy Azure szuperszámítógépet épített több mint 10 000 GPU-val az OpenAI számára. Az NVIDIA vezérigazgatója elárulta, hogy a GPT-MoE-1.8T modell betanításához 25 000 Ampere-alapú GPU-ra van szükség 3-5 hónapig.
A modelltömörítési technikák elengedhetetlenné váltak a mesterséges intelligencia számítási igényeinek növekedésével. Ezek a módszerek a környezeti hatások csökkentésében is segítenek. Egyetlen nagy nyelvi modell betanítása körülbelül 300 000 kg szén-dioxidot termel – ami nagyjából annyi, mint 125 oda-vissza repülőút New York és Peking között.
A neurális hálózatok hatékonyabbá válnak a metszés révén, ami eltávolítja a felesleges kapcsolatokat vagy súlyokat. Ez a célzott megközelítés azonosítja és eltávolítja azokat a paramétereket, amelyek nem járulnak hozzá jelentősen a modell teljesítményéhez. A csapatok a metszést a betanítás során vagy a modell befejezése után alkalmazhatják.
A kvantálás a modellparamétereket 32 bites lebegőpontos formátumból kisebb formátumokba, például 8 bites egész számokba konvertálja. A tárhelyigény és a számítási komplexitás jelentősen csökken, miközben a pontosság megmarad. A korlátozott erőforrásokkal rendelkező peremhálózati eszközök nagyban profitálnak a kvantálásból, lehetővé téve a korábban lehetetlen telepítéseket.
A tudásdesztilláció a tanulást egy nagy „tanár” modellből egy kisebb „diák” modellbe viszi át. A kisebb modell megtanulja a nagyobb megfelelőjének viselkedését, ami hatékonyan tömöríti a tudást. Malihi és Heidemann kutatása a modell méretének jelentős csökkenését mutatta ki a teljesítmény megtartása mellett.
A szervezetek ezekkel a megközelítésekkel csökkenthetik a számítási költségeket.
A RISC-V vonzó alternatívát kínál a saját fejlesztésű architektúrákhoz, mint például az ARM és az x86, mint nyílt szabványú utasításkészlet-architektúra (ISA). jogdíjmentes és moduláris jellege segíti a fejlesztőket a licencdíjak kiküszöbölésével. A startupok, kutatók és technológiai óriások mostantól könnyebben hozzáférhetnek a fejlett mesterséges intelligencia hardverfejlesztéshez.
A RISC-V erőssége a mesterséges intelligencia alkalmazások testreszabhatóságában rejlik. A tervezők speciális utasításokat és gyorsító hardvereket adnak hozzá a mesterséges intelligencia munkaterhelésének optimalizálása érdekében. A Semico kutatócég a RISC-V technológiai chipek éves növekedését várja, és 2027-re 25 milliárd mesterséges intelligencia chipet jósol.
A techóriások felismerik ezt a lehetőséget. A Meta és a Google RISC-V-be fektet be egyedi MI-gyorsítók fejlesztéséhez, míg az NVIDIA a CUDA-t támogatja a RISC-V-n. Ez a nyílt forráskódú hardverarchitektúrák felé való elmozdulás egy olyan jövő felé mutat, ahol az együttműködésen alapuló erőfeszítések, és nem a szabadalmaztatott irányítás, fejlesztik a MI feldolgozási képességeit.
Az adatközpontok minden eddiginél gyorsabban változnak, mivel a mesterséges intelligencia által vezérelt munkaterhelések hatalmas igényt teremtenek az energiaellátási és hűtési megoldások iránt. A mesterséges intelligencia által vezérelt hardvereknek új módszerekre van szükségük a hőkezeléshez, a kapacitástervezéshez és a zöld gyakorlatok követéséhez.
A szabványos léghűtő rendszerek nem tudják kezelni a modern mesterséges intelligencia gyorsítókat, amelyek chipenként több mint 700 wattot termelnek . Ez hétszer több, mint a tíz évvel ezelőtti hagyományos processzorok hőtermelése. A hőprobléma arra késztette az adatközpontokat, hogy jobb hűtési technológiákat alkalmazzanak.
A közvetlen folyadékhűtés (DLC) vált a legjobb megoldássá. Az olyan rendszerek, mint a Supermicro DLC-2-je, a GPU által termelt hő akár 98%-át is képesek eltávolítani. Ezek a rendszerek speciális hűtőlemezeket használnak, amelyek a processzorokhoz, GPU-khoz és memóriamodulokhoz vannak rögzítve. A lemezek a hőt áramló folyadékon keresztül vezetik el.
A modern folyadékhűtő rendszerek számos előnnyel járnak:
A Supermicro egyedi gyártású hűtőközeg-elosztó egységei (CDU-k) mostantól akár 250 kW teljesítményt is képesek hűteni rackbe épített elrendezésben, vagy 1.8 MW teljesítményt sorba épített kialakításban. Ez lehetővé teszi a nagyon nagy racksűrűséget. A legújabb rendszerek akár 45°C-os belépő vízhőmérséklettel is működnek, ami kevesebb hűtési infrastruktúrát jelent.
A mesterséges intelligencia betanítási terhelése és a sűrű számítástechnika több megawattos igényt teremt olyan nagyobb piacokon, mint Tokió, Sydney, valamint a növekvő központokban, mint Bogotá és Mumbai. Az adatközpontok árai az első negyedévben éves szinten 3.3%-kal emelkedtek, elérték a havi 217.30 USD/kilowattot.
A legnagyobb áremelkedések Észak-Virginiában (+17.6%), Chicagóban (+17.2%) és Amszterdamban (+18%) történtek. Az áramellátási problémák befolyásolják az építkezések ütemtervét ezeken a nagy keresletű területeken.
A Deloitte előrejelzése szerint az amerikai mesterséges intelligencia alapú adatközpontok energiaigénye 2035-re több mint harmincszorosára nőhet, és 2024-re elérheti a 123 gigawattot a mindössze 4 gigawattról. A mesterséges intelligencia alapú adatközpontok négyzetméterenként sokkal több energiát fogyasztanak, mint a hagyományosak. Egy tipikus, öt hektáros adatközpont energiafogyasztása 5 megawattról 50 megawattra ugorhat, ha speciális GPU-kat adnak a CPU-khoz.
A hűtés az adatközpontok villamosenergia-fogyasztásának körülbelül 40%-át teszi ki, és a mesterséges intelligencia által vezérelt adatközpontok rengeteg hőt termelnek. Emiatt a víztakarékosság létfontosságú, mivel egyre több helyen használnak folyadékhűtést.
Az adatközpontok korszerűsítik infrastruktúrájukat, hogy támogassák a mesterséges intelligencia által végzett munkaterheléseket, így a hardverek megfelelő selejtezése még fontosabbá válik. A Big Data Supply speciális IT-berendezések újrahasznosításával és adatközpontok leszerelésével segíti a munkájukat.
A hardverek szakszerű leszerelése segíti a környezetet és védi az adatokat. Az adatközpontok 2030-ra akár a globális energiafelhasználás 21%-át is kitehetik. Az újrahasznosítási programok segítenek csökkenteni a mesterséges intelligencia infrastruktúra környezeti hatását azáltal, hogy meghosszabbítják a hardverek élettartamát.
Az adatmegsemmisítés kulcsfontosságú a hardverek leszerelésekor. Bár léteznek szoftveres megoldások, a hardver fizikai megsemmisítése gyakran a legjobb módja az adatvédelmi incidensek megelőzésének a selejtezés során. Sok vállalat speciális szolgáltatókkal dolgozik együtt ehhez az érzékeny feladathoz.
A Nemzetközi Energiaügynökség előrejelzése szerint a világ adatközpontjainak villamosenergia-fogyasztása 2030-ra több mint kétszeresére fog nőni, elérve a 945 terawattórát, ami valamivel több, mint amennyit Japán jelenleg felhasznál. A mesterséges intelligencia fogja vezetni ezt a növekedést, a mesterséges intelligenciára optimalizált adatközpontok várhatóan négyszer annyi áramot fognak felhasználni ez idő alatt.
A speciális hardvereknek egyszerre több adattípust kell kezelniük a multimodális MI-feldolgozáshoz. A MI-rendszerek ma már együtt dolgozzák fel a szöveget, a képeket, a hangot és az egyéb bemeneteket. Ez azt jelenti, hogy a processzorarchitektúráknak alkalmazkodniuk kell ezekhez az összetett munkaterhelésekhez.
A multimodális mesterséges intelligenciához tervezett mikroprocesszor-egységek (MPU-k) dedikált gyorsítókkal rendelkeznek, amelyek kiválóan teljesítenek a keresztformátumú adatfeldolgozásban. A Renesas Vision AI MPU-i a saját fejlesztésű DRP-AI gyorsítójukat használják a 10 TOPS/W energiahatékonyság eléréséhez, ami kulcsfontosságú tényező a kompakt eszközök hőkezelésében. RZ/V2H és RZ/V2N processzoraik akár 15 TOPS-t is leadnak kiváló energiahatékonysággal, és több kamerabemenethez is csatlakoznak.
A multimodális MI-modellek több számítási erőforrást igényelnek, mint az egyforma processzorok. Ezek a rendszerek külön neurális hálózatokat használnak minden egyes adattípushoz, fúziós rétegekkel, amelyek a reprezentációikat sorakoztatják. A feldolgozási igények gyorsan nőnek, a DALL-E-hez hasonló betanítási modellek hetekig tartanak a csúcskategóriás GPU-k klaszterein. A memóriaigény gondos egyensúlyt kell teremteni a tanulási hatékonysággal szemben.
A modern drónok többmagos SoC-ket használnak, amelyek egyetlen chipen egyesítenek különféle processzortípusokat. Ezek a kialakítások jellemzően a következőket ötvözik:
Az SL1680 jól mutatja ezt az integrációt a négymagos Arm Cortex-A73 CPU-jával, a multi-TOPS NPU-jával, valamint a képjelfeldolgozáshoz és a 4K videóhoz szükséges gyorsítókkal. Ez az integráció egy fedél alá hozza a repülésirányítási és a küldetéshez szükséges számítógépes rendszereket, ami csökkenti a bonyolultságot. A legújabb fejlesztések eredményeként szinte az összes drónalkatrész kisebb lett, kivéve a számítógépes agyat. Az MIT kutatói egy speciális chipet fejlesztettek ki, amely másodpercenként 20 képkocka sebességgel dolgozza fel a képeket, miközben kevesebb mint 2 wattot fogyaszt.
Az autonóm MI-ügynökök összetettségüktől függően eltérő hardverbeállításokat igényelnek. A középkategóriás munkaállomások jól működnek egyszerű fejlesztéshez kis nyelvi modellekkel vagy szabályalapú ügynökökkel:
A nagyobb modellekhez (13B-70B paraméterek) csúcskategóriás rendszerekre van szükség több NVIDIA H100/A100 GPU-val vagy RTX 4090-es videokártyával, 128 GB+ RAM-mal és 2 TB+ tárhellyel.
Az autonóm ágenseknek speciális architektúrás jellemzőkre van szükségük: skálázhatónak kell lenniük a változó munkaterhelések kezeléséhez, megbízhatóaknak kell maradniuk a redundáns rendszereken keresztül, és hatékonyan kell kezelniük a számítási erőforrásokat. Ezeknek a rendszereknek egyensúlyt kell teremteniük az energiafelhasználással a növekvő számítási igényekkel, ahogy egyre elterjedtebbek lesznek.
A mesterséges intelligencia rendszerek a kritikus infrastruktúránk részévé válnak, és a hardver szintű biztonság világszerte prioritássá vált a szervezetek számára. Az érzékeny adatok szilíciumszintű védelme új lehetőségeket és kihívásokat teremt a jövőbeli mesterséges intelligencia architektúrája számára.
A megbízható végrehajtási környezetek (TEE-k) a főprocesszoron belüli izolált feldolgozási zónák létrehozásával védik a kódot és az adatokat a jogosulatlan hozzáféréstől. Ezek a biztonságos területek védik az adatok bizalmas jellegét, és megakadályozzák a kód jogosulatlan forrásokból történő módosítását.
A TEE-k hardveralapú memória-titkosítást alkalmaznak, amely bizonyos alkalmazáskódokat biztonságos, „enklávéknak” nevezett régiókban tárol. A védelem túlmutat a szoftverbiztonságon egy hardveres „bizalmi gyökér” révén, amely a gyártás során a chipekbe ágyazott privát kulcsokat jelenti. A rendszer csak az ilyen megbízható kulcsokkal aláírt firmware számára engedélyezi a privilegizált hardverfunkciókhoz való hozzáférést. Ezek a kulcsok a biztonságos mesterséges intelligencia alapú feldolgozás alapjai.
A TEE-k alapvető védelmet nyújtanak a mesterséges intelligencia alkalmazások számára. Védik az érzékeny MI-munkafolyamatokat, mint például a privát MI-ügynökök telepítését, a biztonságos blokképítést és az egészségügyi adatfeldolgozást. Az NVIDIA H100 biztonságos enklávéit sikeresen tesztelték MI-értékelésre több entitás között. Ezek a tesztek azt mutatják, hogy milyen jól védik a zárt modelleket és az érzékeny adatkészleteket.
A mesterséges intelligencia hardvereinek tervezése változik az új szabályozási keretek miatt. Az EU MI-törvénye hasonló a GDPR adatvédelemre gyakorolt hatásához, és ez az első részletes MI-törvény a világon. A hardvereknek kockázatalapú besorolásokat kell követniük e rendelet értelmében, a magas kockázatú MI-rendszereknek pedig szigorú adatminőségi és kiberbiztonsági követelményeknek kell megfelelniük.
A mesterséges intelligencia hardvereinek olyan technikai biztosítékokat kell tartalmazniuk, amelyek garantálják az adatvédelmet a GDPR szerint, különösen az uniós polgárok adatait feldolgozó nagynyelvi modellek esetében. A mesterséges intelligencia infrastruktúra-szállítói mostantól beépített megfelelőségi funkciókat is beépítenek hardvereikbe.
Az Intel Threat Detection Technology (TDT) jelentős áttörést jelent a biztonságban. Ez a szilícium alapú biztonsági rendszer CPU telemetriát és mesterséges intelligenciát használ olyan támadások felderítésére, amelyeket a normál észlelési módszerek nem észlelnek. A technológia ujjlenyomatokat hoz létre a CPU mikroarchitektúráján futtatni próbáló rosszindulatú programokról. Ez ellenállóvá teszi a hagyományos álcázási technikákkal szemben.
A TDT a biztonsági feladatokat a CPU-ról az integrált GPU-kra helyezi át. Ez lehetővé teszi a mélyebb és gyakoribb memória-szkennelést a teljesítmény lassítása nélkül. Az Intel jelentése szerint a TDT a főbb zsarolóvírus-variánsok 93%-át szilícium-érzékelőkön keresztül észlelte. Ez 24%-kal javította a végpontok észlelését a csak szoftveres megoldásokhoz képest.
A szilícium szintű védelem a hardveres gyorsítás fejlődésével szabványossá válik a következő generációs mesterséges intelligencia chipekben. Ezek a funkciók a teljesítmény feláldozása nélkül nyújtanak biztonságot.
A mesterséges intelligencia hardvergyártási trendjei világszerte megváltoztak a változó geopolitikai helyzet miatt. A nagyhatalmak növekvő feszültségekkel néznek szembe, amelyek megváltoztatták az ellátási láncok térképét. Az új szereplők most kihasználják ezeket a piaci zavarokat.
Az USA és Kína közötti félvezetők kereskedelmének ellenőrzése 2022 és 2024 között megszigorodott. Az Egyesült Államok több mint 100 kínai szervezetet vett fel a korlátozott listákra. Ezek a korlátozások a „kis udvar, magas kerítés” elvét követik, amely szigorúan ellenőrzi a védelmi és katonai MI-alkalmazások számára létfontosságú fejlett chiptechnológiákat. A kínai vállalatok alkalmazkodtak ehhez, és 2024-ben 38 milliárd dollár értékű félvezető berendezést vásároltak, ami 66%-kal több, mint 2022-ben. A Huawei termelése mindössze 200 000 MI-chipet fog elérni, míg Kína körülbelül 1 millió leminősített Nvidia chipet importál.
Európa jelentős lépést tett a félvezető-függetlenség felé a 2023 szeptemberi chiptörvényével. Az EU 2030-ra a globális piaci részesedés 20%-át szeretné elérni, ami a jelenlegi kétszerese. Az EU már hét, több mint 31.5 milliárd euró értékű állami támogatási határozatot hagyott jóvá félvezető-létesítmények számára.
Új mesterséges intelligencia infrastruktúra-nagyhatalom jelenik meg a hagyományos indiai, szingapúri és malajziai központokon túl. Malajzia kiérdemelte a "Kelet Szilícium-völgye" becenevet, és egy 40 000 négyzetméteres félvezető létesítmény építésébe kezdett. Ez az üzem évente 240 000 darab 8 hüvelykes szilícium-karbid ostyát fog gyártani. India ideális helyszínként kiemelkedik az adatközpontok és a chipgyártás számára. Az ország műszaki tehetsége, bővülő gazdasága és kedvező politikája vonzóvá teszi ezeket a projekteket.
A mesterséges intelligencia hardverei minden eddiginél gyorsabban változtatják a technológiát. A piac mérete 2027-re 50 milliárd dollárról 400 milliárd dollárra fog ugrani. Ez a növekedés minden általunk vizsgált ágazatot érint.
Az egyedi chipek uralják a verseny világát. Az Nvidia továbbra is vezet a H100-zal, míg az AMD MI300X jobb memóriakapacitásával tűnik ki. A Google TPU v5p és az AWS Trainium megfizethető opciókat kínálnak speciális munkaterhelésekhez. A Cerebras és a Graphcore merész, új dizájnnal rendelkező, speciális alkalmazásokra összpontosít.
A legtöbb szervezet ma már a peremhálózati és a felhőalapú számítástechnika praktikus keverékét használja. A peremhálózati feldolgozás gyors eredményeket és jobb adatvédelmet biztosít, míg a felhőplatformok jobban skálázódnak nagyobb számítási teljesítménnyel. A legjobb beállítás gyakran mindkettőt használja, a sürgős adatokat helyben kezeli, a nagyobb feladatokat pedig a felhőbe küldi.
A számítástechnika holnap másképp fog kinézni. Az IBM kvantumrendszerei és az Intel Loihi 2 neuromorf chipjei egy olyan jövő felé mutatnak, ahol a hagyományos processzorok ezekkel a korszakalkotó technológiákkal működnek együtt. Ezek a fejlesztések megváltoztatják azt, ahogyan a mesterséges intelligencia kezeli a megerősítéses tanulást és a kriptográfiát.
A költségek továbbra is a legfontosabbak. A nagy modellek betanítása sok pénzt igényel, a GPT-4 megépítése több mint 100 millió dollárba került. Ezért létfontosságúak az olyan technikák, mint a kvantálás, a metszés és a tudásdesztilláció a valós felhasználáshoz. A RISC-V nyílt forráskódú hardvere a szabad chiptervezés révén a mesterséges intelligencia fejlesztését könnyebben elérhetővé teszi.
Az adatközpontok nehezen tudnak lépést tartani a számítástechnikai igényekkel. A közvetlen folyadékhűtés a nagy sűrűségű rackek hőjének 98%-át vonja el, és 40%-kal csökkenti az energiafogyasztást. Ennek ellenére a mesterséges intelligenciával működő adatközpontoknak 2035-re akár 123 gigawattra is szükségük lehet, ami harmincszorosa a jelenlegi fogyasztásának.
A multimodális MI-rendszereknek speciális mikroprocesszor-egységekre van szükségük a szöveg, a képek és a hang egyidejű kezeléséhez. Ezek az MPU-k minden adattípushoz külön gyorsítókkal rendelkeznek. A fejlett System-on-Chip (egy chipre épülő) rendszerek különböző processzorokat egyesítenek a robotika és az autonóm ágensek számára.
A biztonság mostantól hardverszinten kezdődik. A megbízható végrehajtási környezetek biztonságos feldolgozási zónákat hoznak létre a chipekben. A szilíciumszintű fenyegetésészlelés kiszűri a szokásos biztonsági előírásokon túlmutató támadásokat. A GDPR és az EU mesterséges intelligencia törvényének szabályai alakítják a hardverek tervezését.
A politika minden eddiginél jobban befolyásolja a gyártást. Az USA és Kína közötti kereskedelmi korlátozások megrengették az ellátási láncokat. Európa a Chips Act (Chips Act) révén meg akarja duplázni részesedését a félvezetők piacán. India, Vietnam és Malajzia új termelési központokká válnak.
Az olyan cégek, mint a Big Data Supply, létfontosságú szerepet játszanak a mesterséges intelligencia hardverek életciklusának kezelésében. IT-eszköz-újrahasznosítási szolgáltatásaink segítenek a szervezeteknek fenntartható módon kezelni a berendezések frissítéseit, miközben újabb technológiákra térnek át. A Big Data Supply segítségével használt GPU-kat , CPU-kat , szervereket és más típusú IT-berendezéseket értékesíthet.
A mesterséges intelligencia hardverei teljes sebességgel fejlődnek. A mesterséges intelligenciával elért sikere azon múlik, hogy mennyire jól követi nyomon és alkalmazkodik ezekhez a változásokhoz a szervezetében.
