Þegar gervigreindarþróun færist aftur nær þróunarteyminu
Þórður Jensson
forstöðumaður hjá innviðalausnum Advania
Eftir því sem þróunarteymi vinna meira að gervigreindarlausnum hefur þörfin fyrir öfluga örgjörva og GPU aukist verulega. Til að mæta þessari þörf hafa mörg teymi fært þróunarumhverfi sín yfir í skýjaþjónustur sem sérhæfa sig í HPC og gervigreindarvinnslu. Það er skiljanlegt, skýið býður upp á skjótan aðgang að afli, sveigjanleika og möguleika á að skala upp á stuttum tíma.
En þegar verkefni þroskast og færast úr tilraunastigi yfir í daglega þróun breytist kostnaðarmódelið.
Reynslan sýnir að vinnslur sem tengjast gervigreind eru oft mjög frekar á örgjörva, GPU, minni og diskalag. Gagnavinnsla, tilraunakeyrslur og síendurteknar prófanir nýta yfirleitt allan þann vélbúnað sem er í boði og keyra í löngum lotum fremur en stuttum toppum. Þegar slíkar vinnslur eru keyrðar í skýjaumhverfi sem rukkar eftir álagi vex kostnaðurinn hratt, sérstaklega þegar fleiri þróunaraðilar taka þátt eða verkefnið stækkar.
Þegar sýndarvélar eru stækkaðar eða þeim fjölgað er því ekki óalgengt að rekstrarkostnaður fari að nálgast eða fara fram úr fjárfestingarkostnaði við sambærilegan búnað á staðnum.
Þarna er ekki verið að tala um að hætta að nota skýið, heldur að finna jafnvægi þar sem þyngstu vinnslurnar eru keyrðar þar sem það er hagkvæmast.
Stór gagnasett kalla á nálægð við vélbúnað
Vinnslur sem tengjast gervigreindarþróun setja miklar kröfur á undirliggjandi innviði. Þær lesa og skrifa gjarnan mjög grimmt á diskalag, nýta minni til fulls og halda örgjörvum og GPU-um stöðugt undir álagi. Slík hegðun passar oft betur við staðbundinn búnað þar sem auðveldara er að tengjast gögnum, stýra afköstum, tryggja fyrirsjáanlegan kostnað og lágmarka biðtíma.
Þegar vinnslan er færð nær þróunarteyminu sjálfu skapast einnig betri yfirsýn yfir auðlindanotkun og auðveldara verður að prófa og breyta án þess að hver breyting hafi bein áhrif á skýjareikninginn.
Gervigreindarafl á skrifborðinu
Ein nálgun sem hefur verið að ryðja sér til rúms er að færa hluta vinnslunnar niður á vinnu-/ útstöðvastig. Þar getur öflugur búnaður gegnt hlutverki staðbundins reiknihnúts (compute node) fyrir þróunarteymi.
Dell Pro Max GB10 er dæmi um slíkan búnað. Vélin byggir á NVIDIA Grace örgjörva og NVIDIA Blackwell GPU og færir áður gagnaversbundið afl nær þróunarteyminu sjálfu. Í stað þess að hugsa um þetta sem hefðbundna vinnustöð má frekar líta á þetta sem persónulega gervigreindarvél sem styður við þunga útreikninga og hraðar tilraunir.
Það sem gerir slíka nálgun áhugaverða er meðal annars:
Öryggi gagna
Gögn geta verið unnin innan eigin umhverfis án þess að þurfa stöðugt að flytja þau út fyrir innviði fyrirtækisins.
Hraðari þróunarhringir
Ítranir og prófanir geta keyrt samstundis án þess að bíða eftir úthlutun á skýjaauðlindum eða takast á við breytilega biðtíma.
Betri kostnaðarstýring
Hluti rekstrarkostnaðar færist yfir í fyrirsjáanlega fjárfestingu í búnaði, sem getur verið hagkvæmara þegar vinnslan er stöðug og umfangsmikil.
Jafnvægi milli skýja og staðbundins búnaðar
Innviðir fyrir gervigreind eru í auknum mæli að þróast í átt að blandaðri nálgun þar sem skýjaumhverfi og staðbundinn vélbúnaður vinna saman. Skýið hentar vel þegar þörf er á hraðri stækkun eða tímabundnu afli, en þegar þróunarvinnsla verður stöðug og þung getur verið skynsamlegt að færa hluta hennar nær notandanum sjálfum.
Fyrir mörg teymi snýst næsta skref því ekki um að bæta við fleiri skýjaauðlindum, heldur um að hanna innviði sem ná betra jafnvægi milli sveigjanleika og hagkvæmni.