-90%-os memóriafogyasztás: az MI soha nem volt ennyire kompakt! Olyan mértékben optimalizálták, hogy a teljesítménye szinte varázslatosan csökkent.

Izraeli kutatók innovatív megközelítést alkalmaztak annak érdekében, hogy a mesterséges intelligencia működését hatékonyabbá tegyék, anélkül, hogy ezzel a pontosság rovására mennének.

A mesterséges intelligencia alapú rendszerek folyamatosan fejlődő képességeik révén egyre nagyobb népszerűségnek örvendenek. Ezek a technológiák lehetőséget nyújtanak arra, hogy a természetes emberi nyelven szövegeket generáljunk, de nem csupán erre korlátozódnak: képfelismerési feladatokat is képesek ellátni, sőt, képek és videók létrehozására is alkalmazhatók. Az ilyen komplex tevékenységekhez azonban hatalmas mennyiségű paraméterre van szükség, emellett jelentős memóriaigényük is van, ami tovább növeli a számítási költségeket.

Az izraeli Bar-Ilan Egyetem kutatói egy innovatív megoldással rukkoltak elő, amely segít csökkenteni a számításokhoz szükséges erőforrásokat anélkül, hogy a végeredmény minősége romlana. A Physical Review E tudományos folyóiratban publikált tanulmány szerint a kutatás során megállapították, hogy bizonyos rétegekben akár a paraméterek 90%-a is elhagyható, így jelentős memória megtakarítás érhető el, miközben a rendszer pontossága megmarad. Ez a felfedezés új lehetőségeket nyithat meg a számítástechnika és a mesterséges intelligencia területén.

Ido Kanter, a kutatás vezetője hangsúlyozza, hogy a mély hálózatok működésének megértése kulcsfontosságú a rendszerek tanulási folyamataiban. Fontos, hogy tisztában legyünk azokkal a paraméterekkel, amelyek elengedhetetlenek a hatékony tanuláshoz. A szakértő kiemeli, hogy bár korábban is léteztek olyan módszerek, amelyek javították a memória- és paraméterkezelést, a jelenlegi megoldás messze felülmúlja az eddigieket, és sokkal eredményesebbnek bizonyul.

A rendszerek folyamatos fejlődése és az egyre növekvő igénybevétel miatt kulcsfontosságú, hogy milyen erőforrásokat használnak, és mennyi energiát igényelnek a működésük során. Az erőforrások hatékony kezelése és az energiafelhasználás optimalizálása elengedhetetlen a fenntartható fejlődés érdekében.

A neurális hálózatok metszése - ahogyan a szakértők hívják ezt a folyamatot - a felesleges paraméterek tudatos és rendszerszerű eltávolítását jelenti. Ennek célja a modell méretének, a memóriaigénynek és a számítási költségeknek a csökkentése, hogy hatékonyabbá tegyük az algoritmus működését.

A folyamat kétféle metszés közül választhat ki egyet: strukturált vagy strukturálatlan metszés. A strukturált metszés teljes neuronokat vagy csatornákat távolít el a hatékonyság növelése érdekében, míg a strukturálatlan metszés jelentősen növeli a hatékonyságot. A metszés befejezése után a hálózat finomhangoláson megy keresztül, hogy visszanyerje az eredeti pontosságát.

A metszés integrációja két fő megközelítést foglal magában: a betanítás alatti és a betanítás utáni metszést – magyarázza az Interesting Engineering. A betanítás alatti metszés során a folyamat közvetlenül a tanítási fázisba épül be, lehetővé téve a kevésbé lényeges neuronok eltávolítását az optimalizálás érdekében. Ezzel szemben a betanítás utáni metszés már egy teljesen kifejlesztett MI-modellre vonatkozik, ahol a cél a lényegtelen kapcsolatok, neuronok vagy struktúrák azonosítása és eltávolítása.

A folyamatos kiértékelés lehetővé teszi, hogy a rendszer harmóniát alakítson ki a hálózat teljesítményének megőrzése és az erőforrások hatékony kihasználása között. Ennek eredményeként a folyamat végül karcsúbb és gyorsabb mesterséges intelligencia modellek létrejöttét segíti elő.

A szakemberek szerint a paraméterek metszése csökkentheti a számításhoz szükséges erőforrás mennyiségét, ugyanakkor vigyázni is kell a megoldással, ugyanis a túl nagy metszés pontatlanná teheti a rendszert.