Miks väikesed kohapeal töötavad tehisarud koguvad üha enam populaarsust

Tehisaru areng ei toimu enam üksnes suurtes andmekeskustes, üha enam arendajaid ja kasutajaid pöördub kompaktsete, internetiühenduseta töötavate mudelite poole. Taskusse mahtuv tehisaru suudab jõuda sinna, kuhu massiivsed keelemudelid ei küüni.

Tehisarust rääkides kujutavad enamik inimesed ette tohutuid serverikeskusi ja pilvepõhiseid keelemudeleid. Kuid aina rohkem arendajaid usub, et tõeline murrang tuleb hoopis teisalt, väikestest, seadmes kohapeal töötavatest mudelitest, mis ei vaja internetiühendust.

Miks väike on kasulik

Kohapeal töötavad ehk nn edge-tehisarud mahuvad nutitelefoni, tahvlisse või isegi odavasse mikrokontrollerisse. Need toimivad ka seal, kus internetilevi puudub: haiglates, kaugemates piirkondades, tööstushallides. Andmed ei lahku seadmest, mis lahendab ühe suurima privaatsusprobleemi.

Mõni arendusmeeskond on leidnud end stabiilse ühenduseta ja loonud lahenduse, mis on osutunud kasulikuks kaugelt laiemalt kui üks konkreetne demo. Sellised juhuslikud avastused kiirendavad tehnikaarengut tihti rohkem kui planeeritud projektid.

Pilv versus seade

Suurtel keelemudelitel nagu GPT-4 või Gemini on tohutu eelis võimsuse poolest, kuid neil on selge nõrkus: iga päring saadetakse kaugserverisse, mis nõuab ühendust, maksab raha ja tekitab latentsust. Väike mudel telefonis vastab koheselt ja tasuta.

Mudelite maht on kahanenud dramaatiliselt. Kui mõni aasta tagasi nõudis korrektne keelmudel kümneid gigabaite, siis tänapäeva optimeeritud mudelid mahuvad alla gigabaidi, säilitades märkimisväärse osa võimekusest.

Igapäevaelu mõju

Praktilisi kasutusvõimalusi on mitmeid: tõlkimine lennukis, meditsiinirakendused maapiirkondades, häälassistendid, mis töötavad ka siis, kui server on maas. Tootjad nagu Apple, Google ja Qualcomm on juba ehitanud oma kiipidesse eraldi tehisaruüksused just selleks otstarbeks.

Eestis, kus digiriik on tugevalt pilvepõhine, võiks kohapeal töötav tehisaru tuua lisakindlust, kui ühendus katkeb, jätkab seade tööd iseseisvalt.