Sanje vsakega znanstvenika: Jure Leskovec v ZDA razvija najpomembnejša odkritja našega časa, vključno z umetno inteligenco

Univerza Stanford, Silicijeva dolina, umetna inteligenca ... mnogi pred temi pojmi spoštljivo umolknejo, so namreč del nečesa, kar se odvija "tam zunaj", daleč stran, v nekem drugem, večjem svetu. Za Jureta Leskovca pa so povsem običajen del vsakdana. Leskovcu, ki se ukvarja z računalništvom, je do zdaj uspelo praktično vse, kar lahko znanstvenik, sploh slovenski znanstvenik, v globalnem smislu doseže. Med drugim je redni profesor na ugledni univerzi Stanford, predava v najbolj živahnih znanstvenih okoljih našega sveta, bil je glavni znanstvenik za podjetje Pinterest, nedavno pa je v Silicijevi dolini ustanovil podjetje Kumi.

"Za prvi računalnik sem dal vse svoje prihranke"

"Kako je mogoče, da en zelo talentiran garač, mlad fant iz Slovenije, ki ga zanima računalništvo, pride praktično na Olimp tega področja na svetu?" je svojega sogovornika uvodoma izzval Borut Pahor, ki je Leskovca v času svojega predsedniškega mandata spoznal na srečanjih v tujini izobraženih Slovencev, ki jih je Pahor vsako leto prirejal v predsedniški palači. Zanimivost: tam je Leskovec spoznal tudi svojo soprogo Nino, ki z njim živi v ZDA.

"Zrasel sem v Šentjoštu, tam hodil v osnovno šolo, potem v Polhov Gradec, tam sem se začel ukvarjati z računalništvom po nekem naključju ... za prvi računalnik sem dal vse svoje prihranke, takrat je bilo to 100 nemških mark, potem pa sem mamo poslal spraševat, kdaj se bo začel računalniški krožek," je začel Leskovec.

Navdušenje nad računalniki se je skozi osnovno šolo le še poglabljalo, v srednji šoli pa je bil po zaslugi državnih tekmovanj računalništva prvič v ZDA.

"V tistem času je bilo podjetje HERMES SoftLab zelo močno in so poslali zmagovalce v Kalifornijo čez poletje za dva meseca in to je bila moja prva izkušnja sveta. Potem pa sem skozi celo srednjo šolo tako rekoč vsako poletje - in potem skozi fakulteto - preživel v tujini na poletni praksi."

Zahajati je začel tudi na Inštitut Jožef Stefan in tam pod mentorstvom Marka Grobelnika in drugih delati obšolske projekte. Ob koncu študija v Ljubljani je bilo zato nekako naravno, da se je prijavil na doktorat v ZDA. Sprejeli so ga na univerzo Carnegie Mellon v Pitsburghu, kjer je bil poletje prej na praksi, ukvarjati se je začel z analizo omrežij in relativno hitro, v štirih letih, doktoriral.

"Ko doktoriraš, se potem prijavljaš za službe in spet se mi je zdelo nekako naravno, da se prijavljam na profesure. Povabljen sem bil na Stanford, kjer sem skozi dvodnevni intervju dobil profesuro in začel graditi raziskovalno skupino. Na začetku smo se veliko ukvarjali z analizo omrežij in z družbenimi mediji, to je bilo tam od leta 2009 do nekje 2015, potem se mi je pa fokus malo spremenil oziroma se mi je zdelo, da sem na tem področju že dosti naredil, tako da sem se vrgel v strojno učenje, umetno inteligenco, pa tudi v bioinformatiko, orodja za razvoj zdravil in take stvari. To so tako zdaj stvari, ki jih delamo."

Ko bom velik, bom gasilec ... ali astronavt

Na vprašanje, ali se mu zdi, da je šla njegova kariera samo linearno navzgor, je Leskovec odgovoril, da so na vsaki poti vzponi in padci. "Človeški možgani, ali pa vsaj moji, so narejeni tako, da se bolj spomnimo prijetnih trenutkov. A mislim, da so stvari lepo rasle, sledil sem intuiciji, se veliko spraševal in skušal ne slediti nekim kratkoročnim bombončkom, temveč graditi na daljši rok."

Še vedno se trudi v to smer, hkrati pa želi znanje predajati drugim in jim omogočati, da rastejo in se razvijajo, sploh skozi mentorstvo doktorskih študentov na Stanfordu. Do zdaj jih je pri njem doktoriralo približno trideset, od tega jih je 25 profesorjev po vsem svetu, s svojimi študenti, ki so ravno tako že profesorji. "Tako da imam akademske otroke, ki imajo akademske otroke," se je pošalil in v nadaljevanju razkril, da si v resnici nikoli ni zastavljal ciljev, da je prišel do tega, kar počne danes. Kot otrok si ni želel biti profesor na Stanfordu, za to v resnici še vedel ni – razmišljal je, da bi bil astronavt ali gasilec.

Na Stanfordu danes predava dva predmeta, enega o analizi omrežij oziroma kompleksnih podatkov, drugega pa o analizi velikih količin podatkov. In kako je tako prestižna univerza, kot je Stanford, videti od znotraj? "Stanford je en zelo čaroben prostor, ki se nahaja nekako v centru Silicijeve doline. Ves čas svoje poti se zelo zavedam, da bi rad, da so moje raziskave vplivne in da imajo nek učinek ter da so relevantne. Na ta način zelo veliko sodelujemo z industrijo. Seveda je pa Stanford tudi kalilnica novih idej. Z univerze tehnologije zelo hitro preskočijo v realni svet, kjer se potem ustanovijo podjetja in se tam stvari naprej razvijajo. Na ta način sem šel tudi sam čez drugo, tretjo podjetniško zgodbo, pomagam tudi veliko študentom, ki se odločijo ustanavljati podjetja, recimo na podlagi raziskav iz doktoratov in tako naprej. Stanford je tu zelo liberalen v smislu, da ne želi tehnologij zaščititi s patenti in tako naprej, ampak jim je v interesu, da čim prej vidijo svet in potem tam zaživijo neko novo življenje."

Napredek OpenAI je presenetil vse

"Razvoj gre zdaj silovito hitro naprej, zato bi se danes s tabo rad nekoliko več pogovarjal o umetni inteligenci," je pogovor nadaljeval Borut Pahor. "Tudi javnost, ki se na to ne spozna, je opazila, celo opozorila vrh znanstvenega sveta, da gre ta razvoj prehitro. To ni običajno, znanstveniki ste običajno navdušeni, če gredo stvari hitro."

Leskovca je vprašal, kako je on sam razumel to opozorilo, ta pa je odvrnil, da se mu je zdela reakcija naravna in pravilna. "Razvoj je res skokovit in zelo pomembno je, da pri tem ohranimo trezno glavo, pa tudi, da ne gledamo samo tehnologije v tehnološkem smislu, ampak tudi v družbenem. Te klice k previdnosti jaz vidim predvsem v smislu družbenih vplivov tehnologije, da se nekako celostno razmisli, kako to tehnologijo zdaj regulirati, nadzorovati, preprečevati, da bi bila škodljiva za ljudi, za družbo, ob tem pa jo še vedno razvijati naprej," je pojasnil.

Kdaj pa se je v razvoju umetne inteligence sploh zgodil ta preskok, da je bilo potrebno opozorilo znanstvene skupnosti?

"Konkreten prelom, ki se je zgodil, so veliki jezikovni modeli (large language models ali LLM)," je odgovoril Leskovec. "Predvsem pa nas je presenetil napredek, ki ga je naredil OpenAI skupaj z ogromno podporo Microsofta s svojim zadnjim velikim modelom GPT-4." 

"Jaz ga imam sicer rad, ker ko sem ga vprašal, kaj si misli o meni, je rekel, da sem bil precej dober predsednik," se je na račun programske opreme Chat-GPT4, ki je v zadnjem času res dvigovala ogromno prahu, pošalil Borut Pahor.

"To je bil velik preskok, ki je pojem umetne inteligence iz znanstvenih krogov prenesel v družbeni krog in inspiriral stotine milijonov ljudi," je nadaljeval Leskovec.

"Sam razvoj tega pa se je zgodil že pred desetimi, petnajstimi leti, najprej na področju računalniškega vida, kar je analiza slik. To se je začelo tam med letoma 2012 in 2015. Na področju umetne inteligence, strojnega učenja je prišlo do preskoka v analizi nevronskih mrež, umetnih nevronskih mrež. Prej metode umetne inteligence niso temeljile na nevronskih mrežah, razen v šestdesetih, sedemdesetih letih, a se je na to malo pozabilo in so se te metode odkrile skorajda na novo. Naučili smo se graditi zelo globoke nevronske mreže, prej so bile namreč zelo plitke," je razložil.

"Drug preskok je bil, da je podjetje Nvidia, startup, nastal na Stanfordu, ugotovilo, da imajo grafične kartice, ki jih sicer uporabljamo, če igramo igrice, zelo veliko računsko moč in da so zelo dobre pri procesiranju nevronskih mrež, veliko hitrejše kot standardni mikroprocesorji od Intela, AMD-ja in tako naprej. Ugotovili smo torej, da imamo zelo dober hardware, ki lahko zelo hitro računa te nevronske mreže. Tretja stvar pa je bila programska inovacija z Googla. Prej so se ogromni modeli učili na milijonih slik napovedovati, kaj se bo zgodilo na slikah. 
Okoli leta 2017 pa je Google predstavil novo nevronsko arhitekturo, ki se ji reče Transformer in se zna učiti na besedilih. Čez čas se je ugotovilo, da večji kot je model, večja kot je ta Transformer arhitektura, več kot ima parametrov, nevronov, boljše se uči. GPT-4 se je učil na besedilih iz tako rekoč celega interneta, uči se napovedovati naslednjo besedo, se pravi, vi mu daste neko iztočnico, prvi del stavka, potem pa napove naslednjo besedo."

Kako je to mogoče, se sprašujejo mnogi. A v resnici ni tako zapleteno. "To znanje, kako nadaljevati stavke, se pač zakodira ... ugiba se, da ima GPT-4 približno 220 milijard parametrov, se pravi, 220 milijard nevronov. Kar je približno desetkrat manj, kot jih ima človek," pove Leskovec.

Boruta Pahorja je zanimalo še, kako je videti okolje, v katerem nastajajo ti siloviti znanstveni premiki - je to računalnik, je to samo software?

"Fizično je to videti tako, da so to dolge vrste miz in na vsaki strani dva monitorja in ljudje programirajo," je to precej plastično opisal Leskovec. "Kar se tiče OpenAI, ki je zgradil ta GPT4 model, pa gre seveda zelo veliko partnerstvo z Microsoftom, ki je posebej zanje zgradil velik podatkovni center, v njem je 25.000 Nvidiinih procesorjev, pri čemer en sam stane tam 30-40 tisoč dolarjev, zagotovili so dovolj električne energije, da se je ta sistem učil, na sistemu pa je delalo okoli tisoč ljudi." Še pol leta, je dejal Leskovec, so porabili za to, da so se prepričali, ali je model varen za uporabo, potem pa so ga predali v preizkušanje ljudem.

Umetna inteligenca: pomoč ali grožnja?

Napredek na področju umetne inteligence nam gotovo omogoča veliko več svobode, je izpostavil Borut Pahor. Ta je sicer lahko tudi zlorabljena, vseeno pa se zdi, da nam vse to, kar imamo danes, predstavlja možnost za višjo blaginjo življenja.

S tem se Leskovec načelno strinja, dejal pa je, da ima vsak tehnološki napredek več plati. "Kar je pri teh jezikovnih modelih impresivno, je, da znajo nadaljevati stavke. Ko ga nekaj vprašate, on reče, aha, to je prvi del besedila, zdaj bom pa napovedal, kaj je preostanek besedila, besedo po besedo. Na tak način se pogovarjate z njim. Lahko ga nekaj vprašate na veliko različnih načinov in zmeraj najde nek odgovor," je dejal.

A seveda obstajajo tudi nevarnosti. "Ena se mi zdi konkretna nevarnost na področju sovražnega govora, družbenih medijev. Ker kar naenkrat lahko zgenerirate veliko različnih agentov, zelo veliko besedila, to plasirate in tako naprej. To se da zlorabiti v slabe namene ... zelo lahko je zgraditi te umetne agente in robote in tako naprej, ki se pogovarjajo, ki se oglašajo, seveda z določenimi navodili, kako se naj oglašajo. In kar naenkrat se na internetu, na družbenih medijih, zdi, da ljudstvo misli eno, v resnici pa misli drugo. Se pravi, tukaj je mogoče ena stvar v smislu obstoja demokracije, ki je pred nami in resna, potem so pa druge, ki so malo bolj oddaljene."

Kaj pa možnost, da bi stroj vedel več od tega, ki ga je ustvaril? "Ti sistemi že vedo več, kot vedo ljudje, saj lahko preberejo desettisoče, stotisoče člankov, ki jih nek človek nikoli ne bo mogel," je stvaren Leskovec. "Da bi pa ti sistemi sami odkrivali novo znanje, tega pa še ni. Če bi to hoteli, morate imeti nekako zaključeno zanko. Imeti morate sistem, ki izvaja eksperimente, se iz teh eksperimentov uči in predlaga nove eksperimente." Nekaj točno takega ta hip sicer raziskujejo v njegovi skupini in izsledke med drugim nameravajo uporabiti za razvoj zdravil.

"Graditi podjetje je adrenalinski šport"

Leskovec je tudi podjetnik. Kot pojasni, so na Stanfordu zelo vpeti v Silicijevo dolino, ves čas inovirajo in se sprašujejo, kako lahko njihove raziskave pomagajo spreminjati svet. Svoje prvo podjetje je tako ustanovil že leta 2015 in se z njim pridružil podjetju Pinterest, kjer je bil pet let glavni znanstvenik, zadolžen za razvoj celotne platforme za umetno inteligenco na Pinterestu.

Ko je imel občutek, da je tam dosegel vse, kar je lahko, je ustanovil svoje podjetje Kumo, ki trenutno zaposluje 40 ljudi. Ukvarja se z zbiranjem podatkov in posredovanjem uporabnega znanja podjetjem.

"Delamo na primer z največjim dostavljavcem hrane v ZDA, DoorDash. Njim lahko pomagamo ugotoviti, katere so restavracije, ki vas bodo najbolj zanimale, katere jedi bodo najbolj zanimive za vas, kdaj vam poslati sporočilo na telefon, da vas mogoče spomni, da ob četrtkih zvečer naročate hrano in da vam danes priporočamo indijsko hrano iz neke določene restavracije. Na tak način želimo optimizirati poslovanje in izboljšati uporabniško izkušnjo. Imamo tudi eno stranko, ki je v farmaciji. V velikih kotlih kuhajo bakterije, da sproducirajo prave proteine, te kotle oziroma sode je pa zelo zapleteno krmiti. Zanje lahko naredimo krmilnik na ravni umetne inteligence, ki bo znal znotraj tega soda postaviti boljše pogoje, da bodo te bakterije bolj zadovoljne in bodo sproducirale več pravega proteina, kar pomeni, bodo sproducirale več zdravila," delovanje podjetja na kratko opiše Leskovec.

Pa je njegov cilj, da bi nekoč prišel do tako velikega podjetja, kot je Google, ali morda še večjega?

"Mi bi seveda radi naredili uspešno podjetje in postali pomemben igralec na tem področju. Upam, da nam bo uspelo, kako veliko nam bo uspelo, bo pa seveda pokazal čas. Graditi podjetje je zelo tak adrenalinski šport. Neke dni se počutiš, kot da si na vrhu sveta, druge dni pa malo drugače," je bil iskren znanstvenik.

Slovenija: lepa za dopust, malo manj za delo

Za konec je Borut Pahor sogovornika vprašal, ali tega, kar počne trenutno, v Sloveniji ne bi mogel početi.

"Malo težje bi bilo. Sploh na tak način, s toliko različnimi ljudmi, na takem težkem področju, ker tukaj preprosto ne bi našel ljudi, ki to znanje imajo," je dejal Leskovec. Pahor je nadaljeval z vprašanjem, kaj Sloveniji manjka, da bi postala država, kamor bi se najboljši na svojih področjih vračali in imeli tu vse pogoje, da ustvarjajo naprej.
 
"Česar nimamo ... V Sloveniji so stvari zelo zaprte, okostenele, težko je priti zraven, tudi plačati ljudi je pri nas zelo drago. Morali bi biti za 30 odstotkov cenejši, kot je zahodna Evropa, smo pa za 30 odstotkov dražji," je bil kritičen Leskovec. Potrdil je Pahorjeve domneve, da so baltske države bistveno bolj konkurenčne, in omenil še Poljsko, kjer so zelo pred kratkim pridobili ogromno investicijo za novo tovarno za čipe, ki bo s sabo prinesla več tisoč visoko kvalificiranih in dobro plačanih zaposlitev.
 
"Seveda poudarjamo te kvalitete Slovenije v smislu varnosti, okolja, vsi se moramo tudi zavedati, da smo Slovenci, da imamo tukaj stare starše, bratrance ... hkrati je pa treba najti eno dobro ravnovesje med to stranjo in drugim aspektom, ki je pa možnost za delo," je poudaril. "V Slovenijo je lepo priti na počitnice, možnost za delo, za mednarodno udejstvovanje – to bi pa morali še malo dodelati. Nam se na leto izseli 8000 ljudi, kar je polovica generacije, in to je ogromno. Kot se zavzemamo za manj smrti in nesreč na cestah, bi se morali z isto zavzetostjo zavzemati za boljše sodelovanje, da se več ljudi vrne."

Glede na raziskavo, ki so jo naredili na tem področju, bi se več kot polovica rada vrnila. "To pomeni, da tukaj manjka samo malo več iniciative in dobre volje. Malo poguma. Problem je rešljiv. Zavedati se pa moramo, da je svet globalen in da se ljudje pretakajo, mešajo, krožijo. In da smo Slovenci vsi, ki smo državljani - ne samo tisti, ki živimo znotraj meja, ampak da nas je več."

Jure Leskovec je v Mastercard® podkastu navdiha spregovoril tudi o tem, kaj je v njegovi formuli uspeha previdnost, kaj naredi, ko pride do novega znanstvenega dognanja, se dva sistema umetne inteligence lahko zaljubita, za konec pa še, kaj slovenskega v ZDA najbolj pogreša in kaj si zavrti, ko ima domotožje.

Vabljeni na Metroplay, kjer si lahko ogledate vse epizode Mastercard® podkasta navdiha z Borutom Pahorjem. Naš nekdanji predsednik republike se pogovarja z izjemnimi Slovenkami in Slovenci, ki so na svoji poti ustvarili neprecenljive zgodbe, vredne preučevanja. Je nefiltrirano potovanje skozi njihove izkušnje, o odkrivanju njihovega potenciala, preseganju ustaljenih okvirjev in ustvarjanju izpopolnjenega življenja.

Vsebino omogoča Mastercard®.

Prijavite se na naš novičnik, da ne zamudite naslednje epizode podkasta, ki prihaja kmalu.

Novo na Metroplay: Kako lahko vzdržujemo mišično maso ter preprečimo težave, kot so sarkopenija in osteoporoza?