KazLLM degen ne?
KazLLM – bul ChatGPT sııaqty daıyn chat-baǵdarlama emes. Ol – úlken tildik model. Iаǵnı kólemdi mátin derekter negizinde oqytylǵan jasandy ıntellekt júıesi. Mundaı modelder mátindi túsiný, suraqqa jaýap qurastyrý, mazmundaý, aýdarý, taldaý jasaý sııaqty mindetterdi oryndaı alady. Biraq ol paıdalanýshy tikeleı kirip sóılesetin jeke servıs retinde bólek shyǵarylmaǵan.
Aıta keteıik, KazLLM Memleket basshysynyń tapsyrmasymen otandyq tildik tehnologııany damytý jáne sheteldik jasandy ıntellekt platformalaryna táýeldilikti azaıtý maqsatynda jasalǵan. Jobanyń negizgi maqsaty – qazaq jáne orys tilderindegi derekterge súıenetin, memlekettik jáne salalyq sıfrlyq júıelerge engiziletin ulttyq til modelin qalyptastyrý.
Mınıstr málimdegendeı, bul model qazirdiń ózinde qoldanylyp jatyr. Mysaly, eGov portalyndaǵy JI-assıstent paıdalanýshy suraqtaryna jaýapty osy modeldiń negizinde qalyptastyrady. Iаǵnı azamattar keıbir sıfrlyq memlekettik servıster arqyly KazLLM múmkindigin janama túrde paıdalanyp otyr. Mınıstrlik aıtqan 40-tan astam aqparattyq júıe – osy sekildi ishki ıntegrasııalar.
KazLLM shamamen 150 mıllıardtan astam token kólemindegi derekpen oqytylǵan. Token – model úırenetin mátin birlikteri. Bul joba úshin jaman kórsetkish emes, biraq álemdik deńgeıdegi iri tildik modeldermen salystyrǵanda kólemi áldeqaıda az. Sondyqtan KazLLM qazaq tiliniń kúrdeli konteksin, astarly maǵynasyn, stıldik ereksheligin árdaıym dál túsine bermeıdi. Jaýaptarynyń sapasy turaqty emes, keı jaǵdaıda ústirt nemese qate nátıje berýi múmkin.
Sarapshylardyń baǵalaýynsha, tildik modeldiń sapasy derek kólemine ǵana emes, derektiń sapasyna, ártúrliligine, esepteý qýatyna jáne turaqty túrde qaıta oqytylyp otyrýyna baılanysty. Bul – bir rettik emes, uzaq merzimdi jetildirýdi qajet etetin tehnologııa.
KazLLM jobasynyń strategııalyq mańyzy – tehnologııalyq derbestikke umtylysta. Ulttyq tildik model ishki sıfrlyq platformalarǵa, memlekettik júıelerge jáne qazaq tilindegi servısterge sheteldik JI quraldaryna tolyq táýeldi bolmaı jumys isteýge múmkindik beredi. Bul ásirese derek qaýipsizdigi, tildik beıimdeý jáne salalyq sheshimderdi jergilikti kontekske ıkemdeý turǵysynan asa mańyzdy.
Ázirleýshileri kim?
KazLLM ulttyq til modelin Aqyldy júıeler jáne jasandy ıntellekt ınstıtýty (ISSAI) ázirlegen. Bul ortalyq Nazarbaev ýnıversıteti bazasynda qurylǵan jáne eldegi jetekshi JI-zertteý alańynyń biri sanalady. Joba derekter qoryn jınaý, til korpýsyn qalyptastyrý, model arhıtektýrasyn beıimdeý jáne óndiristik deńgeıde oqytý sekildi birneshe kezeńdi qamtyǵan.
Jobany iske asyrýǵa kópsalaly komanda tartylǵan. Quramynda data-saıentıstter, mashınalyq oqytý ınjenerleri, baǵdarlamashylar, lıngvıster jáne ǵylymı assıstentter bar jetpiske jýyq maman jumys istegen. Tildik model ázirleýde lıngvıstıkalyq saraptama bólek baǵyt retinde júrgizilgen. Bul qazaq tiliniń qurylymy, morfologııasy men konteksti erekshelikterin modelge engizý úshin qajet bolǵan.
Modeldi oqytý joǵary ónimdi esepteý ınfraqurylymynda júrgizilgen. Kóptúıindi bultty konfıgýrasııa qoldanylyp, segiz NVIDIA DGX H100 esepteý júıesi paıdalanylǵan. Bul – óndiristik deńgeıdegi tildik modelderdi úıretýge arnalǵan qýatty tehnıkalyq baza.
KazLLM bastapqy kezeńde memlekettik sektor men kommersııalyq emes zertteýler úshin qoljetimdi etip shyǵarylǵan. Iаǵnı ol eń aldymen memlekettik sıfrlyq servısterge, zertteý jobalaryna jáne qoldanbaly JI sheshimderine tehnologııalyq negiz retinde baǵyttalǵan.
Joba barysynda qazaq tilindegi sapaly ári belgilengen derekter qorynyń tapshylyǵy, tilge beıimdelgen halyqaralyq testilerdiń bolmaýy, iri esepteý túıinderiniń shekteýligi sekildi kedergiler de bolǵan. Soǵan qaramastan ázirleýshiler ashyq kózderden derek alý, OCR arqyly mátin taný, suraq-jaýap formatyndaǵy datasetter qurastyrý, sıntetıkalyq derek generasııalaý sekildi derek jınaýdyń arnaıy strategııasyn qoldanǵan eken.
Salystyrmaly testilerde KazLLM keı kórsetkishter boıynsha Meta Llama 3.1 sekildi iri modeldermen deńgeıles nátıjege jaqyndaǵan, keı baǵytta sál tómen nátıje kórsetken. Bul – resýrsy shekteýli ortada jasalǵan model úshin básekege qabiletti bastapqy deńgeı bar ekenin bildiredi. Alaıda áli de jetildirýdi qajet etedi.
Sonymen qatar ISSAI KazLLM til modeliniń negizinde 5 túrli otandyq JI baǵdarlamalaryn jasap shyǵarǵan. Birinshisi – «Oylan 2.5». Bul júıe kez kelgen suraǵyńyzǵa jaýap bere alady. Tipti aýdıo habarlamalardy qabyldap, óńdeý fýnksııasy bar. Budan bólek, «ISSAI» usynǵan «MangiSoz 2.0» júıesi sóıleýdi taný, dybystaý, aýdarý qyzmetin atqarady. Al «TilSync» júıesi ilespe aýdarma jasaıdy. Júıe ártúrli vıdeokonferensııalarda túrli tilder arasynda tikeleı aýdarma jasap, aqparat almasýdy jeńildetedi. Taǵy bir tyń sheshim – «Beynele» jasandy ıntellekti. Ol tek qazaqy naqyshta sýret salady. Osy júıelerdiń negizi – «Mangitas 02» atty otandyq ınferens serveri. Bul – sheteldik bulttyq júıelerden táýelsiz, qaýipsiz, jergilikti málimettermen jumys isteıtin JI server.
