Foto: istockphoto.com
Joba aıasynda kólemi 10 mıllıardtan astam tokendi qamtıtyn qazaq tiliniń mátindik korpýsy (Kazakh Text Corpus), 10 myń saǵattan asatyn dybystyq derekter qory (Speech Corpus) jáne úlken til modelderin baǵalaýǵa arnalǵan AI Evaluation Benchmark Suite ázirlengen.
Atalǵan bastama 2025 jylǵy 7 qarashada Vashıngtonda Halyqaralyq «Qazaq tili» qoǵamy men OpenAI arasynda jasalǵan kelisim negizinde júzege asyp jatyr. Jobanyń negizgi maqsaty – sapaly sıfrlyq kontent qalyptastyrý jáne qazaq tilindegi úlken til modelderiniń jumys sapasyn arttyrý.
Mátindik korpýs tolyqtaı shynaıy derekkózderden jınalyp, óńdeýden ótip, qurylymdalǵan. Onyń quramyna qazaq tiliniń tarıhı murasy, dıaspora tildik derekteri, sondaı-aq bilim, ǵylym, medısına, quqyq, tarıh jáne medıa salalary qamtylǵan kontent engizilgen. Qazir OCR júıesi qazaq mátinin 99% dáldikpen tanysa, al qujat qurylymyn taldaý júıesi 99% nátıjege jetken. Bul tehnologııalar úlken kólemdegi derekterdi tıimdi óńdeýge múmkindik beredi.
AI Evaluation Benchmark Suite júıesi qazaq tilindegi modelderdi birneshe baǵyt boıynsha baǵalaıdy. Alǵashqy nátıjeler boıynsha mátindi túsiný – 76,89%, grammatıka – 72,24%, maqal-mátelderdi qoldaný – 71,90%, al qazaq tiliniń tabıǵılyǵy – 23,08% deńgeıinde tirkelgen. Aýdarma sapasy joǵary kórsetkishter kórsetip otyr: akademııalyq aýdarma – 85,81%, kórkem aýdarma – 86,46%, balalar ádebıetiniń aýdarmasy – 89,22% deńgeıinde qalyptasqan.
Jobanyń aýdıoqory 10 810 saǵattan asa materıaldy qamtıdy. Onyń ishinde 1000 saǵat «altyn standart» derek retinde qolmen tekserilgen. Qazirgi tańda qazaq tilindegi sóıleýdi taný dáldigi 92%-dan asady.
Sonymen qatar keıbir jasandy ıntellekt júıeleriniń qazaq tilin basqa túrki tilderimen shatastyrý jaǵdaılary anyqtalǵan. Osyǵan baılanysty Automatic Speech Recognition (ASR) baǵalaý júıesi ázirlenip jatyr.
Mamandardyń aıtýynsha, aldaǵy ýaqytta qazaq tilindegi sóıleýdi taný dáldigin 99%-ǵa jetkizý josparlanyp otyr. Joba qazaq tiliniń sıfrlyq keńistiktegi múmkindigin keńeıtip, onyń jasandy ıntellekt dáýirindegi básekege qabilettiligin arttyrýǵa baǵyttalǵan.
Eske sala keteıik, buǵan deıin Úkimet qazaq tilin bilmeıtinder úshin qandas mártebesin alý qıyndaıtynyn málimdegen bolatyn.
