Жасанды интеллект жобалары және қазақ тілінің ұлттық сөздік қоры

ҚР Ғылым және жоғары білім министрлігінің Ғылым, жоғары білім және тіл саясаты мәселелері жөніндегі Қоғамдық кеңесінің өткен аптаның бейсенбі күні, яғни тамыз айының 13-інде ұйымдастырылған кезекті отырысында маңызды үш мәселе қаралған болатын. Ең алғашқысы – Coursera, OpenAI, Meta, Perplexity және тағы басқа цифрлық платформалармен ынтымақтастық (ЖжЖОБК, ЦД, Ғылым қоры); екіншісі – «Қазақ тілінің ұлттық сөздік қоры» эталондық деректер базасын құру туралы. Жасанды интеллект саласындағы Til Qazyna ұлттық орталығының қызметі (ТСК, Тіл-Қазына); үшінші кезекте – Халықаралық бағдарламалар орталығының қызметі. «Болашақ» халықаралық стипендиясын реформалаудың негізгі параметрлері (ХЫД, ХБО).

Шайсұлтан Шаяхметов атындағы «Тіл-Қазына» ұлттық ғылыми-практикалық орталығы» КеАҚ Басқарма төрағасы Мақпал Құрманжанқызы Жұмабайдың «Қазақ тілінің цифрлық экожүйесі: жасанды интеллект жобалары және Қазақ тілінің ұлттық сөздік қоры» тақырыбындағы баяндамасын оқырмандардың назарына ұсынамыз. Спикердің мәлімдеуінше цифрлық технологиялар өміріміздің барлық саласына дендеп еніп келеді. Осындай кезеңде қазақ тіліндегі сапалы әрі жүйеленген деректерді цифрлық ортаға бейімдеу білім мен ғылымды, мәдениет пен әдебиетті дамытудың маңызды шарттарының біріне айналды. Бүгінде қазақ тілінің қолданыс аясы кеңейіп, ақпараттық жүйелерді, тілдік корпустарды және жасанды интеллект технологияларын да қамтып отыр.

Орталықтың жасанды интеллект жобалары

Бүгінде жасанды интеллект жекелеген технологиялық өнім ғана емес, мемлекеттің цифрлық егемендігіне, білім беру жүйесіне, экономикасына және тілдің болашағына тікелей ықпал ететін стратегиялық инфрақұрылымға айналды. Соңғы жылдары үлкен тілдік модельдер қарқынды дамып, күнделікті өмір мен кәсіби қызметтің түрлі саласына ене бастады. ChatGPT, Gemini, Claude секілді жүйелер мәтін әзірлеуге, ақпарат талдауға, құжат өңдеуге, білім беруге және басқа да күрделі міндеттерді шешуге пайдаланылып жүр.

Осыған байланысты көптеген мемлекет өз тілдеріне бейімделген ұлттық тілдік модельдер мен жасанды интеллект шешімдерін дамытуға басымдық беріп отыр. 2024 жылы Президент тапсырмасымен 8 және 70 миллиард параметрлі KazLLM моделі әзірленді. Бұл қазақ тілінің цифрлық әлеуетін арттырып, оның жасанды интеллект кеңістігіндегі орнын нығайтуға бағытталған маңызды мемлекеттік қадам болды. Нәтижесінде Қазақстан ұлттық тілдік моделін әзірлеген мемлекеттердің қатарына қосылды. Ал 246 миллиард параметрлі AlemLLM моделі қазақ тілі бойынша жүргізілген бірқатар сынақта жоғары нәтиже көрсетті.

«Тіл-Қазына» орталығы KazLLM ұлттық тілдік моделін әзірлеген консорциум құрамында қазақ тіліндегі деректерді жинауға қатысып, модельді оқытуға 7 миллиард сөзқолданыстан тұратын табиғи тіл қорын ұсынды. Осы тәжірибенің негізінде Орталық қазақ тіліндегі сапалы деректерді жүйелеуге және оларды нақты тілдік міндеттерді шешуге пайдалануға кірісті. Негізгі базалық шешімдердің бірі – Til-Qazyna LLM тілдік моделі. Ол екі миллиард параметрден тұрады және 47 миллиард токен қамтитын көптілді корпуспен нөлден оқытылған. Соның 9,7 миллиарды – қазақ тіліндегі токендер. Модель Hugging Face платформасында жарияланып, ашық қолданысқа ұсынылды.

Бұл модель грамматикалық түзету, салалық бейімдеу және басқа да қолданбалы міндеттерге арналған жүйелерді дамытуға негіз болып отыр. Бірінші бағыт – жасанды интеллект негізіндегі қолданбалы тілдік сервистерді әзірлеу. Бұл бағытта төрт негізгі жоба бар. Соның бірі – Qazgramma. Ол қазақ тіліндегі орфографиялық, грамматикалық және пунктуациялық қателерді анықтап, түзетуге арналған. 2025 жылы жүйені оқыту үшін 200 мың тілдік қате үлгісінен тұратын Қателер корпусы әзірленді. Ендігі міндет – осы деректерді толық сараптамадан өткізу, жүйенің дәлдігін тәуелсіз тест арқылы бағалау және нақты құжат айналымында сынау.

Орталық Qazgramma-ны e-Otinish, Documentolog және eGov жүйелеріне кезең-кезеңімен енгізу жөніндегі жұмыс жоспарын әзірледі. Қазір жүйені серіктес ұйымдарда сынауға дайындық жүріп жатыр. Атап айтқанда, ҚР Бас прокуратурасының жанындағы Құқық қорғау органдары академиясының жабық ақпараттық жүйесінде сынақ өткізуге қажетті техникалық мәселелер реттелуде. Сынақ қыркүйек айында басталады. Алдын ала келісім бойынша оның нәтижесіне қарай Qazgramma-ны құқық қорғау органдарының жұмыс үдерісіне енгізу мәселесі қаралады.

TilQazyna Lingua ЖИ агенті қазақ тілін А1-С1 деңгейлері бойынша үйретуге арналған. Жүйеде мәтіндік және аудио тапсырмалар беріледі, ал оқу барысы әр пайдаланушының қарқыны мен нәтижесіне қарай бейімделеді. Қазір мобильді нұсқаны кезең-кезеңімен қолданысқа шығару және оқу материалдарын пайдаланушылар арасында сынау жұмыстары жүріп жатыр. QazSync.AI – қазақ тілінен орыс және ағылшын тілдеріне нақты уақыт режимінде аударуға арналған пилоттық сервис. Қазір аудиокорпус жинақталып, модельдің бастапқы нұсқасы оқытылып жатыр.

Терминдерді игерудің автоматтандырылған жүйесі терминология саласында қордаланған мәселелерді цифрлық тәсілмен реттеуге арналған. Жүйе ұсынылған терминді жасанды интеллект көмегімен бірнеше өлшем бойынша талдап, Республикалық терминология комиссиясының қарауына қажетті сараптамалық және талдамалық материал әзірлейді. Бұл терминдерді қарау мен сараптау жұмысын жеделдетуге септігін тигізеді.

Осы төрт жобамен қатар TTS және ASR технологиялары да әзірленді. TTS мәтінді дыбыстайды, ал ASR сөйлеуді мәтінге айналдырады. Ендігі міндет – осы технологияларды мемлекеттік және өзге де ақпараттық жүйелерге енгізу. Бұл бағытта Alem.AI жасанды интеллект орталығымен және Astana Hub халықаралық технопаркімен бірлескен жұмыс басталды. Алдағы уақытта аталған жобалар белгіленген жол карталарына сәйкес кезең-кезеңімен дамытылады.

Қазақ тілінің ұлттық сөздік қоры

Екінші бағыт – Қазақ тілінің ұлттық сөздік қорын қалыптастыру. Қазақ тілінің ұлттық сөздік қоры – қазақ тілінің лексикалық байлығын жинақтайтын қор ғана емес. Қолданыстағы заңнамада ол қазақ тілінің сөздік қорын көпшілікке қолжетімді ететін және ондағы деректерді цифрлық технологиялар арқылы өңдеуге арналған мемлекеттік цифрлық жүйе деп айқындалған. «Мәдениет туралы» Заңның 24-4-бабына сәйкес, Ұлттық сөздік қор жалпыға бірдей қолжетімді. Оны кез келген адам ерікті әрі тегін пайдалана алады. Сонымен қатар Ұлттық сөздік қор қазақ тілінің үлкен тілдік моделін әзірлеу мен дамытуға қажетті негізгі дереккөздердің бірі. Ал Заңның 32-бабында қазақ тілінің сөздік қоры материалдық емес мәдени құндылықтардың қатарына енгізілген.

ҚР Ғылым және жоғары білім министрінің (11.03.2025 ж., №101) бұйрығымен Орталық Ұлттық сөздік қорды қолдау мен дамытуға жауапты ұйым ретінде белгіленді. Бұл міндет Орталықтың жұмысын тек дерек жинаумен шектемейді. Қордағы деректер сапалы әрі өзекті болуы, олардың құқықтық мәртебесі айқындалып, деректер жүйелі түрде жаңартылып отыруы қажет. Ұлттық сөздік қор төрт негізгі бағыттағы деректерді біріктіреді: академиялық және аударма сөздіктер, терминологиялық қор, Қазақ тілінің ұлттық корпусы және жасанды интеллект жүйелерінде пайдалануға бейімделген деректер жиынтықтары.

Қорға енгізілген әрбір дерек бойынша оның қайдан алынғаны, қандай мәнмәтінде қолданылғаны, құқықтық мәртебесі, сараптама нәтижесі және өзгерістер тарихы сақталуы тиіс. Қазақ тілінің ұлттық корпусы – Ұлттық сөздік қордың маңызды құрамдас бөліктерінің бірі. Бұл бағытқа А.Байтұрсынұлы атындағы Тіл білімі институты жауапты. Ұлттық корпус қазақ тіліндегі әртүрлі стиль мен жанрдағы мәтіндерді лингвистикалық белгіленімдермен бірге ұсынады. Ал Ұлттық сөздік қор корпус деректерін сөздіктермен, терминологиялық қорлармен және басқа да құрылымдалған тілдік деректермен біріктіреді.

Ұлттық сөздік қорды мемлекеттік ақпараттық жүйелермен байланыстыру да көзделген. Мемлекеттік органдармен дерек алмасу жеке арналармен емес, «электрондық үкіметтің» ақпараттық-коммуникациялық инфрақұрылымы мен мемлекеттік органдардың бірыңғай көлік ортасы арқылы жүргізіледі. Бұл жұмыс Smart Data Ukimet мемлекеттік деректер платформасын, eGov және e-Otinish порталдарын, мемлекеттік деректер қорларын, E-License жүйесін, бірыңғай электрондық құжат айналымы жүйесін, «Әділет» нормативтік құқықтық актілер базасын және data.egov.kz ашық деректер порталын қамтиды.

Пайдаланушылар мен сарапшылар электрондық цифрлық қолтаңба арқылы сәйкестендіріледі. Ұлттық сөздік қордың дерек алмасу жүйесіне мектепке дейінгі білім беру ұйымдары, мектептер, жоғары оқу орындары, ғылыми-зерттеу институттары, орталық және жергілікті атқарушы органдар, квазимемлекеттік сектор ұйымдары, шағын және орта бизнес субъектілері, сондай-ақ жеке және заңды тұлғалар қатыса алады.

Ұлттық сөздік қордың басты құндылығы – қазақ тіліне қатысты сөздіктерді, терминологиялық, корпустық және басқа да цифрлық тілдік ресурстарды бір жүйеге жинақтап, оларды қолданушыға қолжетімді әрі ыңғайлы түрде ұсыну. Сонымен бірге Ұлттық сөздік қор қазақ тіліндегі жасанды интеллект жобаларын дамытуға қажетті сенімді әрі жүйеленген дерек көзін қалыптастырады. Қорыта айтқанда, Ұлттық сөздік қор қазақ тілінің цифрлық экожүйесінің негізгі тіректерінің бірі. Ол мемлекеттік тілдің цифрлық кеңістіктегі орнын нығайтып, оны жаңа технологияларға бейімдеуге қызмет етеді.

Қоғамдық кеңеске ұсыныстар

Қазақ тілінің цифрлық кеңістіктегі болашағы – баршамызға ортақ мәселе. Сондықтан осы бағыттағы бастамаларға Кеңес мүшелерінің де белсенді араласуын маңызды деп есептейміз. Осыған байланысты мына ұсыныстарды қолдауды сұраймыз: Qazgramma жүйесін нақты құжат айналымында сынау үшін Кеңес мүшелері өкілдік ететін ұйымдар арасынан сынақ алаңдарын айқындауға қолдау көрсету. Орталық әзірлеген цифрлық шешімдерді инклюзия бағытындағы жобаларға енгізу мүмкіндігін қарастыру. Ұлттық сөздік қордың мазмұнын ғылыми тұрғыдан саралайтын тұрақты ғылыми-сараптамалық тетік құруды қолдау.

Мақпал ЖҰМАБАЙ,
Ш.Шаяхметов атындағы «Тіл-Қазына» ұлттық ғылыми-практикалық орталығы» КеАҚ Басқарма төрағасы