Oʻzbek tilidagi neyrotarmoq: matn, ovozli xabarlar va ovozlashtirish — nima ishlaydi

Oʻzbek tilidagi neyrotarmoq — bitta mahsulot emas, balki uchta alohida vazifa: matnni tushunish va yozish, ovozli xabarni tanib olish va javobni ovozlashtirish. Ularning tayyorlik darajasi turlicha.

Matnni yirik modellar uddalaydi: Google barcha Gemini modellari oʻzbek tilini tushunishi va shu tilda javob berishini yozadi. ChatGPT boʻyicha rasmiy raqamlarni topmadik: OpenAI kompaniyasining ochiq koʻp tilli MMMLU testida 14 ta til bor, oʻzbek tili ular orasida yoʻq. Oʻzbek nutqini bir nechta bulutli servis taniydi, lekin sifatning ochiq oʻlchovlari hammasida ham yoʻq. Oʻzbekcha matnni ovozlashtiradigan servislar esa oʻylaganingizdan kamroq: Google Cloud ovozlari roʻyxatida ham, ElevenLabs sintez modellarida ham oʻzbek tili yoʻq.

Matn: ikki yozuv va aralash iboralar

Oʻzbek tilining rasmiy yozuvi — lotin yozuvi. «Lotin yozuviga asoslangan oʻzbek alifbosini joriy etish toʻgʻrisida»gi qonun 1993-yil 2-sentabrda qabul qilingan. Alifbo hozirgi koʻrinishini qonunning 1995-yil 6-maydagi tahririda olgan: 26 harf, uchta harf birikmasi — sh, ch, ng va apostrof (lex.uz). Shu qonunning 2-moddasi kirill va arab yozuvlari uchun ham sharoitni saqlab qoladi. Lotin yozuviga toʻliq oʻtish bosqichma-bosqich amalga oshirilmoqda, 2021-yilda buning uchun Vazirlar Mahkamasining 61-son qarori chiqqan.

Yozishmalarda bu shunday koʻrinadi. Bir mijoz «Narxi qancha?» deb yozadi, boshqasi — «Нархи қанча?», uchinchisi «Салом!» deb salomlashadi-yu, keyin ruscha soʻraydi. Bundan bot uchun uchta talab kelib chiqadi.

• Tilni alifbosiga qarab aniqlamaslik. Kirill yozuvi hali «rus tili» degani emas, lotin yozuvi — «ingliz tili» degani emas.
• Mijoz yozgan yozuvda javob berish. Mijoz kirillda yozgan-u, javob lotinda kelgan boʻlsa — unga bu xatodek koʻrinadi.
• Apostrofga qoqilmaslik. oʻ va gʻ harflarida uni har kim har xil yozadi: ʻ belgisi, oddiy apostrof, tipografik qoʻshtirnoq, teskari qoʻshtirnoq bilan — yoki umuman tushirib qoldiradi. Hatto lex.uz saytidagi alifbo haqidagi qonun matnida ham teskari qoʻshtirnoq turibdi, quyida gap boradigan FLORES-200 korpusining professional tarjimasida esa biz 2 358 ta oddiy apostrof va bor-yoʻgʻi 8 ta ʻ belgisini sanadik.

Tez orada variantlar yana koʻpayadi. 2026-yil 10-sentabrda Senat alifbo haqidagi qonunga oʻzgartishlarni maʼqulladi: alifboda 26 harf va uchta harf birikmasi oʻrniga 28 harf va bitta apostrof boʻladi («Yangi Oʻzbekiston»). Gazeta.uz maʼlumotiga koʻra, Sh, Ch, Oʻ va Gʻ oʻrniga Ş, Ç, Ö va Ğ taklif qilinmoqda. Maʼruzachi senator Odiljon Mamatkarimov islohotni boshqa sabablar qatori raqamli muhit bilan ham izohlagan: uning soʻzlariga koʻra, amalda Oʻ va Gʻ ning oʻndan ortiq yozilish varianti bor va dasturlar bitta soʻzni turli soʻzlar deb qabul qiladi.

Qonun Prezidentga yuborilgan. 28-sentabr holatiga lex.uz saytida imzolangan hujjat yoʻq, u yerda 1995-yilgi tahrir amal qilmoqda. Bot uchun xulosa hozirdanoq aniq: oʻtish davom etar ekan, mijozlar kamida uch xil yozadi — kirillda, hozirgi lotinda va yangisida. Ularni bitta ichki shaklga oldindan — katalog boʻyicha qidiruvdan va tilni aniqlashdan oldin keltirib olgan maʼqul.

Til soligʻi: oʻzbek tili tokenlarda qanchaga tushadi

Modellar matnni harflab emas, tokenlar — soʻz boʻlaklari bilan oʻqiydi. Tokenlar uchun pul toʻlanadi, kontekst oynasi tokenlarda oʻlchanadi, model javobni ham token-token chiqaradi. Tokenizator oʻqitish paytida kam koʻrgan soʻzlarni maydaroq boʻlaklarga boʻladi va oʻsha maʼno koʻproq token egallaydi.

Biz buni Meta kompaniyasining FLORES-200 ochiq parallel korpusida hisobladik. Unda 842 ta veb-maqoladan olingan bir xil gaplar 200 tilga tarjima qilingan. Biz devtest qismini — 1 012 ta gapni oldik. Tokenizator — o200k_base: OpenAI kompaniyasining tiktoken kutubxonasidagi jadvalga koʻra, undan GPT-4o, GPT-4.1 va GPT-5 foydalanadi (tiktoken). GPT-6 qaysi tokenizatordan foydalanishi bu jadvalda 2026-yil 28-sentabr holatiga koʻrsatilmagan; agar u boshqacha boʻlsa, koeffitsiyentlar ham boshqacha chiqadi.

Bundan nima kelib chiqadi.

• Oʻsha matn oʻzbekchada ruschadan taxminan chorak, kirillda esa qariyb 40% qimmatroq. Token narxi tilga bogʻliq emas, shuning uchun tokenlardagi farq model uchun toʻlanadigan hisobga toʻgʻridan-toʻgʻri oʻtadi. Oʻzbekcha uzun yozishma kontekst oynasiga ertaroq yetib boradi, javob ham uzoqroq generatsiya qilinadi.
• Yangi tokenizator soliqni ancha kamaytirgan. GPT-4 va GPT-3.5 foydalangan eski cl100k_base tokenizatorida oʻsha matn inglizchadan ancha qimmatga tushardi: rus tili 2,46 baravar, oʻzbek lotini 2,17 baravar, kirill 3,55 baravar.
• Gap grammatikada emasga oʻxshaydi. Turk tili — qardosh turkiy til, unda ham soʻzlar qoʻshimchalar zanjiridan yasaladi, — narxi deyarli rus tilidek. Farqning ehtimoliy sababi — tokenizator shu tildagi qancha matnni koʻrgani.
• Apostrof turi deyarli hech narsani oʻzgartirmaydi. oʻ va gʻ dagi oddiy apostrofni ʻ belgisiga almashtirsangiz, o200k_base da tokenlar 0,1% dan kamroq koʻpayadi.

Soʻzlar darajasida farq darhol koʻrinadi: «call» — 1 token, «звонок» — 3 token, «qo’ng’iroq» va «қўнғироқ» — 5 tokendan.

Qanday takrorlash mumkin. FLORES-200 arxivini yuklab oling va devtest/eng_Latn, rus_Cyrl hamda uzn_Latn fayllarini oling. tiktoken kutubxonasini oʻrnating, har bir qator uchun enc = tiktoken.get_encoding("o200k_base") bilan len(enc.encode(line)) ni hisoblang va qoʻshib chiqing. Korpusning ikkinchi qismida — 997 ta gapdan iborat dev qismida ham natija xuddi shunday: oʻzbek lotini inglizchaga nisbatan ×1,77, rus tili ×1,43. FLORES korpusida oʻzbek kirill yozuvi yoʻq, shuning uchun biz uzn_Latn ni qonundagi harflar jadvali boʻyicha avtomatik ravishda kirillga oʻgirdik (sh → ш, oʻ → ў, q → қ, h → ҳ va hokazo). Jonli kirill matnida ruscha oʻzlashmalar boshqacha yoziladi, shuning uchun kirill haqidagi qator — taxmin.

Gemini va Claude tokenizatorlarini biz oʻlchamadik, ularda koeffitsiyentlar boshqacha boʻlishi mumkin.

Oʻzbek nutqini tanib olish: kim va qanchalik yaxshi

Mijozlarning bir qismi yozmaydi, savolini ovozli xabar qilib yuboradi. Nutqni tanib olmaydigan bot bunday murojaatlarni yoʻqotadi.

Eng mashhur bepul variant — OpenAI kompaniyasining ochiq Whisper modeli. Mualliflarining maqolasida uning oʻzbek tilida nega zaif ekani koʻrinib turibdi. Oʻqitish maʼlumotlarida oʻzbek nutqini tanib olish uchun 0,3 soat, rus nutqi uchun esa 9 761 soat yozuv boʻlgan (E ilova, 11-rasm). FLEURS test toʻplamida Whisper large-v2 modeli quyidagicha xato qilgan (D.2.4 ilova, 13-jadval): oʻzbek tili — soʻzlarda 90,2% xato, tojik tili — 85,8%, qozoq tili — 37,7%, turk tili — 8,4%, rus tili — 5,6%. WER metrikasi etalon transkripsiyaning har 100 soʻziga notoʻgʻri, tushib qolgan va ortiqcha soʻzlarni sanaydi. Raqamlar large-v2 versiyasi va bitta maʼlumotlar toʻplamiga tegishli. Maqolada yangiroq versiyalar yoʻq va bu foizlarni ularga koʻchirib boʻlmaydi. OpenAI oʻz hujjatlarida qisqa yozadi: Whisper 98 tilni qoʻllab-quvvatlaydi, lekin aniqlik tildan tilga farq qiladi.

Qolganlar 2026-yil sentabr holatidagi rasmiy tillar roʻyxatlarida nimani daʼvo qiladi:

• Google Cloud Speech-to-Text. Oʻzbek tili (uz-UZ) faqat Chirp modellarida bor. Avtomatik tinish belgilari bor, oʻzbek tili uchun yozuvni soʻzlovchilar boʻyicha ajratish esa jadvalda yoʻq (tillar roʻyxati). Qoʻngʻiroq yozuvlari uchun bu muhim.
• Gemini. Audio modelga matn kabi toʻgʻridan-toʻgʻri beriladi. Hujjatlarga koʻra, tovushning bir soniyasi — 32 token, bir daqiqasi — 1 920 token. Telegramdagi ovozli xabar Bot API boʻyicha — Opus kodekli OGG, MP3 yoki M4A, Gemini esa uchala formatni ham qabul qiladi. Audio uchun tillarni Google Gemini modellarining umumiy roʻyxatiga bogʻlaydi, u yerda oʻzbek tili bor. Tovushda til soligʻi yoʻq: oʻzbekcha nutqning bir soniyasi inglizcha nutqning bir soniyasi bilan bir xil turadi. Soliq transkripsiya matni va javobda paydo boʻladi.
• Microsoft Azure. Lotin yozuvidagi oʻzbek tili, uz-UZ, nutqni tanib olishda bor, jumladan fayllarni tezkor transkripsiya qilishda ham (tillar roʻyxati).
• Yandex SpeechKit. Roʻyxatda — «uz-UZ, oʻzbek tili (lotin yozuvi)» (tanib olish modellari). Demak, mijoz kirillda yozsa ham, transkripsiyani lotinda kuting.
• ElevenLabs Scribe v2. Oʻzbek tili xatolar ulushi 10 dan 20% gacha boʻlgan guruhga kiritilgan (hujjatlar). Bu kompaniyaning oʻz bahosi, maʼlumotlar toʻplami nomlanmagan.
• UzbekVoice. uzbekvoice.ai saytida API orqali nutqni tanib olish va sintez hamda faqat oʻzbekcha audio uchun alohida Enhanced Uzbek modeli eʼlon qilingan. Ruscha va aralash nutq uchun servis umumiy modelni tavsiya qiladi. Ikki tilda aralashtirib yoziladigan bot uchun bu tafsilot muhim.

Whisperdan tashqari, bularning barchasi yetkazib beruvchilarning oʻz daʼvolari. Bu servislarni bir xil oʻzbekcha yozuvlarda mustaqil solishtirgan 2026-yilgi tadqiqotni topmadik.

Oʻzbekcha matnni ovozlashtirish: ovozni kim sintez qiladi

Sintezda tanlov torroq.

• Microsoft Azure — ikkita ovoz: ayol ovozi Madina va erkak ovozi Sardor.
• Yandex SpeechKit — uchta ayol ovozi: nigora, zamira va yulduz. zamira va yulduz ovozlarida «neytral», «qatʼiy» va «samimiy» uslublar bor, yulduzda yana shivirlash ham bor (ovozlar roʻyxati). Roʻyxatda oʻzbekcha erkak ovozi yoʻq.
• Gemini API — nutq sintezi modellarining tillar jadvalida Northern Uzbek bor, tilni model oʻzi aniqlaydi (hujjatlar). Northern Uzbek — ISO 639-3 standartidagi nom, kodi uzn; FLORES-200 korpusida ham oʻzbek tili shu kod bilan belgilangan.
• Google Cloud Text-to-Speech — ovozlar roʻyxatida oʻzbekcha ovozlar yoʻq, ruscha va turkcha ovozlar esa bor.
• ElevenLabs — Eleven v3 modeli roʻyxatida 70 dan ortiq til bor, ular orasida qozoq va qirgʻiz tillari ham bor, oʻzbek tili esa yoʻq. Oʻsha sahifadagi boshqa sintez modellarida ham u yoʻq.
• UzbekVoice — saytdagi tavsifga koʻra, diktor va ovoz kayfiyatini tanlash imkoniyati bilan sintez.

2026-yil sentabr holatiga yigʻma jadval:

Oʻzbek tilidagi neyrotarmoqni 30 daqiqada qanday tekshirish mumkin

Hech bir jadval servis aynan sizning mijozlaringizni qanday tushunishini aytib bermaydi. Tekshiruv yarim soat oladi va uni shartnoma imzolanishidan oldin istalgan pudratchidan soʻrash mumkin.

1. Yozishmalaringizdan 20 ta haqiqiy xabar. Oʻntasi lotinda, oʻntasi kirillda. Ular orasida oddiy apostrofli, tipografik apostrofli va «ozbek» kabi apostrofsiz xabarlar boʻlsin. Har bir javob qaysi tilda va qaysi yozuvda kelganiga qarang.
2. 5 ta ovozli xabar. Erkak ovozi, ayol ovozi, koʻchada yoki mashinada yozilgan xabar, odam oʻzbekchadan ruschaga oʻtib ketadigan xabar va bir daqiqadan uzun bitta xabar. Faqat javobni emas, transkripsiyani ham koʻrsatishni soʻrang.
3. Aralash ibora. Masalan, «Салом! Сколько стоит доставка?». Javob qaysi tilda kelishi kerakligini oldindan hal qilib qoʻying va tekshiring.
4. Kompaniyangiz nomi, tovarlar va soʻmdagi narxlar. Bot ularni harfma-harf, «tarjima» va yaxlitlashsiz yozishi kerak.
5. Nutqsiz ovozli xabar. Oʻn soniyalik koʻcha shovqini yoki musiqa. Toʻgʻri javob — «tushunolmadim», ishonch bilan yozilgan transkripsiya emas. Tovushni eshitmay, matnni oʻzi toʻqib chiqaradigan model shu yoʻl bilan fosh boʻladi.

Mijozning ovozli xabari ham shaxsga doir maʼlumot. 2026-yil 27-martdagi qonun oʻzgarishlaridan keyin tashqi modelga nimani yuborish mumkinligini mijozlar yozishmalarini ChatGPT va Claude orqali ishlash haqidagi maqolada tahlil qilganmiz.

Biz nimani bilmaymiz

ElevenLabs xatolar ulushini va boshqa servislarning daʼvolarini oʻz yozuvlarimizda tekshirmadik. Whisper raqamlari large-v2 versiyasi va 2022-yilgi FLEURS toʻplamiga tegishli. Tokenlar jadvalidagi oʻzbek kirill yozuvi qatori — avtomatik transliteratsiya boʻyicha taxmin. 28-sentabr holatiga lex.uz saytida yangi alifbo haqidagi imzolangan qonun yoʻq, Ş, Ç, Ö va Ğ harflarini esa hujjat matnidan emas, OAV bayonidan bilamiz. Oʻzbekistonda sunʼiy intellekt haqidagi boshqa raqamlar birlamchi manbalari bilan bizning maʼlumotnomamizda jamlangan.

Bu ishda biz qayerda turibmiz — ochiq gap

Nutqni tanib olish va sintez qilish boʻyicha oʻz modellarimiz yoʻq. Biz botlarni boshqalarning modellaridan yigʻamiz va ularni mijozning xabarlarida tekshiramiz. Oʻzbek tili boʻyicha asosiy tajribamiz — Valli, Telegram Business uchun avtomatik javob beradigan AI-bot. 2026-yil sentabrida u nega oʻzbek tilini yomon uddalayotganini tahlil qildik va quyidagilarni oʻzgartirdik.

Til detektori endi oʻzbek tilini ikkala yozuvda ham, apostrofsiz lotinda ham taniydi, «Салом! Сколько стоит?» kabi aralash iborani esa ruscha soʻzlar roʻyxati boʻyicha ajratadi. Oʻzbekcha va tojikcha xabarlar endi kichik arzon modelga ketmaydi: u kompaniya nomlarini buzib yozar va tillarni chalkashtirardi. Kichik model faqat til aniq rus yoki ingliz tili boʻlgan joyda javob beradi.

Ovozli xabarlarni avval toʻliq quvvatli Gemini modeli transkripsiya qiladi, turbo versiyadagi Whisper zaxirada qoldi: oʻzbek nutqida u bizga qozoqchaga koʻproq oʻxshaydigan matn berardi. Gemini modelining yengil versiyasi (flash-lite) bizning bogʻlamamizda tovushni eshitmas va soʻrovdagi ishora asosida ishonarli transkripsiya toʻqib chiqarardi. Yuqoridagi testning beshinchi bandi shundan kelib chiqqan. Ovozli xabarga javob tilini transkripsiya matnidan emas, nutqning oʻzidan olamiz.

Kirillda javob olishga bitta prompt bilan erishib boʻlmadi: model baribir lotinga tortilaverdi. Kod yordam berdi. Mijoz kirillda yozgan-u, javob lotinda kelsa, alohida qadam uni kirillga oʻgiradi, brend nomlarini esa lotinda qoldiradi.

Bu oʻlchov emas, oʻz dialoglarimizdagi kuzatuvlar. Bizda foizlar yoʻq, shuning uchun maqolada ham ular yoʻq.

Rus va oʻzbek tillarida, ikkala yozuvda javob beradigan AI-agentni qanday yigʻishimiz va uning javoblarini ishga tushirishdan oldin sizning haqiqiy xabarlaringizda qanday tekshirishimiz «Biznes uchun AI-agentlar» sahifasida yozilgan. Agar soddaroq bot kerak boʻlsa — arizalarni qabul qilish, odatiy savollarga javob berish va nostandart savollarni odamga uzatish uchun — biznes uchun chat-botlar sahifasiga qarang.

Oʻz botingizni yoki pudratchingizni shu testdan oʻtkazmoqchi boʻlsangiz, vazifani bosh sahifadagi soʻrovnomada tasvirlab bering yoki Telegramda yozing. Bitta jarayon tahlili — 48 soat ichida, bepul.