Otabek’s I/O

Barchamiz miriqib kuzatgan
O'rgimchak Odam
,
Chaqmoq Makvin
,
Aka-uka Kreshlar (Muzlik davri)
va bir necha mashxur filmlarga ovoz bergan Abdulhay aka bizni platforma uchun ovoz berdilar.
Voicelab
da biz har kuni yangiliklar qilayabmiz. Yangi modellarimiz ham tez orada e'lon qilamiz. Ular hozirgisidan 5x kattaroq va ancha yaxshiroq bo'lishi kutilmoqda.

3ta startup
hiking + hiring
qilishni reja qildik (
internship uchun
). Topshiring, tabiat bag'rida tanishamiz, suhbat va intervyu qilamiz.
Topshirish

Biz yangilik qilishdan to'xtamayabmiz.
•
Aisha Comet
LLM modelimizni chiqardik. Platformaga oid savollaringizga javob beradi.
•
Voice Isolator
modellarimizni chiqardik. Endi Adobe Podcast va Elevenlabs dan 3-4x arzonroq va sifati oshsa-oshadi, ammo qolishmaydi.
Biz har bir foydalanuvchiga har oylik bepul kreditlar beramiz. Ishlatib ko'ring. Izohlarda fikringizni va audio output'larni kutib qolaman : )

#experience
Deyarli bir yarim yildan buyon intervyular jarayonida bitta savol doim so'rayman "Eng qiyin yechgan muammoyingiz nima?".
Bu savol nega muhim? Chunki bu savolni ichida juda ko'plab yaxshi savollarga javob olish mumkin, kandidat haqida. Masalan, uni izlanuvchan ekanligini "Muammoga qanday duch keldingiz va uni qanday yechdingiz?", muammo yechuvchanligini esa "Aynan qanday limitlar bu muammoni qiyin qilib turgandi?", yaxshi muhandsiligini "Nimalar qildingiz? Qanday qildingiz?" va qanchalik chuqur kira olganini esa har bir qismiga ko'proq to'xtalib savol bilan aniqlash mumkin.
Men ko'rgan yaxshi muhandislar javob bermaydi, ular o'rgatadi, bo'lishadi. Dasturchi muhandislik juda qiziq soha, biz har kuni har xil muammolarga duch kelamiz. Muammoni yechish hozir osonroq, AI Agentlar xisobiga. Lekin muammoni o'rganish va uni keyingi safar oldini olib qo'yish xislati kamayib bormoqda.
Eng zo'r muhandislar muammoni yaxshi o'rganadi, tahlil qiladi, yechim beradi va keyingi safarga tayyor turadi.

#experience
Ko'pchilik bir xil savol beradi:
"Model o'zilarnikimi yoki open-source modelmi?"
O'zimizniki ham bor, open source modellarimiz ham bor. Nimaga "pre-train" (
ma'lumot yig'ib, PyTorch va JAX code bilan neural networkni tuzish, necha qavatli qilish, attention, yashirin dimension lar va hardware ga mos optimizatsiya qilish, keyin katta model uchun distributed system qilish chunki katta modellar bitta GPU ga sig'maydi, Hyperparameter configuration va h.k.z larni hammasini qilish deganida
) qilmaysizlar to'liq ham deyishadi. Odatda javobim bunday.
Pre-training juda og'ir jarayon, ayniqsa low-resource (resursi kam bo'lgan) tillar uchun model qilish undanda og'ir. Ma'lumot yig'ish, tozalash jarayonini o'zi sizni butun umrlik qiynoqqa soladi. Biz bunday holatlarda osonroq yo'ldan ketamiz. Bor modelni olamiz, uni shunchaki post-train (fine-tuning) qilamiz. Bu jarayonda model'dagi og'irlik (weight) qayta balans qilinadi. Bu orqali model yaxshiroq o'rganadi eski ma'lumotlarini. Ya'ni ona tili ustozingiz diktantni faqat bir marta qaytarishi aniqlikni oshiradimi, yoki 2-3 marotabami?
Ikkinchi masala bu "compute". Hozirgi paytda bizga Azure, AWS va GCP zo'rga GPU'lar uchun imtiyoz berishgan. Ba'zilarida H100, H200 yoki B200 kabi kuchli videokartalar topishimiz qiyin bo'lsa, ba'zilarida bor ammo juda qimmat. Startup uchun bu og'ir.
Ammo imkon topayabmiz, modellarimizni yaxshilab borayabmiz. Undan tashqari CPU da ham ishlay oladigan modellarni ustida ishlayabmiz. Jarayondan o'rgangan 2 xulosam bor. Biri pre-train jarayoniga. Ikkinchisi post-training jarayoniga tegishli.
Barcha ma'lumotlarni chalkashtirib (shuffle qilib) keyin ularni boshidan oxirgacha teng distrbute qilish juda xato ekan. Model o'rganish darajasini (Learning rate) train jaryoni oxirida pasaytirish, va yuqori sifatli ma'lumotlarni berish kerak. Chunki aynan shu qismi modelni tugashi va post-training boshlanishi bo'ladi. Model ma'lumotni o'rgandi, endi unga bu ma'lumotni to'g'ri tushunish va ishlatishni o'rgatish (post-training) qismida ham sifatini saqlab qolishi uchun oxirgi ko'rgan ma'lumotlari juda sifatli bo'lishi kerak.
Model aldashni o'rganadi. Agar label qilingan ma'lumot faqat yaxshi tondagi javobga mukofot (reward) olsa, demak u cheat code qilishni boshlaydi. U doim muloyim va ishonchli aldashni boshlaydi. Buni natijasida u hallucinate qiladi, asosiy sabab bitta reward tonga (yoki stilga) nisbatan, haqiqatga (mazmun) emas.
RL muhitda bu tarafga qarash uchun modelni objective test qilish kerak, ya'ni natijani tekshirish oson bo'lishi kerak. Misol uchun "kod compile bo'ldi va to'g'ri ishladimi?", "javob haqiqatdan 42 chiqdimi?", "bergan javobi yaroqli JSONmi yoki nimadir qo'shvordimi?" degan savollarga javob topish. Chunki bularni tekshirsa bo'ladi.
Ovozli modellarda ham huddi shu jarayonni avtomatlashtirsa bo'ladi. Faqat ozgina sabr kerak ekan. Biz buni o'rgandik, bir kun yozish ham nasib qilsin. Uxlanglar endi : )

🎉
Vibe Talking urfga kiradi Kodni, xabarlarni, va matnlarni qo'lda yozish, o'rta asrlarga xos. VoiceLab Desktop bilan gapirib yozing. Barmoqlarni bukishni bas qiling, ovozli boshqaruvga o'ting. Ushbu promokod bilan butun ekotizim uchun, Creator tarifiga…

🎉
Vibe Talking urfga kiradi
Kodni, xabarlarni, va matnlarni qo'lda yozish, o'rta asrlarga xos. VoiceLab Desktop bilan gapirib yozing. Barmoqlarni bukishni bas qiling, ovozli boshqaruvga o'ting.
Ushbu promokod bilan butun ekotizim uchun,
Creator
tarifiga
70%
chegirma oling.
OTABEKSWE
(faqat
Creator
tarifiga ishlaydi)
Mac Apple Silicon
|
Mac Intel
|
Linux

So'ngi vaqtlarda hech qanday post yozmadim. Ammo juda ko'p yaxshi ishlar bo'ldi:
• Biz
VoiceLab
ni to'liq launch qildik.
• Juda ko'p eksperimentlar qilib qiziq bilim va tajribalar oldik.
• So'ngi modelimizga +30 tadan oshiq tillarni qo'shdik, endi ovozlar qidirayabmiz har xil tillarda (chiroyli ovoz sohib(a)lar)
• Shu orada research paper yozishga ham ulgurdim, buni voicelab blog sahifasini yaratib bo'lishib o'taman
• Soniox, Elevenlabs va boshqa kompaniyalardan bizga qiziqishlar bildirishayabdi (Shaxsan Mati Co-founder @ Elevenlabs tabriklab yozdi)
Xullas, yozish uchun yaxshi bilim va tajribalar olindi. Endi yozishga vaqt topish kerak : )

Sizga sovg'am bor. Bugun yakshanba, dam olish kuni. Algoritmlar bo'yicha bir paytlar o'tgan jonli darslarimni sizga o'rganishga bermoqchiman. Yana bunday darslarni o'tish uchun vaqt va sharoit topilishi bilan bularni yanada yaxshiroq qilishga harakat qilamiz.…

AI modellar quryabmiz. Eng katta olgan xulosalarim:
1. Hozirgi modellarda deyarli arxitektura tomonlama o’zgarish yo’q.
2. Yaxshilanishlar data labeling va reinforcement learning muhiti yaratuvchi kompaniyalar xisobiga bo’layabdi.
3. Fable, Sol ham shunchaki bir sohaga fine-tune (yoki CPT) qilingan chuqur.
Ammo modellar o’zgarmasa ham boshqa jarayonlar o’zgarayabdi:
1. Deyarli ko’p agentlar qurgan dasturlada ochiq joylar ko’payabdi.
2. Sifat tushib borayabdi.
3. Hardware kompaniyalar yana inovatsion izlanishlar qilishga kirishyabdi.
Yutishni yagona yo’li hali ham bir xil qolmoqda, fundamental bilimlarni o’rganish.
VoiceLab
dagi ba’zi modellarimiz va ilmiy ishlarimizni bo’lishib o’taman keyinroq. Hammaga hayrli kun.