Bu modul — zamonaviy tadqiqot manzarasi: katta modellarni o’qitishdan tortib inson-markazli AI’gacha bo’lgan to’qqiz yo’nalishning xaritasi.
Keng miqyosli taqsimlangan o’rgatish
Katta model + katta dataset bitta GPU’ga sig’maydi. Asosiy usul — data parallelism: modelning nusxasi har GPU’da, har biri o’z mini-batch bo’lagini qayta ishlaydi, gradientlar yig’ilib (all-reduce) o’rtachalanadi — natijada effektiv batch kattalashadi. Model sig’may qolsa — model/pipeline parallelism: qatlamlar qurilmalarga bo’linadi. Amaliy sozlik: batch kattalashsa learning rate ham mos oshiriladi.
O’z-o’zidan o’rganish (self-supervised)
Yorliqlash qimmat, yorliqsiz rasm esa cheksiz. G’oya: yorliqni ma’lumotning o’zidan yasash. Dastlabki pretext vazifalar: rasmni aylantirib "necha gradus?" deb so’rash, bo’laklarning joyini toptirish, rangni tiklattirish. Zamonaviy yetakchi — kontrastiv o’rganish (SimCLR uslubi): bitta rasmning ikki augmentatsiyasi — "juft", boshqa rasmlar — "begona"; model juftlarni embedding fazosida yaqin, begonalarni uzoq qilishga o’rgatiladi. Natija — yorliqsiz o’rganilgan kuchli tasavvur (representation): ustiga kichik chiziqli klassifikator qo’yib (linear probe) baholanadi va transfer learning’da ishlatiladi.
Generativ modellar
Diskriminativ model p(sinf|rasm) ni o’rgansa, generativ model rasmlarning o’zining taqsimotini o’rganib, yangi rasm yarata oladi. To’rt oila:
| Oila | G’oyasi | Kuchli/zaif tomoni |
|---|---|---|
| Autoregressiv | pikselni piksel ketidan bashorat | aniq ehtimol; sekin |
| VAE | latent fazoga siqib-tiklash | tartibli latent fazo; xiraroq natija |
| GAN | generator vs diskriminator o’yini | o’tkir rasm; o’qitish injiq |
| Diffuziya | shovqinlash jarayonini teskari o’rganish | sifat yetakchisi; ko’p qadamli generatsiya |
Diffuziya bugungi rasm generatorlarining asosi: rasmga bosqichma-bosqich shovqin qo’shiladi (forward), tarmoq (odatda UNet) har bosqich shovqinini bashorat qilib olib tashlashni o’rganadi (reverse) — sof shovqindan rasm "tozalanib" chiqadi.
3D ko’rish
Dunyo tekis emas. 3D tasvirlash usullari: chuqurlik xaritasi, voxel (3D piksel — xotirani ko’p yeydi), point cloud (nuqtalar to’plami — lidar chiqishi; tartibsiz to’plamni qayta ishlashga PointNet uslubidagi tarmoqlar), mesh (uchburchak sirtlar) va yangi to’lqin — neural rendering (NeRF uslubi: sahna bir tarmoq og’irliklarida kodlanadi, istalgan rakursdan render qilinadi).
Multimodal, robot va inson-markazli AI
Ko’p modalli asos modellar: CLIP uslubida yuz millionlab (rasm, matn) juftlikda ikki enkoder kontrastiv o’qitiladi — rasm va uning tavsifi bitta fazoda yaqinlashadi. Natija: zero-shot klassifikatsiya (sinf nomlarini matn qilib berish kifoya), matn bilan rasm qidirish, generatorlar uchun poydevor. DINO kabi self-supervised ViT’lar ham yorliqsiz hayratlanarli semantik xususiyatlar o’rganadi.
Robot o’rganish: ko’rish endi harakatga ulanadi — imitatsiya (odam namoyishlaridan) va mustahkamlash (reinforcement: mukofot orqali sinov-xato) usullari; qiyinchilik — real dunyoda ma’lumot qimmat, simulyatsiyadan realga o’tish (sim-to-real) oson emas.
Insonga yo’naltirilgan AI: dataset nosozliklari model xolisligiga aylanadi (bias), qarorlar izohlanishi (interpretability) va adolatliligi tekshirilishi kerak; texnik yechim yetarli emas — baholash mezonlari va qo’llash konteksti ham mas’uliyatning qismi. Kuchli modellar davrida bu bo’lim ixtiyoriy emas, kasbiy odob qatlamidir.
Amaliyot
- 4 GPU’li data parallelism’da bitta o’qitish qadamini bosqichma-bosqich yozing (bo’lish → forward/backward → all-reduce → yangilash).
- O’zingiz yangi pretext vazifa o’ylab toping va u qanday foydali xususiyat o’rgatishini asoslang.
- GAN va diffuziyani "yaratish jarayoni" nuqtai nazaridan solishtiring: bittada rasm qanday tug’iladi?
- Lidar nuqta bulutini nega oddiy 2D CNN bilan qayta ishlab bo’lmasligini tushuntiring (tartibsizlik, zichlik).
- CLIP bilan zero-shot klassifikatsiya qanday ishlashini qadamlab yozing: sinf nomlari → matn embeddinglari → rasm embeddingi → eng yaqini.
- O’z sohangizdan bitta bias xavfini toping: qaysi dataset, qanday guruh zarar ko’rishi mumkin, qanday tekshirasiz?
Modul testi keyingi darsda.