Bu modul chiziqli modeldan haqiqiy neyron tarmoqlarga o’tish va ularning ikki katta oilasi — ketma-ketlik uchun RNN va zamonaviy transformer bilan tanishtiradi.
Neyron tarmoq va backpropagation
Chiziqli klassifikatorning chegarasi — har sinfga bitta shablon. Yechim: qatlamlarni ustma-ust qo’yish va oralariga nochiziqlilik (ReLU) qo’shish: h = ReLU(W₁x), s = W₂h. Endi model oraliq xususiyatlarni o’zi o’ylab topadi.
Millionlab og’irlikning gradientini qanday hisoblaymiz? Javob — hisoblash grafi + zanjir qoidasi. Har qanday murakkab ifoda oddiy amallar (ko’paytirish, qo’shish, max...) grafiga yoyiladi; forward’da qiymatlar chapdan o’ngga hisoblanadi, backward’da gradient o’ngdan chapga oqadi, har tugun o’zining lokal gradientini yuqoridan kelgan gradientga ko’paytirib uzatadi:
f(x, w) = (x·w − y)²
grafda: x·w -> minus y -> kvadrat
backward: d(kvadrat) = 2·(...), d(minus) = 1, d(ko'paytma): x tomonga w, w tomonga x
Shu mexanizm tufayli istalgan chuqurlikdagi tarmoq gradienti bir marta orqaga yurishda chiqadi. Qo’lda buni bir-ikki marta bajarish (topshiriqlarda qilinadi) — freymvorkdagi loss.backward() ichini tushunishning yagona yo’li.
RNN: ketma-ketliklar
Rasm — bitta kirish; matn, video, signal — ketma-ketlik. RNN har qadamda bitta element o’qib, yashirin holatini yangilaydi: hₜ = tanh(W·[hₜ₋₁, xₜ]) — holat shu paytgacha ko’rilganlarning xulosasi. Kompyuter ko’rishida klassik qo’llanish — image captioning: CNN rasmdan xususiyat oladi, RNN so’zma-so’z sarlavha yozadi.
RNN’ning dardi — uzoq bog’lanishlar: gradient ko’p qadam orqaga qaytishda kichrayib yo’qoladi (vanishing) yoki portlaydi (exploding). LSTM/GRU eshiklari buni yumshatadi, lekin tub muammo qoladi: hisoblash qat’iy ketma-ket — parallellashtirib bo’lmaydi.
Attention va transformer
Attention g’oyasi: keyingi elementni bashorat qilayotganda kirishning hamma qismiga qarab, keraklilariga ko’proq og’irlik berish. Self-attention’da har element uchun Q (so’rov), K (kalit), V (qiymat) vektorlari hisoblanadi; e’tibor og’irliklari softmax(QKᵀ/√d) dan chiqib, V’lar shu og’irlik bilan aralashadi.
| RNN | Transformer | |
|---|---|---|
| Qayta ishlash | qat’iy ketma-ket | to’liq parallel |
| Uzoq bog’lanish | holat orqali, unutiladi | to’g’ridan-to’g’ri attention |
| Tartib signali | tabiiy (qadam tartibi) | pozitsion kodlash kerak |
| Masshtablanish | cheklangan | juda yaxshi (shu sabab yetakchi) |
Transformer bloki = multi-head self-attention + MLP, residual bog’lanish va layer norm bilan. Dastlab tilda paydo bo’lgan bu arxitektura ko’rishga ham kirib keldi (keyingi modullarda ViT) va hozirgi asos modellarning skeleti bo’lib turibdi.
Amaliyot
- f = (x + y)·z grafini chizing; x=1, y=2, z=3 da forward, so’ng har o’zgaruvchi bo’yicha backward gradientlarni qo’lda hisoblang.
- ReLU tugunining lokal gradienti qanday ekanini yozing (kirish musbat/manfiy holatlarda) — "o’lik ReLU" atamasi shu yerdan chiqadi.
- RNN yashirin holatini "o’qilganlarning konspekti" metaforasida 2–3 jumla bilan tushuntiring.
- Nega RNN’ni parallellashtirib bo’lmasligini, transformer esa bo’lishini bir jumladan yozing.
- "It suyakni oldi, chunki u och edi" gapida "u" uchun attention og’irliklari taxminan qanday taqsimlanishini yozing.
Modul testi keyingi darsda.