Dragutin Oreški UI Suputnik · Susret 11
tekst

Klasa 11 · Umjetna inteligencija

Obrada
prirodnog jezika

Kako računalo „čita" rečenicu? NLP je grana umjetne inteligencije koja tekst pretvara u nešto što stroj može mjeriti i razumjeti. Ne razumije jezik kao mi — uči ga iz obrazaca u golemim količinama teksta.

🔎 Tražilice i chatbotovi 💬 Analiza sentimenta 🗂️ Razvrstavanje dokumenata

Kako to radi

NLP pipeline u 5 koraka

Prije svake analize tekst se „očisti" i pripremi. Svaki korak pretvara rečenicu u oblik koji je računalu lakši za obradu — kao priprema sastojaka prije kuhanja.

1

Tokenizacija

Rečenicu režemo na pojedinačne riječi — tokene.

2

Mala slova

„Pas" i „pas" postaju ista riječ — normalizacija.

3

Stop-riječi

Izbacujemo česte riječi bez značenja (i, u, na, je…).

4

Stemming / lema

Svodimo riječ na osnovni oblik (mačku → mačka).

5

Frekvencije

Brojimo koje se riječi najčešće javljaju — to su teme.

Praksa

Isprobaj NLP pipeline

Upiši vlastitu rečenicu (ili odlomak) i gledaj kako se uživo mijenja kroz svaki korak. Sve se računa u tvojem pregledniku — bez interneta.

01Tokenizacija tekst → pojedinačne riječi
02Mala slova normalizacija velikih/malih slova
03Micanje stop-riječi prekrižene su izbačene
04Stemming (HR, naivni) grubo rezanje nastavaka — usporedi s pravom lemom
05Frekvencije (top 10) najčešće sadržajne riječi

Provjeri se

Kratki kviz

Tri pitanja, odgovor odmah. Klikni na opciju koju misliš da je točna.

Pravi modeli

Isprobaj prave modele (Hugging Face)

Sve što si gore radio/la ručno, gotovi modeli rade automatski. Otvori link, upiši tekst u widget na stranici modela i odmah vidi rezultat. Svi su to BERT-tip modeli sa slidea 20–21 — samo specijalizirani za jedan zadatak (sentiment i NER su „klasifikacija teksta" sa slidea 4).

Istraži sam/a: filtrirani popisi modela na Hugging Faceu — klikni model i isprobaj ga u ugrađenom widgetu.