O kom takmičenju se radi?
Takmicenje za osnovne skole.
Poruka:
Predlazem da se doda feedback barem na JSIO. Razumem da se na neke zadatke ne treba stavljati feedback ali ipak na JSIO se odredjuje tim koji ide dalje, i moze se desiti da ne prodje neko ko treba zbog sitnica. Pecanje poena se moze resiti na 10 razlicitih nacina ako je to idalje problem.
Dogovor unutar Komisije je da se javno ocenjivanje (full feedback) omogući na takmičenjima sa kojih rezultati direktno utiču na izbor ekipe za međunarodna takmičenja, a to su JSIO i Izborno takmičenje, tako da će ovaj predlog biti usvojen. Na državnom takmičenju će se nastaviti dosadašnji način ocenjivanja. Pozdrav!
Pa opet, neko možda neće ni doći do JSIO zbog sitnice, a skoro sam siguran da je do skoro i na državnom bio full feedback, ali OK, vi najbolje znate zašto forsirate da ne bude full feedback što je je više(dalje) moguće kvalifikacije->okružno->državno->JSIO, verovatno ima neke logike i prilikom izbora ko će se plasirati na JSIO
Ja smatram da je korektno od komisije sto su uveli full feedback na jsio i izbornom , ne zaboravi da prosle godine nisi imao full feedback na jsio i izbornom. Ja tebe razumem zasto smatras da treba da bude feedback i na drzavnom ali dobro je sto uopste ima feedback na takmicenjima gde se bira ekipa za ejoi.
Iako verujem da se većina članova Komisije slaže sa većinom stvari koje ću napisati, ovo treba shvatiti kao lično razmišljanje jednog člana Komisije.
Ceo ciklus takmičenja ima mnogo ciljeva među kojima je samo jedan od (ali po mom mišljenju ne i glavni) izbor ekipe za međunarodna takmičenja. Mnogo bitniji ciljevi su da takmičari nauče korisne tehnike programiranja, da razviju algoritamski način razmišljanja, da nauče da pobeđuju i gube i da usput zavole programiranje. Jedan važan aspekt programiranja je svakako i provera valjanosti rešenja tj. testiranje. Razmišljanje o specijalnim slučajevima koji postoje u problemu je, (opet po mom mišljenju) jako bitan deo razumevanja samog problema i mislim da je učenje dece da razmišljaju o svim aspektima problema koje rešavaju dobra investicija u njih (čak i ako se neće baviti programiranjem). Na takmičenjima nekad dajemo i zadatke čija je cela težina u pronalaženju svih slučajeva. To svakako liči i na rešavanje programerskih problema u stvarnom životu, tamo nema neke mašine koji će magično reći - kod radi ili kod ne radi, već je (makar inicijalno) testiranje na samim inženjerima. Naravno, u svetu je ustaljeno da su “obično, industrijsko” i “takmičarsko” programiranje dve različite discipline i u tome nema ničeg spornog iako, u zavisnosti od takmičenja, nekad postoji, a nekad ne postoji javno ocenjivanje. Naravno, od dece se ne očekuje da pišu ne znam kakve testove za svoj kod, ali ručno istestirati na par relevantnih primera ne oduzima previše vremena.
Pošto je na međunarodnim takmičenjima na kojima ekipa Srbije učestvuje omogućeno javno ocenjivanje, na domaćim takmičenjima na kojima je izbor ekipe glavni cilj (SIO i Izborno) će biti dostupno javno ocenjivanje. Što se tiče komentara da možda neko neće ni doći na SIO zbog sitnice, slažem se da je to moguće. Ipak, kao što vidite, pragovi u bodovima za prolaz dalje na nižim nivoima takmičenja su dosta niski (za državno je bilo 1 ceo zadatak u 6. i 8. razredu, a pola zadatka u 7. razredu). Mislim da je verovatnoća da neko ko ne uradi jedan ceo zadatak na okružnom takmičenju (kakve god greške da je pravio) prođe na međunarodno takmičenje dosta mala. Naravno, za prolaz sa državnog na SIO će biti malo veća granica, ali javno ocenjivanje će retko na nekom zadatku napraviti razliku između 0 i 100 poena, pre će to biti nekoliko test primera koji su specijalni slučaj. To znači da ako je npr. za prolaz na SIO potrebno 250p, đak kome je promakla sitnica i ima 230 poena sa javnim ocenjivanjem bi imao recimo 260, a ne 330 poena. Naravno moguće je da neko ko ima 260p na državno odlično uradi naredna takmičenja i uđe u ekipu, ali bih i tu veće šanse dao onima sa npr. 300+ poena. Još jedan argument za javno ocenjivanje može biti vremensko ograničenje u zadacima, ali mi se trudimo da damo takve probleme da đaci vrlo lako mogu da procene da li im je rešenje dovoljno dobro ako iole znaju nešto o efikasnosti koda (a trebalo bi da znaju ako imaju ambicije da uđu u ekipu).
Malo sam odužio, ali nadam se da sam bio jasan. Sva ova pitanja su, naravno, otvorena za diskusiju koju i Komisija interno ima svake godine.
Nije istina u zadacima sa grupisanim test primera. Eto meni je nedostajala jedna linija koda i to mi je napravilo razliku izmedju 20 i 100 poena. Pitanje je sada da li postoji mogucnost prolaska na JSIO.
Nije bas tako , desavalo mi se da dobijem 0 poena zbog viska razmaka(space-a), a kod je radio za 100 nakon obrisanog tog space , ili ako je neki malo iskusniji takmicar debugovao svoj kod i zaboravio da obrise taj red koji je debugovao odmah 0 poena. U sustini se slazem sa vama ali nije 100% tako.
Evo sada kada je prošlo takmičenje i stigli rezultati možemo popričati o tome. Slažem se da se do državnog stizalo i sa greškama u pecanju, da bolji programeri nisu ostali bez plasmana i tu nema spora. Ovaj razgovor uopšte nije bio o tome što je neko malopre spomenuo. Pitanje je bilo da li je na državnom trebao biti full feedback.
Uzmimo na primer OSMI RAZRED, pošto većina onih koji će biti pozvani na olimpijadu su učenici osmog razreda. Inače svaka čast kako su zadaci postavljeni i pre svega objašnjeni da deca mogu da razumeju šta se traži. Prvi put ovako slikovito
Prvi i treći zadatak su klasično pecanje. Pogledao sam malo kodove takmičara i uvideo gde su grešili:
U prvom zadatku su test primeri dolazili odozdo ili završavali na nuli (gde je sve jedno odakle dolaze). Ako je neko zaboravio slučaj da može linija da dođe odozgo njemu su test primeri pokazali da je sve u redu i nije obratio pažnju na kontra slučaj, a kada su izašli rezultati (pošto su za taj zadatak grupisali primere i ako samo jedan nije tačan učenik dobije 0 poena za tu grupu? Zašto tako ljudi? Moguće jer je namerno pecanje, mislio sam da je treći namerno a prvi slučajno, ali sada nisam baš siguran - baš me čudi što su grišisali primere i time nisu razdvojili bolje programere koji su se upecali od prosečnijih) i dobili su samo 20-30 poena (nisam mogao baš da upoređujem zašto je neko dobio 20 a neko 30 ali jeste heavy da se izgubi 70-80 poena zbog toga. Zašto toliko nije mi nikako jasno?) Deca koja su uradil prva dva lakša zadatka imaju isti broj poena kao neko ko je odradio skoro sve (da kažemo četvrti polovično jer je bio težak za decu) ali se upecao u prvom i trećem. I to direktno utiče ne samo na plasman na olimpijadu nego moguće i na nagradu. Inače veoma je zanimljivo da su se na prvom (gledamo samo gornju polovinu takmičara) upecala skoro sva deca iz Matematičke a ostali većinom nisu. To me baš čudi, ne liči na njih - znam da se mnogi oduševe kada oni kiksnu ali mene više zanima sociološki zašto je to tako (baš je zanimljivo - moguće jer ih uče da rade brzo i sve zadatke, pa im ovakvo pecanje ne odgavara, ali ne mogu da se bavim sada tom analizom). Srećom se nije mnogo ostale dece upecalo na prvom, mada mi je žao svakog deteta koji ostane bez olimpiijade ili nagrade zbog ovakov pecanja (bez 70-80 poena).
Treći zadatak je pecanje i to baš baš zeznuto, jer kao i u prvom svi test primeri pokažu da je sve u redu a onda ispadne kada izađe rešenje da su prekoračili vreme. To je veoma teško i za iskusne programere da provale da li će nešto prekoračiti zadato vreme ako nemaju mogućnosti da ga istestiraju. Da su u nekom od test primera pokazali da je vreme prekoračeno bila bi druga priča, ovo je baš baš heavy za decu.
Inače što se tiče pecanja da ovo ne utiče na prolaz na olimpijadu meni bi to bilo OK jer i sutra dan kada budeš bio programer ćeš morati da vodiš računa o tome da ti kod radi u raznim slučajevima - ALI NARAVNO NE BAŠ KAO U PRVOM ZADATKU DA IZGUBIŠ 70-80 poena zbog toga, to je baš preterano, da bar nisu grupisali primere ili bilo šta drugo da su smislili, ovo je previše heavy i te koji su se upecali su sa poenima srozali na učenike koji su samo znali da urade lakše zadatke a imali su i više vremena jer se nisu bavili trećim i četvrtim, ili u trećem što je baš teško ne samo za decu da provale da li će njihov kod probiti 0.2 sekunde ako su im svi test primeri OK
Međutim pošto je ovo ujedno i izbor za olimpijadu a na međunarodnim takmičenjima postoji full feedback, mislim da je i na državnom to trebao biti slučaj samo zbog toga
Većinom se slažem, naročito da deca trebaju da nauče da programiraju i sami nađu bag u svom kodu i svaka vam čast na organizaciji , sve je bolje i bolje, ali nikako se ne slažem sa ovim delom. Objasnio sam detaljno u postu iznad pa da se ne ponavljam ovde. Možete da pročitate taj post ako vas ne mrzi (da je stvarno razlika samo 30 poena ovo bi imalo smisla, ali sam objasnio zašto to nije tako, razlika je baš velika kod nekih učenika)
Ja msilim da ćeš ti da prođeš (ali to je samo moje mišljenje, nemam veze sa komisijom) i svaka ti čast, baš si odvalio ovo državno, ali se to na žalost ne vidi zbog grupisanja primera u prvom zadatku, ispada kao da si prosečan, samo 30 poena više od dece koja su znala da urade samo prvi i drugi ali si ga ti toliko odvalio da si i sa tom greškom uspeo da budeš iznad njih (jeste, znam, samo 30 poena iznad ovih sa samo tačnim prvim i drugim a velika razlika u znanju između tebe i njih, ali ja se nadam da ćeš biti pozvan - srećom si odvalio treći inače bi ispao još gori od njih).
Pored full feedbacka mislim da je veeeelika greška grupisanje primera prilikom bodovanja, evo ti si pravi primer za to. Nadam se da ćeš proći (ima dece koja su bez šansi zbog grupisanja) a i ako ne prođeš najvažnije je da postoji velika razlika između dece koja su samo znala da urade prva dva a ostala ni da taknu, iako se to ne vidi u poenima.
Nije život samo takmičenje, to tvoje znanje će značiti sutra kada budeš studirao, zaposlio se…
Pre svega, hvala Vam na čestitkama za organizaciju i na dobronamernim sugestijama. Čitajući Vaše ranije sugestije pokušali smo da malo bolje/prilagođenije i slikovitije objasnimo zadatke, a to planiramo da radimo i u budućnosti kada god budemo u prilici.
Pročitao sam pažljivo Vaš prethodni post, ali se bojim da ćemo ostati sa različitim mišljenjima po pomenutom pitanju. Kada sam napisao originalnu objavu nisam želeo da otvaram i ulazim u diskusiju već da takmičarima, nastavnicima i roditeljima približim razmišljanje jednog člana komisije, ali s obzirom da ste pomenuli konkretan zadatak, osvrnuću se i na to. U pomenutom zadatku učenici koji su dobili 20-30 poena nisu dobro promislili o zadatku i gotovo izvesno nisu dovoljan trud uložili u testiranje jer bi pri testiranju prvo trebalo da im padne na pamet da linija ne mora da dolazi uvek odozdo (ili odozgo - bilo je slučajeva da učenici zapravo pokriju samo onaj slučaj koji nije u primeru) - ko to nije uočio jednostavno nije tačno rešio zadatak. Poenta testiranja i jeste u tome da se proveri da li je naše rešenje pokrilo širok spektar slučajeva. Da li je umesto 20-30 poena ovakvo rešenje moglo da donosi 30-40? Možda je i moglo, ali ja bih rekao da nikako ne bi smelo da nosi 50 ili više poena. Članovi Komisije koji su određivali način bodovanja su u tom trenutku doneli ovakvu procenu - naravno da nemamo svi uvek iste procene, ali neka odluka se mora doneti.
Ja se slažem sa Vama da postoje argumenti da se dozvoli “full feedback”, ali kao što sam napisao gore, po mom mišljenju argumenti protiv toga pretežu. Ne kažem da je to apsolutno tačno, ali u ovom trenutku je to mišljenje koje preovladava u Komisiji.
S obzirom da smo primetili da jedan deo učesnika (natavnika, roditelja) ne gleda na javne test primere (iz teksta zadatka) na isti način kao i Komisija, uskoro ćemo na sajtu takmičenja napraviti jednu objavu koja se pojašnjava naše viđenje.
Hvala Vam još jednom na diskusiji i sugestijama Mi ćemo se svakako truditi da sve eventualne propuste (koji se neminovno događaju) svedemo na minimum i u budućnosti, kao i do sada.
Takođe, moram reći da mi ne prija izraz “pecanje”. Taj izraz navodi na to da Komisija ima za cilj da uhvati takmičare u greškama i da ih nekako prevari, što ne može biti dalje od istine. Mi se maksimalno trudimo da damo prilagođene zadatke koji adekvatno testiraju znanje takmičara i da damo test primere koji adekvatno proveravaju da li je zadatak urađen dobro, ništa više od toga
Sa ovim argumentom se ne slažem. Postoje test primeri iz teksta zadatka koji između ostalog služe da takmičar proveri da li mu je dobar format ulaza i izlaza. Greške koje si ti naveo se vrlo lako primete tako što javni test primeri pokažu WA. Ali čak i takmičari koji pošalju taj kod i napišu žalbu naknadno dobijaju zaslužene poene (u Pravilniku je eksplicitno rečeno da se u osnovnoj školi može žaliti na takve stvari).
Hvala na odgovoru.
OK, neću više koristiti izraz pecanje Meni je čak OK da se ponekad namerno uhvate takmičari u greškama (naročito za ekstremne primere) ali shvatam da vam izraz ne prija.
I kao što sam napisao nisam baš veliki zagovornik full feedback-a, jasno da postoje jaki argumenti protiv.
Većinom se slažem sa vama, jer jedino kao što ste i sami rekli da se tu nećemo složiti, mislim da je ono što ste napisali prvi put - da se ukidanjem full feedback-a može izgubiti 30 poena nešto što se trebalo zadržati i u realnosti (jer jasno je da takmičari koji su u prvom zadatku dobili 20-30 poena da bi sa full feedback-om imali 100) ali naravno, komisija ima svoje razmišljanje, čak i među vama verovatno dolazi do razmimoilaženja, sada je odlučeno ovako i to je to.
U svakom slučaju, želim vam da nastavite sa dobrim radom, i da svake godine budete sve bolji i bolji
Edit: Da, da. zaboravio sam na mogućnost da neko može da printa samo 0,1 ili -1 i tako dobije 33 poena a da nije ni uradio zadatak