Wednesday, February 22, 2023

Inte bra alls ... Eller problemet med AI.




Hej onsdagsfolket!


Häromdagen då jag var ute på min dagliga runda träffade jag på en gammal vän jag inte sett på länge.
Min kompis, Mel, skulle precis gå in på Starbucks när jag kom ångande på min runda.
Stor kram och allt det där.
Det slutade med att jag avbröt min promenad och vi gick in på Starbucks och tog en långfika. En mycket längre fika än vad Mel hade räknat med då hon stannade till för att köpa sitt morgonkaffe. Dessutom en totalt oväntad fika för mig, inte desto mindre kul. Måndagen var dessutom helgdag för statligt och kommunalt anställda, President’s Day. Ledig dag för Mel således.


Jag har känt Mel sen Karolina gick i Kindergarten.
Karolina och hennes son gick i samma klass. Under några år var vi jättebra vänner, men med tiden har hon blivit en sådan där kompis som befinner sig i periferin. Samma med mig för henne såklart.
Hennes son och Karolina var också jättebra vänner under lågstadiet, men längre upp i åren hamnande de i olika kompisgrupper på högstadiet och gymnasiet.


Mel själv är gymnasielärare i kemi och biologi på Karolinas gamla High School.
Hon undervisar ett avancerat spår, det svåraste spåret, hon undervisar i IB-kemi-biologi (IB står för International Baccalaurate).
High schools här i US, iallafall i min kommun (det är olika över hela landet och även inom den egna staten) har en massa olika spår att välja mellan när eleven börjar gymnasiet. Det finns allt från lättare klasser (för den som kanske inte tänkt gå vidare till universitet efter gymnasiet) till spår som redan i sig ger universitetspoäng och bäddar för framtida studier på universitet och högskola. 
Mellan det enklaste spåret och IB finns det ett antal andra vägar att gå för eleven i olika svårighetsgrader. Man kan välja att satsa på det som kallas “full IB-diploma”. Då tar man högsta spåret i alla klasser, engelska, matte, kemi, fysik, historia, främmande språk och ibland även i andra ämnen.
För att gå ut med en IB-examen måste man klara av samtliga klasser inom IB.


Karolina hade från början siktet inställt på en fullbordad IB-examen, men hon fick vika sig eftersom hon inte klarade av varken matte eller kemi-fysikklasserna, istället tog hon examen med IB-certificates i Engelska, historia, biologi och drama.
I övriga klasser tog Karolina halvsvåra spår.
Utbytesstudenter tar sällan de avancerade spåren då de kommer hit från övriga världen för att plugga ett år. Det finns ingen anledning till det eftersom de inte ska läsa vidare på college här. Ofta tar utbytesstudenter de lätta spåren, och det är ju vettigt.


Men, tillbaka till min fika med Mel.
Mel berättade att hennes avgående IB-elever i kemi nyligen skrivit den avancerade uppsats som de måste avlägga innan de tar sin examen i juni. Ett stort projekt för både elever och lärare.
Mel berättade att när hon satte sig ner för att börja rätta alla de här proven så märker hon något lite udda, men samtidigt lika, på vilket sätt somliga av dessa uppsatser är skrivna på.
De var likvärdigt skrivna fast med viss variation. Hon sa att varningsklockor genast började ringa inom henne.
Mel berättade att hon, och flera andra kollegor på skolan inom naturvetenskap, började ana ugglor i mossen. Tillsammans började de forska i varför så många uppsatser var skrivna på så liknande sätt. Ganska snart hade de kommit underfund med att det var AI som använts, alltså Artificiell intelligens.
Mel sa att hon var helt slut efter tre dagars kämpade med detta. Nu ligger ärendet hos rektor och senare hamnar det hos skolledningen i min kommun.
Hon är inte säker på om dessa elever ens kommer att få sin examen i juni. Nu är det inte hennes bord längre, det ligger hos högre instanser.


Det här med AI är så nytt för alla.
Men det är helt klart något skolorna är uppmärksamma på.


De cirka trettio avgående eleverna som detta handlar om har redan kommit in på respektive universitet till hösten. MEN de kan nu fällas på grund av detta. Frågan är, vad händer nu med dessa trettio elever?
Jag vet inte hur många elever det är allt som allt som skrivit dessa prov, men nog rör det sig om några hundra iallafall. Vilken tragedi för de trettio inblandade om de nu sinkat sina framtida universitetsstudier.


AI är otäckt, ja jag tycker nog faktiskt det.
Man ska hänga med i utvecklingen och allt det där … jag vet … men just AI känns mest som något som VERKLIGEN kan gå väldigt snett.
I framtiden kanske man inte kan lita på något alls. Dessutom är det så nytt att vi inte riktigt vet vad om komma skall. Tror själv att det kan få enorma konsekvenser.


Nåväl, fortsättning följer antar jag … Jag ska höra med min svägerska, som ju också är gymnasielärare inom min kommun, om hon märkt av detta. DET har hon med all säkerhet gjort.


AI eller inte, nu sticker jag ut på min morgonrunda och önskar dig en bra och AI-fri onsdag!

26 comments:

Dr Jo said...

Hejsan,

Jo jag hörde på nyheterna att ChatGPT som AI tjänsten heter har använts på prov inom både ekonomi och juridik. Det är svårt det där.
Självklart oetiskt men jag hade det väldigt tufft i skolan och det är inte så lätt att vara moraliskt när det (speciellt i USA) hänger så mycket på bra akademiska meriter för att komma någonstans.

Hördet ett citat som gick något i stil med "You won´t be replaced by AI but someone using AI might replace you". Tekniken är väl här för att stanna men precis som med en hammare så kan det användas på olika sätt.

Som scientist ser jag AI mer som inlärda algoritmer. Det i sig skrämmer mig inte. Men det tar ett tag innan samhället hänger med.
Så mycket i skolan men även samhället är ju byggt på mätbara resultat. Kan vi inte ge en elev ett betyg, hur ska vi då kunna särskilja på inviduell prestation som kunskap och till viss del motivation och engagemang. Har inga lösningar men det är en fashinerade och visst lite stökig utveckling.

Måste vara väldigt svårt som lärare, men är nyfiken på hur det ska gå till att fälla dom.

Stor onsdagskram från Johanna!

Anonymous said...

Begär att uppsatsen skrivs för hand!

(Men kanske dom inte kan skriva?)

Ruth i Virginia

Cari said...

Åh så svårt. Man har alltid använt böcker, uppslagsverk, info på nätet mm för att skriva. Men att helt låta AI skriva uppsatsen är ju något helt annat. Verkligen fusk.
Så bra att din väninna upptäckte detta. Om inte annat ger det kommande elever info om att det är fel och att det upptäcks.

En annan sak - så trevligt att ni träffades och att ni båda hade tid för att fika.

Brysselkakan said...

Har absolut hör om detta. Vår son, som ju undervisar på univ sedan 2013 och sedan 2017 i USA, stöter på fusk regelbundet. Han anmäler, vilket är en mycket jobbig och tidskrävande process, och sedan släpper han det, det är andra som ska bedöma om det är fusk. Mest är det att de använt sig av diverse websidor för hjälp med matematik och bara kopierat rätt av. Men som sonens säger; ibland tror jag de är dumma, fattar de inte att jag ser igenom detta? Att jag inte vet om dessa sidor? Rätt enkelt att hitta deras frågor om hjälp på dessa hemsidor och därmed bevisa fusk.
Så han har haft flera elever som inte fått slutbetyg i hans klasser. Sedan har de mage att komma och beklaga sig och vädja om slutbetyg för att de måste ha det, det blir dyrt att ta om klassen etc. Men det borde de tänkt på innan. Han är stenhård; har man fuskat så har man.

Brysselkakan said...

Ang Ruts kommentar om att skriva prov för hand:
Visst det är möjligt. Men så som lärare på univ jobbar mycket tidsödande. Vissa kurser ger till hundratals elever, flera lärare som parallellt håller samma kurs och sedan delas rättandet upp bland alla de lärare som håller kursen. Tex är det fem lärare och 20 frågor så rättar de fyra frågor var, dvs tex fråga 1-4 för alla prov och då även för de kurser som andra höll. Detta för en mer rättvis bedömning och det är mer effektivt. Skulle detta då ske med handskrivna prov (vilket har hänt min son när det finns lärare som vägrar använda digitala prov) så ska dessa buntar med prov först rättas av person nr 1, sedan vidare till person nr 2 osv. Det tar tid! Och risken att det blir fel är större.
Det är i alla fall så det gåt till där min som jobbat och jobbar!

Mamma C said...

Det har alltid fuskats mer eller mindre i skolan. Det här hade jag aldrig hört talats om tidigare.
Jag har också fuskat någon gång när jag gick i skolan. Men då med några stödord inskrivet i handen 🙈. Men det var väl en sisådär 50 år sedan eller mer.
Det ska bli spännande att höra slutet på denna historia.
Kram Carin

Elisabeth said...

Vad intressant att läsa om de fuskande eleverna, framförallt hur Mel upptäckte det, för som lärare reagerar man just på sådant hon reagerade på; likvärdigt skrivna uppgifter där det bara finns en viss variation. Många elever tror inte att vi lärare märker sådant (eller andra försök till fusk), men det gör vi. Problemet med AI är att kunna bevisa fusket i fråga. Vet du hur Mel och hennes kollegor gjorde det? Min erfarenhet är att det finns elever som blånekar till att de fuskat om man så lägger deras text bredvid den plagierade eller nästan-plagierade texten.

Vi har testat ChatGPT en hel del på skolan jag arbetar på, och den har onekligen sina brister. Den har till exempel ord den älskar - till exempel "emellertid" och "sammanfattningsvis", den kan visserligen källhänvisa men källhänvisar till allt som om det vore en bok (vilket alltså inte är korrekt) och den kan inte heller vissa texttyper/genrer. Dessutom har den ingen kunskap om sådant som hänt efter 2021! Jag bad den sammanfatta fotbolls-VM 2022, varpå den stackars AI-roboten svarade att den bara var en AI-robot, inte kunde se in i framtiden, och därmed inte hade möjlighet att berätta om fotbolls-VM 2022, eftersom det ännu inte ägt rum! Dessutom gör den faktiskt vissa fel på svenska, framförallt på prepositioner, och ibland använder den engelska begrepp när det finns svenska.

Den tror också att ALLA texter ska sammanfattas på slutet, vilket ju inte alltid är fallet. Du kan testa att låta den skriva ett blogginlägg, till exempel det om dina vandringar - den kommer garanterat avsluta med något i stil med "Sammanfattningsvis var det två härliga vandringar i vackert väder och med fina vyer. Jag rekommenderar alla att tillbringa en helg på samma sätt!"

Det sagt ÄR den bra på att skriva texter. Den kan till och med utgå från ett antal bestämda källor och skriva utifrån dessa. Dock med felaktig källhänvisning som sagt, men den som vill fuska kan ju bara låta AI skriva texten och sedan ändra till korrekt källhänvisning. Dock skriver den än så länge (både på svenska och engelska - jag har testat) ganska korta texter. Jag instruerade den att den skulle skriva minst 600 ord, den skrev endast runt 300. Men återigen, lite smarta elever/studenter kan utgå från vad den fått från AI och utveckla det.

Vi har även låtit den skriva en kärleksdikt, en sång om Västervik och en låt inspirerad av Bob Dylan. Samtliga blev riktigt bra.

I och med AI och annat fusk har jag tyvärr mer och mer gått över till att eleverna skriver texter i ett program som heter Digiexam. Då låses datorn så att de inte kan komma åt internet. Tyvärr innebär det samtidigt att jag inte kan läsa/kommentera deras texter under tiden de arbetar med dem, vilket jag gillar att göra. De kan inte heller skriva hemma, utan bara i skolan, och det är också synd.

Jag tycker att du ska testa ChatGPT! Det kan vara riktigt underhållande. Vi har skrattat mycket åt dens kommentarer till våra frågor. ;-D Bara att logga in med ditt Google-konto.

Elisabeth said...

Förresten, ser mycket fram emot att läsa om vad sin svägerska säger om AI!

Äventyret framtiden said...

Så fint med ditt oväntade möte med Mel men desto otrevligare att läsa om vad hon hade upptäckt vid rättandet av uppsatserna. Jag känner inte alls till AI (artificell inteligens) än mindre skriva det rätt med mitt tangentbord men jag förstod genast vad det handlade om när du så bra beskrev vad Mel märkte. Sånt ser man...
Det är ruggigt med fusk, oetiskt. Det är tragiskt om alla de trettio nu har äventyrat sina fortsatta studier.
Ärlighet varar längst, så är det. Tack och lov!

Kramar över havet!

Annika said...

Dr Jo:
Mkt svårt.
Och svårare lär det bli.
Det är oetiskt och de här eleverna et gäller går alla det absolut svåraste och mest avancerade spåret. De kom alla in på IB tack vare sina betyg då de sökte dessa klasser.
De borde veta att fusk nästan alltid kommer upp dagen. MEN, ja, de är unga och jag kan också förstå att de tog chansen nu när de redan är sgs hemma, samtliga hade kommit in på de unis de sökt.
Så svårt att veta vad somna tänkas hända med dem nu.
Det där citatet är bra, och säger så mkt.
Läste en artikel i Dagens Nyheter för ett tag sen som handlade om just det.
Du har säkert mkt mer erfarenhet av detta än vad tex jag har, och även min kompis. Och det låter beträffande ändå att du känner som du gör.
Ja det blir intressant med fortsättningen på detta. Det kan ju bli så att de "bara" blir av med sitt IB-betyg i biologi och får det sett som en "vanlig" kurs sas.
Vem vet ...
Stor kram till dig!!

Annika said...

Ruth:
Ja kanske det.
Ska bli intressant att höra fortsättningen nu. Antar att det snart bestäms.
Kan ju bara föreställa mig hur nervösa dessa trettio måste vara nu ...OCH för att inte tala om deras föräldrar.

Annika said...

Cari:
Absolut, så har det alltid varit som du säger.
Problemet här är att eleverna inte skrivit dem själva, kanske bara ändrat ett ord här och där.
Inte som vi som skrev med egna ord efter att vi läst på.
Ja, jag vet att lärare ofta är väldigt vakna och håller koll. Min svägerska har berättat liknande saker som avslöjats av henne och andra kollegor, dock inte så gravt som detta vad jag vet. Men jag måste höra med henne också.

Jättekul med spontana fikan, Mel hade ledigt eftersom det var helgdag så hon hade tiden, och jag med. sÅ KUL!!

Annika said...

Brysselkakan;
OOOO ja, jag kan tänka mig att J är på sin vakt. Jag kan också tänka mig hur BRA han måste vara på att upptäcka fusk av det här slaget.
Exakt, Mel och hennes kollegor gjorde desamma, de lämnade över till rektor och hon i sin tur till kommunen och skolledning. Det ligger där nu.
Men hon var verkligen trött och bekymrad. Sen, inte nog med det, lärarna har alla krävande föräldrar att tackla också.
Älskar att J är stenhård och jag förstår verkligen att han ser igenom det.
Idet här fallet är det så vanskligt eftersom de redan kommit in på sina unis, dt lär ju rapporteras till de skolorna och med otur kan de bli avstängda redan innan de börjat.

TACK för din input om att skriva för hand via digitalt. Så är det ju numera. Och i den skola K gick i är det stora avgångsklasser, runt 600 elever. Lärarna idag har så galet fullt upp som det är, och speciellt den här tiden på året. Eller alltid egentligen. DE kämpar hårt.

Annika said...

Carin:
DET har det, minns ju att jag själv kunde sitta med fusklapp ibland.
Absolut, eller så skrev jag ngt på underarmen innan provet.
Men det här är next level, och så blir det väl mer och mer och det lär slipas och bli allt mer avancerat.
så till sist vet man knappt vad som är på riktig och inte.
Ser fram emot att höra hur detta slutar också. Kan bara tänka mig hur det låter i vissa hem nu då detta kommit fram, oj oj oj.
Kramar!!

Annika said...

Elisabeth;
Jag vet inte exakt hur de gick tillväga. Bara att Mel först uppräckte detta och sen hörde hon av sig till de andra inom hennes avdelning på skolan.
Ja, de hade också märkt det. Sen hade de börjat gå in på dessa AI-siter och sett då hur det väl var närmast ordagrant taget därifrån. Det var ingen litet prov heller, utan ett stort avslutningsprov i uppsatsform.

Jag kan tänka mig at ni lärare är SÅÅÅÅ mkt mer upplysta än vad tex jag är.
Ni vet att det fuskas, och ni vet att elever kan köra med ganska avancerade saker vilka ni avslöjar.
Intressant det du säger om den robot du testat, inte uppdaterad sedan 2021 ....
Ja dessa måste ju uppdateras hela tiden för att vara gångbara. Såvida det inte handlar om historia etc. Historia undervisar min svägerska i, jag måste höra med henne om hon råkat på detta. DET har hon alla gånger gjort.


Du har rätt, jag borde fasiken testa att skriva ett blogginlägg via en bot. DET skulle vara intressant.
Jag har själv bara nyligen börjat läsa om detta, så för mig är det verkligen nytt.
Läste i tidningen nyligen om ngn som chattat med en B*ing-robot och blivit förolämpad å det grövsta, haha.

Jag hör hur på du är!
Och jag tror att ni lärare är bland de allra första att avslöja sånt här och drabbad av det.
De här uppsatserna var mkt längre än 600 ord, det vet jag.
Men som du säger, eleverna är inte dumma de heller. De kan utveckla.

Tänk ändå, skrivit i Bob Dylan-anda och en fin kärleksdikt, tänk när det bli mer och mer slipat och avancerat ...
HJÄLP!!

Låter bra att ni kör ett system där nätet inte går att nå.
Måste forska vidare i det här via de lärare jag känner här.

Återkommer om detta, var så säker. Ska höra med både Mel och Melinda (närapå samma där, haha) om hur fortsättningen blev och om Melinda (min svägerska som ju har historia som ämne) märkt detta.

OCH ja, jag borde verkligen prova att låta AI skriva ett blogginlägg åt mig. Men vet knappt hur jag ska börja, DET här är såååååå nytt för mig.

TACK och TACK för din input som lärare!! GULD!!

Annika said...

Karin:
SÅ kul att träffa på henne så där och att sen ta en spontanfika.
Roligt.
OCH såklart även intressant att höra om det här, jag satt väl mest och gapade. AI, det tar över nu och det kommer ju bara att bli mer och mer avancerat.
OCH visst är det oetiskt. Det ska bli mkt intressant att höra vad som händer med dessa elever och hur det går vidare med det.
Ärlighet varar verkligen längst och jag kan bara föreställa mig hur mkt oro de måste känna nu,
GULP!!
Kramar från et regnigt Reston till din soliga ö!!

bettan said...

Så roligt att du och M sprang på varandra och att ert möte ledde till långfika.
Intressant att höra om era erfarenheter av AI.
I förra veckan såg jag två program där detta dryftades och vad man ev kan vänta sig framöver. Intressant och viktigt
Programmen finns på SVT Play.
Hjärnan i framtiden från 7/2 av och med Anders Hansen samt en intervju r han möter Stuart Russel.
Jag tycker båda var sevärda och informativa.

KRAMAR!!

Annika said...

Bettan:
JÄTTEKUL!!
Så länge sen jag såg henne, men nu stötte vi ihop för en gång skull.
Ja, jag har också läst en del om AI på sista tiden.
Tycker nog mest det är skrämmande.
TACK för tips Bettan!! Ska se om de går att se härifrån.
KRAMAR i massor till dig!

BP said...

Ruth har en poäng där!
Hörde ett reportage om AI på BBC. Lyssnade bara med ett öra, men det gällde ungefär samma sak som den du beskriver. Om jag minns rätt så fick professorerna ge sig. Skrämmande - absolut...

Annika said...

BP:
Visst, men Brysselkakan har det också. Svårt det där.
Och ja, visst är det skrämmande.

Channal said...

Hej Annika! Här hema är fusket stort. Tror det har blivit bättre för alla prov/uppsatser går via en scanner för att se att det inte är ett plagiat Många som har blivit kuggade av detta. Även på universitetet. TRIST!! AI är spännande... men vet alldeles för lite om det.

KRAMAR Anna

Anonymous said...

Nu har du gett mig huvudbry. Jag förstår inte hur de har kunnat fuska med hjälp av AI! Att söka och kopiera det förstår jag men med AI. 🤔 Kram igen! Anna

Elisabeth (som inte kan avhålla sig från att kommentera mer ;-)) said...

Angående att skriva för hand: Visst, det kan väl fungera på kortare texter, men inte - i dagens samhälle - på längre uppsatser/texter. Nu vet jag inte hur långa dessa elevers uppsatser skulle vara, men i Sverige skriver eleverna i trean ett så kallat gymnasiearbete. Detta ska vara minst 20 sidor på dator (storlek 12, radavstånd 1,15), vilket gör att det skulle blivit extremt mycket för eleverna att skriva för hand. Det blir svårare med handledning också - nu kan vi kommentera i deras texter utan att de lämnar in och det underlättar naturligtvis. Lösningen "penna och papper" är därför inte så självklar som man kanske kan tro. Det går ju dessutom, i teorin i alla fall, att skriva av AI-uppsatsen för hand, så länge eleverna tillåts arbeta hemifrån.

Måste kommentera programmet för att upptäcka plagiat också. ;-) Det är bra på många sätt, MEN det upptäcker inte AI-uppsatser, åtminstone inte de gånger jag har testat. Istället blir det 0 % likhet med andra texter, något som förstås i sig är grund till misstankar...

Annika said...

Channal:
DET är nog så överallt. I varenda land där internet finns i var mans hem.
Ungar tror de kan överlista de äldre, och det kan de säkert många gånger eftersom de är födda mitt i i det.
Så det är ju toppen då det avslöjas och att det då förhoppningsvis ger elever en läxa.
Kramar!!!

Annika said...

Anna igen:
Fråga inte mig, haha. Jag vet inte hur de går tillväga, phew ...

Annika said...

Elisabeth;
Köper det rakt av, det säger Brysselkakan också. Jag förstår att det inte funkar med handskrivet idag.
Och ja, det är ju inga korta uppsatser det gäller heller, som du säger.

Ja vilka huvudbry detta är.
TACK Elisabeth för dina kloka lärarkunskaper!!!