Může použití nástroje pro kontrolu gramatiky vést k tomu, že budete falešně obviněni z použití AI a z plagiátorství? Případů už jsou stovky. Studentka vysoké školy tvrdí, že byla falešně obviněna z podvádění, a její příběh se stal virálním. Incident vyvolává složité otázky o tom, jak a kde stanovit hranice týkající se nových nástrojů umělé inteligence. Kdy jsou pouze přijatelnou pomocí a kdy jejich použití znamená akademické pochybení? Mnoho lidí přece používá funkce automatické opravy gramatiky a pravopisu v systémech, jako jsou Dokumenty Google a další programy, které navrhují slovo, nabízejí fráze nebo stylisticky vylepší celé bloky textu, když uživatelé píší. Je toto podvádění?
Jeffrey R. Young 4. dubna 2024 Marley Stevensová zveřejnila v minulém semestru na TikToku video, které popsala jako oznámení pro všechny vysokoškolské studenty. Její poselství: Pokud by váš profesor mohl vaši práci prohnat systémem pro detekci umělé inteligence, nepoužívejte software pro kontrolu gramatiky.
Stevensová studuje na univerzitě v Severní Georgii a neobvykle veřejně se vyjádřila k tomu, co nazývá „debaklem“, kdy byla obviněna z použití umělé inteligence při psaní práce, kterou podle svých slov napsala sama, s výjimkou použití standardních funkcí kontroly gramatiky a pravopisu od společnosti Grammarly, kterou má nainstalovanou jako rozšíření ve svém webovém prohlížeči.
Toto první varovné video, které zveřejnila, bylo zhlédnuto více než 5,5 milionkrát a od té doby natočila více než 25 následných videí, v nichž odpovídá na komentáře svých sledujících a dokumentuje svůj boj s vysokou školou v této věci – včetně sdílení fotografií e-mailů, které jí poslali akademičtí děkani, a obrázků jejích studentských prací, aby se pokusila dokázat svůj případ -, aby zvýšila povědomí o tom, co považuje za chybné nástroje pro detekci umělé inteligence, které jsou stále častěji schvalovány vysokými školami a používány profesory.
Stevensová říká, že profesor v kurzu trestního práva, který absolvovala minulý rok, jí dal nulu za práci, protože řekl, že systém detekce umělé inteligence v systému Turnitin ji označil za napsanou robotem. Stevensová trvá na tom, že práce je výhradně její vlastní a že k vypracování žádné části své práce nepoužila ChatGPT ani jiného chatbota.
Říká, že v důsledku nulové písemné práce klesla její výsledná známka z předmětu natolik, že se nemohla ucházet o stipendium HOPE, které vyžaduje, aby studenti měli průměr 3,0. Univerzita jí podle jejích slov udělila podmíněný trest za porušení pravidel o studijních prohřešcích a musela zaplatit 105 dolarů za účast na semináři o podvádění.
Univerzita odmítla opakované žádosti serveru EdSurge, aby se vyjádřila ke svým zásadám pro používání detekce AI. Úředníci místo toho zaslali prohlášení, v němž uvedli, že federální zákony na ochranu soukromí studentů jim brání komentovat jakýkoli jednotlivý případ podvádění a že: „Naše fakulta sděluje konkrétní pokyny týkající se používání umělé inteligence v různých třídách a tyto pokyny jsou zahrnuty v sylabech tříd. Nevhodným používáním AI se zabývá také náš Kodex chování studentů.“
V části tohoto studentského kodexu chování je plagiátorství definováno jako: „Používání myšlenek nebo výrazů jiné osoby nebo agentury (včetně umělé inteligence) bez uvedení zdroje. Témata, eseje, seminární práce, testy a další podobné požadavky musí být dílem studenta, který je předkládá. Pokud jsou použity přímé citace nebo parafráze, musí být uvedeny, a pokud jsou do práce začleněny myšlenky někoho jiného, musí být náležitě uvedeny. Všechny práce Studenta musí být původní nebo citované podle požadavků vyučujícího, jinak jsou považovány za plagiát. Plagiátorství zahrnuje mimo jiné použití publikované nebo nepublikované práce jiné osoby formou parafráze nebo přímé citace bez úplného a jasného uvedení. Zahrnuje také nepřiznané použití materiálů vypracovaných jinou osobou nebo agenturou při prodeji seminárních prací nebo jiných akademických materiálů.“
Incident vyvolává složité otázky o tom, kde stanovit hranice týkající se nových nástrojů umělé inteligence. Kdy jsou pouze přijatelnou pomocí a kdy jejich použití znamená akademické pochybení? Mnoho lidí přece používá funkce automatické opravy gramatiky a pravopisu v systémech, jako jsou Dokumenty Google a další programy, které navrhují slovo nebo frázi, když uživatelé píší. Je to podvádění?
A jak se takové gramatické funkce stávají robustnějšími, protože generativní nástroje AI se stávají běžnějšími, mohou nástroje pro detekci AI vůbec rozlišit mezi přijatelným použitím AI a podvodem?
„Jiní učitelé na téže univerzitě mi doporučovali, abych používala Grammarly pro seminární práce,“ řekla Stevensová v jiném videu. „Takže se nám snaží říct, že nesmíme používat autokorekci nebo kontrolu pravopisu nebo něco podobného? Co po nás chtějí, abychom to napsali třeba do aplikace Poznámky a odevzdali to tímto způsobem?“
V rozhovoru pro EdSurge to studentka vyjádřila takto: „Celá má záležitost spočívá v tom, že detektory umělé inteligence jsou odpad a my jako studenti s tím nemůžeme nic moc dělat,“ říká. „A to není fér, protože my děláme všechnu tu práci a platíme všechny ty peníze, abychom mohli jít na vysokou školu, a pak vám detektor umělé inteligence může docela zkazit celou vaši vysokoškolskou kariéru.“
Zvrat vývoje případu
Příběh této studentky University of North Georgia nabral na své cestě několik překvapivých zvratů.
Například univerzita nedlouho poté, co Stevensová zveřejnila své první virální video, rozeslala všem studentům e-mail o umělé inteligenci.
Tento e-mail připomínal studentům, aby dodržovali univerzitní kodex akademického chování, a obsahoval také neobvyklé varování: „Upozorňujeme, že některé online nástroje, které studentům pomáhají s gramatikou, interpunkcí, strukturou vět atd., využívají generativní umělou inteligenci (AI), která může být označena nástrojem Turnitin. Jednou z nejčastěji používaných webových stránek s generativní umělou inteligencí, které jsou označovány službou Turnitin.com, je Grammarly. Při posuzování těchto webových stránek buďte obezřetní.“
Profesor později studentce sdělil, že její práci zkontroloval také pomocí jiného nástroje, Copyleaks, a ten její práci rovněž označil jako napsanou botem. A ona říká, že když svou práci nedávno prohnala přes Copyleaks, považoval ji za práci napsanou člověkem. Tomuto reportérovi poslala snímek obrazovky z tohoto procesu, na němž nástroj zeleným textem uzavírá: „Toto je lidský text.“
„Pokud to teď projíždím a dostávám jiný výsledek, jen to ukazuje, že tyto věci nejsou vždy přesné,“ říká o detektorech umělé inteligence. Zástupci společnosti Copyleaks na žádosti o komentář nereagovali. Stevensová se odmítla podělit o celý text své práce s vysvětlením, že nechce, aby skončil na internetu, kde by ho mohli ostatní studenti zkopírovat a případně ji dostat do dalších problémů s univerzitou. „Už teď mám akademickou podmínku,“ říká.
Stevensová říká, že se jí ozvali studenti z celé země, kteří tvrdí, že byli také falešně obviněni z podvádění kvůli softwaru pro detekci umělé inteligence. „Jedna studentka řekla, že se chtěla stát lékařkou, ale byla obviněna, a pak ji žádná škola nevzala kvůli obvinění z přestupku.“, dodává, že ji překvapilo množství podpory, které se jí dostalo od lidí, kteří sledují její videa. Její sledující na sociálních sítích ji povzbudili, aby založila kampaň na GoFundMe, což udělala, aby pokryla ztrátu stipendia a zaplatila právníka, který by případně podnikl právní kroky proti univerzitě. Zatím se jí podařilo vybrat přes 6 100 dolarů od více než 90 lidí.
Překvapilo ji také, že ji kontaktovali představitelé společnosti Grammarly, kteří na její GoFundMe přispěli částkou 4 000 dolarů a zaměstnali ji jako studentskou ambasadorku. Díky tomu nyní Stevensová plánuje natočit pro Grammarly tři propagační videa, za každé z nich dostane malý honorář. „V tuto chvíli se snažíme spolupracovat na tom, aby vysoké školy přehodnotily svou politiku v oblasti umělé inteligence,“ říká Stevensová.
Zdá se, že pro Grammarly je zřejmé, že cílem je změnit názor z onoho prvního videa Stevensové, v němž říká: „Pokud máte referát, esej, diskusní příspěvek, cokoli, co se odesílá na TurnItIn, hned odinstalujte Grammarly.“
Vedoucí oddělení vzdělávání společnosti Grammarly Jenny Maxwellová říká, že doufá, že se rozšíří zpráva o tom, jak nepřesné jsou detektory umělé inteligence. „Mnoho institucí na fakultní úrovni si neuvědomuje, jak často se tyto služby pro detekci AI mýlí,“ říká. „Chceme se ujistit, že si instituce uvědomují, jak nebezpečné může být mít tyto detektory umělé inteligence jako jediný zdroj pravdy.“
Takové chyby byly dobře zdokumentovány a několik výzkumníků uvedlo, že profesoři by tyto nástroje neměli používat. Dokonce i společnost Turnitin veřejně prohlásila, že její nástroj pro detekci umělou inteligencí není vždy spolehlivý.
Annie Chechitelliová, produktová ředitelka společnosti Turnitin, uvedla, že její nástroje pro detekci umělé inteligence mají podle testů společnosti přibližně 1% míru falešně pozitivních výsledků a že společnost pracuje na tom, aby byla co nejnižší. „Pravděpodobně necháme asi 15 procent [botem napsaného textu] projít bez označení,“ říká. „Raději snížíme přesnost, než abychom zvýšili míru falešně pozitivních výsledků.“
Chechitelliová zdůrazňuje, že pedagogové by měli detekční systém Turnitin používat jako výchozí bod pro rozhovor se studentem, nikoli jako konečné rozhodnutí o akademické integritě studentovy práce. A to podle ní radí i společnost pro svůj systém na odhalování plagiátů. „Museli jsme učitele velmi důkladně proškolit, že to není důkaz, že student podváděl,“ říká. „Vždy jsme říkali, že se učitel musí rozhodnout sám.“
Umělá inteligence však staví pedagogy do náročnější pozice, uznává Chechitelli. V případech, kdy nástroj Turnitin odhalí plagiátorství, systém upozorní na zdrojový materiál, který student mohl opsat. V případě detekce pomocí umělé inteligence není jasné, na jaký zdrojový materiál se zaměřit, protože nástroje jako ChatGPT vyplivnou různé odpovědi pokaždé, když uživatel zadá výzvu, takže je mnohem těžší prokázat, že zdrojem je bot.
Zástupce společnosti Turnitin říká, že v interních testech společnosti tradiční nástroje pro kontrolu gramatiky nespustily alarm. Maxwell ze společnosti Grammarly poukazuje na to, že i když má systém pro detekci umělé inteligence pravdu v 98 procentech případů, znamená to, že falešně označí například 2 procenta prací. A protože na jedné univerzitě může být ročně odevzdáno 50 000 studentských prací, znamená to, že pokud by všichni profesoři používali systém detekce umělé inteligence, bylo by 1 000 prací falešně označeno za případy podvádění.
Obává se Maxwellová, že by vysoké školy mohlo používání jejího produktu odradit? Koneckonců, Univerzita Severní Georgie nedávno odstranila Grammarly ze seznamu doporučených zdrojů poté, co se Stevensova videa na TikToku stala virálními, i když později jej tam opět přidala.
„Setkali jsme se s univerzitou v Severní Georgii a oni nám řekli, že to nemá nic společného s Grammarly,“ říká Maxwell. „Jsme potěšeni tím, kolik dalších profesorů a studentů se přiklání na opačnou stranu – říkají: „Toto je nový svět práce a my musíme přijít na to, jak tyto nástroje vhodně používat. Zubní pastu nelze vrátit zpět do tuby.“
Pro Triciu Bertram Gallantovou, ředitelku Úřadu pro akademickou bezúhonnost na Kalifornské univerzitě v San Diegu a národní odbornici na problematiku podvádění, není nejdůležitější problémem v případě jednoho studenta. Podle ní jde spíše o to, zda mají vysoké školy účinné systémy pro řešení obvinění z akademických přestupků. „Velmi bych pochybovala o tom, že by byl student obviněn z podvádění jen na základě kontroly gramatiky a pravopisu,“ říká, „ale pokud je to pravda, nejsou problémem chatboty s umělou inteligencí, problémem je politika a proces.“
„Pokud může člen fakulty použít nástroj, obvinit studenta a dát mu nulu a je hotovo, je to problém,“ říká. „To není problém nástroje.“ Říká, že z koncepčního hlediska se nástroje umělé inteligence neliší od jiných způsobů, kterými studenti podvádějí už léta, jako je najímání jiných studentů, aby za ně psali práce.
„Je mi divné, když vysoké školy vytvářejí pro používání umělé inteligence zcela samostatnou politiku,“ říká. „Jediné, co jsme v našich zásadách udělali, je, že jsme přidali slovo ‚stroj‘,“ dodává s tím, že nyní zásady akademické integrity výslovně zakazují používat stroj k práci, kterou má vykonávat student.
Navrhuje, aby studenti dbali na to, aby si vedli záznamy o tom, jak používají jakékoli nástroje, které jim pomáhají, a to i v případě, že profesor povolí použití umělé inteligence při zadávání úkolu. „Měli by se ujistit, že si uchovávají historii svých rozhovorů“ v aplikaci ChatGPT, říká, „aby bylo možné vést rozhovor o jejich postupu“, pokud se později objeví nějaké otázky.
Rychle se měnící prostředí
Ačkoli programy pro kontrolu gramatiky a pravopisu existují již léta, mnohé z nich nyní přidávají nové funkce umělé inteligence, které profesorům, kteří se snaží pochopit, zda studenti nad odevzdanou prací přemýšleli, komplikují situaci.
Například Grammarly má nyní nové možnosti, většinou v placené verzi, kterou si Stevensová nepředplatila, které využívají generativní umělou inteligenci k takovým činnostem, jako je „pomoc při vymýšlení témat pro zadání“ nebo „sestavení výzkumného plánu“, jak se uvádí v nedávné tiskové zprávě společnosti.
Maxwell ze společnosti Grammarly říká, že se společnost snaží zavádět tyto nové funkce opatrně a snaží se do nich zabudovat ochranná opatření, která zabrání tomu, aby studenti pouze požádali bota, aby za ně udělal práci. A říká, že když školy přijmou její nástroj, mohou generativní funkce umělé inteligence vypnout. „Jsem rodič čtrnáctiletého dítěte,“ říká a dodává, že mladší studenti, kteří se stále učí základy, mají jiné potřeby než starší žáci.
Chechitelli ze společnosti Turnitin říká, že pro studenty je problém, že Grammarly a další nástroje pro zvýšení produktivity nyní integrují ChatGPT a dělají mnohem více než jen opravu syntaxe psaného textu. To proto, že podle ní studenti nemusí novým funkcím a jejich důsledkům rozumět. „Jednoho dne se přihlásí a mají v aplikaci nové možnosti a jiné volby,“ říká. „Myslím, že je to matoucí.“
Pro vedoucí pracovnici společnosti Turnitin je dnes nejdůležitějším poselstvím pro pedagogy transparentnost v tom, jakou pomoc umělá inteligence poskytuje, pokud vůbec nějakou. „Moje rada zní: přemýšlejte o nástrojích, které používáte, a ujistěte se, že byste mohli učitelům ukázat vývoj svých úkolů nebo být schopni odpovědět na otázky,“ říká.
Bertram Gallant, národní expert na akademickou integritu, říká, že profesoři si musí být vědomi rostoucího počtu generativních nástrojů AI, ke kterým mají studenti přístup.
„Grammarly je mnohem víc než jen kontrola gramatiky a pravopisu,“ říká. „Grammarly je jako každý jiný nástroj – může být používán eticky nebo neeticky. Jde o to, jak se používají nebo zda se jejich použití zastírá.“
Bertram Gallant říká, že na tyto etické hranice narážejí i profesoři při vlastním psaní a publikování v akademických časopisech. Říká, že slyšela o profesorech, kteří používají ChatGPT při sestavování článků v časopisech a pak „zapomenou vyjmout část, kde AI navrhovala myšlenky“. Dodává, že na snadnosti, s jakou tyto nové generativní nástroje umělé inteligence dokáží vyplivnout dobře naformátované texty, je něco svůdného, a to může způsobit, že si lidé myslí, že odvádějí práci, ačkoli jediné, co dělají, je vkládání podnětu do stroje.
„Chybí samoregulace – u všech lidí, ale zejména u nováčků a mladých lidí – mezi tím, kdy mi to pomáhá a kdy to dělá práci za mě,“ říká Bertram Gallant.
Tento článek byl publikován z EdSurge. EdSurge je nezisková redakce, která pokrývá vzdělávání prostřednictvím původní žurnalistiky a výzkumu. Přihlaste se k odběru jejich newsletterů.
Jeffrey R. Young (@jryoung) je redaktor a reportér EdSurge a moderátor EdSurge Podcast.
ad) „…nyní zásady akademické integrity výslovně zakazují používat stroj k práci, kterou má vykonávat student…“ – a nemá to být opačně? Student musí prokázat rutinní ovládání „AI strojů“ při vytváření své práce…