Mit ér valójában a ChatGPT közreműködése a szakmai munkában?
Hozzáadott érték, ellenőrzés és eredményesség az ember-MI együttműködésben
SZAKMAI INTELLIGENCIA * MI | 7. rész - A sorozat záró írása
Egy szakmai projekt végén rendszerint könnyű felsorolnunk, mi készült el. Tanulmányok, elemzések, módszertani dokumentumok, prezentációk, táblázatok vagy kommunikációs anyagok sorakoznak a projektmappákban. Ha ezek elkészítéséhez ChatGPT-t is használtunk, joggal merül fel brnnünk a kérdés: mennyiben járult hozzá a mesterséges intelligencia a munkánkhoz?
A válasz első pillantásra egyszerűnek tűnhet. Gyorsabban elkészültünk, több változatot dolgoztunk ki, könnyebben szerkesztettünk hosszabb dokumentumokat. Csakhogy egy gyorsan elkészített szöveg lehet pontatlan, egy részletes elemzés tartalmazhat módszertani hibát, egyetlen jól megfogalmazott kritikai észrevétel pedig többet érhet, mint több oldalnyi új szöveg.
A SZAKMAI INTELLIGENCIA * MI sorozat záró részében ezért az ember - MI együttműködés szakmai mérlegét vizsgáljuk. Arra keressük a választ, milyen feltételek mellett beszélhetünk tényleges hozzáadott értékről, és hogyan értékelhető a ChatGPT szerepe egy hosszabb szakmai munkafolyamatban.
Hét műhelyesszé, egy közös kérdés
A sorozat korábbi részeiben az ember-MI együttműködés különböző problémáival foglalkoztunk. Megvizsgáltuk a szakértő és a mesterséges intelligencia szerepét, a promptolás és a szakmai párbeszéd különbségét, a módszertani szabályok jelentőségét, a kritikai ellenvetések hasznát, a hibák kezelését és a projektmemória működését. Ezek a területek összekapcsolódnak a mindennapi munkában.
Amikor például a ChatGPT egy kutatási dokumentumhoz új szerkezeti megoldást javasol, a szakértőnek több szempontot is mérlegelnie kell. Megfelel-e a javaslat a kutatás céljának? Összhangban van-e a korábban elfogadott módszertannal? Nem változtatja-e meg észrevétlenül egy fontos fogalom jelentését? Valóban javítja-e a dokumentumot? Az együttműködés minőségét ezek a döntések is meghatározzák. Ezért az MI szakmai hozzájárulásának értékelésekor az elkészült produktum mellett vizsgálnunk kell a szakmai gondolkodásban betöltött szerepét, a közreműködését kísérő ellenőrzési folyamatokat és a végső döntésekre gyakorolt hatását.
Az elkészült dokumentum még nem szakmai eredmény
A ChatGPT használatakor gyakran az előállított tartalomra figyelünk. Hány oldalas lett a tanulmány? Hány változatot készítettünk? Mennyi időt vett igénybe a szerkesztés? Ezek fontos adatok, de nem ugyanazt mérik, mint a szakmai eredményesség. Egy munkafolyamatot négy egymáshoz kapcsolódó szinten is megvizsgálhatunk.
INPUT - Miből dolgoztunk?
Ide tartoznak a felhasznált dokumentumok, adatok, szakmai ismeretek, módszertani szabályok és technológiai erőforrások. A ChatGPT válaszainak minőségét jelentősen befolyásolja, milyen információkat és követelményeket adunk meg számára.
PROCESS - Hogyan dolgoztunk?
Ez a közös munkafolyamat: a kérdések pontosítása, a javaslatok összehasonlítása, a szakmai ellenőrzés, a hibajavítás és a döntések meghozatala.
OUTPUT - Mi készült el?
A közvetlenül előállított produktum: tanulmány, elemzés, táblázat, prezentáció vagy más szakmai dokumentum.
OUTCOME - Milyen szakmai változás történt?
Itt már azt vizsgáljuk, hogy a munka eredményeként javult-e egy döntés megalapozottsága, pontosabbá vált-e egy módszertani eljárás, sikerült-e kiküszöbölni egy lényeges hibát, vagy hasznosíthatóvá vált-e egy új megoldás.
A négy szint elkülönítése különösen fontos. Egy elkészült tanulmány OUTPUT. Ha a tanulmányban alkalmazott módszertan egy dokumentált ellenőrzés nyomán pontosabbá vált, az már szakmai szempontból jelentős változás lehet. A kettő között azonban bizonyítandó kapcsolat van.
Hol jelentkezhet a ChatGPT hozzáadott értéke?
A mesterséges intelligencia többféleképpen támogathatja a szakértői munkát.
Segíthet hosszabb dokumentumok áttekintésében, szövegek szerkesztésében és a terminológiai következetlenségek felismerésében. Kidolgozhat alternatív megoldásokat, felvethet új kérdéseket, és jelezhet olyan ellentmondásokat, amelyek további szakértői vizsgálatot igényelnek. A hozzáadott érték azonban minden esetben másképpen értelmezhető. Ha a ChatGPT három szerkezeti változatot készít egy tanulmányhoz, attól még nem biztos, hogy bármelyik jobb az eredetinél.Ha viszont felismer egy módszertani következetlenséget, amelyet a szakértő ellenőriz és kijavít, a közreműködés konkrét szakmai változáshoz kapcsolható. A különbség az ellenőrizhetőségben rejlik.
Meg tudjuk nevezni, mi volt az eredeti probléma? Az MI milyen javaslatot tett? A szakértő mit fogadott el belőle? Mi változott a végleges dokumentumban? Ezek a kérdések segítenek elkülönítenünk a hasznos közreműködést a puszta szövegelőállítástól.
Egy ChildTech-példa: mit mutatnak meg a digitális adatok?
A ChildTech kutatási munkájában visszatérő módszertani kérdés, hogy milyen következtetéseket vonhatunk le a digitális platformok által rögzített adatokból. Az R01 kutatásban a szakmai hírlevelek megnyitási és kattintási mutatóinak elemzése során különösen fontossá vált ez a probléma. Egy hírlevél megnyitási aránya technikai platformmutató, nem bizonyítja közvetlenül, hogy az olvasó megértette a tartalmat, tanult belőle, vagy alkalmazta a szakmai gyakorlatában.
A későbbi M01 META-munkában ez a tapasztalat már általánosabb kérdésként jelent meg: mikor válhat egy digitális platform működési adata kutatási szempontból értelmezhető bizonyítékká?
A két projekt közötti kapcsolat jól szemlélteti a korábbi szakmai tudás újrafelhasználásának lehetőségét.
A ChatGPT-vel támogatott munkafolyamat értékeléséhez azonban azt is meg kellene vizsgálnunk, milyen szerepe volt a rendszernek a korábbi megkülönböztetések feldolgozásában, az új elemzési kérdések kialakításában és a módszertani következetesség ellenőrzésében. Ehhez a dokumentumváltozatok, a szakmai döntések és az ellenőrzési lépések nyújthatnak támpontot. A példa tehát nem bizonyítja önmagában, hogy az MI javította a kutatás minőségét. Azt mutatja meg, hogyan válhat vizsgálhatóvá a hozzájárulása.
A gyorsaságnak is vannak költségei
A ChatGPT egyik legszembetűnőbb előnye a gyors tartalomelőállítás. Egy részletes dokumentum első változata akár rövid idő alatt elkészülhet, a szakértői munka azonban ezzel rendszerint nem ér véget. Ellenőriznünk kell a fogalmakat, az állításokat, a forrásokat, a módszertani szabályokat és a korábbi dokumentumokkal való összhangot. Előfordulhat, hogy egy gyorsan előállított szöveg ellenőrzése több időt vesz igénybe, mint amennyit az elkészítésén megtakarítottunk. Máskor egyetlen releváns kritikai észrevétel jelentős későbbi átdolgozást előzhet meg. Ezért a hatékonyság értékelésekor a teljes munkafolyamatot érdemes figyelembe vennünk, beleértve az előkészítést, az ellenőrzést és a javításokat is.
A gyorsabb munkavégzés értékes lehet, de nem helyettesíti a szakmai minőség vizsgálatát.
Hogyan értékelhetjük a közös munkát?
A záró műhelyesszében egy hétdimenziós szakmai értékelési keretet is javasolunk.
A keret segítségével a ChatGPT-vel végzett munka több oldalról vizsgálható:
Feladatteljesítés: elkészült-e a tervezett produktum, és megfelel-e a követelményeknek?
Szakmai minőség: pontosak-e a fogalmak, megalapozottak-e az állítások és következtetések?
Módszertani következetesség: a jóváhagyott szabályokat alkalmaztuk-e?
Kritikai hozzájárulás: az MI felismerte-e a releváns problémákat, hiányosságokat vagy alternatívákat?
Ellenőrzési ráfordítás: mennyi munkát igényelt a válaszok ellenőrzése és javítása?
Visszakövethetőség: rekonstruálhatók-e a fontosabb források, változatok és döntések?
Szakmai hasznosulás: a létrejött produktum hozzájárult-e egy későbbi feladathoz, döntéshez vagy eljáráshoz?
Ez a keret jelenleg módszertani javaslat, nem empirikusan validált mérőeszköz. A hét szempontot nem feltétlenül célszerű egyetlen pontszámba sűrítenünk. Egy gyorsan elkészített dokumentum lehet gyenge minőségű, míg egy hosszabb, több ellenőrzést igénylő munkafolyamat eredményezhet megalapozottabb szakmai döntést. Az értékelésnek ezeket a különbségeket is láthatóvá kell tennie.
A szakértői kontroll nem az utolsó lépés
A mesterséges intelligenciával támogatott szakértői munkában az ellenőrzés gyakran a végleges szöveg átolvasását jelenti. Ez szükséges, de nem mindig elegendő. A lényeges szakmai döntések már a munkafolyamat korábbi szakaszaiban megszületnek. Ilyen például egy kutatási kérdés pontosítása, egy fogalom meghatározása, egy mérőszám kiválasztása vagy egy módszertani szabály módosítása.
Ha ezeket a döntéseket nem dokumentáljuk, a végleges produktumból később nehéz lehet rekonstruálnunk, hogyan alakult ki az alkalmazott megoldás. A szakértői kontroll ezért a feladat meghatározásától a végső jóváhagyásig jelen van.
A ChatGPT javasolhat, összehasonlíthat, ellenőrzési szempontokat vethet fel és segíthet a dokumentálásban. A szakmai állítások elfogadása, a módszertani döntések jóváhagyása és a végleges produktumért vállalt felelősség a szakértőhöz tartozik.
Mit tanultunk a hét részből?
A SZAKMAI INTELLIGENCIA * MI sorozat egyik kiindulópontja az volt, hogy a ChatGPT-vel végzett szakértői munka minősége jelentős részben a közös munkafolyamat megszervezésén múlik. A hét rész során a feladatmegfogalmazástól és a szakmai párbeszédtől eljutottunk a módszertani szabályokhoz, a kritikai ellenőrzéshez, a hibakezeléshez, a projektmemóriához és végül az eredményesség értékeléséhez.
A sorozat záró tanulsága, hogy az MI szakmai értékét a dokumentálható hozzájárulása és annak ellenőrzött következményei alapján érdemes megítélni. Ehhez ismernünk kell a kiinduló feladatot, az alkalmazott módszertant, a fontosabb szakértői döntéseket és az elkészült produktum tényleges felhasználását. A következő szakértői feladat már egy olyan értékelési módszertan kidolgozása lehet, amely ezeket a szempontokat rendszeresen dokumentálhatóvá és később összehasonlíthatóvá teszi.
A hét műhelyesszé ehhez ad fogalmi és módszertani kiindulópontot.
A SZAKMAI INTELLIGENCIA * MI sorozatról
A hét részből álló műhelyesszé-sorozat a generatív mesterséges intelligencia szakmai alkalmazásának módszertani kérdéseit vizsgálja, különös tekintettel a ChatGPT-vel végzett hosszabb, dokumentált munkafolyamatokra.
A sorozat a ChildTech kutatási és tartalomfejlesztési gyakorlatából merít példákat.
Szakmai tartalom és végleges szerzői jóváhagyás: Piróth István. A szöveg kidolgozását generatív mesterséges intelligencia támogatta.
Szakmai tartalom és szöveg: saját szerzői munka.Vizuál: generatív MI használatával készült.
A kapcsolódó műhelyesszé elérhetősége
További tájékozódásért kövesd az Okosóvoda Facebook oldalát.
Comments