SZAKMAI INTELLIGENCIA * MI
5. Amikor az MI téved
Hibák, bizonytalanság és szakértői kontroll
Műhelyesszé | 5. rész
Az MI hibája gyakran nem úgy jelenik meg, ahogyan egy hibát elképzelünk. Nincs figyelmeztető jelzés, a mondatok nyelvileg szabályosak, az érvelés követhető, a szakmai terminológia megfelelőnek tűnik. A válasz akár részletes és meggyőző is lehet, és mégis tartalmazhat hibát. Egy adat pontatlan. Egy forrás nem azt állítja, amit az OUTPUT tulajdonít neki. Két dokumentum különböző verziójából származó információ keveredik. Egy korábbi munkafázisban érvényes döntés átkerül egy új helyzetbe. Egy valószínű értelmezés tényként jelenik meg. Egy módszertani korlát eltűnik a következtetésből.
Hosszabb szakmai ember–MI munkafolyamatban ezért a probléma túlmutat azon, hogy tévedhet-e az MI. A szakmai gyakorlat szempontjából azt kell megértenünk, hol keletkezhet hiba, hogyan terjedhet tovább, és milyen kontrollpontokon lehet felismerni, mielőtt beépül a következő munkafázisba. A SZAKMAI INTELLIGENCIA * MI 5. műhelyesszéje ezt a problémát vizsgálja.
A hihető hiba
Egy nyilvánvaló hiba kezelése viszonylag egyszerű. Ha egy szám nagyságrendileg lehetetlen, egy név egyértelműen rossz, vagy a válasz teljesen eltér a kérdéstől, a probléma gyorsan észlelhető. A szakmai munkában veszélyesebb lehet a hihető hiba. Ilyenkor az OUTPUT illeszkedik ahhoz, amit várunk. A fogalmak megfelelőnek látszanak, az érvelés logikusnak tűnik. A következtetés akár a saját előzetes elképzelésünkkel is összhangban lehet. Éppen ezért kisebb az esélye annak, hogy megállunk ellenőrizni. Ez az ember-MI együttműködés egyik fontos kockázata. A nyelvi koherencia könnyen összekapcsolódik fejünkben a tartalmi megbízhatósággal, miközben a kettő külön tulajdonság.
Egy jól megfogalmazott állítás is igényelhet forrásellenőrzést, egy meggyőző elemzés mögött is lehet hibás adat. Egy szakmailag ismerős következtetés is túlléphet azon, amit a rendelkezésre álló bizonyítékok alátámasztanak. A szakértői kontroll ezért különösen ott fontos, ahol az OUTPUT első olvasásra problémamentesnek látszik.
Többféleképpen lehet tévedni
Az „MI tévedett” megállapítás önmagában kevés információt ad, a hiba típusának azonosítása segít meghatározni a szükséges ellenőrzést is.
Tényhiba
Egy név, dátum, adat, intézmény, jogszabály, bibliográfiai információ vagy más ellenőrizhető állítás pontatlan. Itt a kontroll alapja elsősorban a forrásellenőrzés.
Forráshiba
A hivatkozott dokumentum létezik, de az adott állítást nem támasztja alá. Előfordulhat pontatlan szerző-cím kapcsolat, hibás DOI, rossz évszám vagy olyan tartalmi összefoglalás is, amely túlterjeszkedik a forrás eredeti állításán. Tudományos munkában ez különösen érzékeny terület.
Értelmezési hiba
A kiinduló adat helyes, az abból levont következtetés azonban túl erős vagy nem kellően megalapozott. A második műhelyesszé PM1_D esete pontosan megmutatta ezt a problémát: egy valós mérési eredményhez szakmailag hihető magyarázat társult, miközben az adatok több lehetséges magyarázatot is megengedtek.
Kontextushiba
Az állítás önmagában akár helyes is lehet, az adott munkafolyamatban mégsem alkalmazható változtatás nélkül. Egy másik tartalomból származó eredmény, eltérő mérési helyzet, korábbi projektverzió vagy más célra kialakított kategóriarendszer könnyen bekerülhet egy új elemzésbe.
Verzióhiba
Hosszabb projektekben ugyanannak a dokumentumnak, módszertannak, táblázatnak vagy fogalomrendszernek több verziója létezhet. Ha az elemzés egy korábbi változatból vesz át információt, a válasz belsőleg teljesen koherens maradhat, miközben már nem a projekt aktuális állapotát írja le.
Következtetési hiba
A rendelkezésre álló bizonyíték egy leíró vagy korlátozott állítást támogat, az OUTPUT pedig oksági, általánosító vagy erősebb következtetést fogalmaz meg. Ebben az esetben a probléma sokszor egyetlen mondatban jelenik meg, miközben az előtte álló elemzés minden eleme helyes lehet. Ezek a hibák különböző kontrollmechanizmusokat kívánnak. A szakértői ellenőrzés ezért hatékonyabbá válhat, ha a „helyes-e?” kérdést pontosabb vizsgálati kérdésekre bontjuk.
A hiba gyakran egy lánc része
Egy hosszabb ember - MI munkafolyamatban az OUTPUT rendszerint nem végállomás. Egy elemzésből összefoglaló készül. Az összefoglalóból módszertani következtetés. A következtetés bekerül egy tanulmányba. A tanulmányból blog, prezentáció vagy szakmai poszt készül. Ez azt jelenti, hogy egy korai hiba öröklődhet.
Egyszerű folyamatot: forrásadat - elemzés - értelmezés - módszertani következtetés - publikáció. Ha az értelmezési szinten egy hipotézis bizonyított állítássá erősödik, a következő munkafázis már kész tényként használhatja. Néhány lépéssel később az eredeti bizonytalanság teljesen eltűnhet. A végső szöveg ellenőrzése ilyenkor kevés lehet, mert a probléma forrása korábbi munkafázisban keletkezett. Ezért érdemes a kontrollt a munkafolyamatba beépíteni.
Kontrollpontok a munkafolyamatban
A ChildTech hosszabb elemzési és kutatási munkáiban fokozatosan több olyan pont alakult ki, ahol egy OUTPUT továbbvitele előtt külön ellenőrzés történik. Az első kontrollpont a forrás, pontosan tudjuk-e, melyik adatból, dokumentumból vagy verzióból dolgozunk? A második az analitikai művelet, helyesen történt-e a számítás, kategorizálás, összehasonlítás vagy strukturálás? A harmadik az értelmezés, a következtetés erőssége megfelel-e a rendelkezésre álló bizonyítéknak? A negyedik a konzisztencia, összhangban van-e az új eredmény a projektben korábban rögzített definíciókkal, módszertani szabályokkal és döntésekkel? Az ötödik a státusz, tényről, szakirodalommal támogatott értelmezésről, saját elméleti állításról, hipotézisről vagy további vizsgálatot igénylő lehetőségről beszélünk?
A kontrollpontok szerepe az, hogy a bizonytalanság vagy hiba lehetőleg azon a szinten váljon láthatóvá, ahol keletkezett.
Egy valós ChildTech-munkafolyamat: két kézirat egyezésének ellenőrzése
Az R01 kutatás magyar és angol kéziratának elkészítése során különösen jól láthatóvá vált a verzió- és konzisztenciakontroll jelentősége. Egy tanulmány angol változatának elkészítése első pillantásra fordítási feladatnak tűnhet, de a tényleges munkafolyamat ennél összetettebb volt. A két kéziratnak tartalmi, módszertani és szerkezeti szempontokbók ugyanazt a kutatást kellett reprezentálnia.
Ez több ellenőrzési kérdést hozott létre.
Ugyanazok a táblázatok szerepelnek mindkét változatban?
Megmaradtak az ábrák?
Egyeznek a bibliográfiai tételek?
Az angol szöveg ugyanazt az állításerősséget használja?
Egy magyar szövegben óvatosan megfogalmazott következtetés nem vált-e erősebb állítássá az angol változatban?
Egy későbbi magyar javítás átkerült-e az angol kéziratba is?
Ezek már concordance, vagyis megfelelőségi kérdések. Az ellenőrzés során ezért a két dokumentumot nem pusztán nyelvi szempontból kellett összevetni. A vizsgálat kiterjedt a szerkezeti elemekre, a táblázatokra, az ábrákra, a bibliográfiára és a tartalmi megfelelésre is.
A végső concordance auditban a két változat 4/4 táblázata és 2/2 ábrája megfelelt egymásnak, a bibliográfia pedig mindkét kéziratban 41 tételt tartalmazott. Ez az eredmény már egy kontrollfolyamat végpontja volt. A fontos módszertani tanulság maga az ellenőrzési logika: egy késznek látszó dokumentum megbízhatóságát több, egymástól elkülönített dimenzióban vizsgáltuk meg.
Az MI ebben a folyamatban nagy mennyiségű, részletekbe menő összehasonlító munkát tud támogatni. Gyorsan áttekintheti a szerkezetet, egymáshoz rendelheti az elemeket, eltéréseket kereshet és ellenőrzési listát készíthet. A végső szakmai kérdés minden eltérésnél ugyanaz marad: jelent-e valódi tartalmi problémát? Ezt a választ a dokumentum funkciójának, a kutatás módszertanának és az adott állítás jelentésének ismeretében lehet megadni.
A 100 százalékos egyezés sem jelent automatikusan igazságot
A concordance audit egy további fontos különbségre is rámutatott. Két dokumentum tökéletesen egyezhet egymással úgy, hogy ugyanazt a hibát tartalmazza. Ha a magyar kéziratban hibás adat szerepel, és az angol változat pontosan átveszi, a két dokumentum közötti megfelelés kiváló lesz, az adat ettől még hibás marad.
Ezért külön kell kezelnünk legalább két kérdést:
Megfelel-e egymásnak a két reprezentáció?
Megbízható-e maga a reprezentált tartalom?
Az elsőt concordance audit vizsgálhatja, a másodikhoz forrás-, adat-, módszertani és értelmezési kontroll szükséges. Ez jól mutatja, miért veszélyes egyetlen minőségi mutatóból a teljes megbízhatóságra következtetni, ezért a kontrollrendszer több, eltérő funkciójú vizsgálatból épül fel.
Sok munkafolyamatban kifejezetten hasznos, ha az MI ellenőrizi a saját korábbi OUTPUT-ját.
Megkérhetjük például:
Hasonlítsd össze ezt az állítást az eredeti forrással.
Jelöld azokat a mondatokat, amelyek erősebb következtetést tartalmaznak, mint amit az adatok közvetlenül támogatnak.
Keress eltérést a két dokumentum terminológiájában.
Ellenőrizd, hogy minden hivatkozott forrás szerepel-e a bibliográfiában.
Azonosítsd azokat a pontokat, ahol a szöveg tényként fogalmaz meg egy értelmezést vagy hipotézist.
Ezek a feladatok jól illeszkednek az MI elemző és összehasonlító képességeihez. Egy fontos korlát azonban megmarad: az önellenőrzés nem független validáció. Ugyanaz a modell ugyanabból a hiányos kontextusból dolgozhat, ugyanazt a téves feltételezést használhatja az első és a második körben. Egy korábbi hibás OUTPUT akár az ellenőrzés INPUT-jává is válhat. Ezért a nagyobb kockázatú állításoknál szükség van külső referenciapontra: eredeti adatforrásra, dokumentumra, szakirodalomra, platformadatra vagy más ellenőrizhető evidenciára. Az MI képes támogatni az ellenőrzést, a bizonyíték forrását azonban nem helyettesíti.
A bizonytalanságot is meg kell őrizni
A negyedik műhelyesszé R01 adatminőségi auditja erre különösen jó példát adott. Az audit néhány olyan eltérést talált, amelynek eredetét a rendelkezésre álló információ alapján nem lehetett teljes bizonyossággal rekonstruálni. A módszertani döntés ezekben az esetekben az eredeti platformértékek megőrzése, az eltérés dokumentálása és az utólagos visszarekonstrukció elkerülése lett.
Ez a megoldás az ötödik epizód szempontjából is fontos. Az MI-hibák kezelésében könnyen kialakulhat az a reflex, hogy minden bizonytalanságot megpróbálunk egyértelmű válasszal feloldani. A szakmai kontroll ennél fegyelmezettebb eljárást kíván. Ha egy eltérés eredete nem rekonstruálható, akkor az „ismeretlen” vagy „nem eldönthető a rendelkezésre álló adatok alapján” szakmailag érvényes állapot. A bizonytalanság dokumentálása megakadályozza, hogy feltételezésből adat, adatból következtetés, majd következtetésből később hivatkozott „tény” keletkezzen.
Mikor kell megállítani a munkafolyamatot?
Nem minden hiba azonos súlyú. Egy elütés javítható anélkül, hogy a teljes elemzést újra kellene kezdeni. Egy hibás forrásadat viszont több későbbi következtetést is érinthet, ezért hasznos a hibák hatásának értékelése.
Az értékelés legfontosabb kérdései:
Hol keletkezett a hiba?
Mely későbbi OUTPUT-ok használták fel?
Megváltoztatja-e valamely szakmai következtetésünket?
Meddig kell visszalépnünk a munkafolyamatban a korrekcióhoz?
Ez tulajdonképpen hiba-visszakövetés. Egy hosszabb projektben a javítás szempontjából sokszor fontosabb megérteni a hiba útját, mint egyszerűen kijavítani annak legutolsó megjelenését. Ha egy hibás szám öt későbbi dokumentumban szerepel, a végső blog javítása csak az egyik tünetet kezeli. A kontrollnak ilyenkor vissza kell vezetnie a problémát az eredeti forrásig, majd azonosítani kell az összes érintett leszármaztatott OUTPUT-ot.
Mikor bízhatunk meg az OUTPUT-ban?
A „megbízhatok-e az MI-ben?” kérdés túl általános ahhoz, hogy szakmai munkában jól használható legyen.
Pontosabb kérdéseket érdemes feltenni:
Milyen feladatot végzett?
Milyen INPUT-ból dolgozott?
Ellenőrizhető-e az eredménye?
Mekkora következménye lenne egy hibának?
Milyen kontrollon ment keresztül az OUTPUT?
Egy már ellenőrzött kategóriarendszer szerinti szövegrendezés más kockázati szintet képvisel, mint egy új tudományos állítás megfogalmazása. Egy ötletlista esetében elfogadható lehet, hogy néhány elem gyenge. Egy publikáció bibliográfiájában egy kitalált forrás már lényegesen súlyosabb probléma. Tehát a szükséges kontroll intenzitása ezért kockázatarányosan változhat. Minél nagyobb az OUTPUT szakmai következménye és minél nehezebb közvetlenül ellenőrizni, annál erősebb validáció indokolt.
Az ellenőrzés is munkafolyamat
A szakértői kontroll könnyen utólagos „ellenőrző olvasássá” egyszerűsödhet, de a komplex ember-MI együttműködésben ennél többre van szükség.
Érdemes már a munka megkezdésekor meghatároznunk:
mely adatok tekinthetők forrásnak;
mely dokumentumverzió az aktuális;
mely állítások igényelnek külső evidenciát;
hol történik módszertani ellenőrzés;
milyen eltérés állítja meg a folyamatot;
hogyan dokumentáljuk a bizonytalanságot;
és mikor tekintünk egy OUTPUT-ot ellenőrzöttnek.
Ezzel a kontroll a szakmai architektúra részévé válik. A célunk egy olyan munkafolyamat kialakítása, amelyben egy esetleges hiba észlelhető, lokalizálható és visszakövethető.
Mit tanultunk ebből?
A ChildTech eddigi ember-MI munkafolyamataiból öt tanulságot emelnék ki.
Az első: a nyelvi koherencia nem bizonyítja a tartalmi helyességet, a szakmailag hihető OUTPUT különösen gondos ellenőrzést igényelhet.
A második: a hibák típusának megkülönböztetése javítja a kontrollt. A tényhiba, forráshiba, értelmezési hiba, kontextushiba, verzióhiba és következtetési hiba eltérő ellenőrzési eljárást kíván.
A harmadik: hosszabb munkafolyamatban a hiba továbbterjedhet, a kontrollpontokat ezért célszerű az elemzés egyes szakaszaiba beépíteni.
A negyedik: az MI hasznos eszköz lehet saját korábbi OUTPUT-jának ellenőrzésében, miközben a magasabb kockázatú állítások validációjához külső referenciapontra is szükség van.
Az ötödik: a bizonytalanság megőrzése a szakmai kontroll része. Egy dokumentált „nem eldönthető” állapot megbízhatóbb alapot ad a további munkához, mint egy bizonyíték nélkül kitöltött információs rés.
A szakértői kontroll így nem egyetlen végső ellenőrzési aktus, a forrástól a végső OUTPUT-ig végigkíséri a munkafolyamatot. Az ember-MI együttműködés minőségét ezért az is meghatározza, mennyire pontosan tudjuk követni, miből származik egy állítás, milyen műveleteken ment keresztül, milyen bizonytalanságot hordoz, és milyen ellenőrzés után használjuk tovább.
A műhelyesszé egy mondatban
Az MI hibáinak szakmai kezeléséhez olyan kontrollfolyamatra van szükség, amely a forrástól a végső OUTPUT-ig felismerhetővé, lokalizálhatóvá és visszakövethetővé teszi a hibákat és a fennmaradó bizonytalanságokat.
A következő rész
6. Amikor az MI emlékszik - és amikor nem
Kontextus, projektmemória és verziókezelés az ember–MI együttműködésben
Egy hosszabb szakmai projekt során döntések, definíciók, módszertani szabályok és dokumentumverziók halmozódnak fel. A következő műhelyesszében azt vizsgáljuk, hogyan befolyásolja az együttműködés minőségét az MI számára ténylegesen hozzáférhető kontextus, hogyan kezelhetjük a projektmemóriát, és mi történik akkor, amikor egy korábbi döntés hiányzik, elavul vagy rossz verzióból kerül vissza a munkafolyamatba.
Transzparencia
A tartalom a ChildTech ember-MI együttműködési gyakorlatában, ChatGPT alkalmazásával készült; szakmai tartalmáért és végleges formájáért Piróth István felel.
Szakmai tartalom és szöveg: saját szerzői munka.
Vizuál: generatív MI használatával készült.
További tájékozódásért kövesd az Okosóvoda Facebook oldalát.
