SZAKMAI INTELLIGENCIA * MI
2. A prompttól a szakmai párbeszédig
Párbeszéd, iteráció és visszacsatolás
Műhelyesszé | 2. rész
Egy jól megfogalmazott prompt sokat számít. Összetett szakmai munkában azonban gyakran csak a folyamat első lépése. A válasz új kérdéseket vethet fel, pontosításra szorulhat, vitát indíthat, vagy akár az eredeti problémát is más megvilágításba helyezheti. A SZAKMAI INTELLIGENCIA * MI második műhelyesszéje azt vizsgálja, hogyan alakulhat át egy kezdeti prompt többfordulós szakmai párbeszéddé és miért válik ebben fontossá az iteráció, a kritika és a visszacsatolás.
A prompt mint kiindulópont
A generatív MI használatáról szóló gyakorlati diskurzusban érthetően nagy figyelmet kap a prompt. Hogyan fogalmazzuk meg pontosan a feladatot? Mennyi kontextust adjunk? Milyen szerepet, célt, formátumot vagy korlátozást határozzunk meg? Ezek fontos kérdések.
A ChildTech és a ChatGPT hosszabb együttműködésében azonban egy másik tapasztalat is egyre világosabbá vált: összetett szakmai problémáknál nem feltétlenül az első prompt minősége határozza meg a teljes folyamat eredményét. A prompt kijelölhet egy kiindulópontot. A szakmai munka következő lépése viszont már az, hogy mit kezdünk a kapott válasszal.
Elfogadjuk? Pontosítjuk? Vitatjuk? Hiányzik belőle egy szempont? Túl erős következtetést tartalmaz? Más problémát oldott meg, mint amit eredetileg felvetettünk? Vagy éppen olyan összefüggést mutatott meg, amely miatt magát a kiinduló kérdést kell újra gondolnunk? Ettől a ponttól a folyamat már nehezen írható le egyszerű prompt-válasz kapcsolatként.
Az iteráció nem puszta javítgatás
Az iteráció könnyen úgy értelmezhető, mint az első MI-válasz fokozatos javítása: kérünk egy változatot, majd rövidebbet, pontosabbat vagy más stílusút. A szakmai munkában ennél lényegesen többről lehet szó. Egy következő forduló megváltoztathatja a vizsgált szempontokat. Új fogalmi különbséget vezethet be, megmutathat egy ellentmondást. A szakértő jelezheti, hogy az MI által javasolt értelmezés nem illeszkedik a korábbi eredményekhez, az MI erre újra szervezheti az érvelést. A következő emberi reakció pedig már nem az eredeti promptból, hanem az addigi párbeszéd egészéből indul ki. Így az iteráció során nem egyszerűen a válasz változik. Változhat a probléma értelmezése is.
Ez a ChildTech-munkában különösen akkor vált láthatóvá, amikor nem egyetlen szöveget kellett létrehoznunk, hanem módszertani rendszereket, kampányeredményeket vagy szakmai koncepciókat kellett értelmeznünk és tovább építenünk.
Egy valós munkafolyamat: meddig ér el az adat?
A ChildTech Promptműhely első kampányának értékelése során négy hírlevélváltozat eredményeit elemeztük. A PM1_D változat különösen erős aktivitást mutatott: 45,0 százalékos megnyitási arány mellett 15,7 százalékos kattintási arányt és 34,5 százalékos Click-to-Open Rate-et mértünk. A két utóbbi mutató a négy változat közül a legmagasabb volt.
Az első MI-elemzés ezt egyértelmű sikerként értelmezte. A D változatot a kampány „valódi győztesének” nevezte, majd a tárgysor megfogalmazását is bevonta a lehetséges magyarázatok közé. A PM1_D tárgysora így szólt: „3 újabb ingyenes ONOAP-kompatibilis szakmai prompt óvodapedagógusoknak”. Összehasonlításként a PM1_B tárgysora „Hogyan segíthet a ChatGPT az ONOAP megvalósításában?” nem tartalmazott számszerűen meghatározott tartalmi ígéretet.
Az első értelmezésben ezért hangsúlyt kapott a D tárgysorában szereplő „3”, illetve az ezzel együtt megjelenő konkrét ajánlat. Az MI-elemzés szerint ez a fajta konkrétság csökkenthette a bizonytalanságot és növelhette a cselekvési hajlandóságot. Innen már egy általánosabb következtetés lehetősége is felmerült: az óvodapedagógus célcsoport számára a konkrétság önmagában értéket jelenthet.
Az értelmezés koherens volt, és az adatokkal is kapcsolatba hozható. Módszertani szempontból azonban felmerült egy további kérdés: pontosan meddig jutunk el az adatok alapján?
A két tárgysor összevetése érthetővé teszi, miért merült fel a számszerű konkrétság, mint lehetséges magyarázat. Ugyanez az összevetés azonban még nem alkalmas arra, hogy elkülönítse a „3” szám hatását a tárgysor többi elemétől, illetve a kampányváltozatok közötti egyéb különbségektől. A „3 újabb ingyenes ONOAP-kompatibilis szakmai prompt óvodapedagógusoknak” több szempontból is különbözik a „Hogyan segíthet a ChatGPT az ONOAP megvalósításában?” megfogalmazástól. Számszerű, konkrét tartalmi ígéretet tesz, megjelenik benne az „ingyenes” jelző, közvetlenül megnevezi a „szakmai prompt” tartalmat és az óvodapedagógus célcsoportot is. A mérési eredmény ezért önmagában nem mutatja meg, hogy ezek közül melyik elem, illetve milyen kombinációjuk járulhatott hozzá a magasabb aktivitáshoz.
Ezen a ponton az első MI-értelmezés maga vált a következő elemzési kör tárgyává. Szét kellett választanunk, mit mértünk, hogyan értelmezhetjük a mért eredményt, és mely magyarázatokat érdemes további vizsgálatra alkalmas hipotézisként megtartani.
A PM1_D erős kattintási teljesítménye mért eredmény. A számszerűen konkrét értékígéret és a nagyobb aktivitás közötti kapcsolat már értelmezés. Az az állítás pedig, hogy a konkrétság általában növeli ennek a célcsoportnak a cselekvési hajlandóságát, további adatokkal ellenőrizendő hipotézis. Így az első elemzésből származó gondolatot nem kellett elvetnünk, a státuszát kellett pontosabban meghatároznunk.
A korrigált következtetésünk ezért óvatosabb lett: a PM1_D a vizsgált változatok között a legerősebb kattintási aktivitást produkálta. Ennek egyik lehetséges magyarázata a számszerűen konkrét értékígéret (a hírlevél tárgysorában szereplő „3” szám). Az oksági kapcsolat és az eredmény más kampányokra való általánosíthatósága további vizsgálatot igényel.
Ez az eset jól mutatja, mit jelent a visszacsatolás egy többfordulós szakmai LLM-együttműködésben. Az első válasszal az elemzés új szakaszba lépett: vizsgálati tárggyá vált maga az MI által megfogalmazott értelmezés is. A folyamat során egy egyszerű, de fontos módszertani különbségtétel vált láthatóvá: mért eredmény - értelmezés - hipotézis. A három szint közötti határ megtartása különösen fontos, amikor az MI nyelvileg koherens és szakmailag hihető magyarázatot fogalmaz meg. A meggyőző megfogalmazás önmagában nem emeli az értelmezést mért eredménnyé, és a lehetséges magyarázatot sem teszi bizonyított oksági kapcsolattá.
Ebben a munkafolyamatban ezért az iteráció célja már az első válasz episztemikus státuszának ellenőrzésére is kiterjedt: mely állításokat tekinthetjük adatnak, melyeket adatból kiinduló értelmezésnek, és melyeket olyan hipotézisnek, amelyeket érdemes a következő mérési ciklusokban tovább vizsgálni.
A folyamat egy pontján ezért már nemcsak a kampányt értékeljük. Az elkészült értékelést is értékeljük. Ez a második szint fontos része a közös munkának. Egy nyelvileg koherens és szakmailag hihető MI-elemzés ugyanis még nem feltétlenül kellően megalapozott elemzés.
Amikor a szakértő visszakérdez
A szakmai párbeszéd egyik fontos mozzanata a visszakérdezés. „Miből következik ez?” „Van más lehetséges magyarázat?” „Ezt valóban mérjük, vagy csak következtetünk rá?” „Nem állítunk többet annál, mint amit az adataink megengednek?”
Az ilyen kérdések funkciója eltér egy új promptétól: az előző válasz érvelését teszik vizsgálat tárgyává, és ezzel újabb elemzési szintet nyitnak a párbeszédben. Ezzel megváltozik az együttműködés szerkezete. Az MI által generált válasz nem végpont, hanem új szakmai objektum lesz: valami, amit elemezni, kritizálni és szükség esetén módosítani lehet.
A szakértő ugyanakkor maga sem marad érintetlen ebben a folyamatban. Előfordulhat, hogy egy visszakérdezésre adott válasz olyan szempontot tár fel, amelyet eredetileg nem vett figyelembe. Egy ilyen korrekció eredménye a szakmai értelmezés pontosabbá válása, függetlenül attól, hogy az új szempont eredetileg az emberi vagy az MI-oldalon jelent meg.
A párbeszédnek memóriája van
A többfordulós együttműködés másik sajátossága, hogy az egyes kérdések már nem önmagukban állnak. Egy későbbi kérdés jelentését meghatározhatják az előző fordulókban kialakított fogalmak, elfogadott szempontok, elvetett lehetőségek és korábbi döntések. Ez lényeges különbség az egymástól független promptok sorozatához képest.
Ha például egy elemzés során már rögzítettük, hogy egy kampány elsődleges célja a szakmai jelenlét és a bizalom építése volt, akkor a következő mérési eredményeket is ebben a keretben kell értelmeznünk. Egy későbbi fordulóban ezért következetesen ugyanehhez a célhoz és az abból levezetett sikerkritériumokhoz kell viszonyítanunk az eredményeket.
A szakmai párbeszéd ezért nemcsak egymást követő kérdésekből áll. Korábbi döntésekhez is viszonyul. Ez egyszerre lehet az LLM-együttműködés egyik erőssége és kockázata. A folytonosság segíti az összetettebb rendszerek építését, de egy korábban hibásan elfogadott feltételezés ugyanígy tovább vihető a következő gondolatmenetekbe. A visszacsatolásnak ezért nemcsak előre, hanem időnként visszafelé is működnie kell: érdemes újra megvizsgálnunk azokat a premisszákat, amelyekre a további következtetések épülnek.
Nem minden forduló visz előre
A többfordulós párbeszéd önmagában nem garancia a jobb eredményre. Lehet körkörös. Az MI újra fogalmazhatja ugyanazt az állítást anélkül, hogy új információt adna. A beszélgetés túlságosan sok fogalmat és mellékszálat halmozhat fel. Egy kezdetben világos probléma elveszhet a folyamatos továbbfejlesztésben. A ChildTech-munkafolyamatban ezért egy másik emberi funkció is fontossá vált: a lezárás. Fel kell ismernünk azt a pontot, amikor már elegendő elem áll rendelkezésre a döntéshez. Máskor azt kell kimondanunk, hogy az adott kérdés jelenleg nem dönthető el. Megint máskor vissza kell térnünk az eredeti problémához, mert a párbeszéd túl messzire távolodott tőle.
A szakmai intelligencia ebben az értelemben nemcsak kérdez, értékel és prioritásokat állít fel. Azt is eldönti, mikor kell tovább kérdezni, és mikor kell megállni.
A prompt a párbeszéd része
A prompt továbbra is fontos része a folyamatnak. Egy pontos kiinduló kérdés időt takaríthat meg, csökkentheti a félreértéseket, és megfelelő keretet adhat az elemzésnek. A ChildTech tapasztalatai alapján összetett szakmai munkában a prompt minőségét érdemes a teljes interakció részeként értelmezni.
A munkafolyamat közelítőleg így írható le:
problémafelvetés - prompt - MI-válasz - szakmai értékelés - visszakérdezés vagy kritika - módosított elemzés - összevetés a korábbi kontextussal - döntés vagy újabb iteráció
A folyamat közben az ember és az MI hozzájárulása sem feltétlenül marad változatlan. Egyes szakaszokban az MI strukturáló szerepe lehet erősebb. Máskor a szakértő kontextusismerete vagy módszertani kritikája határozza meg a következő lépést. A lényeg nem a fordulók száma. Az számít, hogy minden újabb forduló hozzáad-e valamit a probléma pontosabb megértéséhez vagy a szakmai döntéshez.
Mit tanultunk ebből?
A ChildTech eddigi munkafolyamatiból négy tanulságot emelnék ki.
Az első: a jó prompt fontos, de összetett szakmai feladatoknál nem önmagában határozza meg az eredmény minőségét.
A második: az iteráció szakmai értékét az adja, hogy a szöveg továbbfejlesztése mellett az érvelés, a kiinduló feltételezések és a probléma értelmezése is újra megvizsgálható.
A harmadik: a többfordulós párbeszéd folytonosságot teremt. A korábbi döntések, fogalmak és értelmezések részévé válhatnak a következő munkafázisnak. Ezért a hibás premisszák tovább örökítésének kockázatával is számolni kell.
A negyedik: a szakértői kontrollhoz a lezárás képessége is hozzátartozik. Egy szakmai párbeszéd értékét az mutatja meg, hogy mennyiben segítette a probléma pontosabb megértését és a megalapozott döntést.
A prompt ebből a nézőpontból belépési pont egy iteratív munkafolyamatba. A szakmai intelligencia feladata pedig nem merül ki abban, hogy jó kérdéseket fogalmazzon meg. Értelmeznie kell a válaszokat, ellenőriznie az érvelést, fenntartania a releváns kontextust, és döntenie arról is, mikor van szükség újabb fordulóra. Ez az a pont, ahol a promptolás szakmai párbeszéddé válhat.
A műhelyesszé egy mondatban
Összetett szakmai LLM-használatban a prompt a munkafolyamat kiindulópontja; az eredmény minőségét az iteráció, a kritikai visszacsatolás és a szakmai döntés együtt alakítja.
A következő rész
3. Az MI, mint szakmai asszisztens
Elemzés, rendszerezés, összehasonlítás és alternatívák
A következő műhelyesszében azt vizsgáljuk meg, milyen feladatokat érdemes egy LLM-re bízni egy összetett szakmai munkafolyamatban, hol keletkezhet tényleges hozzáadott érték, és mely feladatoknál szükséges különösen erős emberi kontroll.
Transzparencia
A tartalom a ChildTech ember–MI együttműködési gyakorlatában, ChatGPT közreműködésével készült; szakmai tartalmáért és végleges formájáért Piróth István felel.
További tájékozódásért kövesd az okosóvoda FB oldalát.
