AI-pilóta bevetése egy meglévő üzleti rendszerben

A korlátozott AI-pilóta a kontrollált módja annak, hogy egy már meglévő rendszerbe bevezess és kiértékelj egy AI-képességet. A pilótát a technológia előtt határozd meg: szűk operatív problémát, egyértelmű rendszerhatárt, korlátozott AI-szerepet, megengedett bemeneteket és kimeneteket, olyan felhatalmazási kört, amely ott ér véget, ahol a következmények megkövetelik, megfigyelhető értékelési kritériumokat és visszafordítható eredményeket. Meghatározott ideig fut, az előre rögzített kritériumokon méred, és öt döntés egyikével zárul: kiterjesztés, korlátozott keretekben tartás, újra tervezés, elhalasztás vagy az AI-képesség teljes eltávolítása. A sikeres bevezetés az egyik lehetséges kimenet, nem az elvárt – a pilóta azért létezik, hogy bizonyítékot adjon a következő rendszerdöntéshez.

Határozd meg az operatív problémát, mielőtt bármilyen AI-képességet, modellt vagy eszközt fontolgatnád. A problémát a működés nyelvén írd le: egy feladat, amely lassú, következetlen vagy nehezen betölthető, egy lépés, ahol a nyelvi vagy mintafelismerő munka meghaladja a szabályok erejét, vagy egy kimenet, amelyet ma emberek állítanak elő kézzel. A problémafelvetés nevesíti a feladatot, az érintett adatokat, a résztvevő embereket és azt, mi számítana javulásnak. Ha a problémát nem lehet megfogalmazni modell vagy termék megnevezése nélkül, az még nem problémafelvetés. Hogy mi az összefüggő üzleti rendszer – és hogyan illeszkedik a pilóta gazdarendszere ebbe a képbe –, arról az üzleti rendszerekről szóló útmutató (/resources/mit-tartalmaznak-az-uzleti-rendszerek) szól; a pilóta a konkrét feladatból indul, nem a meghatározásból.

A pilóta nevesíti, hol él az AI-képesség a meglévő rendszeren belül, és mi marad rajta kívül. A határ felsorolja azokat a rendszereket, amelyekből a képesség olvashat, azt az egy helyet, ahol a kimenete belép a működésbe, és mindazt, amihez nem nyúlhat: más rendszereket, más adatokat, más folyamatokat és más döntési pontokat. A meglévő rendszer többi része pontosan úgy működik tovább, mint ma – a pilóta nem rajzolja újra a rendszert, nem váltja le a folyamatot, és nem kér más csapatoktól változtatást a munkamódszerükben. Ez tudatosan szűkebb, mint az összefüggő rendszerekről szóló útmutatóban (/resources/mit-tartalmaznak-az-uzleti-rendszerek) leírt munka: az az útmutató a működési egészt határozza meg, míg a pilóta csak egy körülhatárolt sarkát igényli.

A pilótában az AI-képesség egyetlen szűk munkafajtát végez: értelmezést, osztályozást, generálást, kinyerést vagy támogatást – nem az egész feladatot és nem az egész rendszert. A szerepet feladatként írd le, nem technológiaként: a bejövő kérések olvasása és az ügy adatainak kinyerése, ahelyett hogy végpontot vagy modellnevet említenéd. Ami nem fér bele ebbe a szűk szerepbe, az marad a meglévő rendszerben, a meglévő eszközöknél és a meglévő embereknél. A pilóta nem engedheti meg, hogy az AI-képesség implicit módon magává a rendszerré váljon: korlátozott komponens, megnevezett feladattal, körülvéve egy olyan rendszertől, amely nélküle is működik.

A pilóta egy meghatározott bemenetkészlettel fut, és nem többre. Nevezd meg minden bemenet forrását – a rendszert és rekordot, amelyből származik –, és a megengedett kontextust, amelyet a képesség láthat: mely mezőket, mely rekordokat, mely dokumentumokat, és mi az, ami kifejezetten ki van zárva. Ha a pilóta visszakeresi a kontextust ahelyett, hogy megkapná, a visszakeresési határ a tervezés része: mit lehet keresni, mit nem, és hogyan határolódik be a kiválasztott kontextus, mielőtt eléri a modellt. Azok a determinisztikus bemenetek, amelyekkel a feladat már rendelkezik – állapotok, azonosítók, referenciaadatok –, maradnak determinisztikusak, és az AI-munka mellett kerülnek átadásra, nem pedig újragenerálva.

A képesség nem felhatalmazás. Az, hogy egy képesség választ tud előállítani, még nem jelenti, hogy kötelező érvényűvé is teheti; az, hogy műveletet tud ajánlani, még nem jelenti, hogy végre is hajthatja. A pilóta meghatározza, mit hozhat létre az AI – osztályozásokat, kinyeréseket, tervezeteket, összefoglalókat, ajánlásokat, strukturált eredményeket –, és mit nem: rekordok írását, folyamatok elindítását, kommunikáció küldését vagy a működést megváltoztató művelet végrehajtását, kivéve, ha ezt a konkrét jogosultságot pontosan erre a feladatra adtad meg. Ahol a pilóta kimenete döntéstámogatás, a döntés az embernél marad; ahol a kimenet anyag egy lépéshez, maga a lépés ott marad, ahol már van.

A pilótának pontosan egy korlátozott integrációs pontra van szüksége: egy meghatározott szerződésre, ahol a strukturált kimenete belép a meglévő rendszerbe, és egy meghatározott fallbackre, ha a kimenet nem állítható elő. A szerződés minimális és explicit – a kimeneti séma, az elvárt értékek, a formátum és az, mit tesz a fogadó lépés az eredménnyel. A fallback ugyanannak a szerződésnek a része: ha a képesség meghiúsul, túllépi az időkorlátot, vagy olyan kimenetet állít elő, amely nem megy át az érvényesítésen, a munka a meglévő úton folytatódik, annál az embernél vagy folyamatnál, amely a pilóta előtt is ellátta a feladatot. Ez az egy integrációs pont a pilóta egyetlen igénye a meglévő rendszerre; minden más érintetlen marad.

Az emberi kontroll a pilótában annak a következményeit követi, amit a képesség befolyásol, nem pedig egy univerzális szabályt, hogy minden kimenetet jóvá kell hagyni. Ahol a pilóta kimenete nagy vagy visszavonhatatlan következménnyel járó lépést táplál – kimenő kommunikációt, jogi vagy pénzügyi súlyú rekordváltozást, a céget elkötelező döntést –, ott ember hagyja jóvá vagy hajtja végre. Ahol a kimenet kis következményű és könnyen javítható – tervezet, osztályozás a triázshoz, összefoglaló belső áttekintésre –, ott a pilóta közvetlenül futhat, és ettől még visszafordítható marad. A pilóta célja, hogy kiderüljön, hol húzódik valójában a következményhatár ennél a feladatnál, és ennek megfelelően kerüljenek a kontrollpontok. Az AI-rendszerekhez tartozó kontrollkategóriák teljes katalógusa a gyakorlati védelmi intézkedésekről szóló jegyzet (/resources/gyakorlati-vedelmi-intezkedesek-az-ai-rendszerekhez) témája; a pilóta a következményei által igényelt részhalmazt alkalmazza.

A pilótának annyi nyomot kell hagynia, hogy egy későbbi felülvizsgálat rekonstruálni tudja, mi történt: az egyes kérések által kapott bemeneteket, a ténylegesen használt kontextust, az előállított kimenetet, az érvényesítési és fallback-döntéseket, a bevont emberi áttekintéseket, valamint a felmerült kivételeket és hibákat. A megfigyelhetőség nem azt jelenti, hogy mindent naplózni kell – hanem azt, hogy az értékelési kritériumok megválaszolhatóvá váljanak. Ha a pilóta kimeneteit később megítélik, az ítélethez szükséges anyagnak léteznie kell. Az, hogy mi legyen látható, jelenként dől el: bemenetek és kimenetek a hasznossághoz, kivételek és hibák a hibatípusokhoz, javítások az emberi terheléshez, a teljes nyom pedig az ellenőrizhetőséghez.

Az üzemeltetési költség és a késleltetés első osztályú kényszerfeltétel a pilótában, nem utólagos szempont. A tervezés token- vagy kontextuskeretet állapít meg a feladathoz, felső határt arra, mennyit fogyaszthat egy-egy futás, és késleltetési keretet ahhoz a lépéshez, amelyet a képesség kiszolgál. Ezek olyan működési paraméterek, amelyeket a csapat a saját feladatához és környezetéhez határoz meg – nincsenek univerzális számok, és nem is szabad máshonnan átvenni. Az számít, hogy a pilóta előre megnevezi a kereteit, és rögzíti, mit fogyasztott valójában, hogy az értékelés mérlegelhesse a képesség költségét és késleltetését a meglévő úttal szemben, amelyet leváltana.

A pilóta azt is meghatározza, hogyan hibázik a képesség, még mielőtt hibázna. Az időkorlátok behatárolják, meddig tarthat egy futás, az újrapróbálkozási korlátok, hányszor próbálható meg, az érvényesítés pedig kiszűri a strukturálisan használhatatlan kimeneteket. A fallback a meglévő út: ha a képesség a keretein belül nem tud elfogadható eredményt előállítani, a feladat úgy folytatódik, ahogy a pilóta előtt is ment. A legtöbb pilótafeladatnál ember végzi el közvetlenül a lépést; ahol determinisztikus út létezik, az szolgál fallbackként. A csendben meghiúsuló pilóta nem pilóta – minden hiba látható, és a működést érintetlenül vagy jobb tájékozottsággal hagyja.

A feladat alkalmassága: hogy a pilótában meghatározott szűk szerep valóban illeszkedik-e az operatív problémához, vagy a problémát ismerted fel rosszul.

A kimenet hasznossága: használhatók-e a kimenetek a gyakorlatban, nem csak egy tesztkészletben.

Hibatípusok: a minták abban, hol és hogyan hibázik a képesség.

Az emberi javítási teher: mennyi áttekintést és javítást igényelnek valójában a kimenetek.

Illeszkedés a folyamathoz: hogy az integrációs pont és a fallback illeszkedik-e ahhoz, ahogy a munka ténylegesen fut.

Az integráció megbízhatósága: a korlátozott integrációs szerződés úgy viselkedik-e, ahogy tervezted.

Késleltetés: a lépés a késleltetési kereten belül zárul-e, amelyre a működésnek szüksége van.

Üzemeltetési költség: mit fogyaszt valójában a képesség az előre meghatározott kerethez képest.

Fallback-viselkedés: a hibák tisztán és láthatóan a meglévő útra terelődnek-e.

Ellenőrizhetőség: a rögzített nyom elegendő-e ahhoz, hogy rekonstruálható legyen, mi történt.

Visszafordíthatóság: a pilóta minden kimenete visszagörgethető-e nyom nélkül.

A kiterjesztés készenléte: mit mutatott a pilóta arról, illeszkedne-e egy szélesebb képesség a rendszerbe, és hogyan.

A pilóta értékeléséhez nincs szükség univerzális pontszámra vagy rögzített megfelelési küszöbre. A pilóta indítása előtt megnevezett kritériumok ellen gyűjtött, a működésből származó bizonyítékra van szükség.

Kiterjesztés: a bizonyítékok egy szélesebb körre való kiterjesztést támasztanak alá – a feladat nagyobb részére, több bemenetre, több felhatalmazásra –, saját következő korlátozott lépésként.

Korlátozott keretekben tartás: a képesség pontosan ott hasznos, ahol van, a jelenlegi körben, és ebben a körben maradni legitim kimenet.

Újra tervezés: a feladat vagy a határ volt rossz, és a pilótát újra kell formálni, mielőtt bármit megítélsz.

Elhalasztás: a probléma valós, de a bizonyítékok szerint a feltételek – adatok, időzítés, integráció, költség – még nem állnak rendben.

Az AI teljes eltávolítása: a becsületes következtetés az, hogy a meglévő út jobb, és az AI-képességet ki kell venni.

A pilóta azért létezik, hogy bizonyítékot adjon a következő rendszerdöntéshez, nem azért, hogy az AI bevezetését igazolja. A képesség eltávolítása sikeres pilóta, ha ezt támasztják alá a bizonyítékok.