Mi ez a Jev? Ez az új, gyorsnak, olcsónak és „hallucinációmentesnek” ígért AI?
A Jev előre meghatározott válaszlehetőségeket értékel, és strukturált döntéseket, pontszámokat, illetve valószínűségeket ad vissza. Strukturált választ már a mai LLM-ek is tudnak adni, de a Jev érdekessége az, hogy a működését és a tanítását is erre a szerepre szabják. A különálló kérdéseket párhuzamosan értékeli, a tanítás pedig arra törekszik, hogy a jelzett bizonyosság összhangban legyen a tényleges találati aránnyal. A folyamat szabályait a fejlesztő rögzíti, a modell a nehezen formalizálható részítéleteket adja hozzá.
Elsőre ez talán az ügyfélszolgálatban és a szabadszöveges keresőfelületek mögött lehetne igazán hasznos: felismerhetné a felhasználó szándékát, kiválaszthatná a megfelelő keresési kategóriát vagy munkafolyamatot. Egy beérkező ügyfélszolgálati üzenetnél külön értékelhető az ügy típusa, sürgőssége, az információk teljessége és az emberi beavatkozás szükségessége. Ezek alapján a szoftver kiválaszthatja a következő lépést, az LLM pedig megfogalmazhatja a választ. A várható előny a sokszor ismétlődő apró döntések hatékonyabb, jobban ellenőrizhető kezelése.
Ugyanez a munkamegosztás összetettebb AI-rendszerekben is működhetne: egy gyors döntési modell értékeli, mikor kell újabb adatot keresni, alaposabb elemzést végezni vagy szakértőt bevonni. Így a költségesebb LLM-ek képességeit célzottabban használhatnánk.
A garantált válaszformátum önmagában nem jelent helyes döntést. A „nem hallucinál” ígéret itt a megengedett kimenetek betartására vonatkozik: ezek közül továbbra is választhat rosszul. Saját feladatokon kell majd megmérni, hogy azonos elvárt pontosság mellett mennyivel lesz gyorsabb és olcsóbb a teljes rendszer, az emberi ellenőrzést is beleszámítva.
A részleteket a TypeSafe bejelentésében találod.