Ugrás a tartalomra
Cikkek 1 perc olvasás

Demó: modellválasztás a feladat felől

Egy egyszerű keret ahhoz, hogy ne ranglistából, hanem követelményekből induljon az AI-modell kiválasztása.

Gulyás Gábor

Kezdjük a korlátokkal

A „melyik a legjobb modell?” kérdés általában túl tág. Egy adott munkafolyamatban a válasz függ a késleltetéstől, a költségkerettől, az adatkezelési elvárásoktól és attól is, mennyire könnyű ellenőrizni a kimenetet.

Szempont Kérdés
Minőség Milyen hibák elfogadhatatlanok?
Sebesség Interaktív vagy kötegelt a feladat?
Üzemeltetés Hol futhat a rendszer?
Ellenőrzés Van emberi jóváhagyási pont?

Kis, saját tesztkészlet

Egy tucat valósághű, anonimizált példa többet mondhat a saját feladatról, mint egy általános ranglista. A tesztkészlet legyen elég változatos ahhoz, hogy a ritka, de költséges hibák is előjöjjenek.

Rögzítsük a döntést

A mérés mellett írjuk le a feltételezéseket is. Így egy későbbi modell- vagy követelményváltozásnál látszik, mit kell újratesztelni.

Kapcsolódó írások