A fordító

A fordító (translatorserver) mondatonként fordít, a gépen futó fordítómodellel (TranslateGemma). Két részből áll: az előtétből, amely a kéréseket fogadja és a webes felületet adja, és a motorból (llama-server), amely a modellt futtatja. A felület a gépen alapból a http://127.0.0.1:8081/admin címen érhető el; a fejlécben „Fordítószolgáltatás” áll.

A legfontosabb saját lapja a Modellprofil: itt állítod össze, melyik modell, mekkora ablakkal és hány párhuzamos kéréssel fusson úgy, hogy biztosan elférjen a videokártyán. Profil nélkül a motor nem indul el – az első indítás után ez az első teendő.

Néhány fogalom a fejezethez:

Fogalom	Mit jelent
profil	A modell minden beállítása egy csomagban: a modell mérete és változata, a KV-gyorsítótár, a slotok módja és száma, az ablak és a ráhagyás.
slot	Egy fordítási kérés helye a motorban: ahány slot, annyi kérés dolgozhat egyszerre.
ablak	Hány token (szódarab) fér egy fordítási kérésbe, a bemenettel és a kimenettel együtt.
KV-gyorsítótár	Ahol a motor a már feldolgozott tokenek állapotát tartja; minél kisebb a típusa, annál kevesebb videómemóriát kér.
ráhagyás	Az a videómemória, ami nem a fordítóé: a monitor, a feliratozó és a beszédszolgáltatás része.
keret	A kártya teljes memóriája mínusz a ráhagyás: ebből gazdálkodik a fordító.

Áttekintés

Az Áttekintés a közös lapok szerint működik; a fordítón két dobozt mutat: az Előtét (verzió, indulás, futásidő, a Fordítás API címe, a kérések száma) és a Motor (vezérelt-e, a portja, a futó profil, a modell, a KV-gyorsítótár és a slotok).

• A Motor újraindítása a jelenlegi profillal indítja újra a motort. Profilt váltani nem ezzel kell, hanem a Modellprofil lapon (lent).
• A Motor leállítása tartósan leállítja a motort, például ha a videokártyára másnak van szüksége; a fordítás addig „nem elérhető” választ ad.
• Ha a Futó profil sorban „–” áll, és alatta az, hogy a motor profil nélkül nem indul, menj a Modellprofil lapra.
• Ha a Vezérelt sorban „nem (külső motor)” áll, a motort nem a fordító indította; a gombok és a profilváltás ilyenkor nem hatnak rá.

A modellprofil

A Modellprofil lap tetején A gép erőforrásai áll (a videokártya, a memória és a fordító kerete), alatta a Mentett profilok, alul a Profil összeállítása varázsló.

A profil azt a hibát zárja ki, amikor a modell és a beállítások együtt nem férnek a videokártyára: ilyenkor a motor a modell egy részét a rendszermemóriába tenné, és a fordítás észrevétlenül sokszorosára lassulna. Ezért minden profil mellett ott áll az illeszkedése:

Érték	Mit jelent
mért	A profil igényét ezen a gépen megmérték, és elfér.
becsült	A modell méretéből számolt igény; elfér, de mérés még nem igazolta.
ismeretlen	Hiányzik az adat: nincs adat a videokártyáról, vagy a változat még nincs letöltve. Ez nem azonos a „nem fér”-rel.
nem fér	A keret kisebb az igénynél. Ilyen profillal a motor nem indul el, de a fordító fut tovább, hogy a lapon kijavíthasd.

Az ítélet mindig a mai gépen születik: egy másik munkaállomáson mentett profil itt magától helyes választ kap.

Ha a Videokártya sorban „nincs adat” áll (a lap ilyenkor megmondja, hogy az nvidia-smi nem érhető el – például egy NVIDIA-kártya nélküli gépen vagy Macen), a lap az elférést nem tudja ellenőrizni, és a fordító kerete 0 GB-ot mutathat. Ilyenkor a változatot és a slotok számát óvatosan, a gép memóriájához mérten válaszd.

A varázsló hét lépése

A Profil összeállítása varázsló lépésről lépésre vezet végig. Minden lépés fejlécében látszik a mostani választás, és bármelyik lépésre visszaléphetsz a Vissza gombbal vagy a fejléc lépésére kattintva. Új profilt az Új profil gombbal kezdesz; egy mentett profilt betölthetsz a varázslóba, hogy módosítsd.

1. Keret

Itt adod meg a Ráhagyás (GB) értékét: mennyi videómemória nem a fordítóé. Ebből él a monitor és a másik két kiszolgáló (a feliratozó és a beszédszolgáltatás), ha egy kártyán osztoznak. A mező alatt a lap kiírja, mennyi marad a fordítónak.

Ha a fordító egyedül fut a gépen, a ráhagyás nyugodtan csökkenthető. Ha mind a három szolgáltatás egy kártyán van, hagyj elég helyet a feliratozónak is.

2. KV-gyorsítótár

Itt választod ki, milyen pontossággal tartsa a motor a feldolgozott tokeneket. A kisebb típus ugyanannyi memóriából nagyobb ablakot vagy több slotot enged.

• q8_0 (ajánlott): a fordítás minőségén nem mérhető a különbség, a memóriaigény viszont nagyjából fele akkora.
• f16: a legpontosabb, de a legtöbb memóriát kéri.
• q5_1 és q4_0: még kisebbek; akkor hasznosak, ha a q8_0 mellett már nem fér el a kívánt modell vagy slotszám. A q4_0-nál a pontosság már mérhetően csökken.

3. Slotok módja

Itt dől el, hogyan osztják fel a slotok a KV-gyorsítótárat.

• dedikált: minden slot saját, garantált ablakot kap; egy túl nagy kérés csak a saját slotját rontja el. A memóriaigény a slotok számával szorzódik. Ez a biztonságos választás több egyidejű felhasználónál.
• osztozó: a slotok egy közös készletből gazdálkodnak; egy kérés az egészet megkaphatja, és a memória nem nő a slotszámmal – cserébe a slotok együtt ki tudják meríteni.

4. Ablak

Itt adod meg, mekkora ablakot kapjon egy slot (512 és 8192 token között).

A LiveCaption mondatonként fordít, ezért a rövid ablak is elég; hosszabb bekezdésekhez vagy dokumentumok fordításához a 4096 az első biztonságos fok. 8192 fölött az ablak gyakorlatilag sosem telne meg, a memóriát viszont slotonként megfizetnéd.

5. Modell

Itt választod ki a modell méretét és változatát (kvantálását). A nagyobb modell jobban fordít, de több helyet kér.

A táblázat soronként megmutatja a súlyok és a KV-gyorsítótár memóriaigényét, az összeget, és hogy legfeljebb hány slot fér el mellette (Max. slot). A „nem fér a keretbe” jelzésű változatot ne válaszd. A még le nem töltött változatok a Letölthető változatok listájában állnak; onnan a letöltés is elindítható, és a pontos állása a lapon látszik.

6. Slotok száma

Itt adod meg, hány kérést szolgáljon ki a motor egyszerre.

A slot-létra minden sorban megmutatja a KV-készlet méretét, az összes igényt és az ítéletet (elfér, szűkös, nem fér el). Egy LiveCaption-munkaállomáshoz kevés slot is elég; ha több munkaállomás vagy fájlfordítás is használja a fordítót, válassz többet, amíg az ítélet „elfér”.

7. Mentés

Az utolsó lépésben nevet adsz a profilnak (A profil neve, és ha akarod, Megjegyzés), jobbra pedig az összegzés áll: a változat, a KV-gyorsítótár, a slotok, a ráhagyás és az igény a keretből.

Három gomb közül választhatsz:

• Mentés: a profil elmentődik, de nem lesz aktív – kivéve a legelső profilt, ami magától aktív lesz.
• Mentés és kijelölés: a profil a következő indulásnál indul.
• Mentés és indítás most: a motor leáll, és azonnal az új profillal indul újra. A futó fordítások megszakadnak, és a betöltés alatt (ez percekig is tarthat) a fordítás „nem elérhető” választ ad.

A mentett profilok kezelése

A Mentett profilok listájában minden profil mellett ott áll az illeszkedése és az, hogy aktív-e. A sor gombjaival:

• Kijelölés a következő indulásra: ez a profil indul legközelebb, a futó motor addig nem változik.
• Betöltés most (a motor újraindul): azonnal erre a profilra vált; a futó fordítások megszakadnak.
• Bemérés (a mérés ikonja): a becsült igényt egy pontos méréssel váltja fel; a mérés a háttérben fut.
• A profil betölthető a varázslóba módosításra, másolatként menthető, vagy törölhető.

A lap alján a műveletek doboza mutatja a futó műveletet (mérés, motorváltás), a haladását és az utolsó sorait. Ha a lista nem frissült, a jobb felső frissítés ikonja újraszámolja a listát és az elférést.

Élő nézet

Az Élő nézet ugyanúgy működik, mint a feliratozón (lásd A feliratozó fejezet Élő nézet részét). A fordítón egy pötty a llama-server egy slotja, a dolgozó slot buborékja azt is megmutatja, hány tokent adott eddig. Fent a futó profil és a motor futásideje áll, a Kiszolgálási idő görbén pedig a token / mp érték mutatja a fordítás sebességét.

Ha a várakozik érték tartósan nagyobb nullánál, kevés a slot a terheléshez: állíts össze egy profilt több slottal (ha elfér), vagy kisebb modellel.

Beállítások

A Beállítások lap a közös lapok szerint működik. A fordítón a modell beállításai (méret, változat, KV-gyorsítótár, ablak, ráhagyás) nem itt, hanem kizárólag a Modellprofil lapon állíthatók: így nem lehet olyan kombinációt összerakni, ami nem fér a kártyára.

A régi parancssori kapcsolók (--model, --size, --cache-type, --engine-args, --vram-headroom) megszűntek. Ha egy korábbi telepítés konfigfájljában vagy indítószkriptjében még ott vannak, a fordító beszédes hibával megáll, és megnevezi a kulcsot. Ilyenkor töröld a kulcsot, indítsd el a fordítót, és a Modellprofil lapon állítsd össze a profilt.

Futási kép

A Futási kép a közös lapok szerint működik; a fordítón ezen felül megmutatja, hol vannak a modellek (a Hugging Face gyorsítótára, HF_HUB_CACHE, különben HF_HOME/hub), milyen parancssorral indult utoljára a llama-server, mely folyamatai futnak, és ha épp modell töltődik le, a letöltés pontos állását.

Ha a motor indítása elbukott, a Külső eszközök kártyája megmutatja az utolsó parancssort és az okot; a részleteket a Naplók lap translatorserver-log mappája adja, ahol a motor kimenete is időrendben áll.

Ha a fordítás nem működik

• „A motor profil nélkül nem indul”: nincs aktív profil. Állíts össze egyet a varázslóval, és mentsd Mentés és indítás most gombbal.
• A profil „nem fér”: növeld a keretet (kisebb ráhagyás), válassz kisebb változatot, kisebb KV-gyorsítótárat vagy kevesebb slotot.
• A fordítás lassú, pedig a profil elfér: nézd meg az Élő nézeten, várnak-e kérések, és hogy a feliratozó nem indult-e a fordító előtt (akkor elfoglalhatta a videómemóriát). A helyes sorrend: fiókszolgáltatás, fordító és beszédszolgáltatás, végül a feliratozó.
• A LiveCaption nem kap fordítást: a Kapcsolatok lapon nézd meg, megérkezik-e a kérés, és milyen kóddal válaszol a fordító.

A fordítás beállítása az alkalmazás oldaláról: Fordítás. További tünetek: Hibaelhárítás.

Hova tovább

• A beszédszolgáltatás