Hogyan működik
Minden a saját gépén vagy egy Ön által futtatott szerveren történik: a hang nem hagyja el a hálózatát. Ez a lap a hangtól a tolmács hangjáig követi az utat, és megmutatja, mit mértünk közben.
A hangtól a hangig, négy lépésben
- Live Caption Pro – a feliratablak a saját gépén
- AccountServer (port: 8100) – a fiókszolgáltatás: felhasználók, szerepkörök, API-kulcsok, audit napló és forgalommérés
- TranslatorServer (port: 8080) – a fordító: mondatonként fordít a TranslateGemma modellel
- VoiceServer (port: 8090) – a beszédszolgáltatás: kimondja a fordítást, kérésre a beszélő klónozott hangján
- CaptionServer (port: 5111) – a feliratozó szerver: mondatokra bontja és átírja a hangot (Whisper)
Rögzítés
Az alkalmazás a Windows hangján át rögzíti, amit Ön hall – a hívás másik felét, egy videót, egy előadást –, vagy egyetlen program hangját önmagában. A csendet figyeli: egy szünet lezárja a mondatot, így a feliratozó szerver egész gondolatokat kap, nem rögzített szeleteket.
Átírás
A feliratozó szerver a Whispert futtatja a videokártyán, és minden mondatot szövegként, időbélyeggel ad vissza. A nyelvet magától felismeri, vagy a beállítotthoz tartja magát; több lehetséges nyelvnél a teljes munkameneten szavaz, hogy egyetlen rövid mondat ne válthassa át.
Fordítás
A fordító egy TranslateGemma modellt futtat a llama.cpp-vel, és minden mondatot a lezárása után azonnal lefordít. Az első szó egy tized másodpercen belül megérkezik, így a fordítás szinte a beszéddel együtt jelenik meg az eredeti alatt.
Kimondás
Ha a tolmácsot hallani is akarja, a mondat egy hanghoz kerül: a beszélő klónozott vagy egy beépített hangjához a beszédszolgáltatásból, vagy egy Piper-hanghoz az alkalmazáson belül, videokártya nélkül. A tolmács sosem marad le tartósan: ha a mondatok torlódnak, kicsit gyorsít, és inkább a legrégebbieket hagyja ki, mint hogy percekkel lemaradjon.
Két irány
Bejövő
A másik fél szavai feliratként és fordításként jelennek meg egy átlátszó sávban bármelyik ablak fölött, a tolmács pedig a fejhallgatójába mondja őket. Az alkalmazás a saját folyamatát kizárja a rögzítésből, tehát nem feliratozza a tolmácsot.
Kimenő
Az Ön mikrofonja ugyanígy íródik át és fordul le, a tolmács hangja pedig egy virtuális mikrofonba (VB-CABLE) megy, amit a Teamsben, a Zoomban vagy bármelyik hívásprogramban kiválaszt. A másik fél a fordítást hallja, az Ön hangján.
Három hang, egy beállítás
- Klónozott: a beszédszolgáltatás a beszélő néhány másodpercéből tanulja meg a hangot, és azon mondja a fordítást. Hívásokhoz ez a legjobb – a másik fél Önt hallja, nem egy robotot.
- Beépített: a beszédszolgáltatás egyik beszélője, klónozás nélkül – egyenletes és kiszámítható.
- Folyamaton belüli: egy Piper-hang az alkalmazáson belül, processzoron. Ez a leggyorsabb, és a beszédszolgáltatás és videokártya nélkül is megy.
Néma visszaesés nincs: ha a választott hang nem elérhető, a tolmács hallgat, és az ablak megmondja, miért.
Nyelvek és hangok
| Mit mértünk | Eredmény | Milyen feltétellel |
|---|---|---|
| Nyelvek, amiket a feliratozó felismer | 99 | Whisper; automatikus felismerés, vagy rögzített nyelv és jelöltlista. |
| A beszédszolgáltatás nyelvei | 17 | XTTS-v2, a klónozott és a beépített hangoknál egyaránt. |
| A beszédszolgáltatás beépített hangjai | 58 | XTTS-v2 beszélői; a klónozott hang ezen felül jön, a beszélő néhány másodpercéből. |
| A folyamaton belüli hang nyelvei | 42 | Piper-hangok, 50 nyelvváltozat; videokártya nem kell. |
| Folyamaton belüli hangok | 185 | Piper-modellek. |
Mérve, részletesen
| Mit mértünk | Eredmény | Milyen feltétellel |
|---|---|---|
| Az első lefordított szó | 62 ms | TranslateGemma 12b Q8, 20 mondat; a teljes mondat 270 ms, 20-ból 19 hibátlan. Összehasonlításul a felhős gpt-4o-mini 1106 ms alatt adta az első szót. |
| Az első lefordított szó, 95. percentilis | 71 ms | Ugyanaz a 20 mondat; 20-ból 19 ennél gyorsabb volt. |
| A teljes lefordított mondat | 270 ms | TranslateGemma 12b Q8, 20 mondat, medián; egy sem csonka. |
| A teljes lefordított mondat, 95. percentilis | 452 ms | Ugyanaz a 20 mondat. |
| Hibátlan fordítások | 19 a 20-ból | TranslateGemma 12b Q8, ugyanaz a 20 mondat. |
| Az első szó egy felhős modelltől, összehasonlításul | 1106 ms | OpenAI gpt-4o-mini, medián, ugyanazok a mondatok; a helyi 12b modell 62 ms alatt válaszolt. |
| 6,3 s beszéd átírása | 108 ms | Whisper large-v3-turbo videokártyán, a feliratozó szerveren át. |
| Körülfordulás egy távoli feliratozó szerverrel | 406 ms | 6,3 s hang, Quadro RTX 6000 egy másik gépen; helyben, az RTX 5090-en 108 ms volt. |
| A távoli feliratozó szerver hálózati ára | 1 ms | 6,3 s hang helyi hálózaton; a körülfordulás többi része a szerver saját munkája. |
| A mondat vége és a tolmács első hangja között – folyamaton belüli hang | 0,99 s | A 24 kimondott mondat mediánja (37-ből 13-at a torlódás miatt kihagyott); 95. percentilis 5,56 s. Piper-hang, a hanghoz nem kell videokártya. |
| A mondat vége és a tolmács első hangja között – folyamaton belüli hang, 95. percentilis | 5,56 s | Ugyanaz a 37 mondat. |
| Kimondott mondatok – folyamaton belüli hang | 24 a 37-ből | Három perc folyamatos beszéd a termék alapértékeivel; a többit kihagyta, hogy a tolmács lépést tartson. |
| A mondat vége és a tolmács első hangja között – klónozott hang | 2,93 s | A 22 kimondott mondat mediánja (38-ból 16-ot a torlódás miatt kihagyott); 95. percentilis 6,86 s. XTTS-v2 a beszédszolgáltatásban. |
| A mondat vége és a tolmács első hangja között – klónozott hang, 95. percentilis | 6,86 s | Ugyanaz a 38 mondat. |
| Kimondott mondatok – klónozott hang | 22 a 38-ból | Ugyanaz a három perc; a klónozott hang szintézise hosszabb, ezért torlódásnál több mondat marad ki. |
| Egy mondat kimondása – folyamaton belüli hang | 84 ms | Piper-modell processzoron, az alkalmazáson belül. |
| Egy mondat kimondása – klónozott hang, az első hangdarabig | 282 ms | XTTS-v2 a beszédszolgáltatásban; a hang folyamként érkezik, a tolmács a teljes mondat szintézise előtt megszólal. |
| A tolmács saját hangjának maradéka a rögzített hangban | −97 dBFS | Az alkalmazás a saját folyamatát kizárja a visszahallgatásból, így a tolmács nem feliratozza önmagát. |
| Videómemória a három motornak együtt | 22,3 GB | Egy gépen mérve, a legnagyobb fordítómodellel. 20 GB-os kártyán a fordító 12b Q4_K_M változata fut (mérve 7,5 GB), 32 GB-oson a 12b Q8_0. |
| A fordító videómemóriája a kisebb modellváltozattal | 7,5 GB | TranslateGemma 12b Q4_K_M; a Q8 változatnak 16,7 GB kell. |
| A beszédszolgáltatás videómemóriája | 2,3 GB | XTTS-v2; a folyamaton belüli hangnak nem kell. |
Mérőgép: NVIDIA GeForce RTX 5090, Intel Core i9-13900K, 128 GB RAM; 2026. szeptember. Más gépen más szám jön ki; Macen mért számokat ezen a lapon nem közlünk. A tolmács idői mediánok (p50): a mondatok felénél rövidebb volt; a 95. percentilis és a torlódás miatt kihagyott mondatok aránya a Hogyan működik lapon áll.
Minden szám a forrásrepó mérési jegyzőkönyveiből való – a weboldal a forrásfájlt és egy szó szerinti idézetet őriz mindegyikhez –, és egy teszt ellenőrzi, hogy a lap és a jegyzőkönyv még egyezik. A p50 a medián: a mondatok fele gyorsabb volt. A p95 az az érték, ami alatt 20-ból 19 mondat maradt. A „kihagyva” azt jelenti, hogy a tolmács eldobta a mondatot, hogy lépést tartson.
Hol futnak a részek
Az alkalmazás az Ön Windows-gépén vagy Macén fut. A négy szolgáltatás futhat ugyanazon a gépen vagy a hálózat bármelyik másikán; az alkalmazásnak csak a címük és egy kulcs kell. A három motor együttes videómemória-igénye a fenti táblában áll. Kisebb kártyán a fordító kisebb modellváltozatot választ – vagy a szolgáltatásokat arra a gépre teszi, amelyikben a kártya van, és akkor a feliratozó gépnek egy sem kell.