Hogyan működik

Minden a saját gépén vagy egy Ön által futtatott szerveren történik: a hang nem hagyja el a hálózatát. Ez a lap a hangtól a tolmács hangjáig követi az utat, és megmutatja, mit mértünk közben.

A hangtól a hangig, négy lépésben

Az alkalmazás és a négy szolgáltatás körülötte Live Caption Pro a feliratablak a saját gépén AccountServer port: 8100 TranslatorServer port: 8080 VoiceServer port: 8090 CaptionServer port: 5111
  1. Live Caption Pro – a feliratablak a saját gépén
  2. AccountServer (port: 8100) – a fiókszolgáltatás: felhasználók, szerepkörök, API-kulcsok, audit napló és forgalommérés
  3. TranslatorServer (port: 8080) – a fordító: mondatonként fordít a TranslateGemma modellel
  4. VoiceServer (port: 8090) – a beszédszolgáltatás: kimondja a fordítást, kérésre a beszélő klónozott hangján
  5. CaptionServer (port: 5111) – a feliratozó szerver: mondatokra bontja és átírja a hangot (Whisper)
  1. Rögzítés

    Az alkalmazás a Windows hangján át rögzíti, amit Ön hall – a hívás másik felét, egy videót, egy előadást –, vagy egyetlen program hangját önmagában. A csendet figyeli: egy szünet lezárja a mondatot, így a feliratozó szerver egész gondolatokat kap, nem rögzített szeleteket.

  2. Átírás

    A feliratozó szerver a Whispert futtatja a videokártyán, és minden mondatot szövegként, időbélyeggel ad vissza. A nyelvet magától felismeri, vagy a beállítotthoz tartja magát; több lehetséges nyelvnél a teljes munkameneten szavaz, hogy egyetlen rövid mondat ne válthassa át.

  3. Fordítás

    A fordító egy TranslateGemma modellt futtat a llama.cpp-vel, és minden mondatot a lezárása után azonnal lefordít. Az első szó egy tized másodpercen belül megérkezik, így a fordítás szinte a beszéddel együtt jelenik meg az eredeti alatt.

  4. Kimondás

    Ha a tolmácsot hallani is akarja, a mondat egy hanghoz kerül: a beszélő klónozott vagy egy beépített hangjához a beszédszolgáltatásból, vagy egy Piper-hanghoz az alkalmazáson belül, videokártya nélkül. A tolmács sosem marad le tartósan: ha a mondatok torlódnak, kicsit gyorsít, és inkább a legrégebbieket hagyja ki, mint hogy percekkel lemaradjon.

Két irány

Bejövő

A másik fél szavai feliratként és fordításként jelennek meg egy átlátszó sávban bármelyik ablak fölött, a tolmács pedig a fejhallgatójába mondja őket. Az alkalmazás a saját folyamatát kizárja a rögzítésből, tehát nem feliratozza a tolmácsot.

Kimenő

Az Ön mikrofonja ugyanígy íródik át és fordul le, a tolmács hangja pedig egy virtuális mikrofonba (VB-CABLE) megy, amit a Teamsben, a Zoomban vagy bármelyik hívásprogramban kiválaszt. A másik fél a fordítást hallja, az Ön hangján.

Három hang, egy beállítás

  • Klónozott: a beszédszolgáltatás a beszélő néhány másodpercéből tanulja meg a hangot, és azon mondja a fordítást. Hívásokhoz ez a legjobb – a másik fél Önt hallja, nem egy robotot.
  • Beépített: a beszédszolgáltatás egyik beszélője, klónozás nélkül – egyenletes és kiszámítható.
  • Folyamaton belüli: egy Piper-hang az alkalmazáson belül, processzoron. Ez a leggyorsabb, és a beszédszolgáltatás és videokártya nélkül is megy.

Néma visszaesés nincs: ha a választott hang nem elérhető, a tolmács hallgat, és az ablak megmondja, miért.

Nyelvek és hangok

Mit mértünk Eredmény Milyen feltétellel
Nyelvek, amiket a feliratozó felismer 99 Whisper; automatikus felismerés, vagy rögzített nyelv és jelöltlista.
A beszédszolgáltatás nyelvei 17 XTTS-v2, a klónozott és a beépített hangoknál egyaránt.
A beszédszolgáltatás beépített hangjai 58 XTTS-v2 beszélői; a klónozott hang ezen felül jön, a beszélő néhány másodpercéből.
A folyamaton belüli hang nyelvei 42 Piper-hangok, 50 nyelvváltozat; videokártya nem kell.
Folyamaton belüli hangok 185 Piper-modellek.

Mérve, részletesen

Mit mértünk Eredmény Milyen feltétellel
Az első lefordított szó 62 ms TranslateGemma 12b Q8, 20 mondat; a teljes mondat 270 ms, 20-ból 19 hibátlan. Összehasonlításul a felhős gpt-4o-mini 1106 ms alatt adta az első szót.
Az első lefordított szó, 95. percentilis 71 ms Ugyanaz a 20 mondat; 20-ból 19 ennél gyorsabb volt.
A teljes lefordított mondat 270 ms TranslateGemma 12b Q8, 20 mondat, medián; egy sem csonka.
A teljes lefordított mondat, 95. percentilis 452 ms Ugyanaz a 20 mondat.
Hibátlan fordítások 19 a 20-ból TranslateGemma 12b Q8, ugyanaz a 20 mondat.
Az első szó egy felhős modelltől, összehasonlításul 1106 ms OpenAI gpt-4o-mini, medián, ugyanazok a mondatok; a helyi 12b modell 62 ms alatt válaszolt.
6,3 s beszéd átírása 108 ms Whisper large-v3-turbo videokártyán, a feliratozó szerveren át.
Körülfordulás egy távoli feliratozó szerverrel 406 ms 6,3 s hang, Quadro RTX 6000 egy másik gépen; helyben, az RTX 5090-en 108 ms volt.
A távoli feliratozó szerver hálózati ára 1 ms 6,3 s hang helyi hálózaton; a körülfordulás többi része a szerver saját munkája.
A mondat vége és a tolmács első hangja között – folyamaton belüli hang 0,99 s A 24 kimondott mondat mediánja (37-ből 13-at a torlódás miatt kihagyott); 95. percentilis 5,56 s. Piper-hang, a hanghoz nem kell videokártya.
A mondat vége és a tolmács első hangja között – folyamaton belüli hang, 95. percentilis 5,56 s Ugyanaz a 37 mondat.
Kimondott mondatok – folyamaton belüli hang 24 a 37-ből Három perc folyamatos beszéd a termék alapértékeivel; a többit kihagyta, hogy a tolmács lépést tartson.
A mondat vége és a tolmács első hangja között – klónozott hang 2,93 s A 22 kimondott mondat mediánja (38-ból 16-ot a torlódás miatt kihagyott); 95. percentilis 6,86 s. XTTS-v2 a beszédszolgáltatásban.
A mondat vége és a tolmács első hangja között – klónozott hang, 95. percentilis 6,86 s Ugyanaz a 38 mondat.
Kimondott mondatok – klónozott hang 22 a 38-ból Ugyanaz a három perc; a klónozott hang szintézise hosszabb, ezért torlódásnál több mondat marad ki.
Egy mondat kimondása – folyamaton belüli hang 84 ms Piper-modell processzoron, az alkalmazáson belül.
Egy mondat kimondása – klónozott hang, az első hangdarabig 282 ms XTTS-v2 a beszédszolgáltatásban; a hang folyamként érkezik, a tolmács a teljes mondat szintézise előtt megszólal.
A tolmács saját hangjának maradéka a rögzített hangban −97 dBFS Az alkalmazás a saját folyamatát kizárja a visszahallgatásból, így a tolmács nem feliratozza önmagát.
Videómemória a három motornak együtt 22,3 GB Egy gépen mérve, a legnagyobb fordítómodellel. 20 GB-os kártyán a fordító 12b Q4_K_M változata fut (mérve 7,5 GB), 32 GB-oson a 12b Q8_0.
A fordító videómemóriája a kisebb modellváltozattal 7,5 GB TranslateGemma 12b Q4_K_M; a Q8 változatnak 16,7 GB kell.
A beszédszolgáltatás videómemóriája 2,3 GB XTTS-v2; a folyamaton belüli hangnak nem kell.

Mérőgép: NVIDIA GeForce RTX 5090, Intel Core i9-13900K, 128 GB RAM; 2026. szeptember. Más gépen más szám jön ki; Macen mért számokat ezen a lapon nem közlünk. A tolmács idői mediánok (p50): a mondatok felénél rövidebb volt; a 95. percentilis és a torlódás miatt kihagyott mondatok aránya a Hogyan működik lapon áll.

Minden szám a forrásrepó mérési jegyzőkönyveiből való – a weboldal a forrásfájlt és egy szó szerinti idézetet őriz mindegyikhez –, és egy teszt ellenőrzi, hogy a lap és a jegyzőkönyv még egyezik. A p50 a medián: a mondatok fele gyorsabb volt. A p95 az az érték, ami alatt 20-ból 19 mondat maradt. A „kihagyva” azt jelenti, hogy a tolmács eldobta a mondatot, hogy lépést tartson.

Hol futnak a részek

Az alkalmazás az Ön Windows-gépén vagy Macén fut. A négy szolgáltatás futhat ugyanazon a gépen vagy a hálózat bármelyik másikán; az alkalmazásnak csak a címük és egy kulcs kell. A három motor együttes videómemória-igénye a fenti táblában áll. Kisebb kártyán a fordító kisebb modellváltozatot választ – vagy a szolgáltatásokat arra a gépre teszi, amelyikben a kártya van, és akkor a feliratozó gépnek egy sem kell.

Hiba történt az oldal futtatásakor. / An error occurred while running the page. Újratöltés / Reload 🗙