Tack vare framsteg inom maskininlärning har röstkloning gjort betydande framsteg de senaste åren, vilket resulterat i några av de mest imponerande text till tal lösningarna hittills. Bland de viktigaste utvecklingarna är zero-shot, som har skapat rubriker i tekniksektorn. Denna artikel kommer att introducera zero-shot röstkloning och hur det har förändrat branschen.
Förklaring av Zero-shot Maskininlärning
Målet med röstkloning är att replikera en talares röst genom att syntetisera deras ton och färg med endast en liten mängd inspelat tal. Med andra ord är röstkloning en toppmodern teknik som använder artificiell intelligens för att skapa en röst som liknar en specifik person. Denna teknik skiljer mellan tre huvudsakliga röstkloningsprocesser:
One-shot Lärande
One-shot lärande innebär att modellen tränas på endast en bild av något nytt, men den ska ändå kunna känna igen andra bilder av samma sak.
Few-shot Lärande
Few-shot lärande är när en modell visas några bilder av något nytt och kan känna igen liknande saker även om de ser lite annorlunda ut.
Zero-shot Lärande
Zero-shot lärande handlar om att lära en modell att känna igen nya objekt eller koncept som den inte tidigare har tränats på genom att använda en dataset, som VCTK, för att beskriva dem. Detta är när modellen lärs att känna igen nya saker utan bilder, exempel eller annan träningsdata. Istället ger man den en lista med egenskaper eller funktioner som beskriver det nya objektet.
Vad är Röstkloning?
Röstkloning är att replikera en talares röst med hjälp av maskininlärningstekniker. Målet med röstkloning är att återskapa talarens ton med endast en liten mängd av deras inspelade tal. I röstkloning omvandlar en talarkodare en persons tal till en kod som senare kan omvandlas till en vektor med hjälp av talarinbäddning. Denna vektor används sedan för att träna en syntetisator, även känd som en vocoder, för att skapa ett tal som låter som talarens röst. Syntetisatorn tar talarinbäddningsvektorn och ett mel-spektrogram, en visuell representation av talsignalen, som indata. Detta är den grundläggande processen för röstkloning. Den producerar sedan en vågformsutgång, vilket är det faktiska ljudet av det syntetiserade talet. Denna process utförs vanligtvis med hjälp av maskininlärningstekniker som djupinlärning. Dessutom kan den tränas med en mängd olika dataset och metoder för att utvärdera kvaliteten på det genererade talet. Röstkloning kan användas för olika tillämpningar såsom:
- Röstkonvertering - förmågan att ändra en inspelning av en persons röst så att det låter som om en annan person talade den.
- Talareverifiering - när någon säger att de är en viss person, och deras röst används för att kontrollera om det stämmer.
- Multitalare text till tal - skapande av tal från tryckt text och nyckelord
Några populära röstkloningsalgoritmer inkluderar WaveNet, Tacotron2, Zero-shot Multitalare TTS, och Microsofts VALL-E. Dessutom finns många andra open-source algoritmer på GitHub som erbjuder utmärkta slutresultat. Om du är intresserad av att lära dig mer om röstkloningstekniker är ICASSP, Interspeech och IEEE International Conference rätt platser för dig.
Zero-shot Lärande inom Röstkloning
En talarkodare används för att extrahera talvektorer från träningsdata för att uppnå zero-shot röstkloning. Dessa talvektorer kan sedan användas för signalbehandling av talare som inte har inkluderats i träningsdatan tidigare, även kända som osedda talare. Detta kan uppnås genom att träna ett neuralt nätverk med en mängd olika tekniker, såsom:
- Konvolutionella modeller är neurala nätverksmodeller som används för att lösa bildklassificeringsproblem.
- Autoregressiva modeller kan förutsäga framtida värden baserat på tidigare värden.
En av utmaningarna med zero-shot röstkloning är att säkerställa att det syntetiserade talet håller hög kvalitet och låter naturligt för lyssnaren. För att möta denna utmaning används olika metoder för att utvärdera kvaliteten på talsyntesen:
- Talarlikhet mäter hur likt det syntetiserade talet är det ursprungliga måltalets talmönster.
- Talets naturlighet avser hur naturligt det syntetiserade talet låter för lyssnaren.
Den faktiska datan från verkligheten, som används för att lära och utvärdera AI-modeller, kallas för grundsanningsreferensljud. Denna data används för träning och normalisering. Dessutom används stilöverföringstekniker för att förbättra modellens förmåga till generalisering. Stilöverföring innebär att man använder två indata - en för huvudinnehållet och en annan för stilreferensen - för att förbättra modellens prestanda med ny data. Med andra ord blir modellen bättre på att hantera nya situationer.
Se den senaste röstkloningstekniken i arbete med Speechify Studio
Speechify Studios AI-röstkloning låter dig skapa en anpassad AI-version av din egen röst—perfekt för att personifiera berättelser, bygga varumärkeskonsistens eller ge en bekant känsla till vilket projekt som helst. Spela helt enkelt in ett prov, och Speechifys avancerade AI-modeller kommer att generera en verklighetstrogen digital kopia som låter precis som du. Vill du ha ännu mer flexibilitet? Den inbyggda röstförändraren låter dig omforma befintliga inspelningar till någon av Speechify Studios 1 000+ AI-röster, vilket ger dig kreativ kontroll över ton, stil och leverans. Oavsett om du förfinar din egen röst eller omvandlar ljud för olika sammanhang, ger Speechify Studio dig professionell röstanpassning inom räckhåll.
Vanliga frågor
Vad är syftet med röstkloning?
Röstkloning syftar till att producera högkvalitativt, naturligt ljudande tal som kan användas i olika applikationer för att förbättra kommunikation och interaktion mellan människor och maskiner.
Vad är skillnaden mellan röstkonvertering och röstkloning?
Röstkonvertering innebär att man ändrar en persons tal för att låta som en annan person, medan röstkloning skapar en ny röst som liknar en specifik mänsklig talare.
Vilken programvara kan klona någons röst?
Det finns många alternativ, inklusive Speechify, Resemble.ai, Play.ht och många fler.
Hur kan man upptäcka en fejkad röst?
En av de vanligaste teknikerna för att identifiera ljuddeepfake är spektralanalys, som innebär att analysera en ljudsignal för att upptäcka distinkta röstmönster.
