Vad är zero-shot röstkloning?

Vad är zero-shot röstkloning? Upptäck vad zero-shot röstkloning är och hur det fungerar.

Tack vare framsteg inom maskininlärning har röstkloning gjort betydande framsteg de senaste åren, vilket resulterat i några av de mest imponerande text-till-tal lösningarna hittills. Bland de viktigaste utvecklingarna är zero-shot, som har skapat rubriker i tekniksektorn. Denna artikel kommer att introducera zero-shot röstkloning och hur det har förändrat branschen.

Zero-shot maskininlärning förklarad

Målet med röstkloning är att replikera en talares röst genom att syntetisera deras ton och färg med endast en liten mängd inspelat tal. Med andra ord är röstkloning en toppmodern teknik som använder artificiell intelligens för att skapa en röst som liknar en specifik person. Denna teknik skiljer tre huvudsakliga röstkloningsprocesser:

One-shot inlärning

One-shot inlärning innebär att modellen tränas på endast en bild av något nytt, men den ska ändå kunna känna igen andra bilder av samma sak.

Few-shot inlärning

Few-shot inlärning är när en modell visas några bilder av något nytt och kan känna igen liknande saker även om de ser lite annorlunda ut.

Zero-shot inlärning

Zero-shot inlärning är att lära en modell att känna igen nya objekt eller koncept som den inte tidigare har tränats på genom att använda en dataset, som VCTK, för att beskriva dem. Detta är när modellen lärs att känna igen nya saker utan bilder, exempel eller annan träningsdata. Istället ger du den en lista med egenskaper eller funktioner som beskriver det nya objektet.

Vad är röstkloning?

Röstkloning är att replikera en talares röst med hjälp av maskininlärningstekniker. Målet med röstkloning är att återskapa talarens ton med endast en liten mängd av deras inspelade tal. I röstkloning omvandlar en talarkodare en persons tal till en kod som senare kan omvandlas till en vektor med hjälp av talarinbäddning. Denna vektor används sedan för att träna en syntetisator, även känd som en vocoder, för att skapa ett tal som låter som talarens röst. Syntetisatorn tar talarinbäddningsvektorn och ett mel-spektrogram, en visuell representation av talsignalen, som indata. Detta är den grundläggande processen för röstkloning. Den producerar sedan en vågformsutgång, vilket är det faktiska ljudet av det syntetiserade talet. Denna process utförs vanligtvis med hjälp av maskininlärningstekniker som djupinlärning. Dessutom kan den tränas med en mängd olika dataset och metoder för att utvärdera kvaliteten på det genererade talet. Röstkloning kan användas för olika tillämpningar som:

• Röstkonvertering - förmågan att ändra en inspelning av en persons röst så att det låter som om en annan person talade det.
• Talareverifiering - när någon säger att de är en viss person, och deras röst används för att kontrollera om det är sant.
• Flertalstalar text-till-tal - skapande av tal från tryckt text och nyckelord

Några populära röstkloningsalgoritmer inkluderar WaveNet, Tacotron2, Zero-shot Multispeaker TTS, och Microsofts VALL-E. Dessutom finns många andra open-source algoritmer på GitHub som erbjuder utmärkta slutresultat. Om du är intresserad av att lära dig mer om röstkloningstekniker är ICASSP, Interspeech och IEEE International Conference rätt platser för dig.

Zero-shot inlärning i röstkloning

En talarkodare används för att extrahera talvektorer från träningsdata för att uppnå zero-shot röstkloning. Dessa talvektorer kan sedan användas för signalbehandling av talare som inte har inkluderats i träningsdatan tidigare, även kända som osedda talare. Detta kan uppnås genom att träna ett neuralt nätverk med hjälp av olika tekniker, såsom:

• Konvolutionella modeller är neurala nätverksmodeller som används för att lösa bildklassificeringsproblem.
• Autoregressiva modeller kan förutsäga framtida värden baserat på tidigare värden.

En av utmaningarna med zero-shot röstkloning är att säkerställa att det syntetiserade talet är av hög kvalitet och låter naturligt för lyssnaren. För att hantera denna utmaning används olika metoder för att utvärdera kvaliteten på talsyntesen:

• Talarlikhet mäter hur likt det syntetiserade talet är det ursprungliga måltalets talmönster.
• Talets naturlighet avser hur naturligt det syntetiserade talet låter för lyssnaren.

Den faktiska datan från verkligheten, som används för att lära och utvärdera AI-modeller, kallas för grundsanningsreferensljud. Denna data används för träning och normalisering. Dessutom används stilöverföringstekniker för att förbättra modellens förmåga till generalisering. Stilöverföring innebär att man använder två indata - en för huvudinnehållet och en annan för stilreferensen - för att förbättra modellens prestanda med ny data. Med andra ord blir modellen bättre på att hantera nya situationer.

Se den senaste röstkloningstekniken i arbete med Speechify

Trots att det initialt kan verka okonventionellt att inkludera en text-till-tal generator i denna artikel, är Speechify det perfekta valet för alla som behöver en högkvalitativ, mångsidig TTS-läsare. Den har enastående uttal och stöd för engelska, spanska, tyska, och 12 andra språk, tillsammans med över 30 anpassade röster från olika talare. Speechify är en mäktig TTS-kraftstation, idealisk för AI-röstöverlägg. Som en banbrytande TTS tjänst, använder Speechify en toppmodern modell som utnyttjar realtidsoptimering och avancerade avkodningstekniker, vilket resulterar i naturligt ljudande berättelser som konkurrerar med mänskligt tal. Speechify är en användarvänlig programvara som fungerar på nästan alla operativsystem, inklusive Windows, Android, iOS, och Mac. Speechifys avkodare använder avancerade signalbehandlingstekniker och stöder hastigheter 9x snabbare än den genomsnittliga läshastigheten, och erbjuder en mängd funktioner för att garantera ljudutgångens premiumkvalitet. Prova det  idag och upplev kraften i den bästa end-to-end TTS modellteknologin på nära håll, med sina anpassningsbara förtränade modeller och mångfaldiga urval av röster.

Vanliga frågor

Vad är syftet med röstkloning?

Röstkloning syftar till att producera högkvalitativt, naturligt ljudande tal som kan användas i olika applikationer för att förbättra kommunikation och interaktion mellan människor och maskiner.

Vad är skillnaden mellan röstkonvertering och röstkloning?

Röstkonvertering innebär att man ändrar en persons tal för att låta som en annan person, medan röstkloning skapar en ny röst som liknar en specifik mänsklig talare.

Vilken programvara kan klona någons röst?

Det finns många alternativ tillgängliga, inklusive Speechify, Resemble.ai, Play.ht och många andra.

Hur kan man upptäcka en fejkad röst?

En av de vanligaste teknikerna för att identifiera ljuddeepfake är spektralanalys, som innebär att analysera en ljudsignal för att upptäcka distinkta röstmönster.