Takket være fremskritt innen maskinlæring har stemmekloning gjort betydelige fremskritt de siste årene, noe som har resultert i noen av de mest imponerende tekst-til-tale løsningene til dags dato. Blant de viktigste utviklingene er zero-shot, som har skapt bølger i teknologisektoren. Denne artikkelen vil introdusere zero-shot stemmekloning og hvordan det har transformert bransjen.
Forklaring av Zero-shot Maskinlæring
Målet med stemmekloning er å gjenskape en talers stemme ved å syntetisere deres tone og klangfarge ved hjelp av kun en liten mengde innspilt tale. Med andre ord, stemmekloning er en toppmoderne teknologi som bruker kunstig intelligens for å skape en stemme som ligner en bestemt person. Denne teknologien skiller mellom tre hovedprosesser for stemmekloning:
One-shot Læring
One-shot læring betyr at modellen er trent på kun ett bilde av noe nytt, men den skal fortsatt kunne gjenkjenne andre bilder av det samme.
Few-shot Læring
Few-shot læring er når en modell blir vist noen få bilder av noe nytt og kan gjenkjenne lignende ting selv om de ser litt forskjellige ut.
Zero-shot Læring
Zero-shot læring er å lære en modell å gjenkjenne nye objekter eller konsepter som den ikke tidligere har blitt trent på ved å bruke et datasett, som VCTK, for å beskrive dem. Dette er når modellen læres opp til å gjenkjenne nye ting uten bilder, eksempler eller annen treningsdata. I stedet gir du den en liste over egenskaper eller funksjoner som beskriver det nye elementet.
Hva er Stemmekloning?
Stemmekloning er å gjenskape en talers stemme ved hjelp av maskinlæringsteknikker. Målet med stemmekloning er å reprodusere talerens tone ved hjelp av kun en liten mengde av deres innspilte tale. I stemmekloning, omdanner en taler-encoder en persons tale til en kode som senere kan transformeres til en vektor ved hjelp av taler-embedding. Den vektoren brukes deretter til å trene en synthesizer, også kjent som en vocoder, for å skape en tale som høres ut som talerens stemme. Synthesizeren tar taler-embedding-vektoren og et mel-spektrogram, en visuell representasjon av talesignalet, som input. Dette er grunnprosessen for stemmekloning. Den produserer deretter en bølgeformutgang, som er den faktiske lyden av den syntetiserte talen. Denne prosessen gjøres vanligvis ved hjelp av maskinlæringsteknikker som dyp læring. I tillegg kan den trenes ved hjelp av en rekke datasett og metrikker for å evaluere kvaliteten på den genererte talen. Stemmekloning kan brukes til ulike applikasjoner som:
- Stemmeomforming - evnen til å endre en innspilling av en persons stemme til å høres ut som om en annen person snakket den.
- Talerverifisering - når noen sier de er en bestemt person, og stemmen deres brukes til å sjekke om det er sant.
- Flertaler tekst-til-tale - en skapelse av tale fra trykt tekst og nøkkelord
Noen populære stemmekloningsalgoritmer inkluderer WaveNet, Tacotron2, Zero-shot Multispeaker TTS, og Microsofts VALL-E. I tillegg finnes det mange andre open-source algoritmer på GitHub som tilbyr utmerkede sluttresultater. Hvis du er interessert i å lære mer om stemmekloningsteknikker, er ICASSP, Interspeech og IEEE International Conference de rette stedene for deg.
Zero-shot Læring i Stemmekloning
En taler-encoder brukes til å trekke ut talevektorer fra treningsdata for å oppnå zero-shot stemmekloning. Disse talevektorene kan deretter brukes til signalbehandling av talere som ikke har vært inkludert i treningsdatasett før, også kjent som usette talere. Dette kan oppnås ved å trene et nevralt nettverk ved hjelp av en rekke teknikker, som:
- Konvolusjonsmodeller er nevrale nettverksmodeller som brukes til å løse bildeklassifiseringsproblemer.
- Autoregressive modeller kan forutsi fremtidige verdier basert på tidligere verdier.
En av utfordringene med zero-shot stemmekloning er å sikre at den syntetiserte talen er av høy kvalitet og høres naturlig ut for lytteren. For å møte denne utfordringen brukes ulike metrikker for å evaluere kvaliteten på talesyntesen:
- Talersimilaritet måler hvor lik den syntetiserte talen er til den opprinnelige måltaleren sin tale.
- Talenaturlighet refererer til hvor naturlig den syntetiserte talen høres ut for lytteren.
De faktiske dataene fra den virkelige verden, som brukes til å lære opp og evaluere AI-modeller, kalles grunnsannhetsreferanse-lyd. Disse dataene brukes til trening og normalisering. I tillegg benyttes stiloverføringsteknikker for å forbedre modellens evne til generalisering. Stiloverføring innebærer bruk av to innganger - en for hovedinnholdet og en annen for stilreferansen - for å forbedre modellens ytelse med nye data. Med andre ord, modellen blir bedre i stand til å håndtere nye situasjoner.
Se den nyeste stemmekloningsteknologien i aksjon med Speechify Studio
Speechify Studios AI-stemmekloning lar deg lage en tilpasset AI-versjon av din egen stemme—perfekt for å personliggjøre fortellinger, bygge merkevarekonsistens, eller gi et kjent preg til ethvert prosjekt. Bare ta opp en prøve, og Speechifys avanserte AI-modeller vil generere en naturtro digital kopi som høres ut som deg. Ønsker du enda mer fleksibilitet? Den innebygde stemmeveksleren lar deg omforme eksisterende opptak til en av Speechify Studios 1 000+ AI-stemmer, og gir deg kreativ kontroll over tone, stil og levering. Enten du finjusterer din egen stemme eller transformerer lyd for ulike kontekster, gir Speechify Studio deg profesjonell stemmetilpasning rett ved fingertuppene.
FAQ
Hva er poenget med stemmekloning?
Stemmekloning har som mål å produsere høykvalitets, naturlig lydende tale som kan brukes i ulike applikasjoner for å forbedre kommunikasjon og interaksjon mellom mennesker og maskiner.
Hva er forskjellen mellom stemmekonvertering og stemmekloning?
Stemmekonvertering innebærer å endre en persons tale for å høres ut som en annen person, mens stemmekloning skaper en ny stemme som ligner en spesifikk menneskelig taler.
Hvilken programvare kan klone noens stemme?
Det finnes mange alternativer, inkludert Speechify, Resemble.ai, Play.ht, og mange andre.
Hvordan kan man oppdage en falsk stemme?
En av de vanligste teknikkene for å identifisere lyd-deepfake er spektralanalyse, som innebærer å analysere et lydsignal for å oppdage karakteristiske stemmemønstre.
