Dankzij vooruitgang in machine learning heeft voice cloning de afgelopen jaren aanzienlijke vooruitgang geboekt, resulterend in enkele van de meest indrukwekkende text-to-speech oplossingen tot nu toe. Een van de belangrijkste ontwikkelingen is zero-shot, dat veel aandacht trekt in de technologiesector. Dit artikel introduceert zero-shot voice cloning en hoe het de industrie heeft getransformeerd.
Uitleg over Zero-shot Machine Learning
Het doel van voice cloning is om de stem van een spreker te repliceren door hun toon en klankkleur te synthetiseren met slechts een kleine hoeveelheid opgenomen spraak. Met andere woorden, voice cloning is een geavanceerde technologie die kunstmatige intelligentie gebruikt om een stem te creëren die lijkt op die van een specifieke persoon. Deze technologie onderscheidt drie hoofdprocessen voor voice cloning:
One-shot Learning
One-shot learning betekent dat het model is getraind op slechts één afbeelding van iets nieuws, maar toch in staat moet zijn om andere afbeeldingen van hetzelfde te herkennen.
Few-shot Learning
Few-shot learning houdt in dat een model een paar afbeeldingen van iets nieuws te zien krijgt en vergelijkbare dingen kan herkennen, zelfs als ze er een beetje anders uitzien.
Zero-shot Learning
Zero-shot learning is het trainen van een model om nieuwe objecten of concepten te herkennen die het nog niet eerder heeft gezien door gebruik te maken van een dataset, zoals VCTK, om ze te beschrijven. Dit is wanneer het model wordt geleerd om nieuwe dingen te herkennen zonder afbeeldingen, voorbeelden of andere trainingsdata. In plaats daarvan geef je het een lijst met kenmerken of eigenschappen die het nieuwe item beschrijven.
Wat is Voice Cloning?
Voice cloning is het repliceren van de stem van een spreker met behulp van machine learning technieken. Het doel van voice cloning is om de toon van de spreker te reproduceren met slechts een kleine hoeveelheid van hun opgenomen spraak. Bij voice cloning zet een sprekerencoder de spraak van een persoon om in een code die later kan worden omgezet in een vector met behulp van speaker embedding. Die vector wordt vervolgens gebruikt om een synthesizer, ook wel vocoder genoemd, te trainen om een spraak te creëren die klinkt als de stem van de spreker. De synthesizer neemt de speaker embedding vector en een mel spectrogram, een visuele weergave van het spraaksignaal, als input. Dit is het basisproces voor voice cloning. Het produceert vervolgens een golfvormuitvoer, wat het daadwerkelijke geluid van de gesynthetiseerde spraak is. Dit proces wordt meestal uitgevoerd met behulp van machine learning technieken zoals deep learning. Bovendien kan het worden getraind met behulp van verschillende datasets en metrics om de kwaliteit van de gegenereerde spraak te evalueren. Voice cloning kan worden gebruikt voor verschillende toepassingen zoals:
- Voice conversion - de mogelijkheid om een opname van de stem van één persoon te veranderen zodat het klinkt alsof een andere persoon het heeft gesproken.
- Spreker verificatie - wanneer iemand zegt dat ze een bepaalde persoon zijn en hun stem wordt gebruikt om te controleren of het waar is.
- Multispeaker text-to-speech - het creëren van spraak uit gedrukte tekst en trefwoorden
Enkele populaire voice cloning algoritmen zijn WaveNet, Tacotron2, Zero-shot Multispeaker TTS, en Microsoft’s VALL-E. Ook zijn er veel andere open-source algoritmen te vinden op GitHub, die uitstekende eindresultaten bieden. Bovendien, als je meer wilt leren over voice cloning technieken, zijn de ICASSP, Interspeech en IEEE International Conference de juiste plekken voor jou.
Zero-shot Learning in Voice Cloning
Een sprekerencoder wordt gebruikt om spraakvectoren uit trainingsdata te halen om zero-shot voice cloning te bereiken. Deze spraakvectoren kunnen vervolgens worden gebruikt voor signaalverwerking van sprekers die nog niet eerder in de trainingsdatasets zijn opgenomen, ook wel ongeziene sprekers genoemd. Dit kan worden bereikt door een neuraal netwerk te trainen met behulp van verschillende technieken, zoals:
- Convolutionele modellen zijn neurale netwerkmodellen die worden gebruikt om beeldclassificatieproblemen op te lossen.
- Autoregressieve modellen kunnen toekomstige waarden voorspellen op basis van eerdere waarden.
Een van de uitdagingen van zero-shot voice cloning is ervoor te zorgen dat de gesynthetiseerde spraak van hoge kwaliteit is en natuurlijk klinkt voor de luisteraar. Om deze uitdaging aan te pakken, worden verschillende metrics gebruikt om de kwaliteit van de spraaksynthese te evalueren:
- Spreker gelijkenis meet hoe vergelijkbaar de gesynthetiseerde spraak is met de oorspronkelijke spraakpatronen van de doelspeaker.
- Spraak natuurlijkheid verwijst naar hoe natuurlijk de gesynthetiseerde spraak klinkt voor de luisteraar.
De daadwerkelijke gegevens uit de echte wereld, die worden gebruikt om AI-modellen te trainen en te evalueren, worden de grondwaarheid referentie-audio genoemd. Deze gegevens worden gebruikt voor training en normalisatie. Daarnaast worden stijltransfertechnieken toegepast om het vermogen van het model tot generalisatie te verbeteren. Stijltransfer houdt in dat er twee invoeren worden gebruikt - één voor de hoofdinhoud en de andere voor de stijlreferentie - om de prestaties van het model met nieuwe gegevens te verbeteren. Met andere woorden, het model kan beter omgaan met nieuwe situaties.
Bekijk de nieuwste stemkloningstechnologie in actie met Speechify Studio
Speechify Studio’s AI-stemkloning stelt je in staat om een op maat gemaakte AI-versie van je eigen stem te creëren—perfect voor het personaliseren van vertellingen, het opbouwen van merkconsistentie, of het toevoegen van een vertrouwde touch aan elk project. Neem eenvoudig een sample op, en de geavanceerde AI-modellen van Speechify zullen een levensechte digitale replica genereren die precies klinkt zoals jij. Wil je nog meer flexibiliteit? De ingebouwde stemveranderaar stelt je in staat om bestaande opnames om te vormen naar een van de 1.000+ AI-stemmen van Speechify Studio, waardoor je creatieve controle hebt over toon, stijl en levering. Of je nu je eigen stem verfijnt of audio transformeert voor verschillende contexten, Speechify Studio biedt professionele stemaanpassing binnen handbereik.
FAQ
Wat is het doel van stemkloning?
Stemkloning heeft als doel om hoogwaardige, natuurlijk klinkende spraak te produceren die in verschillende toepassingen kan worden gebruikt om de communicatie en interactie tussen mens en machine te verbeteren.
Wat is het verschil tussen stemconversie en stemkloning?
Stemconversie houdt in dat de spraak van één persoon wordt aangepast om te klinken als die van een ander, terwijl stemkloning een nieuwe stem creëert die lijkt op een specifieke menselijke spreker.
Welke software kan iemands stem klonen?
Er zijn tal van opties beschikbaar, waaronder Speechify, Resemble.ai, Play.ht, en vele anderen.
Hoe kun je een vervalste stem detecteren?
Een van de meest voorkomende technieken om een audio-deepfake te identificeren is spectrale analyse, waarbij een audiosignaal wordt geanalyseerd om onderscheidende stempatronen te detecteren.
