Deepfake balsai ir sintezė iš teksto

Dėl dirbtinio intelekto (DI) ir giliojo mokymosi pažangos dabar galima kurti aukštos kokybės, itin realistišką sintetinę mediją. Ši technologija atvėrė daug naujų galimybių kūryboje ir paveikė įvairias industrijas. Viena jų – deepfake, dar vadinama sintetiniais balsais ir balso klonavimu.

Kas yra deepfake balsai?

Deepfake – tai sintetinė medija, dar žinoma kaip balso klonavimas. DI leidžia vartotojams sukurti vaizdo deepfake, kuriame pakeičiama žmogaus išvaizda arba priverčiama ištarti žodžius, kurių jis niekada nesakė – tai dažnai vadinama balso klonavimu. Įsivaizduokite – galite turėti Arnoldo Schwarzeneggerio balsą, sakantį bet ką, kas tik šauna į galvą.

Šiam procesui reikia specialios programinės įrangos, kuri analizuoja veidus, apdoroja balsą iš scenarijų ir 3D erdvėje modeliuoja burnos judesius.

Yra ir pažangesnių šios technologijos panaudojimo būdų, vienas jų – balso klonavimas. Beveik visi, net ir ne IT entuziastai, yra girdėję apie kokį nors deepfake skandalą. Neseniai po mirties išleistas dokumentinis filmas apie Tony Bourdain nustebino žiūrovus, nes jis vis dar galėjo pasakoti istoriją savo balsu.

IT startuoliai padėjo kūrėjams atkurti Bourdain balsą, kad istorijai suteiktų autentiškumo. Tai tikrai įspūdinga, bet kartu kelia ir moralinių klausimų. Užtenka turėti tinkamą programą, kad būtų galima sukurti suklastotą vaizdo ar garso įrašą apie bet ką.

Kaip tiksliai sukuriami deepfake?

Pirma, reikia surinkti pakankamai žmogaus balso pavyzdžių. Įrašai gali būti iš socialinių tinklų, skambučių, TV ir kt. Tuomet DI programos sujungia šiuos pavyzdžius ir sukuria dirbtinį balsą. 

Tai tik bendras sudėtingo proceso aprašymas, tačiau galutiniame rezultate DI įrankiai naudoja surinktus duomenis, kad sukurtų natūraliai skambančius balsus, kurie skaito skaitmeninį tekstą. Todėl deepfake glaudžiai susiję su teksto į balsą (TTS) technologijomis. 

Deepfake balsai sintezės (TTS) sistemose

Naudojant deepfake balsus TTS sistemose galima keisti balso aukštį, amžių, akcentą. Taip žmonės gali susikurti individualizuotus balsus pagal poreikį, pvz., turint balso negalią. Toks pritaikymas gerokai pagerina jų bendravimą ir gyvenimo kokybę.

Naudojant deepfake balsus, sukuriami patrauklesni garso įrašai ir didesnis sekėjų lojalumas turinio kūrėjams. Jie gali naudoti žymių aktorių ar pasakotojų balsus tam, kad pritrauktų ir sudomintų klausytojus. Tai itin vertinga audioknygoms, tinklalaidėms ir kitam multimedijos turiniui, kur garsas ypač svarbus emocijoms ir įsitraukimui.

Tačiau deepfake balsų naudojimas TTS sistemose kelia ir moralinių klausimų. Šie balsai gali būti naudojami apgaulei ar apsimetinėjimui, siekiant suklaidinti žmones be jų žinios. Tai rodo, kad būtinos aiškios taisyklės ir griežtas reguliavimas dėl tinkamo ir etiško šios technologijos naudojimo.

Deepfake balsų integracija į TTS sistemas suteikia galimybę kurti individualizuotą, patrauklią balso sintezę. Ši technologija gali iš esmės pakeisti mūsų bendravimą su generuojamu tekstu, padaryti jį lengviau prieinamą ir malonesnį – jei laikomasi etikos nuostatų.

Privalumai

Deepfake turi ir privalumų. 2021 m. „This Is Not Morgan Freeman“ deepfake vaizdo įrašas parodė, kokia naudinga gali būti papildyta realybė.

Vaizdo medžiaga parodė, kad apmokant DI naudojant garsą ir filmų fragmentus galima atkurti aktoriaus išvaizdą, judesius ir kalbą. Nors yra etinių klausimų, tai neįkainojama ligų paveiktiems žmonėms, pvz., aktoriui Val Kilmer.

Kilmer, susirgęs gerklės vėžiu ir netekęs balso, atrodė baigęs karjerą Holivude. „Prime Voice“ dokumentikoje atskleista, jog naujiems vaidmenims jo balsu įgarsindavo sūnus.

Tačiau Kilmer bendradarbiavo su „Sonantic“ – DI startuoliu, kuris atkūrė jo balsą. Naudojant deepfake technologiją buvo sukurtas Kilmer balsas, kurį žiūrovai galėjo išgirsti filme „Top Gun: Maverick“.

Trūkumai

Mašininis mokymasis leidžia atkartoti žmogaus balsą, ypač tokiose vietose kaip Niujorkas, kur technologijos sparčiai plinta. Tai palengvina asmens duomenų išgavimą ir apgaulingus skambučius.

Etinės deepfake technologijos rizikos

Yra etinių klausimų dėl deepfake balsų naudojimo ir deepfake teksto į balsą. Tobulėjant technologijai, atsiranda naujų rizikų. Pavyzdžiui, Arnold Schwarzeneggerio DI balsai tokie natūralūs, kad klaidina žmones. Tai gali sukelti nepasitikėjimą tuo, ką girdime, ir net savimi.

Įdiegiant bet kurią naują technologiją verta apsvarstyti galimą grėsmę. Deepfake gali apgauti ir paveikti žmones per balsą. Tai kelia susirūpinimą dėl viešo pasitikėjimo ir privatumo pažeidimo.

Ypač svarbi problema – deepfake balsų naudojimas. Didelę grėsmę kelia atvejai, kai sintetiniai balsai naudojami telefoninėse apgavystėse ar dezinformacijai. Įsivaizduokite: skambina neatpažintas numeris, bet balsas kaip jūsų pažįstamo ar artimo. Tik vėliau paaiškėja, kad tai – apgavystė. Toks manipuliavimas gali turėti labai skaudžių pasekmių žmonėms, bendruomenėms ar net valstybėms.

Kaip sumažinti deepfake balsų piktnaudžiavimą

Siekiant sumažinti šią grėsmę, reikalingos griežtos taisyklės ir aktyvi vartotojų edukacija. Deepfake balsus reikia naudoti atsakingai, o gaires turėtų nustatyti vyriausybė bei technologijų įmonės. Jau kuriamos veiksmingos priemonės, leidžiančios atpažinti neteisėtą sintetinės balso technologijos naudojimą; taip pat būtina šviesti vartotojus apie riziką.

Taip pat svarbu kūrybiškai naudoti deepfake balsus ir TTS technologijas neperžengiant ribų. Nors pažanga vilioja, būtinas skaidrumas ir atsakomybė. Vartotojus reikia aiškiai informuoti apie balso sintezę, kad jie žinotų, ar girdima informacija tikra, ar ne.

Teisinės ir privatumo rizikos dėl deepfake balsų

Naudojant deepfake balsus svarbios ir teisinės bei privatumo temos. Keliamas klausimas – kam priklauso sintetinis balsas ir ar galima jį naudoti be leidimo. Reikia aiškių taisyklių, kurios užtikrintų asmens teisių apsaugą ir atsakingą technologijos naudojimą.

Etinius deepfake balsų klausimus būtina nagrinėti atvirai ir įtraukiant skirtingas puses. Etikos specialistai, politikai, technologijų kūrėjai ir visuomenė turėtų kartu spręsti problemas ir formuoti ateitį taip, kad ji būtų naudinga visiems.

Įsivaizduokite, kad jums skambina asmuo, kurio balsas kaip draugo ar šeimos nario, bet iš tikro – tai klastotė, siekianti jus suklaidinti. Tokios situacijos gali pakenkti žmonėms, bendruomenėms ar net šalims. Deepfake balsų panaudojimo atvejų daug – nuo linksmų (pvz., Alexa su įžymybės balsu) iki pavojingų.

Reikia aiškaus deepfake balsų reguliavimo

Norint apsaugoti žmones, būtinos tvirtos taisyklės ir edukacija apie šiuos klastotus balsus. Vyriausybės ir technologijų įmonės turi bendradarbiauti. Jos turi apibrėžti, kur priimtinas deepfake balsų naudojimas, ir sukurti būdus, kaip atpažinti netikrą balsą.

Naudojant deepfake balsus svarbu būti atsargiems ir gerai pasverti, kas teisinga. Nors šiuolaikiniai balso įrankiai įdomūs, būtina elgtis sąžiningai. Žmonės turi žinoti, kai klausosi kompiuterio sugeneruoto balso – kad galėtų patys nuspręsti, ar tuo pasitikėti.

Deepfake balsų keliamas problemas būtina aptarti. Nuomonę turi išsakyti ir ekspertai, ir paprasti žmonės. Tik taip ši technologija bus panaudota visų labui.

Laimei, balso klonavimo programoms tobulėjant, klastotes vis lengviau aptikti. Technologijų įmonės kuria įrankius, kad atpažintų ir sustabdytų dirbtinius balsus. Tai padės, pvz., bankams ir klientų aptarnavimo centrams Niujorke patikrinti, ar jie bendravo su tikru žmogumi, o ne su apgaulinga programa.

Deepfake balso programos, kurias verta išbandyti

Mašininio mokymosi įrankiai gali pagerinti daugelio gyvenimą – galbūt norėsite patys išbandyti garso deepfake. Aukščiausios kokybės rezultatams reikia geros įrangos ir programų, bet yra keli sprendimai, kuriuos galite išmėginti, jei norite kurti natūraliai skambančius balsus. Štai penki deepfake balso generatoriai:

Resemble

Resemble AI – tai teksto į balsą ir deepfake kūrimo įrankis, sukuriantis žmogaus balsą iš kelių minučių įrašų.

Galite patikrinti, kaip veikia bandomoji funkcija – per kelias minutes išgirsite savo balsą. Vartotojams patinka paprasta naudoti sąsaja ir galimybė keisti intonaciją.

Descript

Tai įspūdinga balso sintezės programa su galingomis redagavimo galimybėmis. Ji analizuoja įrašus, vaizdo klipus, tekstus ir generuoja DI balsus. Nepatinka įrašo kokybė? Redaguokite viską tiesiog programoje – nereikia papildomų įrašų.

Descript skirta turinio kūrėjams, kuriems reikia kokybiško įgarsinimo tinklalaidėms ar vaizdo įrašams. Čia gausu balsų, kuriuos galima išbandyti testuojant programos galimybes.

ReSpeecher

ReSpeecher – patikimas deepfake sprendimas, padėjęs atkurti Luke Skywalker balsą The Mandalorian seriale. Nors jis puikiai tinka filmams ar TV, taip pat labai gerai pritaikomas įgarsinimams reklamose, animacijoje, žaidimuose, tinklalaidėse ir kt. 

iSpeech

iSpeech galima naudoti kaip kompiuterio programą ar internetinę versiją. Be balso sintezės, siūlomos teksto į balsą, svetainių skaitytuvo, balso atpažinimo funkcijos. Galite pabandyti demonstracinę versiją ir išgirsti, kaip skamba Barack Obama, Arnold Schwarzenegger ar Scarlett Johansson balsas.

Real-Time voice cloning

Tai atvirojo kodo projektas, laisvai pasiekiamas GitHub. Šis įrankių rinkinys gali imituoti žmogaus balsą naudojant vos 5 sekundžių įrašą. Tačiau vartotojai praneša, kad norint sklandžiai naudotis programa reikia bent vidutinių techninių žinių.

Speechify – paprastas teksto į balsą sprendimas vietoj deepfake

Teksto į balsą (TTS) programėlės, tokios kaip Speechify, ir deepfake generatoriai naudoja panašias technologijas, bet jų paskirtis skiriasi. Speechify – tai TTS, skaitymo garsiai įrankis, galintis perskaityti beveik bet kokį tekstą – tiek popierinį, tiek skaitmeninį. Įkėlę Word dokumentą, straipsnį ar išrašą ir pasirinkę norimą pasakotojo balsą, Speechify perskaitys turinį garsiai.

Programa išsiskiria aukštos kokybės vyriškais ir moteriškais balsais ir palaiko daugiau nei 20 kalbų, įskaitant anglų, ispanų, prancūzų, italų ir portugalų. Norite pagerinti produktyvumą ar išgirsti, kaip žvaigždė jus įgarsina? Išbandykite Speechify su Gwyneth Paltrow balsu!

Atsisiųskite programą kompiuteriui, iPhone ar Android įrenginiui ir išbandykite Speechify nemokamai jau šiandien.

DUK

Ar FakeYou nemokama?

FakeYou – paprasta ir nemokama programa, kuri leidžia kurti natūraliai skambančius balsus.

Kaip atpažinti deepfake balsą?

Aptikti deepfake balsą be sudėtingos programinės įrangos gali būti sunku. Kibernetinio saugumo įmonės naudoja balso biometriją, kad užkirstų kelią sukčiavimui. 

Kokie pavojai kyla dėl deepfake balsų?

Deepfake gali būti naudojami blogiems tikslams: skleisti dezinformaciją, sugadinti reputaciją, sukelti nepasitikėjimą valdžia.