{"id":2685,"date":"2024-06-20T12:07:36","date_gmt":"2024-06-20T12:07:36","guid":{"rendered":"https:\/\/howtogeek.blog\/da\/?p=2685"},"modified":"2024-06-20T12:07:36","modified_gmt":"2024-06-20T12:07:36","slug":"this-new-v2a-tool-from-google-deepmind-could-be-the-last-piece-of-the-puzzle-for-ai-generated-movies-da","status":"publish","type":"post","link":"https:\/\/howtogeek.blog\/da\/this-new-v2a-tool-from-google-deepmind-could-be-the-last-piece-of-the-puzzle-for-ai-generated-movies-da\/","title":{"rendered":"Dette nye V2A-v\u00e6rkt\u00f8j fra Google DeepMind kan v\u00e6re den sidste brik i puslespillet til AI-genererede film"},"content":{"rendered":"

Da den f\u00f8rste AI-genererede video blev udgivet, kunne ingen have g\u00e6ttet, at videogenererende AI-v\u00e6rkt\u00f8jer ville komme s\u00e5 langt p\u00e5 s\u00e5 kort en periode. Men i dag har vi utallige platforme, der giver brugerne mulighed for at generere h\u00f8jkvalitets, utroligt detaljerede videoer, s\u00e5som Synthesia og Luma AI’s Dream Machine. N\u00e5r det er sagt, er der stadig et par udfordringer, der forhindrer disse v\u00e6rkt\u00f8jer i at blive mainstream.<\/p>\n

Og den st\u00f8rste er m\u00e5ske lydgenereringsprocessen. Mens de fleste videogenererende platforme kan producere videoer af god kvalitet, er de for det meste lydl\u00f8se videoer uden lyd. Selvom der er lyd, tilf\u00f8jes den normalt separat og lever ikke op til brugernes forventninger.<\/p>\n

For eksempel, hvis du bes\u00f8ger Luma AI’s Dream Machine-side, kan du se nogle meget imponerende videoer, men lyden, der ledsager dem, er ret generisk og af lav kvalitet. Men det kan v\u00e6re ved at \u00e6ndre sig med Googles nye video-to-audio (V2A) teknologi.<\/p>\n

Dette lover at bringe lydgenerering af god kvalitet til videoer til masserne, hvilket betyder, at det endelig kan give dig mulighed for at producere AI-genererede film med ordentlige lydspor og lyd, der overg\u00e5r alle AI-genererede videoer, der i \u00f8jeblikket produceres.<\/p>\n

\n

AI-genereret lyd til<\/span><\/p>\n<\/figcaption><\/figure>\n

https:\/\/www.youtube.com\/watch?v=VYjZlF6m3nQ<\/a><\/p>\n

Hvad er Google DeepMinds video-til-lyd-forskning?<\/h2>\n

Video-to-Audio (V2A)-teknologi udviklet af Googles DeepMind er designet til at skabe lydspor til AI-genererede videoer. Denne teknologi g\u00f8r det muligt at generere videoer og lyd samtidigt ved at kombinere naturlige sprogprompter med videopixel for at generere lyde for de handlinger, der finder sted i videoen.<\/p>\n

Denne teknologi kan parres med AI-modeller, der bruges til at generere videoer, som Veo, og kan hj\u00e6lpe med at skabe realistiske dialoger og lydeffekter sammen med dramatiske resultater, der matcher videoen. Endnu vigtigere er det, at den nye V2A-teknologi ikke kun er begr\u00e6nset til videoer genereret ved hj\u00e6lp af AI, men kan ogs\u00e5 bruges til at generere lydspor til videoer produceret p\u00e5 traditionel vis. Du kan s\u00e5ledes bruge den til stumfilm, arkivmateriale og meget mere.<\/p>\n

V2A-teknologien giver brugerne mulighed for at generere ubegr\u00e6nsede lydspor til videoer og endda bruge positive og negative prompter til at guide lydgenereringsprocessen og nemt f\u00e5 de n\u00f8dvendige lyde. Dette giver ogs\u00e5 mere fleksibilitet, s\u00e5 du kan eksperimentere med forskellige output og finde, hvad der er bedst til en bestemt video.<\/p>\n

\n

En lydpr\u00f8ve af en vandmand, der pulserer under vandet.<\/span> Kilde: Google<\/p>\n<\/figcaption><\/figure>\n

https:\/\/www.youtube.com\/watch?v=9Q0-t8D9XFI<\/a><\/p>\n

Hvordan fungerer V2A-teknologien?<\/h2>\n

If\u00f8lge Google eksperimenterede virksomheden med diffusionsbaserede og autoregressive teknikker og fandt f\u00f8rstn\u00e6vnte mest velegnet til lydproduktion. Det resulterer i meget realistiske lyde og virker ved at kode videoen til et komprimeret format.<\/p>\n

Derefter bruges diffusionsmodellen til at adskille tilf\u00e6ldig st\u00f8j fra videoen ved at stole p\u00e5 naturlige sprogprompter og videoen. Prompterne hj\u00e6lper med at generere realistisk lyd, der er perfekt synkroniseret med videoen. Dette efterf\u00f8lges af afkodning af lyden, hvorefter den konverteres til en lydb\u00f8lgeform og flettes sammen med videoen.<\/p>\n

Googles DeepMind leverede mere information til at tr\u00e6ne AI’en, p\u00e5 grund af hvilke brugere kan guide lydgenereringsprocessen mod de n\u00f8dvendige lyde og tillader platformen at producere lyd af h\u00f8jere kvalitet. S\u00e5danne oplysninger omfattede talte dialogudskrifter og detaljerede lydbeskrivelser med AI-genererede annoteringer.<\/p>\n

Da V2A-teknologien er tr\u00e6net i s\u00e5danne oplysninger, kan den forbinde forskellige visuelle scener med specifikke lydbegivenheder.<\/p>\n

\"\"
Arbejde med V2A-teknologien.<\/span> Kilde: Google<\/figcaption><\/figure>\n

Hvad er der i horisonten?<\/h2>\n

DeepMinds V2A-teknologi yder meget bedre end andre V2A-l\u00f8sninger, da den ikke altid kr\u00e6ver en tekstprompt og kan forst\u00e5 videopixels. Lydudgangen beh\u00f8ver heller ikke at justeres manuelt med videoen. Der er dog stadig visse begr\u00e6nsninger ved teknologien, som Google sigter mod at overvinde med yderligere forskning.<\/p>\n

For eksempel afh\u00e6nger kvaliteten af \u200b\u200bden genererede lyd af kvaliteten af \u200b\u200bden video, der bruges som input. Hvis der er forvr\u00e6ngninger eller artefakter i videoen, forst\u00e5r AI-modellen ikke dem, da de ikke er inkluderet i dens tr\u00e6ning, hvilket i sidste ende resulterer i reduceret lydkvalitet.<\/p>\n

For videoer, der har menneskelig tale, arbejder virksomheden desuden p\u00e5 at forbedre l\u00e6besynkronisering. V2A-teknologien fors\u00f8ger at generere tale ved hj\u00e6lp af input-transskriptionerne og derefter justere den efter l\u00e6bebev\u00e6gelserne af karaktererne i videoen. Men hvis videoen ikke er afh\u00e6ngig af transskriptioner, er der et misforhold mellem lyden og l\u00e6bebev\u00e6gelserne.<\/p>\n

Med bedre lydgenereringsevner vil AI-modeller v\u00e6re i stand til at generere videoer, der ikke kun ser imponerende ud, men ogs\u00e5 lyder godt. Google integrerer ogs\u00e5 sin V2A-teknologi med SynthID, som vandm\u00e6rker alt indhold genereret ved hj\u00e6lp af AI. Dette kan hj\u00e6lpe med at forhindre, at det bliver misbrugt, hvilket sikrer fuldst\u00e6ndig sikkerhed.<\/p>\n

Derudover siger virksomheden, at den vil teste sin V2A-teknologi grundigt, f\u00f8r den frigives til offentligheden. Indtil videre, fra hvad Google har fremvist og lovet for fremtiden, tegner denne teknologi sig til at v\u00e6re et stort fremskridt inden for lydgenerering til AI-genererede videoer.<\/p>\n","protected":false},"excerpt":{"rendered":"

Da den f\u00f8rste AI-genererede video blev udgivet, kunne ingen have g\u00e6ttet, at videogenererende AI-v\u00e6rkt\u00f8jer ville komme s\u00e5 langt p\u00e5 s\u00e5 kort en periode. Men i dag har vi utallige platforme, der giver brugerne mulighed for at generere h\u00f8jkvalitets, utroligt detaljerede videoer, s\u00e5som Synthesia og Luma AI’s Dream Machine. N\u00e5r det er sagt, er der stadig […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[182,130],"class_list":["post-2685","post","type-post","status-publish","format-standard","hentry","category-how-to","tag-artificial-intelligence","tag-microsoft"],"acf":[],"_links":{"self":[{"href":"https:\/\/howtogeek.blog\/da\/wp-json\/wp\/v2\/posts\/2685","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/howtogeek.blog\/da\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/howtogeek.blog\/da\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/howtogeek.blog\/da\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/howtogeek.blog\/da\/wp-json\/wp\/v2\/comments?post=2685"}],"version-history":[{"count":1,"href":"https:\/\/howtogeek.blog\/da\/wp-json\/wp\/v2\/posts\/2685\/revisions"}],"predecessor-version":[{"id":2686,"href":"https:\/\/howtogeek.blog\/da\/wp-json\/wp\/v2\/posts\/2685\/revisions\/2686"}],"wp:attachment":[{"href":"https:\/\/howtogeek.blog\/da\/wp-json\/wp\/v2\/media?parent=2685"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/howtogeek.blog\/da\/wp-json\/wp\/v2\/categories?post=2685"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/howtogeek.blog\/da\/wp-json\/wp\/v2\/tags?post=2685"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}