{"id":2585,"date":"2024-06-20T12:07:25","date_gmt":"2024-06-20T12:07:25","guid":{"rendered":"https:\/\/howtogeek.blog\/no\/?p=2585"},"modified":"2024-06-20T12:07:25","modified_gmt":"2024-06-20T12:07:25","slug":"this-new-v2a-tool-from-google-deepmind-could-be-the-last-piece-of-the-puzzle-for-ai-generated-movies-no","status":"publish","type":"post","link":"https:\/\/howtogeek.blog\/no\/this-new-v2a-tool-from-google-deepmind-could-be-the-last-piece-of-the-puzzle-for-ai-generated-movies-no\/","title":{"rendered":"Dette nye V2A-verkt\u00f8yet fra Google DeepMind kan v\u00e6re den siste brikken i puslespillet for AI-genererte filmer"},"content":{"rendered":"

Da den f\u00f8rste AI-genererte videoen ble utgitt, kunne ingen ha gjettet at videogenererende AI-verkt\u00f8y ville komme s\u00e5 langt p\u00e5 s\u00e5 kort tid. Imidlertid har vi i dag utallige plattformer som lar brukere generere h\u00f8ykvalitets, utrolig detaljerte videoer, som Synthesia og Luma AIs Dream Machine. N\u00e5r det er sagt, er det fortsatt noen f\u00e5 utfordringer som hindrer disse verkt\u00f8yene i \u00e5 bli mainstream.<\/p>\n

Og den st\u00f8rste er kanskje lydgenereringsprosessen. Mens de fleste videogenererende plattformer kan produsere videoer av god kvalitet, er de stort sett lydl\u00f8se videoer uten lyd. Selv om det er lyd, legges den vanligvis til separat og lever ikke opp til brukerens forventninger.<\/p>\n

For eksempel, hvis du bes\u00f8ker Luma AIs Dream Machine-side, kan du se noen veldig imponerende videoer, men lyden som f\u00f8lger med dem er ganske generisk og av lav kvalitet. Men det kan v\u00e6re i ferd med \u00e5 endre seg med Googles nye video-til-lyd-teknologi (V2A).<\/p>\n

Dette lover \u00e5 bringe lydgenerering av god kvalitet for videoer til massene, noe som betyr at det endelig kan tillate deg \u00e5 produsere AI-genererte filmer med riktige lydspor og lyd, og overg\u00e5 alle AI-genererte videoer som for \u00f8yeblikket produseres.<\/p>\n

\n

AI-generert lyd for<\/span><\/p>\n<\/figcaption><\/figure>\n

https:\/\/www.youtube.com\/watch?v=VYjZlF6m3nQ<\/a><\/p>\n

Hva er Google DeepMinds video-til-lyd-forskning?<\/h2>\n

Video-to-Audio (V2A)-teknologi utviklet av Googles DeepMind er designet for \u00e5 lage lydspor for AI-genererte videoer. Denne teknologien gj\u00f8r det mulig \u00e5 generere videoer og lyd samtidig ved \u00e5 kombinere naturlig spr\u00e5kmeldinger med videopiksler for \u00e5 generere lyder for de handlingene som skjer i videoen.<\/p>\n

Denne teknologien kan kobles sammen med AI-modeller som brukes til \u00e5 generere videoer, som Veo, og kan bidra til \u00e5 skape realistiske dialoger og lydeffekter sammen med dramatiske partitur som matcher videoen. Enda viktigere, den nye V2A-teknologien er ikke bare begrenset til videoer generert ved hjelp av AI, men kan ogs\u00e5 brukes til \u00e5 generere lydspor for videoer produsert p\u00e5 tradisjonell m\u00e5te. Dermed kan du bruke den til stumfilmer, arkivmateriale og mer.<\/p>\n

V2A-teknologien lar brukere generere ubegrensede lydspor for videoer og til og med bruke positive og negative meldinger for \u00e5 veilede lydgenereringsprosessen og enkelt f\u00e5 de n\u00f8dvendige lydene. Dette gir ogs\u00e5 mer fleksibilitet, slik at du kan eksperimentere med ulike utganger og finne det som er best for en bestemt video.<\/p>\n

\n

En lydpr\u00f8ve av en manet som pulserer under vann.<\/span> Kilde: Google<\/p>\n<\/figcaption><\/figure>\n

https:\/\/www.youtube.com\/watch?v=9Q0-t8D9XFI<\/a><\/p>\n

Hvordan fungerer V2A-teknologien?<\/h2>\n

If\u00f8lge Google eksperimenterte selskapet med diffusjonsbaserte og autoregressive teknikker og fant f\u00f8rstnevnte som best egnet for lydproduksjon. Det resulterer i sv\u00e6rt realistiske lyder og fungerer ved \u00e5 kode videoen til et komprimert format.<\/p>\n

Etter det brukes diffusjonsmodellen til \u00e5 skille tilfeldig st\u00f8y fra videoen ved \u00e5 stole p\u00e5 naturlig spr\u00e5koppfordringer og videoen. Foresp\u00f8rslene bidrar til \u00e5 generere realistisk lyd som er perfekt synkronisert med videoen. Dette etterf\u00f8lges av dekoding av lyden, hvoretter den konverteres til en lydb\u00f8lgeform og smeltes sammen med videoen.<\/p>\n

Googles DeepMind ga mer informasjon for \u00e5 trene opp AI p\u00e5 grunn av hvilken brukere kan lede lydgenereringsprosessen mot de n\u00f8dvendige lydene og lar plattformen produsere lyd av h\u00f8yere kvalitet. Slik informasjon inkluderte talte dialogutskrifter og detaljerte lydbeskrivelser med AI-genererte merknader.<\/p>\n

V2A-teknologien er trent p\u00e5 slik informasjon, og kan assosiere forskjellige visuelle scener med spesifikke lydhendelser.<\/p>\n

\"\"
Arbeid med V2A-teknologien.<\/span> Kilde: Google<\/figcaption><\/figure>\n

Hva er i horisonten?<\/h2>\n

DeepMinds V2A-teknologi yter mye bedre enn andre V2A-l\u00f8sninger siden den ikke alltid krever en tekstmelding og kan forst\u00e5 videopiksler. Lydutgangen trenger heller ikke \u00e5 justeres manuelt med videoen. Imidlertid er det fortsatt visse begrensninger ved teknologien, som Google har som m\u00e5l \u00e5 overvinne med videre forskning.<\/p>\n

For eksempel avhenger kvaliteten p\u00e5 lyden som genereres av kvaliteten p\u00e5 videoen som brukes som inngang. Hvis det er forvrengninger eller artefakter i videoen, klarer ikke AI-modellen \u00e5 forst\u00e5 disse siden de ikke er inkludert i oppl\u00e6ringen, noe som til slutt resulterer i redusert lydkvalitet.<\/p>\n

I tillegg, for videoer som har menneskelig tale, jobber selskapet med \u00e5 forbedre leppesynkronisering. V2A-teknologien pr\u00f8ver \u00e5 generere tale ved \u00e5 bruke inndatatranskripsjonene og deretter justere den etter leppebevegelsene til karakterene i videoen. Men hvis videoen ikke er avhengig av transkripsjoner, er det et misforhold mellom lyden og leppebevegelsene.<\/p>\n

Med bedre lydgenereringsmuligheter vil AI-modeller kunne generere videoer som ikke bare ser imponerende ut, men som ogs\u00e5 h\u00f8res bra ut. Google integrerer ogs\u00e5 sin V2A-teknologi med SynthID, som vannmerker alt innhold generert ved hjelp av AI. Dette kan bidra til \u00e5 forhindre at den blir misbrukt, og sikrer full sikkerhet.<\/p>\n

I tillegg sier selskapet at det vil teste V2A-teknologien sin grundig f\u00f8r den frigis til publikum. S\u00e5 langt, fra det Google har vist frem og lovet for fremtiden, er denne teknologien i ferd med \u00e5 bli et stort fremskritt innen lydgenerering for AI-genererte videoer.<\/p>\n","protected":false},"excerpt":{"rendered":"

Da den f\u00f8rste AI-genererte videoen ble utgitt, kunne ingen ha gjettet at videogenererende AI-verkt\u00f8y ville komme s\u00e5 langt p\u00e5 s\u00e5 kort tid. Imidlertid har vi i dag utallige plattformer som lar brukere generere h\u00f8ykvalitets, utrolig detaljerte videoer, som Synthesia og Luma AIs Dream Machine. N\u00e5r det er sagt, er det fortsatt noen f\u00e5 utfordringer som […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[179,126],"class_list":["post-2585","post","type-post","status-publish","format-standard","hentry","category-how-to","tag-artificial-intelligence","tag-microsoft"],"acf":[],"_links":{"self":[{"href":"https:\/\/howtogeek.blog\/no\/wp-json\/wp\/v2\/posts\/2585","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/howtogeek.blog\/no\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/howtogeek.blog\/no\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/howtogeek.blog\/no\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/howtogeek.blog\/no\/wp-json\/wp\/v2\/comments?post=2585"}],"version-history":[{"count":1,"href":"https:\/\/howtogeek.blog\/no\/wp-json\/wp\/v2\/posts\/2585\/revisions"}],"predecessor-version":[{"id":2586,"href":"https:\/\/howtogeek.blog\/no\/wp-json\/wp\/v2\/posts\/2585\/revisions\/2586"}],"wp:attachment":[{"href":"https:\/\/howtogeek.blog\/no\/wp-json\/wp\/v2\/media?parent=2585"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/howtogeek.blog\/no\/wp-json\/wp\/v2\/categories?post=2585"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/howtogeek.blog\/no\/wp-json\/wp\/v2\/tags?post=2585"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}