Sistem ses kliplerinden dudak senkronize video oluşturur

Anonim

Sistem ses kliplerinden dudak senkronize video oluşturur

Bilim

Ben Coxworth

12 Temmuz 2017

Sistem, saatlerce Barack Obama konuşmasında eğitildi (Kredi: Michael.worley)

Birinin sesinin dijital bir kopyasını oluşturmak zaten mümkündür, bu da kullanıcıların gerçekte asla söylemedikleri şeyleri söyleyerek ses dosyalarını üretmelerini sağlar. Dinleyiciler yine de, bu sözleri konuşan kişinin görüntülerini çekmeyeceklerinden kandırılmayabilir. İyi .

Washington Üniversitesi araştırmacıları şimdi ses kliplerini hoparlörün dudakla senkronize edilmiş videolarına dönüştüren bir sistem oluşturdular.

Sistemin çalışabilmesi için, konuşulan kişinin yaklaşık 14 saatlik mevcut görüntülerini analiz etmesi gerekiyor - araştırmacılar bu rakamı önemli ölçüde düşürmeyi umuyorlar, belki de bir saate kadar. Bir sinir ağını kullanarak, hangi konuşma seslerinin hangi ağız şekillerine eşlik ettiğini öğrenir.

Sistem daha sonra (herhangi bir şey hakkında konuşabileceği) bir "hedef video " ile sağlandığında, istenen sözcükleri konuşan bir ses dosyasıyla birlikte, ikisini bir araya getirir. Bu, videonun orijinal sesini düşürerek, istenen sesle değiştirerek ve videonun ağzının yerine hoparlörün ağzının bilgisayar animasyonlu bir versiyonunu haritalayarak yapar.

Sonuç olarak, insanlar onları istedikleri kelimeleri konuştuklarını duyuyorlar ve görünüşe göre ağızlarını da öyle görüyorlar. Her ne kadar kesinlikle ihanet potansiyeli olsa da, araştırmacılar teknolojiyi diğer kullanımları göz önünde bulundurarak geliştirdiler.

"Gerçekçi ses-video dönüştürme, toplantılar için video konferansı iyileştirme gibi pratik uygulamaların yanı sıra sanal gerçeklikteki görseller oluşturarak sanal gerçeklikteki tarihsel bir figürle sohbet edebilmek gibi fütürist olanlara da sahiptir" diyor profesör Ira Kemelmacher-Shlizerman. "Bu, sonraki adımları etkinleştirmeye yardımcı olacak bir atılımdır. "

Aşağıdaki videoda, kullanılan sistemi görebilir ve duyabilirsiniz.

Kaynak: Washington Üniversitesi

Sistem, saatlerce Barack Obama konuşmasında eğitildi (Kredi: Michael.worley)