Meta Ciptakan SeamlessM4T V2 dengan Pembacaan Ekspresi dan Latensi Minim

JAKARTA - Pada Agustus lalu, Meta memperkenalkan SeamlessM4T, alat penerjemah berbasis Kecerdasan Buatan (AI). Baru tiga bulan lalu diluncurkan, Meta telah mengumumkan model terbarunya.

Meta memperbarui SeamlessM4T dan menyebutnya sebagai generasi kedua (V2). Layanan ini memiliki alat penerjemah yang lebih luas karena Meta menggabungkan dua kemampuan baru di dalamnya.

Kemampuan pertama yang Meta tambahkan adalah SeamlessExpressive. Alat ini bisa menyertakan ekspresi pembicara seperti berbisik, sedih, dan gembira melalui jeda, kecepatan berbicara, gaya vokal, dan nada emosional.

Alat ini dibuat dengan gabungan encoder ekspresif dan model dasar dari SeamlessM4T V2. Meta mengatakan bahwa mereka telah mengganti perangkat pemrosesan audio untuk mendukung kemampuan membaca ekspresi.

“Mengganti vocoder unit HiFi-GAN di SeamlessM4T v2 dengan generator unit-ke-ucapan ekspresif yang dikondisikan pada ucapan sumber memungkinkan transfer nada, ekspresi emosional, dan gaya vokal tanpa hambatan,” kata Meta dalam rilisnya.

Kemampuan berikutnya yang Meta tambahkan adalah SeamlessStreaming, pengenalan ucapan otomatis untuk terjemahan ucapan ke teks atau ucapan ke ucapan. Alat ini hadir dengan akurasi yang tinggi dan latensi mencapai dua detik.

Latensi ini memang tidak bisa dihindari karena struktur kalimat tiap bahasa berbeda. AI dalam SeamlessM4T harus mempelajari input audio pasialnya untuk memutuskan apakah kata dan kalimat yang didengarkan perlu diterjemahkan atau tidak.

“Hal ini dilakukan melalui kebijakan baca atau tulis yang dipelajari, yang menentukan berdasarkan masukan audio parsial, apakah harus menulis dan menghasilkan keluaran atau membaca dan terus menunggu masukan lainnya,” jelas Meta.

Saat ini, SeamlessM4T V2 telah mendukung hampir 100 bahasa untuk penerjemahan ucapan ke teks dan 36 bahasa untuk penerjemahan dari ucapan ke ucapan. Layanan penerjemah ini telah dilatih dengan 4,5 juta jam data sehingga ada kemungkinan bahasanya bertambah.

Kemampuan baru dalam rangkaian Seamless Communication, layanan komunikasi lintas bahasa, ini bisa menjadi saingan penerjemah yang dikembangkan Google dan Samsung. Namun, belum diketahui kapan SeamlessM4T V2 bisa diakses oleh publik.