هوش مصنوعی چگونه زیرنویس ویدئو را تولید می‌کند؟

وقتی یک ویدئو را در ابزار ساخت زیرنویس بارگذاری می‌کنید، نتیجه ظاهراً ساده است: چند دقیقه بعد، متن گفتار به‌صورت هماهنگ با تصویر نمایش داده می‌شود. اما پشت این فرایند، چند مرحله پردازش صوت، تشخیص زبان، تبدیل گفتار به متن، زمان‌بندی و قالب‌بندی انجام می‌شود.

هوش مصنوعی مستقیماً «مفهوم زیرنویس» را مانند یک انسان نمی‌نویسد. ابتدا صدای ویدئو را تحلیل می‌کند، کلمات احتمالی را تشخیص می‌دهد و سپس متن به‌دست‌آمده را با زمان ویدئو هماهنگ می‌سازد.

نتیجه این فرایند می‌تواند به‌صورت فایل SRT یا VTT خروجی گرفته شود یا مستقیماً روی تصویر ویدئو قرار گیرد.

در این مقاله، بدون ورود به فرمول‌ها و جزئیات پیچیده، بررسی می‌کنیم که هوش مصنوعی چگونه از صدای خام یک ویدئو به زیرنویس قابل استفاده می‌رسد و چرا خروجی نهایی همچنان به بازبینی نیاز دارد.

زیرنویس فارسی ویدئوی خود را تولید کنید

فایل را در سابچین بارگذاری کنید تا گفتار آن به متن زمان‌بندی‌شده تبدیل شود.

ساخت زیرنویس با هوش مصنوعی در سابچین

تولید زیرنویس با هوش مصنوعی چیست؟

تولید زیرنویس با هوش مصنوعی فرایندی است که در آن یک سامانه نرم‌افزاری:

• صدای موجود در ویدئو را استخراج می‌کند؛
• بخش‌های دارای گفتار را تشخیص می‌دهد؛
• زبان و کلمات گفته‌شده را شناسایی می‌کند؛
• گفتار را به متن تبدیل می‌کند؛
• زمان بیان کلمات و جمله‌ها را ثبت می‌کند؛
• متن را به قطعه‌های کوتاه و قابل خواندن تقسیم می‌کند؛
• خروجی زیرنویس را تولید می‌کند.

این فرایند از فناوری تشخیص خودکار گفتار یا ASR استفاده می‌کند. ASR مخفف Automatic Speech Recognition است و وظیفه آن تبدیل سیگنال صوتی به متن است.

زیرنویس‌سازی یک مرحله فراتر از تبدیل ساده صوت به متن است؛ زیرا متن باید به زمان ویدئو متصل و برای نمایش روی تصویر آماده شود.

مسیر کلی از ویدئو تا زیرنویس

به‌صورت خلاصه، مسیر پردازش را می‌توان چنین نمایش داد:

فایل ویدئو
↓
استخراج صدا
↓
تشخیص بخش‌های گفتاری
↓
شناسایی زبان
↓
تبدیل گفتار به متن
↓
نشانه‌گذاری و تشخیص گویندگان
↓
ثبت زمان کلمات
↓
تقسیم متن به زیرنویس‌های کوتاه
↓
بازبینی و اصلاح
↓
خروجی SRT، VTT یا ویدئوی زیرنویس‌دار

هر مرحله می‌تواند روی کیفیت نتیجه نهایی اثر بگذارد. برای مثال، اگر صدای اولیه نامفهوم باشد، دقیق‌ترین سیستم زمان‌بندی نیز نمی‌تواند متن صحیحی تولید کند.

مرحله اول: استخراج صدای ویدئو

فایل ویدئویی معمولاً شامل چند نوع اطلاعات است:

• تصویر
• صدای گفتار
• موسیقی
• جلوه‌های صوتی
• اطلاعات فنی ویدئو

برای تولید زیرنویس، سامانه ابتدا بخش صوتی را از فایل جدا و آن را به قالبی مناسب برای پردازش تبدیل می‌کند.

در این مرحله ممکن است عملیات دیگری نیز انجام شود:

• یکسان‌سازی نرخ نمونه‌برداری صدا
• تبدیل صدای استریو به مونو
• تنظیم سطح صدا
• حذف سکوت‌های طولانی
• کاهش بخشی از نویز
• جداکردن کانال‌های صوتی، در صورت وجود

هدف این مرحله آن است که مدل تشخیص گفتار، ورودی استانداردتر و قابل‌تحلیل‌تری دریافت کند.

تغییر قالب فایل نمی‌تواند صدایی را که هنگام ضبط از بین رفته است بازیابی کند. اگر گفتار با نویز شدید یا صدای بسیار ضعیف ضبط شده باشد، پردازش اولیه فقط تا حد محدودی می‌تواند آن را بهتر کند.

مرحله دوم: تشخیص بخش‌های دارای گفتار

تمام صدای یک ویدئو لزوماً گفتار نیست. ممکن است بخش‌هایی شامل موارد زیر باشند:

• سکوت
• موسیقی
• صدای محیط
• افکت صوتی
• تنفس
• گفت‌وگو

سامانه باید تشخیص دهد کدام قسمت‌ها حاوی صدای انسان هستند. این فرایند معمولاً با عنوان تشخیص فعالیت صوتی یا Voice Activity Detection شناخته می‌شود.

تشخیص درست این بخش‌ها چند مزیت دارد:

• سکوت به‌عنوان کلمه پردازش نمی‌شود؛
• زمان شروع و پایان جمله‌ها دقیق‌تر می‌شود؛
• فایل به قطعه‌های قابل مدیریت تقسیم می‌شود؛
• سرعت پردازش افزایش پیدا می‌کند.

اما اگر موسیقی یا نویز به صدای انسان شباهت داشته باشد، سیستم ممکن است بخشی از آن را به‌اشتباه گفتار تشخیص دهد.

مرحله سوم: تشخیص زبان گفتار

مدل باید بداند یا تشخیص دهد که گفتار به چه زبانی است. زبان انتخاب‌شده بر واژگان، ساختار جمله و احتمال انتخاب هر کلمه اثر می‌گذارد.

برای مثال، یک قطعه صوتی مشابه ممکن است در دو زبان به کلمات متفاوتی تفسیر شود. انتخاب زبان فارسی کمک می‌کند مدل میان واژه‌ها و ساختارهای رایج فارسی جست‌وجو کند.

در بعضی ابزارها، زبان را کاربر انتخاب می‌کند. برخی سامانه‌ها نیز می‌توانند زبان غالب فایل را به‌صورت خودکار تشخیص دهند.

فایل‌های چندزبانه دشوارتر هستند؛ به‌خصوص وقتی گوینده مرتب میان فارسی و انگلیسی جابه‌جا می‌شود. در چنین شرایطی ممکن است:

• واژه‌های انگلیسی با املای فارسی ثبت شوند؛
• نام برندها اشتباه تشخیص داده شوند؛
• بخشی از متن با زبان نادرست پردازش شود؛
• نشانه‌گذاری جمله‌ها دچار خطا شود.

مرحله چهارم: تبدیل سیگنال صوتی به اطلاعات قابل پردازش

مدل هوش مصنوعی نمی‌تواند فایل صوتی را دقیقاً به همان شکلی که انسان می‌شنود تحلیل کند. صدا ابتدا به نمایش عددی تبدیل می‌شود.

سیگنال صوتی به بازه‌های زمانی بسیار کوتاه تقسیم می‌شود و ویژگی‌هایی از آن استخراج می‌شود؛ از جمله:

• شدت صدا
• تغییرات فرکانس
• الگوی آواها
• مکث‌ها
• آهنگ گفتار
• تغییرات زمانی صدا

مدل بر اساس این الگوها تلاش می‌کند تشخیص دهد هر بخش از صدا احتمالاً با چه واج، هجا یا کلمه‌ای مرتبط است.

در سامانه‌های جدید، شبکه‌های عصبی می‌توانند مستقیماً ارتباط میان بخش‌های صوت و توالی متن را یاد بگیرند. این مدل‌ها با نمونه‌های زیاد صوت و متن آموزش می‌بینند تا الگوهای مختلف گفتار را تشخیص دهند.

مرحله پنجم: تشخیص کلمات گفته‌شده

در این مرحله مدل برای هر بخش صوتی، چند احتمال متنی در نظر می‌گیرد.

برای مثال، یک صدای مبهم ممکن است به چند عبارت شبیه باشد. مدل فقط به شباهت صوتی توجه نمی‌کند؛ بلکه بافت جمله را نیز در نظر می‌گیرد.

فرض کنید بخشی از جمله چنین شنیده شود:

این فایل باید امروز ... شود.

واژه نامشخص ممکن است «ارسال»، «اصلاح» یا «منتشر» باشد. مدل با توجه به:

• صدای ضبط‌شده
• کلمات قبل و بعد
• ساختار زبان
• احتمال رایج‌بودن عبارت
• موضوع کلی جمله

محتمل‌ترین گزینه را انتخاب می‌کند.

به همین دلیل است که مدل‌های زبانی نقش مهمی در خواناترشدن متن خروجی دارند. آن‌ها کمک می‌کنند سیستم فقط مجموعه‌ای از صداها را به حروف تبدیل نکند، بلکه جمله‌ای محتمل و معنادار بسازد.

آیا هوش مصنوعی واقعاً معنای ویدئو را می‌فهمد؟

سامانه‌های جدید می‌توانند زمینه جمله را بهتر از سیستم‌های قدیمی تشخیص دهند، اما این به معنای درک کامل انسانی نیست.

مدل ممکن است جمله‌ای از نظر زبانی روان تولید کند که با صدای اصلی تفاوت دارد. این مسئله به‌ویژه در موارد زیر رخ می‌دهد:

• نام‌های ناآشنا
• واژه‌های تخصصی
• تلفظ‌های مشابه
• صدای ضعیف
• عبارت‌های محاوره‌ای
• جمله‌های ناقص
• تغییر ناگهانی موضوع

بنابراین روان‌بودن متن خروجی، به‌تنهایی نشانه درست‌بودن آن نیست. متن باید با صدای اصلی تطبیق داده شود.

مرحله ششم: افزودن علائم نگارشی

گفتار طبیعی شامل نقطه و ویرگول قابل مشاهده نیست. مدل باید از روی مکث، آهنگ صدا و ساختار جمله تشخیص دهد که علائم نگارشی کجا قرار بگیرند.

ممکن است سیستم به‌صورت خودکار این موارد را اضافه کند:

• نقطه
• ویرگول
• علامت سؤال
• علامت تعجب
• جداکردن جمله‌ها
• شکل نوشتاری اعداد

برای نمونه، خروجی خام ممکن است چنین باشد:

امروز درباره نسخه جدید صحبت می‌کنیم آیا همه فایل را دریافت کرده‌اند

مدل نشانه‌گذاری آن را به این شکل تبدیل می‌کند:

امروز درباره نسخه جدید صحبت می‌کنیم. آیا همه فایل را دریافت کرده‌اند؟

این مرحله خوانایی متن را افزایش می‌دهد، اما همیشه دقیق نیست. مکث طولانی لزوماً پایان جمله نیست و لحن پرسشی نیز ممکن است به‌درستی تشخیص داده نشود.

مرحله هفتم: تشخیص و تفکیک گویندگان

در مصاحبه، جلسه یا پادکست ممکن است چند نفر صحبت کنند. قابلیت تفکیک گویندگان یا Speaker Diarization تلاش می‌کند مشخص کند هر بخش متعلق به کدام صداست.

خروجی می‌تواند به این شکل باشد:

گوینده ۱: جلسه را شروع کنیم.

گوینده ۲: ابتدا گزارش هفته گذشته را مرور کنیم.

سامانه لزوماً نام افراد را نمی‌داند. معمولاً صداها را با برچسب‌هایی مانند «گوینده ۱» و «گوینده ۲» جدا می‌کند. نام واقعی باید بعداً توسط کاربر تعیین شود.

تفکیک گویندگان بر اساس ویژگی‌هایی مانند زیر انجام می‌شود:

• زیر و بمی صدا
• ریتم گفتار
• ویژگی‌های صوتی هر فرد
• محل قرارگیری صدا در کانال‌های صوتی
• توالی ورود و خروج گویندگان

این قابلیت در شرایط زیر ممکن است دچار خطا شود:

• چند نفر هم‌زمان صحبت کنند؛
• صدای افراد بسیار شبیه باشد؛
• کیفیت میکروفون‌ها متفاوت باشد؛
• یک گوینده از چند دستگاه ضبط شود؛
• موسیقی یا نویز روی صدا قرار بگیرد.

اگر هر گوینده روی کانال صوتی جداگانه ضبط شود، جداسازی معمولاً ساده‌تر و دقیق‌تر خواهد بود.

مرحله هشتم: ثبت زمان شروع و پایان کلمات

برای ساخت زیرنویس، فقط دانستن متن کافی نیست. سامانه باید مشخص کند هر کلمه یا جمله در چه زمانی گفته شده است.

خروجی داخلی ممکن است برای هر کلمه اطلاعاتی شبیه این داشته باشد:

{
  "word": "امروز",
  "start": 3.2,
  "end": 3.8
}

با کنار هم قرار دادن این زمان‌ها، سیستم می‌تواند قطعه‌های زیرنویس را بسازد:

00:00:03,200 --> 00:00:06,100
امروز درباره نسخه جدید صحبت می‌کنیم.

زمان‌بندی در سطح کلمه کاربردهای دیگری نیز دارد:

• جست‌وجو در ویدئو
• رفتن مستقیم به یک جمله
• برجسته‌کردن کلمه هم‌زمان با گفتار
• تولید متن هماهنگ با پخش
• ساخت فصل‌بندی خودکار
• استخراج بخش‌های کوتاه از ویدئو

مرحله نهم: تقسیم متن به قطعه‌های زیرنویس

رونوشت کامل ویدئو معمولاً شامل پاراگراف‌های طولانی است، اما زیرنویس باید در قطعه‌های کوتاه نمایش داده شود.

هوش مصنوعی برای تقسیم متن به این عوامل توجه می‌کند:

• پایان جمله
• مکث گوینده
• تعداد واژه‌ها
• طول متن
• سرعت خواندن
• زمان باقی‌ماندن زیرنویس روی تصویر
• ساختار دستوری جمله

برای مثال، این جمله برای نمایش در یک قطعه طولانی است:

امروز می‌خواهیم درباره روش‌های مختلف استفاده از هوش مصنوعی در تولید و مدیریت محتوای ویدئویی صحبت کنیم.

ممکن است به این شکل تقسیم شود:

امروز می‌خواهیم درباره روش‌های مختلف
استفاده از هوش مصنوعی صحبت کنیم.

این روش‌ها در تولید و مدیریت
محتوای ویدئویی کاربرد دارند.

تقسیم خودکار همیشه طبیعی نیست. گاهی صفت از اسم جدا می‌شود، فعل به خط بعد می‌رود یا یک عبارت واحد میان دو زیرنویس شکسته می‌شود. این بخش باید در مرحله ویرایش بررسی شود.

مرحله دهم: تنظیم سرعت نمایش زیرنویس

هر قطعه باید به‌اندازه‌ای روی تصویر باقی بماند که مخاطب فرصت خواندن آن را داشته باشد.

اگر گفتار سریع باشد، سیستم با یک مسئله روبه‌رو می‌شود:

• نمایش تمام متن ممکن است خواندن را دشوار کند؛
• خلاصه‌کردن بیش‌ازحد می‌تواند بخشی از معنا را حذف کند؛
• نگه‌داشتن متن برای مدت بیشتر ممکن است با جمله بعد تداخل ایجاد کند.

ابزارهای زیرنویس‌سازی تلاش می‌کنند میان طول متن، سرعت گفتار و زمان نمایش تعادل برقرار کنند. بااین‌حال، در ویدئوهای بسیار سریع معمولاً به اصلاح انسانی نیاز است.

مرحله یازدهم: قالب‌بندی زیرنویس

پس از تولید متن و زمان‌بندی، زیرنویس باید در یک قالب استاندارد ذخیره شود.

SRT

فایل SRT شامل شماره قطعه، زمان شروع و پایان و متن است:

1
00:00:03,200 --> 00:00:06,100
هوش مصنوعی ابتدا صدای ویدئو را تحلیل می‌کند.

2
00:00:06,200 --> 00:00:09,500
سپس گفتار را به متن زمان‌بندی‌شده تبدیل می‌کند.

VTT

فایل VTT ساختاری مشابه دارد، اما بیشتر برای پخش‌کننده‌های وب استفاده می‌شود و از امکانات بیشتری برای نمایش متن پشتیبانی می‌کند:

WEBVTT

00:03.200 --> 00:06.100
هوش مصنوعی ابتدا صدای ویدئو را تحلیل می‌کند.

زیرنویس باز

در زیرنویس باز، متن مستقیماً روی فریم‌های ویدئو قرار می‌گیرد. هوش مصنوعی یا قالب ازپیش‌تعریف‌شده می‌تواند:

• فونت را انتخاب کند؛
• اندازه متن را تنظیم کند؛
• کلمات را برجسته کند؛
• زیرنویس را در محل مناسب قرار دهد؛
• رنگ یا پس‌زمینه اضافه کند.

برای شناخت تفاوت این خروجی‌ها، مقاله انواع زیرنویس چیست؟ را مطالعه کنید.

مرحله دوازدهم: ترجمه زیرنویس

برخی ابزارها پس از تولید متن زبان اصلی، آن را به زبان دیگری ترجمه می‌کنند.

این فرایند معمولاً شامل سه مرحله است:

گفتار زبان اصلی
↓
رونوشت زبان اصلی
↓
ترجمه متن
↓
تنظیم ترجمه روی زمان‌بندی ویدئو

ترجمه مستقیم صدا بدون تولید متن میانی نیز از نظر فنی ممکن است، اما در بیشتر جریان‌های کاری، یک نسخه متنی میانی برای ویرایش و کنترل کیفیت وجود دارد.

ترجمه زیرنویس با ترجمه یک مقاله تفاوت دارد. متن ترجمه‌شده باید:

• کوتاه باشد؛
• در زمان محدود خوانده شود؛
• معنای اصلی را حفظ کند؛
• با فرهنگ مخاطب سازگار باشد؛
• اصطلاحات و نام‌ها را درست منتقل کند؛
• با زمان‌بندی گفتار هماهنگ بماند.

در نتیجه ترجمه خودکار نیز باید بازبینی شود.

هوش مصنوعی چگونه کپشن‌های تصویری و متحرک می‌سازد؟

در ویدئوهای شبکه‌های اجتماعی، زیرنویس گاهی فقط متن ثابت پایین تصویر نیست. ممکن است کلمات هم‌زمان با بیان گوینده ظاهر یا برجسته شوند.

برای ایجاد این حالت، سیستم از زمان‌بندی در سطح کلمه استفاده می‌کند. هر واژه بر اساس زمان شروع خود نمایش داده یا برجسته می‌شود.

ابزار می‌تواند به‌صورت خودکار:

• کلمه در حال بیان را رنگی کند؛
• اندازه بعضی واژه‌ها را تغییر دهد؛
• متن را به‌صورت مرحله‌ای نمایش دهد؛
• کلمات کلیدی را برجسته کند؛
• ایموجی یا عنصر گرافیکی اضافه کند.

این نوع کپشن ممکن است برای محتوای کوتاه و شبکه‌های اجتماعی جذاب باشد، اما نباید خوانایی را کاهش دهد. تأکید بیش‌ازحد روی هر واژه می‌تواند توجه مخاطب را از تصویر و پیام اصلی منحرف کند.

هوش مصنوعی از کجا می‌داند کدام کلمه مهم است؟

مدل می‌تواند بر اساس عوامل مختلف حدس بزند کدام واژه‌ها اهمیت بیشتری دارند:

• تکرار واژه
• جایگاه آن در جمله
• تأکید صوتی گوینده
• ارتباط آن با موضوع متن
• اسم‌ها، اعداد یا عبارت‌های کلیدی
• الگوی محتوای شبکه اجتماعی

اما این انتخاب همیشه با هدف تولیدکننده محتوا یکسان نیست. ممکن است یک کلمه از نظر معنایی مهم باشد ولی مدل آن را تشخیص ندهد؛ یا واژه‌ای معمولی به‌اشتباه برجسته شود.

بهتر است برجسته‌سازی خودکار پیش از انتشار مرور شود.

چرا خروجی هوش مصنوعی گاهی اشتباه است؟

مدل تشخیص گفتار بر اساس احتمال تصمیم می‌گیرد. هرچه اطلاعات صوتی نامشخص‌تر باشد، احتمال خطا افزایش پیدا می‌کند.

نویز محیط

صدای خیابان، سیستم تهویه، برخورد اشیا یا مکالمه افراد دیگر می‌تواند بخشی از گفتار را بپوشاند.

موسیقی پس‌زمینه

اگر موسیقی نزدیک به سطح صدای گوینده باشد، تشخیص واژه‌ها دشوارتر می‌شود.

صحبت هم‌زمان

وقتی دو نفر هم‌زمان صحبت می‌کنند، مدل باید دو جریان صوتی را از یکدیگر جدا کند.

لهجه و شیوه بیان

مدلی که نمونه‌های کمتری از یک لهجه یا سبک گفتار دیده باشد، ممکن است در تشخیص آن خطای بیشتری داشته باشد.

واژه‌های تخصصی

نام دارو، محصول، شخص، مکان یا اصطلاح فنی ممکن است در داده‌های آموزشی مدل کمتر دیده شده باشد.

کیفیت پایین میکروفون

اعوجاج، فاصله زیاد و قطع‌شدن صدا اطلاعات لازم برای تشخیص دقیق را از بین می‌برند.

تغییر زبان

جابه‌جایی سریع میان فارسی، انگلیسی و زبان‌های دیگر ممکن است مدل را در انتخاب واژه و خط نوشتاری دچار خطا کند.

جزئیات بیشتر این عوامل در مقاله «چه عواملی بر دقت تبدیل صوت فارسی به متن تأثیر می‌گذارند؟» پس از انتشار مقاله مربوط به تبدیل صوت به متن در دسترس قرار می‌گیرد.

آیا هوش مصنوعی می‌تواند زیرنویس کاملاً دقیق بسازد؟

در شرایط مناسب، خروجی می‌تواند بسیار نزدیک به گفتار اصلی باشد؛ اما نمی‌توان دقت کامل را برای همه فایل‌ها تضمین کرد.

حتی اگر بیشتر متن صحیح باشد، خطاهای محدود ممکن است در حساس‌ترین بخش‌ها رخ دهند:

• عدد
• مبلغ
• تاریخ
• نام شخص
• نام برند
• جمله منفی
• اصطلاح تخصصی
• دستور مهم

برای محتوای عمومی، یک بازبینی معمولی ممکن است کافی باشد. اما در ویدئوهای حقوقی، پزشکی، آموزشی، خبری یا سازمانی باید کنترل دقیق‌تری انجام شود.

هوش مصنوعی می‌تواند سرعت تولید را افزایش دهد، ولی مسئولیت صحت نسخه منتشرشده همچنان با تولیدکننده محتواست.

تفاوت زیرنویس هوش مصنوعی و زیرنویس انسانی

• سرعت تولید اولیه: زیرنویس هوش مصنوعی بالا است؛ زیرنویس انسانی پایین‌تر است.
• هزینه در حجم زیاد: زیرنویس هوش مصنوعی معمولاً کمتر است؛ زیرنویس انسانی بیشتر است.
• زمان‌بندی اولیه: در زیرنویس هوش مصنوعی خودکار انجام می‌شود؛ در زیرنویس انسانی دستی یا نیمه‌خودکار انجام می‌شود.
• شناخت نام‌های خاص: زیرنویس هوش مصنوعی مستعد خطا است؛ زیرنویس انسانی وابسته به دانش فرد است.
• تشخیص زمینه فرهنگی: زیرنویس هوش مصنوعی محدودتر است؛ زیرنویس انسانی معمولاً بهتر است.
• مقیاس‌پذیری: زیرنویس هوش مصنوعی بالا است؛ زیرنویس انسانی محدودتر است.
• نیاز به بازبینی: زیرنویس هوش مصنوعی معمولاً دارد؛ زیرنویس انسانی وابسته به کیفیت کار است.
• فایل‌های طولانی: زیرنویس هوش مصنوعی مناسب است؛ زیرنویس انسانی زمان‌بر است.
• خروجی چندزبانه: زیرنویس هوش مصنوعی سریع‌تر است؛ زیرنویس انسانی دقیق‌تر ولی پرهزینه‌تر است.

در بسیاری از پروژه‌ها، بهترین روش ترکیبی است:

• تولید متن و زمان‌بندی با هوش مصنوعی
• اصلاح متن توسط انسان
• کنترل زمان‌بندی و خوانایی
• بررسی نهایی روی ویدئو

نقش انسان بعد از تولید زیرنویس چیست؟

بازبینی انسانی فقط اصلاح غلط املایی نیست. ویراستار باید بررسی کند:

• آیا تمام گفتار منتقل شده است؟
• آیا نام‌ها و اعداد درست هستند؟
• آیا صداهای مهم توضیح داده شده‌اند؟
• آیا گویندگان درست مشخص شده‌اند؟
• آیا تقسیم جمله‌ها طبیعی است؟
• آیا زمان نمایش برای خواندن کافی است؟
• آیا متن اطلاعات مهم تصویر را می‌پوشاند؟
• آیا لحن و معنای گوینده حفظ شده است؟
• آیا ترجمه با فرهنگ و هدف مخاطب هماهنگ است؟

برای تولید کپشن دسترس‌پذیر، صداهای غیرگفتاری مهم نیز باید در متن ثبت شوند؛ مانند موسیقی معنادار، زنگ، خنده یا صدای خارج از تصویر.

زیرنویس زنده چگونه ساخته می‌شود؟

در زیرنویس ویدئوی ضبط‌شده، سامانه می‌تواند یک بخش را چند بار بررسی کند و بعد نتیجه را ارائه دهد. اما در زیرنویس زنده، متن باید تقریباً هم‌زمان با گفتار تولید شود.

این محدودیت چند پیامد دارد:

• مدل زمان کمتری برای بررسی کلمات بعدی دارد؛
• اصلاح متن گذشته دشوارتر است؛
• تأخیر باید کم باشد؛
• خطای اولیه ممکن است بیشتر باشد؛
• نشانه‌گذاری و تقسیم جمله‌ها سخت‌تر می‌شود.

در برخی سامانه‌ها، متن موقت ابتدا نمایش داده و پس از دریافت ادامه جمله اصلاح می‌شود. به همین دلیل ممکن است کاربر ببیند یک واژه هنگام پخش زنده تغییر می‌کند.

زیرنویس زنده برای جلسه، وبینار و پخش زنده مفید است، اما برای انتشار آرشیوی بهتر است نسخه نهایی آن بازبینی شود.

آیا هوش مصنوعی می‌تواند زیرنویس فارسی تولید کند؟

بله، به‌شرط آنکه مدل یا سرویس از زبان فارسی پشتیبانی کند.

در زیرنویس فارسی، علاوه بر تشخیص گفتار، موارد زیر نیز اهمیت دارند:

• راست‌به‌چپ‌بودن متن
• نیم‌فاصله
• اتصال درست حروف
• نمایش هم‌زمان واژه‌های انگلیسی
• اعداد فارسی و انگلیسی
• علائم نگارشی
• ترتیب متن در فایل و پخش‌کننده
• انتخاب فونت سازگار با فارسی

ممکن است فایل زیرنویس در یک ویرایشگر درست دیده شود ولی در پخش‌کننده دیگری ترتیب کلمات یا علائم آن به‌هم بریزد. بنابراین خروجی فارسی باید در پلتفرم نهایی آزمایش شود.

تولید زیرنویس با هوش مصنوعی برای چه محتوایی مناسب است؟

این فناوری برای طیف وسیعی از محتوا کاربرد دارد:

• ویدئوهای آموزشی
• دوره‌های آنلاین
• مصاحبه
• پادکست ویدئویی
• وبینار
• جلسه ضبط‌شده
• ویدئوی یوتیوب
• ریلز و ویدئوی کوتاه
• محتوای سازمانی
• ویدئوی تبلیغاتی
• آرشیو رسانه‌ای

هرچه حجم محتوا بیشتر باشد، تولید خودکار ارزش بیشتری ایجاد می‌کند؛ زیرا نوشتن و زمان‌بندی دستی همه فایل‌ها دشوار و پرهزینه خواهد بود.

امنیت و حریم خصوصی در تولید زیرنویس

ویدئو ممکن است شامل اطلاعات شخصی، سازمانی یا محرمانه باشد. پیش از بارگذاری فایل در یک سرویس، این موارد را بررسی کنید:

• فایل در کجا ذخیره می‌شود؟
• چه مدت نگهداری می‌شود؟
• آیا امکان حذف دائمی وجود دارد؟
• آیا داده برای آموزش مدل استفاده می‌شود؟
• ارتباط با سرویس رمزگذاری شده است؟
• چه اشخاص یا پیمانکارانی به فایل دسترسی دارند؟
• سیاست سرویس برای فایل‌های محرمانه چیست؟
• آیا استفاده از سرویس با مقررات سازمان شما سازگار است؟

فناوری زیرنویس خودکار سریع است، اما سرعت نباید باعث نادیده‌گرفتن امنیت اطلاعات شود.

آینده تولید زیرنویس با هوش مصنوعی

سامانه‌های جدید زیرنویس‌سازی فقط متن تولید نمی‌کنند. مسیر توسعه آن‌ها به سمت قابلیت‌های ترکیبی پیش می‌رود:

• تشخیص بهتر چند زبان در یک فایل
• شناسایی نام‌ها و اصطلاحات تخصصی
• تفکیک دقیق‌تر گویندگان
• ترجمه هم‌زمان
• خلاصه‌سازی ویدئو
• تولید فصل‌بندی
• شناسایی موضوعات مهم
• پیشنهاد سبک بصری زیرنویس
• ساخت خودکار کلیپ‌های کوتاه
• همگام‌سازی متن، صدا و تصویر

بااین‌حال، هرچه سیستم قابلیت بیشتری پیدا کند، نیاز به کنترل هدف، لحن، صحت و حریم خصوصی نیز بیشتر می‌شود.

چگونه با هوش مصنوعی برای ویدئو زیرنویس بسازیم؟

فرایند کار برای کاربر معمولاً ساده است:

1. ویدئو را بارگذاری کنید.
2. زبان گفتار را انتخاب کنید.
3. زیرنویس اولیه را تولید کنید.
4. متن را با صدای اصلی تطبیق دهید.
5. نام‌ها، اعداد و اصطلاحات را اصلاح کنید.
6. زمان‌بندی و تقسیم خطوط را بررسی کنید.
7. ظاهر زیرنویس را تنظیم کنید.
8. خروجی SRT، VTT یا ویدئوی زیرنویس‌دار بگیرید.
9. نسخه نهایی را روی پلتفرم مقصد آزمایش کنید.

راهنمای کامل این فرایند را در مقاله زیرنویس خودکار چیست و چگونه برای ویدئو زیرنویس بسازیم؟ بخوانید.

تولید زیرنویس را با هوش مصنوعی شروع کنید

فایل ویدئویی خود را در سابچین بارگذاری کنید و متن زمان‌بندی‌شده آن را دریافت کنید.

تولید زیرنویس فارسی برای ویدئو

جمع‌بندی

هوش مصنوعی برای تولید زیرنویس، ابتدا صدای ویدئو را استخراج و بخش‌های گفتاری را شناسایی می‌کند. سپس با استفاده از مدل تشخیص گفتار، صدا را به متن تبدیل می‌کند، برای کلمات زمان تعیین می‌کند و متن را به قطعه‌های کوتاه زیرنویس تقسیم می‌کند.

در سیستم‌های پیشرفته‌تر، قابلیت‌هایی مانند تفکیک گویندگان، نشانه‌گذاری خودکار، ترجمه، برجسته‌سازی کلمات و تولید فایل‌های SRT و VTT نیز به این فرایند اضافه می‌شوند.

با وجود این قابلیت‌ها، خروجی هوش مصنوعی همچنان باید بازبینی شود. نویز، لهجه، اصطلاحات تخصصی، صحبت هم‌زمان و کیفیت پایین ضبط می‌توانند باعث خطا شوند. علاوه بر صحت متن، زمان‌بندی، تقسیم خطوط، خوانایی و انتقال صداهای مهم نیز باید بررسی شوند.

بهترین جریان کاری معمولاً ترکیبی است: هوش مصنوعی تولید اولیه را سریع انجام می‌دهد و انسان کیفیت نسخه نهایی را کنترل می‌کند.