Chuyển giọng nói thành văn bản và phụ đề
Gõ lại bằng tay một cuộc họp, bài giảng hay buổi phỏng vấn mất thời gian gấp nhiều lần độ dài bản ghi. Mô hình nhận dạng giọng nói làm được phần lớn công việc, nhưng kết quả vẫn cần kiểm tra. Bài này giải thích mô hình đọc bản ghi ra sao, nên chọn mô hình nào, làm sao để ít lỗi hơn và cách biến văn bản thành file phụ đề.
Nhận dạng giọng nói đọc bản ghi như thế nào
Công cụ Chuyển giọng nói thành văn bản dùng Whisper, mô hình nhận dạng giọng nói do OpenAI phát hành năm 2022 theo giấy phép MIT. Theo thẻ mô hình (model card), Whisper được huấn luyện bằng 680.000 giờ âm thanh và bản chép lời thu thập trên internet, khoảng hai phần ba là tiếng Anh.
Whisper không nghe cả file một lúc. Nó đọc âm thanh từng đoạn 30 giây, đã chuyển thành phổ đồ (hình cho biết tần số nào to ở từng thời điểm), rồi viết ra văn bản có khả năng nhất cho đoạn đó, từng mẩu từ một, kèm mốc thời gian. Vì vậy bản ghi dài được chia thành nhiều cửa sổ. Công cụ cắt mỗi cửa sổ tại khoảng lặng dài nhất gần cuối cửa sổ để không cắt ngang câu, và bỏ qua các cửa sổ im lặng.
Trước khi viết, mô hình còn có thể nhận ra ngôn ngữ đang nói: thứ đầu tiên nó dự đoán là một nhãn ngôn ngữ. Nếu bạn để "Tự động nhận diện", công cụ dùng dự đoán này trên 30 giây đầu có tiếng nói, rồi dùng một ngôn ngữ cho cả file.
Chọn mô hình nào
Whisper có nhiều kích cỡ. Công cụ cung cấp ba loại: base và small chạy trên bộ xử lý ở mọi trình duyệt đời mới, còn large-v3-turbo chạy trên card đồ họa khi trình duyệt hỗ trợ WebGPU.
| Mô hình | Số tham số | Tải lần đầu | Thời gian cho 1 phút giọng nói* | Phù hợp với |
|---|---|---|---|---|
| Whisper base | 74 triệu | khoảng 90 MB | khoảng 30 giây | Bản ghi rõ, điện thoại |
| Whisper small | 244 triệu | khoảng 250 MB | khoảng 1 phút 35 giây | Tiếng Việt và ngôn ngữ khác khi không có WebGPU |
| Whisper large-v3-turbo | 809 triệu | khoảng 750 MB | khoảng 20 giây | Máy tính có WebGPU: chính xác nhất |
* Đo trên một máy tính để bàn, trong trình duyệt: base và small dùng trọng số 8 bit trên bộ xử lý, large-v3-turbo dùng trọng số 4 bit trên card đồ họa. Thiết bị chậm hơn sẽ mất lâu hơn. Mỗi mô hình chỉ tải một lần, sau đó được lưu trong trình duyệt cho đến khi bạn xóa trong công cụ.
Chênh lệch chất lượng lớn nhất với các ngôn ngữ không phải tiếng Anh. Trong thử nghiệm của chúng tôi với bản ghi tiếng Hàn dài một phút do giọng đọc tổng hợp đọc, base viết 후회 (hối hận) thay cho 회의 (cuộc họp) và 머료일 thay cho 월요일 (thứ Hai); small viết đúng hai từ đó nhưng viết 무늬 (hoa văn) thay cho 문의 (hỏi đáp), còn large-v3-turbo không sai chỗ nào. Hãy dùng large-v3-turbo nếu trình duyệt có; nếu không, bắt đầu với base và chuyển sang small khi văn bản có quá nhiều lỗi.
Large-v3-turbo là phiên bản của large-v3, mô hình lớn nhất của Whisper, được tối ưu cho tốc độ. Mô hình này cần card đồ họa: chỉ với bộ xử lý, nó mất khoảng 13 lần thời lượng bản ghi, nên công cụ chỉ hiển thị khi có WebGPU, ví dụ trên Chrome và Edge bản mới cho máy tính và Safari trên các máy Mac đời mới. Nó cũng cần nhiều bộ nhớ hơn base rất nhiều, điều mà nhiều điện thoại không có.
Làm sao để văn bản chính xác hơn
- Ghi âm gần micro. Khoảng cách, tiếng vang và tiếng ồn nền làm giảm độ chính xác nhiều nhất.
- Tránh nhạc và giọng nói chồng nhau. Whisper viết một dòng văn bản duy nhất và không phân biệt người nói.
- Tự chọn ngôn ngữ khi bản ghi bắt đầu bằng nhạc, khoảng lặng hoặc lời chào bằng ngôn ngữ khác.
- Chuẩn bị sửa tên riêng và thuật ngữ. Mô hình đoán cách viết qua âm thanh và ưu tiên từ thông dụng.
- Cẩn thận với văn bản bịa ra. Thẻ mô hình cảnh báo Whisper có thể viết những điều không ai nói và lặp lại, chủ yếu ở đoạn im lặng hay ồn ào. Hãy đọc các đoạn đó cùng với bản ghi.
- Chia nhỏ file rất dài. Một giờ âm thanh sau khi giải mã chiếm khoảng 220 MB bộ nhớ, và mọi việc chạy trên chính thiết bị của bạn.
File phụ đề: SRT và VTT
File phụ đề là văn bản thuần: một danh sách các mục (cue), mỗi mục có thời điểm bắt đầu, thời điểm kết thúc và chữ cần hiện. Hai định dạng phổ biến trông gần như giống nhau.
SubRip (.srt) đánh số từng mục và đặt dấu phẩy trước phần mili giây:
1
00:00:00,000 --> 00:00:02,500
Chào buổi sáng mọi người.
2
00:00:02,500 --> 00:00:05,900
Tôi xin tóm tắt những điểm chính của cuộc họp.
WebVTT (.vtt) là định dạng của W3C cho phụ đề trên trang web, được phần tử HTML <track> sử dụng. File bắt đầu bằng chữ WEBVTT, thời gian dùng dấu chấm, và không bắt buộc đánh số:
WEBVTT
00:00:00.000 --> 00:00:02.500
Chào buổi sáng mọi người.
00:00:02.500 --> 00:00:05.900
Tôi xin tóm tắt những điểm chính của cuộc họp.
Trong WebVTT, chữ của một mục không được chứa -->, và các ký tự & và < phải viết thành & và <; công cụ tự làm việc này. SRT không có đặc tả chính thức, nhưng phần mềm dựng phim và trình phát đều đọc được dạng như trên. Hãy chọn định dạng mà trình phát hoặc nền tảng của bạn yêu cầu.
Phụ đề dễ đọc
Các đoạn của Whisper theo cách mô hình tự hiểu thế nào là một câu, nên có đoạn khá dài. Trước khi đăng, hãy chạy phụ đề cùng video, tách những đoạn hiện quá lâu hoặc dài hơn hai dòng, và kiểm tra mỗi mục có hiện đúng lúc lời được nói không. Hầu hết phần mềm chỉnh phụ đề đều mở được file SRT và cho phép dời hoặc tách mục.
Chuyển văn bản trên thiết bị và trên đám mây
Các dịch vụ chép lời trực tuyến thường tải bản ghi lên máy chủ của họ, nơi các mô hình lớn xử lý nhanh. Công cụ chạy trong trình duyệt giữ bản ghi trên thiết bị của bạn: âm thanh được giải mã và chuyển thành văn bản ngay trong trang, chỉ có file mô hình được tải về. Đổi lại, tốc độ phụ thuộc vào bộ xử lý của bạn, và kích cỡ mô hình bị giới hạn bởi khả năng của trình duyệt.
Dù ai xử lý, bản ghi của người khác cần được tôn trọng. Thẻ mô hình Whisper khuyên không dùng nó để chép lời những bản ghi người khác khi chưa có sự đồng ý của họ; hãy hỏi trước khi ghi âm hoặc chép lời một cuộc trò chuyện.
Câu hỏi thường gặp
Whisper có phân biệt được ai đang nói không?
Không. Nó viết một dòng văn bản duy nhất. Phân tách người nói cần một mô hình khác; hãy tự thêm tên.
Vì sao văn bản có những câu không ai nói?
Whisper dự đoán văn bản có khả năng nhất, và trong khoảng lặng, nhạc hoặc tiếng ồn, đôi khi nó viết tiếp bằng những câu thường gặp, như lời chào kết thúc. Bỏ qua cửa sổ im lặng giúp giảm bớt, nhưng hãy đọc văn bản cùng với bản ghi.
Có dịch bản ghi sang tiếng Anh được không?
Mô hình Whisper làm được, nhưng công cụ này chỉ chép lời: nó viết văn bản bằng chính ngôn ngữ được nói.
Nền tảng video cần định dạng nào?
Hầu hết phần mềm dựng phim và nền tảng video nhận SRT, còn trình phát trên web dùng VTT. Nếu chưa chắc, hãy tải cả hai: chúng có cùng các mục phụ đề.
Nguồn
Nguồn: OpenAI, Whisper (README) · Ngày kiểm tra:
Nguồn: OpenAI, Model Card: Whisper · Ngày kiểm tra:
Nguồn: W3C, WebVTT: The Web Video Text Tracks Format (Candidate Recommendation Draft, 20 May 2026) · Ngày kiểm tra: