AI ශ්රව්ය පිටපත්කරු, නොමිලේ Whisper, භාෂා 99ක්
ශ්රව්ය හෝ වීඩියෝ ගොනුවක් එක් කර තත්පර කිහිපයකින් සිංහල සහ දෙමළ ඇතුළත් වේලා සටහන් සහිත පිටපතක් ලබා ගන්න. Hugging Face Inference API හි OpenAI Whisper භාවිත කරයි. ලියාපදිංචි වීමක් අවශ්ය නැත, API යතුරක් අවශ්ය නැත, ශ්රව්ය ගොනු ගබඩා නොකෙරේ. සරල පෙළ, SRT උපසිරැසි හෝ WebVTT සිරස්තල ලෙස අපනයනය කරන්න.
මෙය ක්රියා කරන ආකාරය
මෙවලම ක්රියා කරන්නේ OpenAI Whisper වෙත යොමු කරමිනි Hugging Face Inference API. පෙරනිමි checkpoint එක වන්නේ openai/whisper-large-v3 (1550 M parameters, the lowest published WER of the public Whisper checkpoints); a faster whisper-medium (769 M) ඉංග්රීසි භාෂාවෙන් පමණක් හඬින් ලිවීම සඳහා ලබා දේ. පරිවර්තනය සේවාදායකයේ සිදු කරන්නේ ප්රසිද්ධ කර ඇති quantised Whisper මාදිලි සියල්ලම අවම වශයෙන් 75 MB වන නිසාය. එය ශ්රී ලංකාවේ ජංගම බ්රවුසරයකට යැවීමට ඉතා විශාලය. සිංහල සහ දෙමළ නිවැරදිව හඳුනාගන්නා විශාල මාදිලි බ්රවුසරය තුළ ලබා දීමට කිසිසේත් සුදුසු නොවේ.
A single transcription goes through five deterministic steps:
- වලංගු බව තහවුරු කරන්න. ගොනුව ffmpeg මඟින් විකේතනය කළ හැකි ශ්රව්ය හෝ වීඩියෝ ආකෘතියකින් (MP3, WAV, M4A/AAC, OGG, FLAC, MP4, WebM, MOV) විය යුතු අතර, එහි ප්රමාණය 25.0 MB නොඉක්මවිය යුතුය.
- යොමු කරන්න. The bytes are POSTed once to
/api/tools/transcribe-audio, which streams them toapi-inference.huggingface.coවෙත තෝරාගත් භාෂාව සහ කාර්යය සමඟය. අපගේ සේවාදායකයේ කිසිවක් ගබඩා නොකෙරේ. බයිට් පවතින්නේ ඉල්ලීමේ මතකයේ පමණක් වන අතර ප්රතිචාරය ලැබුණු විට ඒවා නිදහස් කෙරේ. - විකේතනය කර නැවත නියැදි අනුපාතයට සකසන්න. HF පසුබිම බහාලුම විකේතනය කිරීමට සහ නියැදි අනුපාතය වෙනස් කිරීමට ffmpeg භාවිත කරයි 16,000 Hz ඒක නාලිකා බවට නැවත නියැදි අනුපාතයට සකසයි. Whisper හි feature extractor අපේක්ෂා කරන නියැදි අනුපාතය මෙයයි.
- කොටස් කර විකේතනය කරන්න. Whisper natively processes 30-second windows. The HF pipeline is called with
return_timestamps: trueසහchunk_length_s: 30so cues stay aligned across chunk boundaries on files longer than 30 seconds. Decoding is greedy (no sampling) with the source language token forced if you picked one, or Whisper's built-in language-detection token if you left the picker on Auto-detect. The task token selectstranscribeහෝtranslateය (ඕනෑම භාෂාවකින් → ඉංග්රීසි). - Cue සාදන්න. API ප්රතිචාරය ලබා දෙයි
{ text, chunks: [{ text, timestamp:[start,end] }, …] }. SRT cue සාදන්නේHH:MM:SS,mmmකාල සලකුණු (SubRip සම්ප්රදාය අනුව, කොමා වෙන්කිරීමේ ලකුණක් ලෙස). WebVTT කාල සලකුණු සඳහාද එම කාල සලකුණු භාවිත වන අතර, කොමාව වෙනුවට තිතක් යොදයි, අනුව W3C WebVTT පිරිවිතරය. දෙවන ස්වාධීන හැඩතලකාරකයක් (formatTimestampByMath) සෑම cue එකකදීම ප්රධාන හැඩතලකාරකය පිරිසිදු අංක ගණිතය සමඟ හරස් පරීක්ෂා කරයි. කිසියම් වෙනසක් තිබේ නම් ගොඩනැගීමේදී assert පරීක්ෂාවක් එය හඳුනා ගනී.
අග සිට අග දක්වා ප්රමාදය HF පෝලිම සහ තෝරාගත් checkpoint එක මත රඳා පවතී. whisper-large-v3 භාවිත කරන විට මිනිත්තු 1ක පටයක් සාමාන්යයෙන් තත්පර 15 සිට 30 දක්වා කාලයකින් ලැබේ. මිනිත්තු 5ක පටයක් සඳහා තත්පර 30 සිට 90 දක්වා ගත වේ. Medium මාදිලිය දෙගුණයක් පමණ වේගවත් වන අතර, සුළු නිරවද්යතා අඩුවීම නොපෙනෙන ඉංග්රීසි පමණක් ඇති කථන සඳහා එය සුදුසු තේරීමයි. සේවාදායකය සෑම ඉල්ලීමකටම තත්පර 120ක කාල සීමාවක් පනවයි. ඉහළ සේවාව පෝලිමේ ඇති විට හෝ වෙනත් හේතුවකින් ප්රවේශ විය නොහැකි විට, “model unavailable” යන පැහැදිලි බැනරයක් පෙන්වයි. එබැවින් පිටුව කිසිවිටෙක ක්රියා විරහිත තත්ත්වයක් නොපෙන්වයි.
Two privacy notes. The audio bytes are forwarded as a singlemultipart/form-data POST ඉල්ලීමක් ලෙස යොමු කර, ඉහළ සේවාවේ ප්රතිචාරය ලැබුණු වහාම මකා දමයි. ශ්රව්ය අන්තර්ගතය සටහන් නොකරයි. සටහන් කරන්නේ සේවාදායකයේ කාල ගණකය පමණි (ඉල්ලීම සඳහා ගත වූ ms, model id). මෙම මෙවලම කථකයා හඳුනා ගැනීමට හෝ වයස හෝ ජනවාර්ගිකත්වය අනුමාන කිරීමට කිසිවිටෙක උත්සාහ නොකරයි. Whisper යනු අනුක්රමයෙන් අනුක්රමයට ASR මාදිලියකි. එය කථකයන් වර්ග කරන මාදිලියක් නොවේ.
විසඳා දැක්වූ උදාහරණ
මාදිලි ප්රභේද පිළිබඳ කෙටි බැල්මක්
Whisper large-v3 පෙරනිමි මාදිලිය වන අතර, මහජනයාට ලබාගත හැකි Whisper checkpoint අතරින් සිංහල සහ දෙමළ සඳහා හොඳම ගුණාත්මකභාවය ලබා දෙයි. HF යටිතල පහසුකම් මත Medium මාදිලිය දෙගුණයක් පමණ වේගවත් වේ. එක් එක් භාෂාවට අදාළ WER වෙනස කුඩා වන බැවින් ඉංග්රීසි පමණක් ඇති කථන ලිවීම සඳහා එය සුදුසු තේරීමයි. පහත WER සංඛ්යා Whisper පර්යේෂණ පත්රිකාවේ වාර්තා කර ඇති බහුභාෂා පරීක්ෂණ ලකුණු වේ.
| ආකෘතිය | පරාමිති | ඉංග්රීසි WER | සටහන් |
|---|---|---|---|
| Whisper large-v3 (ඉහළම ගුණාත්මකභාවය) | 1550M | 2.7% | OpenAI හි විශාලතම Whisper පිරික්සුම් ලක්ෂ්යය සහ පෙරනිමි විකල්පය මෙයයි. ඉංග්රීසි සහ බහුලව භාවිත වන වෙනත් භාෂාවලදී මෙය වඩාත් නිවැරදිය. |
| Whisper medium (වඩා වේගවත්) | 769M | 4.1% | වඩා වේගවත් සහ කුඩාය. ඉංග්රීසි සහ බොහෝ යුරෝපීය භාෂා සඳහා හොඳින් ක්රියා කරයි. අඩුවෙන් භාවිත වන භාෂා සඳහා එතරම් හොඳින් ක්රියා නොකරයි. |
නිතර අසන ප්රශ්න
මූලාශ්ර සහ යොමු
- Radford සහ අනෙකුත් අය: මහා පරිමාණ දුර්වල අධීක්ෂණය හරහා ශක්තිමත් කථන හඳුනාගැනීම (Whisper පර්යේෂණ පත්රිකාව, 2022)
- Hugging Face: openai/whisper-large-v3 මාදිලි විස්තර පත්රිකාව
- Hugging Face: openai/whisper-medium මාදිලි විස්තර පත්රිකාව
- Hugging Face: Inference API යොමු ලේඛනය (automatic-speech-recognition)
- W3C: WebVTT 1.0 පිරිවිතරය (සිරස්තල ගොනු ආකෘතිය)
- SubRip: SRT ගොනු ආකෘති යොමු ලේඛනය
The Whisper paper, model cards, Hugging Face Inference API reference, and the WebVTT specification were all cross-checked on 2026-05-12. මෙම පිටුව සෑම කාර්තුවකම සහ Hugging Face විසින් එහි සත්කාරක අනුමාන නාමාවලියේ Whisper ප්රභේද මාරු කරන සෑම විටම සමාලෝචනය කරනු ලැබේ.
අදාළ මෙවලම්
Comments & feedback
Spotted a bug or want an improvement? Tell us, our team reviews every comment, and good ideas get built. Comments are public and anonymous.
දෝෂයක් හෝ විශේෂ අවස්ථාවක් හමු වූවාද, නැතහොත් වැඩිදියුණු කිරීමක් යෝජනා කිරීමට අවශ්යද?
මට [email protected] , බොහෝ නිවැරදි කිරීම් පැය 24ක් ඇතුළත නිකුත් කෙරේ.