Metaએ રિયલ-ટાઇમ ઑડિયો પ્રોસેસિંગ માટે Muse Voice Transcribe રજૂ કર્યું છે. આ મોડલ રેકોર્ડિંગ પૂર્ણ થવાની રાહ જોયા વિના વાતચીત દરમિયાન જ અવાજને ટેક્સ્ટમાં બદલે છે. તે 70થી વધુ ભાષાઓને સપોર્ટ કરે છે, જેમાં હિન્દી, તમિલ, તેલુગુ, કન્નડ અને મલયાલમ સહિત પાંચ ભારતીય ભાષાઓનો સમાવેશ થાય છે.
Muse Voice Transcribeને Meta Superintelligence Labs દ્વારા વિકસાવવામાં આવ્યું છે. મોડલ બોલતી વખતે અવાજને ટેક્સ્ટમાં બદલવાની સાથે અલગ-અલગ સ્પીકર્સની ઓળખ અને તેમના બોલવાની શરૂઆત તથા સમાપ્તિનું નિર્ધારણ પણ કરે છે.
Meta અનુસાર, Muse Voice Transcribe એક જ રેકોર્ડિંગમાં 20થી વધુ લોકોના અવાજ વચ્ચે તફાવત કરી શકે છે. તે એક કલાકથી વધુ લાંબા ઑડિયોને પણ પ્રોસેસ કરી શકે છે, જેના કારણે લાંબી વાતચીતને નાના ક્લિપ્સમાં વિભાજિત કરવાની જરૂરિયાત ઓછી થાય છે.
મોડલ ઑડિયોને લગભગ 80 મિલિસેકન્ડના નાના હિસ્સાઓમાં પ્રોસેસ કરે છે. ત્યારબાદ તે નક્કી કરે છે કે કોઈ શબ્દને ચોક્કસ રીતે ટ્રાન્સક્રાઇબ કરવા માટે પૂરતી માહિતી મળી છે કે નહીં. સરળ શબ્દો ઝડપથી પ્રોસેસ થઈ શકે છે, જ્યારે અસ્પષ્ટ શબ્દો માટે મોડલ વધારાના ઑડિયોની રાહ જુએ છે.
Metaએ જણાવ્યું કે આ પ્રક્રિયામાં Reinforcement Learningનો ઉપયોગ કરવામાં આવ્યો છે, જેથી મોડલ સ્પીચ દરમિયાન ટ્રાન્સક્રિપ્શન માટે યોગ્ય સમય નક્કી કરી શકે અને ભૂલો ઘટાડી શકાય.
Muse Voice Transcribeને 70થી વધુ ભાષાઓ પર ટ્રેન કરવામાં આવ્યું છે. પ્રારંભિક રિલીઝ પહેલાં કંપનીએ 25 ભાષાઓ પર તેનું પરીક્ષણ કર્યું હતું. તેમાં હિન્દી ઉપરાંત તમિલ, તેલુગુ, કન્નડ અને મલયાલમનો સમાવેશ થાય છે.
મોડલ વાતચીત દરમિયાન Language Switching એટલે કે ભાષા બદલવાની સ્થિતિને પણ સંભાળી શકે છે. એક જ વાક્યની વચ્ચે ભાષા બદલાય ત્યારે પણ યુઝરને મેન્યુઅલી ભાષાની સેટિંગ બદલવાની જરૂર પડતી નથી.
સિસ્ટમ Language, Keyword અને Context Biasingને પણ સપોર્ટ કરે છે. આ સુવિધા વાતચીતના સંદર્ભના આધારે યોગ્ય શબ્દોની ઓળખ કરવામાં મદદ કરે છે.
Metaએ Muse Voice Transcribeને Meta Model API મારફતે ઉપલબ્ધ કરાવ્યું છે. ડેવલપર્સ તેનો ઉપયોગ પોતાના એપ્સમાં સ્પીચ ટ્રાન્સક્રિપ્શન જેવી સુવિધાઓ ઉમેરવા માટે કરી શકે છે. Mac માટે Meta AI અને Muse Codeમાં પણ તેનો ઉપયોગ ડિક્ટેશન માટે કરવામાં આવી રહ્યો છે.
APIની કિંમત 1,000 ઑડિયો મિનિટ માટે $3 (લગભગ ₹300) નક્કી કરવામાં આવી છે. આ પ્રમાણે એક કલાકના ઑડિયોની કિંમત લગભગ $0.18 (લગભગ ₹17) થાય છે.
