Meta ने रिअल-टाइम ऑडिओ प्रक्रियेसाठी Muse Voice Transcribe सादर केले आहे. हे मॉडेल रेकॉर्डिंग पूर्ण होण्याची प्रतीक्षा न करता संभाषणादरम्यानच आवाजाचे मजकुरात रूपांतर करते. तसेच, ते वेगवेगळ्या वक्त्यांची ओळख आणि त्यांच्या बोलण्याची सुरुवात व समाप्ती शोधण्यास सक्षम आहे.
Meta नुसार, Muse Voice Transcribe एकाच रेकॉर्डिंगमध्ये 20 पेक्षा जास्त लोकांच्या आवाजांमध्ये फरक करू शकते. हे एक तासापेक्षा जास्त लांबीचे ऑडिओही प्रक्रिया करू शकते, त्यामुळे दीर्घ संभाषण लहान क्लिपमध्ये विभागण्याची गरज कमी होते.
हे मॉडेल ऑडिओवर सुमारे 80 मिलिसेकंदांच्या छोट्या भागांमध्ये प्रक्रिया करते. त्यानंतर एखादा शब्द अचूकपणे ट्रान्सक्राइब करण्यासाठी पुरेशी माहिती मिळाली आहे की नाही, हे ते ठरवते. सोपे शब्द जलद प्रक्रिया केले जाऊ शकतात, तर अस्पष्ट शब्दांसाठी मॉडेल अतिरिक्त ऑडिओची प्रतीक्षा करते.
Meta ने सांगितले की, या प्रक्रियेत Reinforcement Learning चा वापर करण्यात आला आहे. यामुळे स्पीचदरम्यान ट्रान्सक्रिप्शनची योग्य वेळ निश्चित करण्यास आणि चुका कमी करण्यास मॉडेलला मदत होते.
Muse Voice Transcribe ला 70 पेक्षा जास्त भाषांवर प्रशिक्षित करण्यात आले आहे. सुरुवातीच्या रिलीजपूर्वी कंपनीने 25 भाषांमध्ये त्याची चाचणी केली. यामध्ये हिंदीसह तमिळ, तेलुगू, कन्नड आणि मल्याळम या भारतीय भाषांचा समावेश आहे.
हे मॉडेल संभाषणादरम्यान Language Switching म्हणजेच भाषा बदलणेही हाताळू शकते. एकाच वाक्याच्या मध्यात भाषा बदलली तरी वापरकर्त्याला मॅन्युअली भाषेची सेटिंग बदलण्याची गरज नसते.
याशिवाय, सिस्टम Language, Keyword आणि Context Biasing ला सपोर्ट करते. यामुळे संभाषणाच्या संदर्भानुसार योग्य शब्द ओळखण्यास मदत होते.
Meta ने Muse Voice Transcribe हे Meta Model API द्वारे उपलब्ध करून दिले आहे. डेव्हलपर्स याचा वापर आपल्या अॅप्समध्ये स्पीच ट्रान्सक्रिप्शनसारखी फीचर्स जोडण्यासाठी करू शकतात. Mac साठी Meta AI आणि Muse Code मध्येही याचा वापर डिक्टेशनसाठी केला जात आहे.
API ची किंमत 1,000 ऑडिओ मिनिटांसाठी $3 (सुमारे ₹300) निश्चित करण्यात आली आहे. या हिशोबाने एका तासाच्या ऑडिओची किंमत सुमारे $0.18 (सुमारे ₹17) होते.
