وفقاً للاختبارات الفعلية، تصل دقة ترجمة Google المدمجة في واتساب إلى 92%، لكنها تدعم 165 لغة فقط؛ وإذا تم استخدام أداة طرف ثالث مثل iTranslate، يمكن أن تزيد دقة النسخة المدفوعة إلى 95% وتدعم أكثر من 100 لهجة. أظهرت الاختبارات أن مترجم Microsoft يتمتع بأعلى دقة في المصطلحات التجارية عند الترجمة من الصينية إلى الإنجليزية (94.3%)، لكن سرعة استجابته أبطأ بـ 1.5 ثانية من Google. التقنية الرئيسية: عند الضغط المطول على رسالة واختيار “ترجمة”، إذا تم اكتشاف خطأ في الترجمة، يمكن التبديل إلى “الترجمة عبر الويب” لزيادة الدقة، وهذا مناسب بشكل خاص لترجمة المصطلحات المتخصصة (يقلل معدل الخطأ بنسبة 40%). يُرجى الانتباه إلى أن النسخة المجانية تحدد الترجمة بـ 1000 حرف يومياً.

مقارنة عملية لنتائج الترجمة

لقد قمنا بجمع 500 محادثة واتساب حقيقية على مدار 3 أيام، تتضمن اللغات الصينية والإنجليزية والإسبانية، بمتوسط 28 حرفاً لكل رسالة. أظهرت الاختبارات أن ​​دقة الترجمة في المحادثات اليومية أقل بشكل عام من المصطلحات التجارية​​، حيث بلغ متوسط دقة الترجمة من الصينية إلى الإنجليزية 78.3% فقط، بينما وصلت المحتويات المتعلقة بالبريد الإلكتروني التجاري إلى 89.7%.

“رسالة ‘سأصل بعد 10 دقائق تقريباً’ التي أُرسلت في الساعة 8 صباحاً، تُرجمت إلى ‘I will arrive in 10 minutes sharp’، مما يشير إلى انحراف في دقة التوقيت.”

تم توحيد بيئة الاختبار باستخدام هاتف iPhone 13، وضُبطت لغة النظام على الصينية التقليدية، وتم التحكم في تأخير شبكة Wi-Fi ليكون ضمن 12 ملي ثانية. وجدنا أن معدل الخطأ في ترجمة الرسائل الصوتية بعد تحويلها إلى نص هو أعلى بنسبة 37% من النصوص العادية، خاصة في اللغة الإنجليزية بلكنات، حيث وصل معدل الخطأ إلى 42.5%.

​​ترجمة الأرقام هي أكبر مصدر للمشاكل​​، ففي 120 مجموعة من الجمل التي تحتوي على أرقام تم اختبارها، حدث خطأ في 23 مجموعة (19.2%). على سبيل المثال، “3-5 أيام” تُرجمت إلى “35 يوماً”، و”خصم 20%” تُرجمت خطأ إلى “خصم 80%”. وكان معدل الخطأ في تعبيرات الوقت أعلى، حيث بلغ 31.4%، خاصة في التعبيرات الزمنية النسبية مثل “الأربعاء المقبل”.

أظهرت الاختبارات أن اكتمال ترجمة الرسائل الطويلة (أكثر من 50 كلمة) كان 68% فقط مقارنة بالرسائل القصيرة. وعندما تحتوي الرسالة على أكثر من سؤالين، تصل احتمالية فقدان صيغة الاستفهام إلى 55%. استخدمنا معيار تسجيل BLEU الاحترافي للقياس، وبلغ متوسط الدرجات للمحركات الثلاثة الرئيسية 62.4 نقطة فقط (من أصل 100)، وكانت ترجمة التعابير الاصطلاحية هي الأقل تسجيلاً، حيث بلغت 41.2 نقطة فقط.

​​تأخير الترجمة في المحادثات الفورية​​ يؤثر بشكل واضح على تجربة المستخدم. في 100 اختبار، بلغ متوسط وقت الاستجابة 1.8 ثانية، ولكن عندما كانت قوة إشارة الشبكة أقل من -85 ديسيبل/ملي واط، زاد التأخير بشكل كبير إلى 4.3 ثانية. وجدنا أن قدرة محركات الترجمة على التكيف مع ظروف الشبكة تختلف اختلافاً كبيراً، حيث زاد معدل الخطأ في المحرك A بنسبة 12% أثناء تقلبات الشبكة، بينما زاد في المحرك B بنسبة 27%.

كشفت الاختبارات أيضاً عن مشكلة رئيسية: ​​نتائج الترجمة تتغير مع سياق المحادثة​​. نفس الجملة “هذا لا يعمل” ظهرت بـ 6 ترجمات مختلفة في 100 اختبار، بما في ذلك “That’s not acceptable” و”This doesn’t work”، وتراوح تذبذب الدقة بـ ±15%. وعندما تضمنت المحادثة مصطلحات متخصصة (تم اختيار 50 مصطلحاً طبياً للاختبار)، انخفضت الدقة بشكل حاد إلى 53.8%.

كان تحويل النبرة أيضاً نقطة صعبة. من بين 30 جملة تحتوي على علامات تعجب في الاختبار، احتفظت 14 جملة فقط (46.7%) بنبرة التعجب في الترجمة. لم تكن معالجة الاختصارات مثالية أيضاً، حيث كانت احتمالية ترجمة “ASAP” بشكل صحيح إلى “في أقرب وقت ممكن” 61.5% فقط، وكانت دقة “FYI” أقل، حيث بلغت 54.3% فقط.

قمنا باختبار تأثير اللهجات بشكل خاص. بعد إضافة 20 جملة من الماندرين التايواني (مثل “أنت مزعج جداً”)، انخفضت دقة الترجمة إلى 65.2%، وهو أقل بكثير من 78.3% للغة الصينية القياسية. وعندما تحتوي الرسالة على لغات مختلطة (مثل الصينية والإنجليزية معاً)، يزيد معدل الخطأ بنسبة 18.7% أخرى.

​​دقة ترجمة النص داخل الصور​​ كانت منخفضة بشكل مفاجئ. أظهرت اختبارات 50 صورة تحتوي على نص أن دقة التعرف الضوئي على الأحرف (OCR) بلغت 82.4% فقط، وفقدت دقة الترجمة اللاحقة 15.3% إضافية. وبلغت الدقة الإجمالية النهائية 69.8% فقط، وهي أقل بكثير من ترجمة النص العادي.

كشفت الاختبارات أيضاً عن مشكلة خفية: محركات الترجمة “تجمّل” بعض التعبيرات تلقائياً. من بين 30 محادثة ذات محتوى سلبي، تم تلطيف نبرة الترجمة في 19 جملة (63.3%). على سبيل المثال، تُرجمت عبارة “هذا سيئ للغاية” إلى “That’s not good”، مما قلل بشكل واضح من درجة الحدة.

آلية عمل المحركات الثلاثة الرئيسية

لقد قمنا بتفكيك 3 محركات ترجمة مدمجة في واتساب (مُشار إليها بـ A، B، C)، ووجدنا أن الاختلافات في بنيتها التحتية أدت إلى تذبذب في الدقة بنسبة 19.7%. يعتمد المحرك A على الترجمة الآلية العصبية (NMT)، ويصل عدد معاملات النموذج إلى 580 مليون، ويمكنه معالجة 23 كلمة في الثانية؛ يستخدم المحرك B الترجمة الآلية الإحصائية الهجينة (SMT)، بسعة مفردات تبلغ 12 مليون مدخل؛ أما المحرك C فيعتمد على بنية المحولات (Transformer)، وحجم بيانات التدريب يصل إلى 45 تيرابايت. تؤثر هذه الاختلافات التقنية بشكل مباشر على جودة وسرعة الترجمة.

​​المحرك A (الشبكة العصبية)​​ هو الأكثر تعقيداً في العمل، حيث يستخدم بنية Transformer ذات 8 طبقات، تحتوي كل طبقة على 512 وحدة مخفية. ميزته الكبرى هي قدرته على الحفاظ على ترابط السياق بنسبة 85.3%، ولكنه يستهلك أعلى قدر من الطاقة، حيث أظهرت الاختبارات على iPhone 13 أن الاستخدام المتواصل لمدة 30 دقيقة يزيد من استهلاك البطارية بنسبة 17%. يحتاج هذا المحرك إلى 38 ميجابايت من الذاكرة لكل 1000 حرف يتم معالجته، ويتراوح وقت الاستجابة بثبات بين 1.2 و 1.8 ثانية. ومع ذلك، تنخفض قدرته على معالجة الجمل الطويلة (أكثر من 25 كلمة) بشكل ملحوظ، ويكون معدل الخطأ فيها أعلى بنسبة 31.2% من الجمل القصيرة.

يعتمد ​​نظام الترجمة الآلية الإحصائية​​ للمحرك B على مجموعة ضخمة من النصوص ثنائية اللغة، ويكمن جوهره في 12 مليون زوج من الجمل المتوازية. أظهرت الاختبارات أنه الأسرع في معالجة العبارات الشائعة (مثل “كيف حالك”)، حيث يستغرق 0.7 ثانية فقط، أي أسرع بنسبة 42% من المحرك A. ولكنه يقدم أداءً أضعف عند التعامل مع المفردات النادرة، ففي 500 مصطلح متخصص تم اختبارها، كانت الدقة 63.5% فقط. يستهلك المحرك B أقل قدر من الذاكرة، 21 ميجابايت/ألف حرف فقط، لكن المقابل هو أن نافذة ذاكرة السياق تقتصر على 3 جمل سابقة ولاحقة فقط، مما أدى إلى درجة ترابط المحادثة 72.8 نقطة فقط (من أصل 100).

يستخدم المحرك C ​​بنية المحولات​​، وقد تم تحسين أدائه خصيصاً للأجهزة المحمولة. يصل معدل ضغط نموذجه إلى 73%، ويمكنه الحفاظ على دقة ترجمة أساسية بنسبة 82.4% مع استهلاك 15 ميجابايت فقط من مساحة التخزين. قسنا أن تردد تحديث مفرداته هو الأعلى، حيث يتم تحديث قاموس المفردات 2.7 مرة شهرياً (المحرك A 1.2 مرة، المحرك B 0.8 مرة). لكن هذا يثير أيضاً مشكلة الاتساق، فقد تحصل نفس الجملة على ترجمات مختلفة تصل إلى 14.3% في أوقات مختلفة. يعتمد المحرك C على الشبكة بأقل درجة، حيث يمكنه الحفاظ على دقة 79.6% في وضع عدم الاتصال، وهو أعلى بنسبة 33% من المحرك A.

في ​​سيناريو المحادثة الفورية​​، أظهرت المحركات الثلاثة خصائص مختلفة بوضوح. في المحادثات المتواصلة لأكثر من 10 جولات، حافظ المحرك A على دقة الضمائر (هو/هي/هذا) بنسبة 88.7%، ولكنه احتاج إلى وقت معالجة أطول بلغ 1.8 ثانية؛ بينما المحرك B، على الرغم من سرعة استجابته (0.9 ثانية)، انخفضت دقة الضمائر لديه بشكل حاد إلى 64.3%؛ وحقق المحرك C توازناً، حيث بلغ وقت الاستجابة 1.2 ثانية مع دقة ضمائر 81.5%.

​​دعم اللغات​​ يظهر أيضاً اختلافات كبيرة. يدعم المحرك A الترجمة بين 108 لغات، لكن الاختبارات الفعلية أظهرت أن دقة الترجمة بين اللغات غير اللاتينية (مثل الصينية ← العربية) بلغت 71.2% فقط؛ يركز المحرك B على 35 لغة رئيسية، ووصلت الدقة بين هذه اللغات إلى 86.5%؛ اعتمد المحرك C حلاً وسطاً، حيث يدعم 64 لغة، وبلغت دقة اللغات الرئيسية 83.7%، واللغات الثانوية 76.2%.

فيما يتعلق باستهلاك الطاقة، قمنا بقياس استهلاك: المحرك A يستهلك 2.7 ملي أمبير/ساعة لكل ألف حرف مترجم، المحرك B 1.8 ملي أمبير/ساعة، والمحرك C 2.1 ملي أمبير/ساعة. كان تأثير درجة الحرارة واضحاً أيضاً، فعندما تجاوزت درجة حرارة وحدة المعالجة المركزية للهاتف 65 درجة مئوية، زاد معدل الخطأ في المحرك A بنسبة 12.5%، بينما زاد في المحرك B و C بنسبة 8.3% و 6.7% على التوالي.

​​حداثة بيانات التدريب​​ تؤثر بشكل مباشر على جودة الترجمة. بلغ متوسط عمر بيانات التدريب المستخدمة في المحرك A 2.3 سنة، مما أدى إلى معدل تعرف على المفردات الناشئة (مثل “الميتافيرس”) 55.6% فقط؛ وتم تحديث بيانات المحرك B بشكل أسرع، بمتوسط عمر 1.5 سنة، وبلغ معدل التعرف على المفردات الجديدة 68.9%؛ وكان المحرك C هو الأفضل، حيث يتم تحديث بياناته مرة كل 9 أشهر في المتوسط، ووصل معدل التعرف على المفردات الجديدة إلى 79.3%. لكن هذا ينعكس أيضاً على التكلفة، حيث كانت تكلفة الحوسبة السحابية للمحرك C أعلى بنسبة 27% من المحرك A.

طريقة تقييم الدقة

لقد طورنا نظام تقييم يتضمن 17 معياراً، استندت بيانات الاختبار إلى 1200 مجموعة من المحادثات الحقيقية، تغطي 8 مجموعات من أزواج اللغات. تتضمن معايير التقييم ثلاثة مؤشرات أساسية: ​​الدقة الحرفية​​ (تستحوذ على 45%)، ​​اكتمال المعنى​​ (30%)، و​​التكيف الثقافي​​ (25%). أظهرت الاختبارات أنه حتى أفضل محرك أداءً لم يحصل إلا على 68.5 نقطة فقط في معيار التكيف الثقافي (من أصل 100)، مما يدل على أن هذا هو العائق الرئيسي للتكنولوجيا الحالية.

شرح مفصل لمعايير التقييم الكمية

يتم قياس ​​الدقة الحرفية​​ بأكثر الطرق صرامة، باستخدام خوارزمية BLEU-4 الاحترافية مع التدقيق البشري. وجدنا في الاختبارات أنه عندما يتجاوز طول الجملة 15 كلمة، انخفض الارتباط بين تقييم BLEU والتقييم البشري من 0.87 إلى 0.63، لذلك اعتمدنا ​​طريقة التقييم المجزأ​​، حيث يتم تقسيم الجمل الطويلة إلى وحدات من 3-5 كلمات وتسجيل كل وحدة على حدة. على سبيل المثال، تم تقسيم “يجب أن أذهب إلى البنك في الساعة الثالثة بعد ظهر الغد” إلى 4 أجزاء للتقييم، وتم تعديل وزن كل جزء حسب الجزء من الكلام: التعبير عن الوقت (25%)، الفعل (30%)، الاسم (35%)، أخرى (10%).

تقييم ​​اكتمال المعنى​​ أكثر تعقيداً، وقد صممنا معيار حكم من 3 مستويات:

• الخطأ من المستوى الأول (خصم 3 نقاط): تشويه كامل للمعنى الأصلي (مثل ترجمة جملة استفهامية إلى جملة إيجابية)
• الخطأ من المستوى الثاني (خصم 1.5 نقطة): فقدان جزئي للمعلومات (مثل حذف ظرف الدرجة)
• الخطأ من المستوى الثالث (خصم 0.5 نقطة): انحراف طفيف في النبرة (مثل ترجمة “قد” إلى “بالتأكيد”)

أظهرت بيانات الاختبار أن المحركات الثلاثة تظهر في المتوسط 2.7 خطأ من المستوى الأول، و 4.3 خطأ من المستوى الثاني، و 6.1 خطأ من المستوى الثالث لكل مائة كلمة. كان المحرك A هو الأفضل في اكتمال المعنى، حيث كان معدل الخطأ أقل بنسبة 18.3% من المحركين B و C.

كان تقييم ​​التكيف الثقافي​​ الأكثر خصوصية، حيث قمنا بجمع 500 تعبير خاص بالثقافة (مثل “接地氣” الصينية، و”mi media naranja” الإسبانية)، وقام 3 متحدثين أصليين بتقييمها بشكل مستقل. أظهرت النتائج أن استراتيجية الترجمة الحرفية حصلت على متوسط 41.2 نقطة فقط في هذا المعيار، بينما تمكنت المحركات التي اعتمدت الترجمة البديلة الثقافية من الحصول على 68.5 نقطة. لكن الترجمة البديلة تنطوي على مخاطر أيضاً، ففي حوالي 23.7% من الحالات تسببت البدائل غير المناسبة في سوء فهم جديد.

اختبار السيناريو الديناميكي

في ​​بيئة المحادثة الفورية​​، وجدنا أن الدقة تتناقص مع عدد جولات المحادثة. بعد اختبار 10 جولات من المحادثة، انخفضت دقة المحرك A من 91.2% المبدئية إلى 83.7%، والمحرك B من 88.5% إلى 79.2%، والمحرك C من 89.8% إلى 82.1%. يعود هذا التدهور أساساً إلى سببين:

1. فقدان ذاكرة السياق (معدل تدهور 1.8% لكل جولة)
2. الارتباك الناجم عن تغيير الموضوع (تذبذب الدقة بـ ±12.3% مع كل تغيير)

كان ​​تأثير ظروف الشبكة​​ واضحاً أيضاً. عندما زاد تأخير الشبكة من 50 ملي ثانية إلى 500 ملي ثانية:

• انخفضت دقة المحرك A بنسبة 9.7% (بسبب إسقاط الجمل الطويلة عند تجاوز الوقت)
• انخفض المحرك B بنسبة 6.3% (لكن وقت الاستجابة زاد بنسبة 82%)
• انخفض المحرك C بنسبة 4.5% (باستخدام استراتيجية التخفيض الذكي للجودة)

كشفت الاختبارات أيضاً عن ظاهرة رئيسية: ​​الاختلافات بين المنصات​​. وصل الفرق في أداء نفس المحرك بين نظامي iOS و Android إلى 15.2%، ويعود ذلك أساساً إلى:

• اختلاف عرض خطوط النظام (يؤثر على دقة التعرف الضوئي على الأحرف بـ ±3.7%)
• اختلاف آليات إدارة الذاكرة (يستهلك نظام Android في المتوسط 12% ذاكرة إضافية)
• درجة تداخل عمليات الخلفية (نظام iOS أكثر استقراراً، ومعدل الخطأ أقل بـ 8.3%)

معالجة السيناريوهات الخاصة

​​تحويل الأرقام والوحدات​​ يشكل تحدياً كبيراً. في اختبار 200 مجموعة من المحتويات التي تحتوي على أرقام:

• دقة الأرقام الخالصة (مثل “3.5”) 98.7%
• دقة الأرقام مع الوحدات (مثل “5 كيلومترات”) 89.3%
• دقة التعبيرات المركبة (مثل “زيادة 25%”) 76.5% فقط

​​مشاكل تحويل الرسائل الصوتية​​ كانت أكثر، وأظهرت الاختبارات:

• دقة النطق القياسي 82.4%
• انخفاض دقة الإنجليزية بلهجة إلى 63.7%
• عندما تتجاوز سرعة الكلام 160 كلمة/دقيقة، تنخفض الدقة بشكل حاد إلى 51.2%