تطلق ByteDance مشروع Lance مفتوح المصدر؛ يحتوي على 3 مليارات معلمة ويمكنه أداء ستة أنواع من المهام المتعلقة بفهم وتوليد وتحرير الصور والفيديوهات، وقد احتل المرتبة الثالثة في قائمة الترند على Hugging Face بعد يوم واحد من إطلاقه

أطلقت مختبرات الإبداع الذكي التابعة لشركة ByteDance نموذج Lance المتعدد الوسائط الموحد، وقامت بفتح مصدره؛ يستخدم هذا النموذج 3 مليارات معلمة نشطة (بإجمالي 6 مليارات معلمة) وميزانية تدريب تكفي لتشغيل ما يصل إلى 128 وحدة معالجة رسوميات، كما يدعم ضمن إطار عمل واحد أصلي ست مهام مختلفة تشمل فهم الصور والفيديوهات بالإضافة إلى إنشائها وتحريرها، كما يدعم أيضًا إنشاء الصور والفيديوهات بناءً على عناصر محددة. وقد احتل النموذج المرتبة الثالثة في قائمة الترند على منصة HuggingFace في اليوم التالي لإطلاقه. وفي اختبارات القياس الرئيسية، حقق Lance نتائج متميزة: 85.11 في اختبار VBench (لإنشاء الفيديوهات، وهو الأعلى بين جميع النماذج الموحدة)، و62.0 في اختبار MVBench (لفهم الفيديوهات، وهو الأفضل بين النماذج الموحدة، مع تحسن بنسبة 11.3% مقارنة بالنموذج Show-o2 7B الذي يحتل المرتبة الثانية)، و0.90 في اختبار GenEval (لإنشاء الصور، وهو من بين الأعلى تصنيفًا بين النماذج الموحدة)، و7.30 في اختبار GEdit-Bench (لتحرير الصور، وهو الأفضل بين النماذج الموحدة).

من حيث الهيكلية، يعتمد Lance على تصميم مختلط من الخبراء ثنائي التيار (dual-stream MoE): حيث يتعامل مسار الفهم مع الرموز البصرية الدلالية، بينما يتعامل مسار الإنشاء مع الرموز الكامنة المستخرجة عبر خوارزمية VAE، ويشارك كلا المسارين سياقًا متعدد الوسائط مشتركًا ومتداخلًا مع الحفاظ على استقلالية كل منهما في قدراته؛ كما تم إدخال ترميز موضعي دوار واعٍ بالوسائط (MaPE) لتحديد الرموز البصرية غير المتماثلة ذات الوظائف المختلفة ضمن نفس التسلسل بشكل صريح، مما يقلل من التداخل في المواقع أثناء التحسين المشترك للعديد من المهام. ويتم التدريب وفق نموذج من أربع مراحل تشمل التدريب المسبق والتدريب المستمر والتدريب الدقيق تحت إشراف والتعلم المعزز. وأظهرت الدراسات أن إضافة بيانات لمهام متعددة مثل التحرير وإنشاء المحتوى بناءً على عناصر محددة خلال مرحلة التدريب المستمر تساهم في تعزيز قدرات الإنشاء الأساسية، مما يؤكد أن “مدى شمولية المهام المدعومة” له تأثير إيجابي في تحفيز التعميم الظاهري للنماذج الموحدة؛ وبالتالي فإن التنسيق بين المهام المختلفة هو آلية تعزز تطور القدرات بدلًا من كونه مجرد تجميع لها. وقد تم طرح أوزان النموذج وكوده على منصتي GitHub وHuggingFace، كما نُشرت الورقة البحثية على موقع arXiv (arXiv:2605.18678).

ByteDance Research | arXiv