Cohere تطلق نموذج Command A+ مفتوح المصدر، بـ 219 مليار معلمة ونظام MoE، ويمكن تشغيله باستخدام بطاقتي H100

أطلقت شركة Cohere في 20 مايو نموذج Command A+، وفتحته بالكامل للمصادر المفتوحة تحت رخصة Apache 2.0؛ وهذا أول نموذج رئيسي تطرحه الشركة بهذه الرخصة المرنة على الإطلاق، وهو قرار تاريخي أكد عليه كل من الرئيس التنفيذي Aidan Gomez والمؤسس المشارك Nick Frosst. يعتمد النموذج على بنية الخبراء المختلطين (MoE)، حيث يبلغ إجمالي عدد معلماته 219 مليار معلمة، لكن يتم تفعيل 25 مليار معلمة فقط في كل عملية استنتاج، مما يسمح بإجراء عمليات استنتاج عالية الأداء باستخدام بطاقتين GPU من طراز H100 أو بطاقة واحدة من طراز B200 على الأقل؛ كما يدعم النموذج نافذة سياقية بطول 128 ألف كلمة، و48 لغة، وقدرات متعددة الوسائط للنص والصور، وقدمت منصة HuggingFace دعماً أصلياً له في نفس اليوم. فيما يتعلق بالتكميم، يقوم Command A+ بتكميم جزء خبراء MoE فقط بتقنية 4-bit (W4A4)، بينما تبقى مسارات الانتباه بدقة كاملة، ويستخدم تقنية التكميم الواعي للتدريس (Quantization-Aware Distillation) لتحقيق ضغط شبه خالٍ من الفقدان؛ وفي ظروف الاستخدام ذات التزامن المنخفض، يصل معدل إنتاج الكلمات إلى 375 كلمة في الثانية، بينما يبلغ زمن الوصول للكلمة الأولى (TTFT) 113 مللي ثانية، مما يمثل زيادة بنسبة 63% في سرعة الإنتاج وانخفاضاً بنسبة 17% في زمن التأخير مقارنةً بالجيل السابق Command A Reasoning.

على صعيد البنية، لاحظ الباحثون وجود عدة تصاميم غير تقليدية في Command A+: حساب متوازي لطبقات الانتباه وطبقات MoE، وكون أبعاد متجهات الاستعلام تعادل أربعة أضعاف عرض الطبقة المخفية، واستخدام LayerNorm بدلاً من RMSNorm، بالإضافة إلى احتواء النموذج على 32 طبقة فقط دون أي طبقات كثيفة مسبقة. أما على صعيد الوظائف المؤسسية، فيدعم النموذج استدعاء الأدوات وتنفيذ المهام الآلية (Agentic tasks) بشكل أصلي، ويضم آلية تحديد المصدر (grounding span) التي تتيح الإشارة إلى المستندات أو سجلات قواعد البيانات التي تم الاسترجاع منها عند إنتاج المحتوى، وهو أمر بالغ الأهمية للقطاعات الخاضعة للرقابة مثل المالية والرعاية الصحية والقانون؛ كما تقدم Cohere مجموعة متنوعة من أوزان التكميم وخدمة الاستنتاج المدارة Model Vault. وأشار Nick Frosst في منشور الإطلاق إلى أن قرار اعتماد رخصة Apache 2.0 يرتبط بشكل مباشر بالتعاون الأخير مع شركاء ألمان.

مدونة Cohere | HuggingFace