إطار عمل استنتاج مفتوح المصدر وجاهز للاستخدام في مرحلة الإنتاج ومصمَّم لتقديم عمليات نشر نماذج لغوية كبيرة (LLM) عالية الأداء ومتوافقة مع عدّة منصات على الأجهزة الطرفية

تسليط الضوء

اطّلِع على أحدث مدونة لمعرفة كيف تعزّز LiteRT-LM عمليات نشر الذكاء الاصطناعي التوليدي على الجهاز فقط، وتتيح الاستفادة من إمكانات Gemma 4 الكاملة بسرعة فائقة وكفاءة مذهلة باستخدام واجهات برمجة التطبيقات الجديدة التي تمت إضافتها إلى Swift وJavaScript وFlutter.

لماذا LiteRT-LM؟

نشر نماذج اللغات الكبيرة على أجهزة Android وiOS والويب وأجهزة الكمبيوتر
تحسين الأداء إلى أقصى حدّ باستخدام تسريع وحدة معالجة الرسومات (GPU) ووحدة المعالجة العصبية (NPU)
إتاحة استخدام النماذج اللغوية الكبيرة الشائعة بالإضافة إلى إمكانية استخدام وسائط متعددة (الصور والفيديوهات والصوت) والأدوات

بدء التطوير

واجهات برمجة تطبيقات Python مع ميزة "تسريع الأجهزة" على أنظمة التشغيل Linux وMacOS وWindows وRaspberry Pi
تطبيقات Android الأصلية وأدوات الكمبيوتر المكتبي المستندة إلى JVM
واجهات برمجة تطبيقات Swift الأصلية لنظام التشغيل iOS (ستتوفّر قريبًا على نظام التشغيل macOS)
واجهات برمجة تطبيقات JavaScript وTypeScript لتطبيقات الويب المستندة إلى المتصفّح مع تسريع WebGPU
يمكنك إنشاء تطبيقات Flutter من عدّة منصات باستخدام حزمة flutter_gemma التي يديرها المنتدى.
x-platform C++ APIs .
إنشاء ملفات ‎.litertlm من نماذج LiteRT المحوَّلة

الانضمام إلى المنتدى

يمكنك المساهمة في المشروع المفتوح المصدر والإبلاغ عن المشاكل والاطّلاع على الأمثلة.
يمكنك تنزيل نماذج تم تحويلها مسبقًا (Gemma وQwen وغيرها) والانضمام إلى المناقشة.

المدوّنات والإشعارات

يمكنك الاستفادة من سرعات فك ترميز أسرع بمرتين على الأقل على وحدات معالجة الرسومات للأجهزة الجوّالة بدون أي تدهور في الجودة.
يمكنك نشر Gemma 4 داخل التطبيق وعلى نطاق أوسع من الأجهزة مع أداء ممتاز ومدى وصول واسع باستخدام LiteRT-LM.
يمكنك نشر النماذج اللغوية على الأجهزة القابلة للارتداء والمنصات المستندة إلى المتصفّح باستخدام LiteRT-LM على نطاق واسع.
تعرَّف على كيفية ضبط نموذج FunctionGemma بدقة وتفعيل إمكانات استدعاء الدوال المستندة إلى واجهات برمجة التطبيقات الخاصة بأداة LiteRT-LM.
أحدث الإحصاءات حول التوليد المعزّز بالاسترجاع (RAG) والوسائط المتعددة واستدعاء الدوال في النماذج اللغوية التي تعمل على الأجهزة الطرفية