اجرای LLM ها روی دستگاه با LiteRT-LM
چارچوب استنتاج متنباز و آماده برای تولید که برای ارائه استقرارهای LLM با کارایی بالا و چند پلتفرمی در دستگاههای لبه طراحی شده است.
کانون توجه
برای کشف اینکه چگونه LiteRT-LM استقرار GenAI روی دستگاه شما را تقویت میکند و با APIهای جدید Swift، JavaScript و Flutter، پتانسیل کامل Gemma 4 را با سرعت خیرهکننده و کارایی باورنکردنی آزاد میکند، به جدیدترین وبلاگ ما مراجعه کنید.
چرا LiteRT-LM؟
کراس پلت فرم
LLM ها را در اندروید، iOS، وب و دسکتاپ مستقر کنید.
شتابدهنده سختافزاری
با شتابدهی GPU و NPU، عملکرد را به حداکثر برسانید.
قابلیتهای گسترده GenAI
پشتیبانی از LLM های محبوب و همچنین چندوجهی (تصویری، صوتی) و استفاده از ابزار.
شروع به ساختن کنید
Python
رابطهای برنامهنویسی پایتون با شتابدهنده سختافزاری در لینوکس، مکاواس، ویندوز و رزبری پای.
Android
برنامههای بومی اندروید و ابزارهای دسکتاپ مبتنی بر JVM.
iOS
رابطهای برنامهنویسی سویفت مخصوص iOS (بهزودی macOS)
Web
رابطهای برنامهنویسی کاربردی جاوا اسکریپت و تایپاسکریپت برای برنامههای وب مبتنی بر مرورگر با شتابدهی WebGPU.
فلوتزنی
با استفاده از پکیج flutter_gemma که توسط جامعه توسعهدهندگان فلاتر پشتیبانی میشود، برنامههای چند پلتفرمی فلاتر بسازید.
C++
رابطهای برنامهنویسی کاربردی سیپلاسپلاس برای پلتفرم ایکس.
سازنده فایل
ساخت فایلهای .litertlm از مدلهای تبدیلشده LiteRT.
به انجمن بپیوندید
LiteRT-LM در گیتهاب
در پروژه متنباز مشارکت کنید، مشکلات را گزارش دهید و مثالها را ببینید.
صورت در آغوش گرفته
مدلهای از پیش تبدیلشده (جما، کوئن و موارد دیگر) را دانلود کنید و به بحث بپیوندید.
وبلاگها و اطلاعیهها
استنتاج روی دستگاه Gemma 4 را با پیشبینی چند توکنی (MTP) تقویت کنید
سرعت رمزگشایی بیش از دو برابر سریعتر را در پردازندههای گرافیکی موبایل بدون افت کیفیت تجربه کنید.
با Gemma 4، مهارتهای عاملشناسی پیشرفته را به اوج خود برسانید.
با استفاده از LiteRT-LM، Gemma 4 را درون برنامهای و در طیف وسیعتری از دستگاهها با عملکرد و دسترسی فوقالعاده مستقر کنید.
GenAI روی دستگاه در کروم، کرومبوک پلاس و پیکسل واچ
مدلهای زبانی را با استفاده از LiteRT-LM در مقیاس بزرگ، روی دستگاههای پوشیدنی و پلتفرمهای مبتنی بر مرورگر مستقر کنید.
فراخوانی تابع روی دستگاه در گالری Google AI Edge
نحوه تنظیم دقیق FunctionGemma و فعال کردن قابلیتهای فراخوانی تابع که توسط LiteRT-LM Tool Use APIs ارائه میشود را بررسی کنید.
مدلهای زبان کوچک، چندوجهی بودن و فراخوانی تابع در Google AI Edge
آخرین بینشها در مورد RAG، چندوجهی بودن و تابعی که مدلهای زبان لبه را میطلبد.