Laya، رقیب متن‌باز و لوکال Jev؛ بررسی کامل و اینکه باید جایگزینش کنی یا نه
حدود ۵ دقیقه مطالعه
سه روز بعد از اینکه TypeSafe AI مدل Jev رو منتشر کرد، یه مدل متن‌باز به اسم Laya ظاهر شد که خودش رو «جایگزین رایگان و لوکال Jev» معرفی می‌کرد. مخزن گیت‌هابش توی هشت روز بیش از ۲۴ هزار ستاره گرفت و همین باعث شد سؤال طبیعی پیش بیاد: اگه یه مدل تصمیم‌گیر رایگان هست که روی لپ‌تاپ خودت اجرا میشه، چرا باید برای Jev پول بدی؟ جواب کوتاه اینه که بستگی داره — و جواب بلند چیزیه که این مقاله سعی می‌کنه بده.
Laya دقیقاً چیه؟
Laya یه خانواده‌ی مدل تصمیم‌گیر non-autoregressive از شرکت Convai Innovations (به سرپرستی ناندا‌کیشور مکونوت) هست که تحت لایسنس Apache-2.0 و در ۱۸ سپتامبر ۲۰۲۶ منتشر شد. ایده‌ش دقیقاً همون ایده‌ی Jevه: یه state و چند سؤال typed بهش میدی، و به‌جای متن، در یه forward pass جواب ساختاریافته با احتمال واقعی برمی‌گردونه. همون سه primitive آشنا رو هم داره: choice، score و noul (بله/خیر با احتمال). سه تا checkpoint داره: یه مدل ۴۲۱ میلیون پارامتری انگلیسی، یه مدل ۳۲۲ میلیون پارامتری چندزبانه که بیش از ۱۰۰ زبان رو پوشش میده، و یه checkpoint مخصوص typed decisions. نصبش هم یه pip install laya ساده‌ست و روی یه GPU رایگان T4 یا حتی یه مک ۱۶ گیگی اجرا میشه.
یه نکته‌ی جالب درباره‌ی پیشینه‌ش: نویسنده‌ی Laya میگه کار پایه‌ای این ایده رو مارس ۲۰۲۵ به‌صورت preprint منتشر کرده بود، یعنی حدود ۱۸ ماه قبل از Jev، و Laya رو نسخه‌ی «کاملاً باز و بدون محدودیت‌های معماری قبلی» اون کار می‌دونه. با این حال، هیچ مدرکی نشون داده نشده که Jev از پیاده‌سازی اون استفاده کرده باشه و TypeSafe هم تا الان علناً واکنشی نشون نداده؛ پس این بخش رو باید به‌عنوان ادعای نویسنده دید، نه یه واقعیت اثبات‌شده. یه نکته‌ی روشن‌کننده دیگه هم اینه که رابط Laya عمداً شبیه Jev طراحی شده، ولی Laya محصول TypeSafe نیست و هیچ ارتباط رسمی‌ای بینشون وجود نداره.
عددها چی میگن؟ (و چرا باید بهشون شک کرد)
اینجا جاییه که باید خیلی با احتیاط جلو رفت. مدل‌کارت Laya ادعا می‌کنه که روی یه بنچمارک، دقتش ۷۶.۶٪ در برابر ۷۲.۷٪ Jev هست، و تأخیرش حدود ۳۳ میلی‌ثانیه روی T4 در برابر ۲۳۶ تا ۲۷۶ میلی‌ثانیه Jev، یعنی حدود ۷.۸ برابر سریع‌تر. ولی خود نویسنده‌های Laya هم اعتراف می‌کنن که اعداد Jev رو خودشون اندازه نگرفتن و از اندازه‌گیری‌های شخص ثالث برداشتن. چند تا مشکل جدی توی این مقایسه هست:
- عدد ۷۶.۶٪ مال checkpoint ای هست که روی خود split آموزشی همون بنچمارک fine-tune شده؛ مدل پایه‌ی zero-shot فقط ۳۶.۲٪ گرفته، که حتی از baseline اکثریت (۴۶.۱٪) هم پایین‌تره.
- مقایسه‌ی سرعت، یه inference لوکال روی GPU گرم‌شده رو با یه فراخوانی API میزبانی‌شده (که زمان شبکه رو هم شامل میشه) مقایسه می‌کنه — یعنی سیب و پرتقال.
- روی Banking77 که باید بین ۷۷ برچسب intent انتخاب کنی، Jev عدد ۰.۸۷۰ گرفته و Laya فقط ۰.۴۲۵؛ یعنی روی دسته‌بندی‌های با تعداد برچسب بالا، Jev فاصله‌ی زیادی داره و برای Laya باید سلسله‌مراتب coarse-to-fine بسازی.
- خود مدل‌کارت Laya هشدار میده که مدل تا وقتی temperature ش دوباره calibrate نشه، بیش‌ازحد مطمئن (overconfident) خروجی میده — که برای مدلی که ارزشش توی احتمال‌های واقعیه، یه نکته‌ی کوچیک نیست.
یه تست مستقل که هر دو مدل رو روی یه مجموعه‌ی ۴۰۰ تصمیمی و توی یه harness یکسان اجرا کرده، نتیجه‌ی متعادل‌تری داده: Laya روی دو تا از شش سؤال جلو بوده و توی بقیه Jev برتری داشته. سرعت Laya روی مک بین ۲۰ تا ۵۰ میلی‌ثانیه بوده که واقعاً چشمگیره، ولی دقتش به‌طور کلی پایین‌تر از Jev بوده.
مقایسه‌ی سریع
| Jev | Laya | |
|---|---|---|
| نحوه‌ی ارائه | API میزبانی‌شده، وزن‌های بسته، early access | وزن‌های باز (Apache-2.0)، اجرای لوکال |
| هزینه | حدود ۰.۰۴۲ دلار به ازای هر میلیون توکن ورودی | صفر به ازای هر توکن (فقط هزینه‌ی سخت‌افزار خودت) |
| تأخیر | چند ده تا چند صد میلی‌ثانیه (شامل شبکه) | ۲۰ تا ۵۰ میلی‌ثانیه لوکال |
| دقت out-of-the-box | بالاتر، مخصوصاً با برچسب‌های زیاد | پایین‌تر بدون fine-tune |
| زبان | متن انگلیسی‌محور | نسخه‌ی چندزبانه با بیش از ۱۰۰ زبان |
| شخصی‌سازی | ندارد | می‌تونی fine-tune و calibrate کنی |
| داده | باید به API بفرستی | داده هیچ‌وقت از ماشین خودت خارج نمیشه |
پس کدوم رو استفاده کنیم؟
جواب صادقانه اینه که این‌ها جایگزین هم نیستن، دو تا ابزار برای دو تا موقعیت متفاوتن. اگه دقت روی برچسب‌های زیاد یا سؤال‌های پیچیده‌تر براش مهمه، نمی‌خوای زیرساخت اجرای مدل رو خودت نگه داری، و ارسال داده به یه API خارجی مشکلی نداره، Jev هنوز انتخاب امن‌تریه. ولی اگه داده‌هات حساسن و نباید از سرورت خارج بشن، حجم فراخوانی اونقدر بالاست که حتی هزینه‌ی ناچیز به ازای هر توکن هم جمع میشه، تأخیر چندده‌میلی‌ثانیه‌ای برات حیاتیه (مثلاً یه حلقه‌ی کنترل real-time)، یا با متن چندزبانه کار می‌کنی، Laya قابل‌توجه‌تره — به شرط اینکه حاضر باشی یه مقدار وقت برای fine-tune و calibrate کردنش بذاری.
پیشنهاد عملی من اینه که به هیچ‌کدوم از اعداد منتشرشده‌ی هیچ‌طرفی تکیه نکنی: ۲۰۰ تا ۵۰۰ نمونه‌ی واقعی از داده‌ی خودت جمع کن، برچسب‌گذاریشون کن، و هر دو مدل رو روی همون‌ها امتحان کن. چون Laya رایگانه و توی چند دقیقه نصب میشه، این تست تقریباً بی‌هزینه‌ست، و نتیجه‌ش خیلی بیشتر از هر بنچمارک عمومی به کارت میاد. اگه Laya روی داده‌ی تو به دقت قابل‌قبولی رسید، یه مدل لوکال رایگان با تأخیر چندده‌میلی‌ثانیه‌ای ارزش جدی داره؛ اگه نرسید، هزینه‌ی Jev احتمالاً همچنان از خطاهای اضافی ارزون‌تره.
