شرکت Mistral مدل‌های پیش‌بینی سری زمانی Timestral را منتشر کرد
حدود ۴ دقیقه مطالعه
شرکت Mistral AI روز ۱۵ اکتبر ۲۰۲۶ خانواده‌ی Timestral را منتشر کرد؛ چهار مدل open-weight برای پیش‌بینی سری زمانی (time series) با ۵، ۲۸، ۱۲۳ و ۲۰۹ میلیون پارامتر که طبق گفته‌ی خود Mistral روی CPU معمولی هم اجرا می‌شوند و بدون آموزش اختصاصی روی داده‌ی تو (zero-shot) پیش‌بینی می‌دهند.
مدل‌ها چه کار می‌کنند؟
هر چهار مدل یک معماری و یک روش آموزش مشترک دارند. طبق بلاگ رسمی، پیش‌بینی احتمالاتی انجام می‌دهند، چند سری هدف را هم‌زمان می‌پذیرند و از سه نوع covariate پشتیبانی می‌کنند: فقط گذشته، آینده‌ی معلوم (مثل تقویم تعطیلات) و دسته‌ای (categorical). context تا ۳۲٬۷۶۸ گام زمانی است و خروجی هر مدل ۲۱ کوانتایل است. بیشتر داده‌ی آموزش مصنوعی (synthetic) بوده و آموزش در دو مرحله انجام شده است. طبق گزارش MarkTechPost، مدل ۲۰۹ میلیونی یک transformer پچ‌محور با ۲۴ لایه است که در هر forward pass تا ۱٬۰۲۴ گام را پیش‌بینی می‌کند و برای افق‌های بلندتر بلوک‌به‌بلوک جلو می‌رود.
درباره‌ی سرعت، Mistral می‌گوید روی یک CPU سروری ۸ ریسمانی، پیش‌بینی یک روز آینده از سه هفته داده‌ی ۱۵ دقیقه‌ای حدود ۱۰ میلی‌ثانیه با مدل ۵ میلیونی و حدود ۱۴۰ میلی‌ثانیه با مدل ۲۰۹ میلیونی طول می‌کشد. وزن مدل ۲۰۹ میلیونی به‌صورت fp32 حدود ۸۳۷ مگابایت است و GPU اختیاری است. این اعداد ادعای خود Mistral هستند.
بنچمارک‌ها
طبق model card رسمی روی Hugging Face، مدل ۲۰۹ میلیونی در GIFT-Eval، TIME و fev-bench بالاتر از رقبا قرار گرفته است. در GIFT-Eval معیار MASE برابر 0.658 است، در حالی که t0-gamma عدد 0.661، مدل TimesFM-3 گوگل عدد 0.667 و Chronos-2 عدد 0.698 دارند (کمتر بهتر است). در TIME مقدار MASE برابر 0.626 در برابر 0.640 برای TimesFM-3 است و در fev-bench امتیاز SQL برابر 50.39 در برابر 48.99 است. مدل ۲۸ میلیونی هم با 0.678 در GIFT-Eval از Chronos-2 که طبق Mistral حدود چهار برابر بزرگ‌تر است جلو می‌زند.
همه‌ی این اعداد را خود Mistral اجرا و منتشر کرده است و ارزیابی مستقل نیستند. فاصله‌ی مدل ۲۰۹ میلیونی با رقیب بعدی در GIFT-Eval فقط ۰٫۰۰۳ است و گزارش فنی مدل در model card هنوز «به‌زودی» اعلام شده. اعداد رقبا هم از جدول مقایسه‌ی خود Mistral آمده و Google و Amazon اعداد مشابهی در صفحه‌ی مدل‌هایشان منتشر نکرده‌اند.
مجوز و دسترسی
وزن‌ها با مجوز Modified MIT منتشر شده‌اند و اینجا باید دقت کنی: طبق فایل LICENSE، اگر درآمد ماهانه‌ی تلفیقی جهانی شرکت تو (یا کارفرمایت) در ماه قبل از ۲۰ میلیون دلار بیشتر باشد، حق استفاده از مدل را نداری. این محدودیت مدل‌های مشتق‌شده، fine-tune ها و کارهای ترکیبی بر پایه‌ی آن را هم شامل می‌شود. بالاتر از این آستانه باید از Mistral مجوز تجاری بگیری یا از سرویس‌های هاست‌شده‌ی خودش استفاده کنی و گرفتن مجوز به تشخیص Mistral است. در model card خود Hugging Face این آستانه نیامده و فقط به فایل LICENSE ارجاع داده شده؛ پس قبل از استفاده‌ی تجاری متن کامل را بخوان.
وزن‌ها روی Hugging Face و کد inference روی GitHub است و نصب با pip انجام می‌شود (نیازمند Python 3.10 به بالا و torch نسخه‌ی 2.4 به بالا):
pip install git+https://github.com/mistralai/timestral.git
شناسه‌ی مخزن مدل بزرگ‌تر روی Hugging Face این است:
mistralai/Timestral-209M
برای fine-tune روی داده‌ی اختصاصی، Mistral از Mistral Forge نام برده که استقرار on-premises، در VPC و air-gapped را پشتیبانی می‌کند. دو منبع ثانویه نوشته‌اند مستندات Mistral مدل ۲۰۹ میلیونی را «public preview» نامیده، ولی در model card چنین برچسبی ندیدم. قیمتی هم برای دسترسی از طریق API منتشر نشده است.
منابع:
