استقرار مدل زبانی درونسازمانی و آفلاین
سامانههای مبتنی بر مدل زبانی که داخل شبکهٔ شما اجرا میشوند؛ جایی که استنتاج محلی مسیر اصلی است نه حالت آفلاینِ محدود، و عوض کردن مدل به انتشار نسخهٔ جدید نیاز ندارد.
دو مسئلهٔ متفاوت با یک نام
اولی عادی و شناختهشده است: بعضی دادهها اجازهٔ خروج از ساختمان را ندارند. پروندهٔ حقوقی، سابقهٔ بیمار، دفتر تراکنشها، و هر چیزی که قراردادی محل نگهداریاش را تعیین کرده باشد. برای این داده، مدل میزبانیشده در بیرون گزینهای «کمی پرریسک» نیست؛ اصلاً گزینه نیست.
مسئلهٔ دوم کمتر گفته میشود و سختتر گاز میگیرد. ارائهدهندهٔ مدل، وابستگیای است که در کنترل شما نیست و میتواند به دلایلی که هیچ ربطی به صفحهٔ وضعیتش ندارد از دسترس شما خارج شود: روش پرداختی که از کار میافتد، تغییر سیاست، بازبینی حساب، قراردادی که تمام میشود. تیمها این را همان صبحی کشف میکنند که اتفاق افتاده، و سامانههایی جان سالم به در میبرند که پیش از نیاز، مسیر دومی داشتهاند.
«اگر فردا آن ارائهدهنده نباشد، سر این سامانه چه میآید؟»
اگر پاسخ شامل یک پروژهٔ مهاجرت باشد، طراحی یک نقطهٔ شکست دارد که هیچ مقدار در دسترسبودن آن را جبران نمیکند.
رویکرد ما
مسیر محلی، مسیر اصلی است، نه اضطراری. استقرار آفلاینی که نسخهٔ لختشدهٔ محصول واقعی باشد استقرار نیست؛ نمایشی است که قابلیتهایش را برداشتهاند. ما طوری میسازیم که همان محصول، هم روی مدل سختافزار شما اجرا شود و هم روی نقطهٔ پایانی بیرونی، و تفاوت یک تصمیم مسیریابی باشد نه یک پایگاه کد دیگر.
مدل یک تنظیم است. اینکه کدام مدل فعال است در جدول تنظیمات زندگی میکند، نه در پیکربندی و ثابتهای کد؛ پس اپراتور بدون انتشار نسخه عوضش میکند. این جزئی بهنظر میرسد. همین جزئیات فرق میگذارد بین «سهماههٔ بعد ارزیابیاش میکنیم» و «سهشنبه امتحانش کردیم».
هر چیزی که سامانه بردار میکند داخل میماند. تعبیهسازی، نشتی بیصدای بیشتر سامانههای بازیابی است: سند روی سرور شماست و تکتک سندها برای برداریشدن به API کسی پست میشوند. ما سرویس تعبیهسازی را با مدلی دارای مجوز باز، داخل شبکه میزبانی میکنیم تا بردارها همانجایی ساخته شوند که سندها هستند.
مجوز، یک قید معماری است. مدلهایی به کار میبریم که وزنهایشان مجوز آزادانه دارند، چون مدلی که قانوناً نمیتوانید روی سختافزار خودتان اجرا کنید — مهم نیست چه نمرهای در سنجهها گرفته — گزینهٔ درونسازمانی نیست.
چه چیزی تحویل میگیرید
سامانهای نصبشده روی زیرساخت شما. لایهٔ مسیریابی با مسیر محلیِ درجهیک. تعبیهسازی داخلی. انتخاب مدلی که بدون ما عوضش میکنید. فهرست کامل تماسهای بیرونیای که سامانه توان زدنشان را دارد. و یادداشتی که میگوید این کار واقعاً چه سختافزاری میخواهد.
کجا انتخاب اشتباهی است
- اگر ظرفیت GPU ندارید و تمایلی به کسب مهارت عملیاتی هم ندارید، API میزبانیشده ارزانتر است و بهتر از ماشینی اداره میشود که کسی برایش کشیک نیست.
- فاصلهٔ کیفیت واقعی است. بهترین مدل دارای مجوز باز که بتوانید میزبانی کنید، بهترین مدل موجود نیست. اگر کار شما لبِ توانِ قویترین مدل میزبانیشده است، انتقالش به داخل ناامیدتان میکند و ترجیح میدهیم همان اول بگوییم.
- درونسازمانی بودن با امن بودن یکی نیست. بردن سامانه روی سختافزار خودتان محل داده را عوض میکند، نه سختسازی استقرار را. آن کار جداگانه است، حسابرسی خودش را دارد و باید جداگانه برآورد شود.
- ما هیچ استقرار کاملاً ایزولهای تحویل ندادهایم. این یک مدل استقرار پشتیبانیشده است و معماری از آن پشتیبانی میکند، اما نمونهٔ مرجعی پشت این جمله نیست و باید به همان اندازه تخفیفش بدهید.
- اگر نیاز واقعی یک بند انطباق است نه یک مرز شبکه، شاید یک قرارداد پردازش داده سریعتر و ارزانتر از یک رک سرور همان بند را ببندد.