أنماط التسليم وحدود التشغيل
تقدم Nscale بنية تحتية للذكاء الاصطناعي وخدمات ذكاء اصطناعي تشمل سعة سحابية لوحدات GPU واستدلالًا مُدارًا للذكاء الاصطناعي؛ وتصف موادها الخاصة بالاستدلال الاستدلال بلا خادم أو المخصص على وحدات GPU تديرها Nscale.
تُجرّد نقطة نهاية الاستدلال المُدارة بعض عمليات GPU؛ وتستلزم البنية التحتية المخصصة لوحدات GPU مسؤولية مختلفة في التخصيص والتوسّع. أكّد الشكل الدقيق للخدمة وطبقة التنسيق وشروط السعة بدلًا من افتراض تضمين VM ذاتية الخدمة.
Computraq في مرحلة ما قبل الإطلاق. إن ذكر هذا المزوّد هنا لا يعني أن Computraq تستضيف أحمال العمل لديه، ولا يعني أن Computraq اختبرت تكاملاً معه أو أن لديها علاقة تجارية معه.
تحضير المشتري والمشتريات
استخدم هذه الأسئلة لإعداد تقييم قابل للمقارنة وخاص بحمل العمل. تصف أسماء المنتجات العرض المنشور للمزوّد؛ ولا تثبت توافرها لحساب معيّن.
- اسأل عمّا إذا كان العرض نقطة نهاية استدلال مُدارة أو سعة مخصصة أو عنقودًا يديره العميل، وحدّد مستوى التحكم وحدود الدعم.
- اطلب تفاصيل مكتوبة عن كمية السعة والموقع ومستويات الخدمة والتعامل مع النموذج/البيانات وأي مدة أو التزام أدنى.
- وضّح كيفية عمل التوسّع والمراقبة وتغييرات الإصدارات وتصعيد الحوادث للخدمة المحددة.
أدلة المطوّر والمشغّل
قبل اختيار السعة، أنشئ خطة قبول صغيرة تسجّل النموذج والمراجعة وشكل المدخلات وبيئة التشغيل وتهيئة GPU والتزامن وزمن الاستجابة المستهدف أو إتمام المهمة وتوقعات الاستعادة. وثائق المزوّد دليل على تصميم المنتج، وليست إثباتًا على أن حمل العمل هذا قد اختُبر.
- بالنسبة إلى الاستدلال، أحضر تفاصيل مخرجات النموذج واحتياجات بيئة التشغيل وشكل حركة المرور وهدف زمن الاستجابة وسلوك البدء البارد المقبول إلى الاستكشاف التقني.
- اختبر مصادقة نقطة النهاية وحدود المعدل والمراقبة والتزامن وتحديثات النموذج والتراجع عنه بطلبات تمثيلية.
- بالنسبة إلى عروض البنية التحتية، اتفق على الحاوية والشبكات والتخزين وواجهة العنقود قبل نقل أحمال العمل.