أمازون تفتح TorchNeuron ليعمل كود PyTorch على Trainium بسطر واحد

الملخص

• أمازون ويب سيرفيسز تطلق TorchNeuron مفتوح المصدر برخصة Apache 2.0 ليعمل كود PyTorch القياسي على شرائح Trainium2 وTrainium3.
• النسخة التجريبية العامة تبدأ 20 أكتوبر بالتزامن مع مؤتمر PyTorch، مع دعم Hugging Face Transformers v5 وvLLM وTorchTitan.
• نقل نموذج قائم يتطلب تغيير سطر واحد، فتنخفض كلفة تجربة شرائح أمازون بديلاً عن وحدات المعالجة الرسومية.

خبر

يعمل كود PyTorch القياسي على شرائح Trainium من أمازون ويب سيرفيسز بتغيير سطر واحد بعد إطلاق TorchNeuron، الواجهة الخلفية الأصلية المفتوحة المصدر التي أعلنتها AWS على مدونة PyTorch في 19 أكتوبر 2026. تبدأ النسخة التجريبية العامة في 20 أكتوبر بالتزامن مع مؤتمر PyTorch في سان خوسيه. وتقول ديبغرام إن Trainium يعالج نحو 60% أكثر من ثواني الصوت لكل دولار مقارنة بوحداتها الرسومية.

تفصيل

• ما أُطلق: TorchNeuron واجهة خلفية مفتوحة المصدر تجعل Trainium جهازاً عادياً داخل PyTorch، مبنية على نقاط الامتداد المحايدة للمسرّعات (PrivateUse1 وواجهات torch.accelerator)، فيعمل كود النماذج والمكتبات والأدوات من دون إعادة كتابة خاصة بـNeuron. نقل النموذج يتم بالأمر model.to('neuron')، وللنماذج المجمّعة يُضبط Neuron واجهةً افتراضية لـtorch.compile.
• أنماط التشغيل: يدعم النظام النمط الفوري للبحث والتصحيح مع نمط فوري تكيّفي تجريبي يقلل كلفة الإطلاق، ومسار torch.compile للإنتاج عبر TorchDynamo وAOTAutograd وTorch-MLIR وصولاً إلى مجمّع Neuron، مع دعم FlexAttention. وتفتح AWS مصدر مكتبة NKI-lib للنوى المخصصة، وتضم نوى محسّنة مثل FlashAttention ونوى خلطاء الخبراء.
• القدرات الموزعة: تعمل واجهات torch.nn وtorch.distributed وtorch.profiler على جهاز neuron، مع دعم DDP وFSDP2 والتوازي الموتري وتوازي خطوط الأنابيب وDTensor، وتجري العمليات الجماعية داخل العقدة عبر نوى Trainium وبين العقد عبر Elastic Fabric Adapter. أنواع البيانات تشمل BF16 وFP32 وFP16، فيما يبقى FP8 وTorchAO في نسخة تجريبية خاصة حتى الإصدار المقبل.
• الترخيص والإتاحة: الحزمة مرخصة بـApache 2.0 على المستودع github.com/aws-neuron/torch-neuronx، وتُثبّت عبر pip من مستودع AWS Neuron. تبدأ النسخة التجريبية العامة في 20 أكتوبر 2026 مع مؤتمر PyTorch أميركا الشمالية في سان خوسيه يومي 20 و21 أكتوبر. وتدعم الحزمة شريحتي Trainium2 وTrainium3 دون الأجيال الأقدم.
• المنظومة: يدرّب TorchTitan على Trainium عبر torchtitan-neuron، ومثاله تدريب Llama 3 8B على جهاز trn2.48xlarge واحد بـ64 نواة ثم على 8 أجهزة بالتوازي الموتري. ويدعم Hugging Face Transformers v5 وDiffusers الشريحة جهازاً، ويجري الاستدلال عبر vLLM Neuron، فيما يضم الشركاء Anyscale وModular وNota AI وLuminal وRadix.
• الاختبارات: تشغّل AWS باستمرار نحو 100 ألف نموذج من Hugging Face تغطي 99.9% من الاستخدام بعدد التنزيلات، بإعداد مصغّر لكل نموذج، من دون إعلان نسبة نجاح. وفي اختبارات PyTorch الأصلية بأغسطس 2026 بلغت النتائج نحو 154 ألفاً، تُخطّي منها نحو 69 ألفاً، بينها نحو 22 ألفاً لمشغّلات لا تملك بعد تنزيلاً أصلياً على Neuron.
• المستبعد عمداً: استُبعدت من الإصدار الأول الموترات المتناثرة وNestedTensor والاشتقاق الأمامي والأشكال الديناميكية وأقنعة الانتباه الاعتباطية، إضافة إلى اختبارات خاصة بـCUDA مثل رسوم CUDA وعمليات NCCL. وساهمت AWS في PyTorch بطلبات دمج منها #193439 و#193441 و#193442 ونحو 30 طلب دمج في PyTorch وTorchTitan.
• شهادة العملاء: قال آدم سيبنيوسكي، المدير التقني لديبغرام، إن Trainium يعالج نحو 60% أكثر من ثواني الصوت المُدخل لكل دولار مقارنة بخطوط الأساس الرسومية بعد نقل استغرق أشهراً مع مركز ابتكار AWS، والشركة تخدم أكثر من 200 ألف مطور و1,400 مؤسسة. وقال أرجون ديساي من كارتيسيا إن نموذجيها Sonic وInk عملا بتغييرات طفيفة.
• موقف ميتا وHugging Face: قالت يانا فان غرونن، مديرة هندسة PyTorch في ميتا، إن الفرق تستطيع الاستفادة من قدرات Trainium من دون إعادة ابتكار سير عملها أو مغادرة منظومة PyTorch. وقال جيف بودييه، نائب رئيس المنتجات في Hugging Face، إن TorchNeuron يجعل Trainium واجهة خلفية أصلية لـTransformers وDiffusers عبر حزمة مفتوحة المصدر بالكامل.

ماذا بعد؟

انطلاق النسخة التجريبية العامة في 20 أكتوبر وجلسات مؤتمر PyTorch في سان خوسيه يومي 20 و21 أكتوبر، ثم الإصدار المقبل الذي وعدت AWS بأن يتيح فيه FP8 وTorchAO عموماً.

المصدر: أمازون ويب سيرفيسز، مدونة PyTorch