أظهرت منصة كوين بيس (المدرجة في بورصة ناسداك تحت الرمز COIN) مرة أخرى لمتداولي العملات الرقمية كيف يمكن لأجهزة السحابة البطيئة أن تفسد حتى أفضل منصات التداول السريعة. ويبدو أن استراتيجية التحول التي تعتمد على الذكاء الاصطناعي قد تكون أسوأ خطوة قامت بها الشركة حتى الآن.
يوم الجمعة، أعلنت الشركة أن عطلاً في نظام التبريد داخل خدمات أمازون ويب (المدرجة في بورصة ناسداك تحت الرمز AMZN) ساهم في انقطاع الخدمة لعدة ساعات، مما أثر على التداول، والوصول إلى المنصة، وتحديث الأرصدة.
بدأت المشكلة في حوالي الساعة 23:50 بالتوقيت العالمي يوم 7 مايو، عندما اكتشفت أجهزة المراقبة الداخلية انتشاراً واسعاً لانقطاع عروض الأسعار داخل أنظمة الشركة. في تلك اللحظة، تم إنشاء عدة بلاغات طوارئ من قبل المهندسين، وكان العملاء قد تأثروا بالفعل في خدمات مثل التداول الفوري، وكوين بيس برايم، والدولي، والمشتقات، والتجزئة، والمتقدم، والمؤسسي.
كتب برايان أرمسترونج، الرئيس التنفيذي لشركة كوين بيس، على منصة إكس أن شركته “تعرضت لانقطاع في الخدمة” وأن هذا الأمر “غير مقبول أبداً”. ووفقاً له، كان السبب هو “ارتفاع حرارة إحدى الغرف في مركز بيانات تابع لـ AWS بسبب تعطل عدة أجهزة تبريد.” وأوضح برايان أن الشركة تضمن تصميم جميع خدماتها بحيث لا تنقطع في حال تعطل منطقة توفر واحدة في AWS. معظم الخدمات مصممة بهذه الطريقة، باستثناء منصة التداول التي تستخدم بنية تحتية مختلفة بسبب متطلباتها العالية للسرعة.
كوين بيس تلقي باللوم على أجهزة تبريد AWS المعطلة مع بدء انهيار أنظمة عروض الأسعار
ذكرت تقارير سابقة أن كوين بيس تخطط لإنهاء خدمات 700 موظف، أي ما يمثل حوالي 14% من إجمالي القوى العاملة، وذلك بهدف استبدال العمليات اليدوية بالذكاء الاصطناعي. روب ويتوف، رئيس منصة كوين بيس، قدم التفاصيل الفنية للموضوع. ووفقاً له، استمر الانقطاع لفترة طويلة وأثر على “التداول، والوصول إلى المنصة، وتحديث الأرصدة”.
جاء التحذير الأول في الساعة 23:50 بالتوقيت العالمي بسبب انقطاع عروض الأسعار الناشئة من الأنظمة الداخلية. تبع ذلك تحليل فوري للطوارئ. وفقاً لروب، كان سبب هذه المشكلة هو “حدث حراري” في نسبة صغيرة من الحوامل في أحد مرافق AWS في المنطقة الشرقية الأولى (us-east-1). هذا الهيكل للبنية التحتية للتداول كان مفيداً. وأوضح روب أن كوين بيس تحتفظ ببنيتها التحتية للتداول في منطقة توفر واحدة، لأن الصناعة تقدر السرعة.
بالإضافة إلى ذلك، تمتلك الشركة نسخة احتياطية موزعة من هذه البنية التحتية للتداول في حالات مثل هذه. لكن فشل جزء من البنية التحتية للتداول المعني في تلك اللحظة لم يبق ضمن حدوده، مما أطال عملية إصلاح الموقف.
- فشل مكونان: حدث عطل في الأجهزة أسفل محرك المطابقة. لذلك، كان لا بد أولاً من إجراء عمليات الاسترداد والتحويل.
- كما تعطلت مجموعة كافكا الموزعة، المسؤولة عن مشاركة المعلومات عبر جميع أنظمة المنظمة. استغرق الأمر استرداد أقسام كافكا على وسيط أجهزة جديد، بكمية تيرابايت من المعلومات.
المهندسون يعيدون بناء النصاب القانوني ويعيدون أسواق كوين بيس عبر وضع الإلغاء فقط ووضع المزاد
كان محرك المطابقة مسؤولاً عن أكبر توقف في التداول. يقوم محرك المطابقة بمعالجة الأوامر والحفاظ على دفاتر الأوامر. يعمل النظام في مجموعة موزعة ويتطلب نصاباً قانونياً قبل اختيار قائد وإجراء الصفقات بأمان. نظراً لعدم بقاء جميع العقد سليمة بسبب القيود في مركز البيانات أثناء الانقطاع، لم يمكن تحقيق النصاب القانوني، مما منع أنشطة التداول في منصات التجزئة والمتقدم والمؤسسي.
ذكر روب أن فرق الدعم الفني والهندسة اضطلعت بتنفيذ إجراءات التعافي من الكوارث الخاصة بالشركة، وإنشاء النصاب القانوني، وتقييم صحة النظام في ظل ظروف بنية تحتية صعبة. وفقاً له، كان على الفريق تطوير واختبار ونشر والتحقق من صحة حل أثناء إدارة الانقطاع الأوسع. كانت كافكا ستتطلب استرداداً يدوياً مكثفاً لأن بنيتها المقسمة تدير آلاف التيرابايت يومياً.
كانت هناك بعض المشكلات في تدفقات الأرصدة المتأخرة لأن كافكا كانت متخلفة. أوضح روب أن هذه المشكلات المتعلقة بالأرصدة اختفت بعد مزامنة النسخ المتماثلة. وفقاً لـ كوين بيس، لم يتم فقدان أي بيانات. عندما عاد محرك المطابقة إلى الخدمة، لم يتم إعادة تمكين الأسواق في وقت واحد. أولاً، حولت كوين بيس جميع المنتجات إلى وضع الإلغاء فقط، وفحصت حالة المنتجات، وحولت جميع الأسواق إلى وضع المزاد، وأخيراً، مكنت التداول في بورصة كوين بيس.
علاوة على ذلك، شدد روب على أنه لا ينبغي للعملاء أن يغلقوا خارج حساباتهم بشكل مؤقت. أكدت كوين بيس للجميع أن الشركة ستقدم شرحاً مفصلاً لهذا الحادث في غضون أسابيع قليلة. ومع ذلك، رد جوش إليثورب على الشائعات بعد قراءة منشور روب على تويتر. كما قال: “لا أحد قام ببرمجة شيء فشل. لم يدفع ‘غير مهندس’ كود إنتاج وأخرج محرك التداول. لم يكن الأمر متعمداً. لم يكن لأن كوين بيس فشلت في تصميم نظام تحويل. تحدث أشياء على نطاق واسع، لا تدع المعلقين من خلف الشاشات يروون لك قصصاً خيالية.”
الأسئلة الشائعة (FAQ)
- س: ما سبب انقطاع خدمة كوين بيس الأخير؟
ج: السبب الرئيسي هو تعطل أجهزة التبريد في مركز بيانات تابع لخدمات أمازون ويب (AWS)، مما أدى إلى ارتفاع حرارة الغرفة وتوقف أنظمة عروض الأسعار ومحرك المطابقة، مما أثر على التداول وتحديث الأرصدة لعدة ساعات. - س: هل فقدت كوين بيس أي أموال أو بيانات للعملاء أثناء الانقطاع؟
ج: لا، حسب تصريحات الشركة لم يتم فقدان أي بيانات. كما تم استرداد النظام بالكامل وإعادة تشغيل الأسواق عبر وضع الإلغاء فقط ثم المزاد ثم التداول الكامل، وكل ذلك دون أي خسائر مالية أو بيانات للعملاء. - س: كيف تعاملت كوين بيس مع المشكلة وما هي إجراءاتها المستقبلية؟
ج: قام المهندسون بإجراءات التعافي من الكوارث، وإعادة بناء النصاب القانوني للنظام، واسترداد أقسام كافكا يدوياً. وتعد الشركة بتقديم شرح تفصيلي للحادث في غضون أسابيع، كما تؤكد أنها ستعزز أنظمتها الاحتياطية لتجنب تكرار ذلك مستقبلاً.
