TencentDB TDStore المعتمدة على Online DDL خلفية وتحديات حول التطور التكنولوجي والابتكارات

شنتشن، الصين، 23 أبريل 2025 /PRNewswire/ -- تستخدم قواعد البيانات التقليدية ذات العقدة الواحدة (مثل MySQL) OnlineDDL (لغة تعريف البيانات عبر الإنترنت) وأدوات الطرف الثالث (مثل pt-osc) لتمكين تغييرات مخططات خالية من القفل، ولكنها تواجه اختناقات الأداء وتعاني في البيئات الموزعة. تتعامل TDStore من "تينسينت كلاود" (Tencent Cloud)، وهي قاعدة بيانات موزعة من الدرجة المالية، مع هذه التحديات من خلال الابتكارات الرائدة:

الابتكارات التكنولوجية الأساسية

1. آلية مخططات متعددة الإصدارات

أ. يقدم تعدد إصدارات المخططات لتمكين تعديلات البيانات الوصفية فقط في ثوانٍ (على سبيل المثال، إضافة أعمدة متأخرة، توسيع الحقول). تقوم البيانات التاريخية بتعبئة القيم الافتراضية تلقائيًا، مما يضمن التوافق الخلفي.

2. مراقبة التزامن وحالات المعاملات

أ. قاعدة كتابة توماس: تقلل من تضارب المعاملات عن طريق تجاهل الكتابات القديمة، وتحسين التوازي على مستوى DDL-DML (لغة تعريف البيانات - لغة التلاعب في البيانات).

ب. تصميم بنظام F1 من Google للمرحلة/الحالة: يقسم DDL (لغة تعريف البيانات) إلى ثلاث مراحل (حذف فقط → كتابة فقط → نهائي) لضمان الاتساق العام والانتقالات السلسة.

3. آلية كتابة العزل

أ. تؤكد صحة إصدارات الطلب في طبقة التخزين، مما يسمح بالكتابة فقط بين الحالات المتجاورة للقضاء على مخاطر عدم الاتساق في البيانات.

4. معدل تسارع سريع باستخدام OnlineDDL

أ. إعادة التعبئة المتوازية الموزعة: تقسم البيانات إلى ملفات SST للاستيعاب المتوازي متعدد العقد عن طريق التحميل الضخم، وتجاوز مقارنات الطابع الزمني لتحقيق مكاسب أداء 13 ضعفًا (10 دقائق مقابل 2.3 ساعة).

الممارسات والتحسينات

1. مقارنة الأداء

أ. الوضع التقليدي (عقدة واحدة): استغرق 16 موضوعًا 2.3 ساعة.

ب. الوضع السريع (العقد المتعددة): تم الانتهاء من 48 موضوعًا في 10 دقائق، مما أظهر تحسينات كبيرة في الكفاءة.

2. تقسيم أفضل الممارسات

أ. جداول كبيرة: استخدام تقسيم HASH/KEY لتوزيع البيانات بالتساوي، مما يتيح تنفيذ DDL بالتوازي.

ب. فصل البارد / الساخن: دمج تقسيم ثانوي RANGE+HASH للتنظيف السريع والتوسع المرن.

ج. تزامن عالٍ: محاذاة مفاتيح القسم مع حقول الاستعلام المتكررة؛ تعيين عدد الأقسام كمضاعفات لأرقام العقدة.

3. تكوين المعلمة الرئيسية

أ. max_parallel_ddl_degree: زيادة الموضوعات المتوازية (≤ مجموع وحدات المعالجة المركزية للعقدة).

ب. tdsql_ddl_fillback_mode: تمكين وضع IngestBehind لفتح التسارع المتوازي متعدد العقد.

القيمة التجارية وخريطة طريق المستقبل

• حالات الاستخدام المصادق عليها: تحقيق وقت توقف صفري في الأنظمة المالية على نطاق بيتابايت، مع تنفيذ أسرع بعشرة أضعاف من أدوات الطرف الثالث.
• التحسينات القادمة:
  • تحسين الجدول المقسم لجدول النسخ وملء مؤشر للجدول العادي.
  • دعم أحمال العمل ذات الحجم الكبير (عشرات التيرابايت) والهندسة المعمارية الهجينة HTAP (معالجة المعاملات/التحليلات الهجينة).

الخاتمة

تتغلب TDStore على قيود OnlineDDL التقليدية من خلال ابتكارات الهندسة المعمارية الموزعة والممارسات الهندسية، مما يوفر قدرات لتغيير المخططات عالية الأداء وآمنة وسلسة للسيناريوهات من الدرجة المالية. فهي تمكن الشركات من معالجة تحديات البيانات الضخمة بفعالية.

#DistributedDatabase #TencentCloud #TencentDB #TDSQL #Tencent Cloud BigData

للتواصُل: Lisa ling، [email protected]