محترف معتمد في علم البيانات

الصورة الكبرى

الذكاء الاصطناعي (AI) هو الهدف العام لجعل الآلات تؤدي مهام تتطلب عادةً ذكاءً بشريًا. وتعلّم الآلة (ML) هو الطريق الأساسي لتحقيق ذلك اليوم: فبدلًا من كتابة القواعد يدويًا، نترك البرنامج يتعلّم الأنماط من البيانات. أما التعلّم العميق (DL) فهو فرع قوي من تعلّم الآلة يستخدم شبكات عصبية متعدّدة الطبقات. وعلم البيانات هو الحرفة الأوسع لتحويل البيانات الخام إلى قرارات — ويجمع بين الإحصاء والبرمجة وتعلّم الآلة معًا.

ثلاثة أنواع من تعلّم الآلة

• التعلّم المُوجَّه — لديك أمثلة موسومة (مدخل ← إجابة معروفة) ويتعلّم النموذج التنبّؤ بالإجابة. مثال: التنبّؤ بسعر منزل من خصائصه.
• التعلّم غير المُوجَّه — بلا وسوم؛ يكتشف النموذج البنية بنفسه، مثل تجميع العملاء المتشابهين (التجميع العنقودي).
• التعلّم المعزّز — يتعلّم الوكيل بالتجربة والمكافأة، مثل برنامج يتعلّم لعب لعبة.

سير عمل علم البيانات

تتبع كل المشاريع تقريبًا الحلقة نفسها. معرفتها تبقيك على المسار مهما زاد تعقيد المشكلة:

• ١. تحديد السؤال ومقياس النجاح مع أصحاب المصلحة.
• ٢. جمع البيانات وتخزينها (ملفات، قواعد بيانات، واجهات برمجية).
• ٣. تنظيفها واستكشافها (EDA) — فهم ما لديك فعلًا.
• ٤. تجهيز الخصائص وتقسيم البيانات إلى تدريب واختبار.
• ٥. تدريب النماذج وتقييمها وضبطها.
• ٦. نشر النموذج المختار ومراقبته في بيئة التشغيل.

أين تقع الأدوات

في هذا البرنامج ستستخدم Python كلغة، و SQL لجلب البيانات من قواعد البيانات، و NumPy/Pandas لاستكشافها، و Matplotlib/Plotly لتصويرها، و scikit-learn لبناء النماذج، و Streamlit لنشرها. وكل موضوع لاحق في هذا الدليل هو محطة على ذلك المسار.

لماذا Python

تُقرأ Python كأنها الإنجليزية تقريبًا، وتعمل في كل مكان، ولديها أغنى منظومة للبيانات (NumPy و Pandas و scikit-learn و TensorFlow). لست بحاجة لأن تكون مهندس برمجيات — بل إلى إتقان مجموعة مركّزة من اللبنات.

المتغيّرات وأنواع البيانات الأساسية

المتغيّر هو اسم يشير إلى قيمة، وتستنتج Python النوع تلقائيًا. الأنواع اليومية هي الأعداد (int و float)، والنص (str)، والقيم المنطقية (True/False)، والحاويات أدناه.

price = 250.0            # float
name  = "Cairo villa"    # str
is_sold = False          # bool

nums   = [1, 2, 3, 4]                 # list  — ordered, changeable
point  = (30.0, 31.2)                 # tuple — ordered, fixed
unique = {"cat", "dog"}               # set   — no duplicates
person = {"name": "Sara", "age": 29}  # dict  — key → value

التحكّم في التدفّق: القرارات والحلقات

تختار if/elif/else بين المسارات؛ وتكرّر حلقة for على مجموعة. والمسافة البادئة (٤ مسافات) هي طريقة Python لتجميع الكود — لا توجد أقواس.

for n in nums:
    if n % 2 == 0:
        print(n, "is even")
    else:
        print(n, "is odd")

الدوال — تغليف منطق تعيد استخدامه

تأخذ الدالة مدخلات، وتؤدي عملًا، وتُرجع نتيجة. وكتابة الدوال تُبقي التحليل نظيفًا وقابلًا للتكرار بدل نسخ الكود ولصقه.

def price_per_m2(price, area):
    """Return price per square meter."""
    return price / area

print(price_per_m2(250000, 120))   # 2083.33

الاختصارات والمكتبات

يبني الاختصار (list comprehension) قائمة جديدة في سطر واحد واضح — وهو أسلوب Python ستراه في كل مكان. و`import` تستدعي المكتبات: بهذه الطريقة تدخل NumPy و Pandas (المواضيع التالية) إلى دفترك.

squares = [n * n for n in range(5)]   # [0, 1, 4, 9, 16]

import pandas as pd
df = pd.read_csv("sales.csv")         # your data, one line away

الجداول والصفوف والأعمدة

تخزّن قاعدة البيانات العلائقية البيانات في جداول — شبكة من الصفوف (السجلّات) والأعمدة (الحقول). ولكل جدول عادةً مفتاح أساسي يميّز الصف تمييزًا فريدًا، وترتبط الجداول ببعضها عبر تلك المفاتيح. و MySQL هو المحرّك الذي ستستخدمه.

تشريح الاستعلام

قراءة البيانات جملة واحدة تُنفَّذ عباراتها دائمًا بترتيب منطقي ثابت. أتقِن هذا الهيكل وستقرأ أي استعلام تقريبًا.

SELECT   city, COUNT(*) AS deals, AVG(price) AS avg_price
FROM     sales
WHERE    year = 2025
GROUP BY city
HAVING   COUNT(*) > 10
ORDER BY avg_price DESC
LIMIT    5;

الدمج (JOIN) — ضمّ الجداول

غالبًا ما تكون البيانات التي تحتاجها موزّعة على جداول (العملاء، الطلبات، المنتجات). ويعيد الدمج (JOIN) ضمّها عبر مفتاح مشترك. INNER JOIN يُبقي المتطابقات فقط؛ و LEFT JOIN يُبقي كل صف من الجدول الأيسر حتى لو لم يوجد تطابق في الأيمن.

SELECT o.id, c.name, o.total
FROM   orders o
JOIN   customers c ON c.id = o.customer_id
WHERE  o.total > 1000;

التجميع حيث تكمن الرؤية

• COUNT و SUM و AVG و MIN و MAX تلخّص صفوفًا كثيرة في رقم واحد.
• GROUP BY يحسب تلك الملخّصات لكل فئة (لكل مدينة، لكل شهر).
• هذا النمط الواحد يجيب عن معظم أسئلة الأعمال: «ما متوسط/إجمالي X لكل Y؟»

الإحصاء الوصفي: المركز والتشتّت

أولًا، لخّص عمودًا. المركز هو المتوسط (mean) أو الوسيط (median — أكثر مناعة ضد القيم الشاذّة). والتشتّت هو الانحراف المعياري: الصغير يعني أن القيم قريبة من المتوسط؛ والكبير يعني تبعثرها. انظر دائمًا إلى الاثنين — فالمتوسط نفسه قد يُخفي بيانات مختلفة جدًا.

التوزيعات والمنحنى الطبيعي

يُظهر التوزيع عدد مرّات ظهور كل قيمة. ويظهر المنحنى الطبيعي (الجرسي) الشهير في كل مكان. وقاعدته التقريبية: نحو 68% من القيم تقع ضمن انحراف معياري واحد من المتوسط، و95% ضمن انحرافين، و99.7% ضمن ثلاثة. وهكذا تحكم إن كانت قيمة ما «غير معتادة».

الاحتمال في دقيقة

• الاحتمال يقيس مدى ترجيح وقوع حدث، من 0 (مستحيل) إلى 1 (مؤكّد).
• الاحتمال الشرطي P(A|B) — احتمال A بعد وقوع B — هو جوهر نماذج كثيرة (مثل مرشّحات البريد المزعج).
• الأحداث المستقلة تتضاعف: P(A and B) = P(A)·P(B) حين لا يؤثّر أحدها في الآخر.

الاستدلال: هل هذا النمط حقيقي؟

نادرًا ما تملك كل البيانات — بل عيّنة فقط. ويتيح الإحصاء الاستدلالي التعميم من العيّنة إلى المجتمع. ويسأل اختبار الفرضية: «لو لم يكن هناك أثر فعليًا، فما مدى غرابة ما رأيت؟» ويجيب القيمة الاحتمالية p: فقيمة p صغيرة (< 0.05 اصطلاحًا) تعني أن النتيجة يصعب أن تكون محض صدفة.

الارتباط ليس سببية

يقيس الارتباط مدى تحرّك متغيّرين معًا (من -1 إلى +1). وهو أساسي لاختيار الخصائص — لكن شيئين قد يرتبطان دون أن يُسبّب أحدهما الآخر (مبيعات الآيس كريم وحوادث الغرق يرتفعان معًا في الصيف). وإثبات السببية يتطلّب تجربة مضبوطة، لا مجرّد ارتباط.

المتّجهات والمصفوفات = بياناتك

المثال الواحد (منزل واحد: مساحته، غرفه، عمره) هو متّجه — قائمة أعداد. وبتكديس أمثلة كثيرة تحصل على مصفوفة: الصفوف أمثلة والأعمدة خصائص. وكل مجموعة بيانات تحمّلها في Pandas هي في جوهرها مصفوفة — ولهذا فالجبر الخطي هو لغة تعلّم الآلة.

الجداء النقطي — حصان العمل

اضرب متّجهين عنصرًا بعنصر واجمع النتائج: تلك العملية الواحدة هي كيف يمزج النموذج الخصائص بالأوزان ليصنع تنبّؤًا. فالنموذج الخطي هو حرفيًا الأوزان · الخصائص + الإزاحة.

import numpy as np
weights  = np.array([0.4, 0.3, -0.1])
features = np.array([120, 3, 15])       # size, rooms, age
prediction = weights @ features + 50    # @ is the dot product
# 0.4*120 + 0.3*3 + -0.1*15 + 50 = 97.4

المشتقّات = اتجاه التحسّن

تقيس المشتقّة كيف تتغيّر دالة عند تحريك مدخلها قليلًا — أي ميلها. في تعلّم الآلة، الدالة هي الخطأ، والمشتقّة (التدرّج) تشير صعودًا نحو خطأ أكبر. لذا نخطو في الاتجاه المعاكس لتقليله. هذا هو الانحدار التدرّجي: الخوارزمية الواحدة خلف تدريب النماذج الخطية والشبكات العصبية ومعظم التعلّم العميق.

NumPy و Pandas

تمنحك NumPy مصفوفات عددية سريعة؛ وتبني Pandas فوقها إطار البيانات (DataFrame) — جدولًا موسومًا (كجدول بيانات داخل الكود) هو مركز ثقل كل تحليل في Python. تحمّل البيانات في DataFrame وتعمل كل خطوة لاحقة عليه.

أول خمس حركات على أي مجموعة بيانات

هذه الأسطر الخمسة تجيب: ما حجمها، وما معنى الأعمدة، وما أنواعها، وأين الثغرات. ولا تنمذج أبدًا بيانات لم تنظر إليها أولًا بهذه الطريقة.

df.shape         # (rows, columns) — how big is it?
df.head()        # eyeball the first rows
df.info()        # column types + non-null counts
df.describe()    # mean/std/min/quartiles for numbers
df.isna().sum()  # how many missing values per column

الاختيار والترشيح والتجميع

الأفعال الثلاثة التي تستخدمها باستمرار: اختيار الأعمدة/الصفوف، والإبقاء على الصفوف التي تحقّق شرطًا، والتلخيص حسب الفئة. ونمط groupby يماثل GROUP BY في SQL.

df[["city", "price"]]                       # select columns
df[df["price"] > 1_000_000]                 # filter rows
df.groupby("city")["price"].mean()          # summarize per city

القيم المفقودة والشاذّة

• البيانات المفقودة: قرّر لكل عمود — احذف الصفوف، أو املأ (impute) بالمتوسط/الوسيط/المنوال، أو بقيمة من المجال. ولا تتجاهلها بصمت.
• القيم الشاذّة: قيم بعيدة عن البقية. أحيانًا أخطاء تُصحَّح، وأحيانًا أهمّ إشارة (احتيال!). تحقّق قبل الحذف.
• مخطّط الصندوق أو قاعدة المدى الرُّبيعي (1.5 × المدى بين الرُّبيعين) هي الطريقة المعيارية لتمييزها.

طابِق المخطّط مع السؤال

• المقارنة بين الفئات ← مخطّط أعمدة.
• الاتجاه عبر الزمن ← مخطّط خطّي.
• العلاقة بين رقمين ← مخطّط مبعثر.
• توزيع رقم واحد ← مدرّج تكراري أو مخطّط صندوقي.
• جزء من كل ← أعمدة مكدّسة (تجنّب المخطّطات الدائرية لأكثر من شرائح قليلة).

الأدوات

Matplotlib هي الأساس (تحكّم كامل)، و Seaborn يضيف مخطّطات إحصائية جميلة في سطر واحد، و Plotly يصنع مخطّطات تفاعلية يمكنك تحويم المؤشّر عليها وتكبيرها. ثم يحوّل Streamlit سكربتك إلى تطبيق ويب قابل للمشاركة — دون أي تطوير ويب.

import plotly.express as px
fig = px.scatter(df, x="area", y="price", color="city",
                 title="Price vs. area")
fig.show()

اجعله صادقًا وواضحًا

المخطّط الجيّد له عنوان واضح ومحاور موسومة، ويبدأ محور y من الصفر في مخطّطات الأعمدة (قطعه يبالغ في الفروق). أزل الفوضى؛ وأبرِز الشيء الوحيد الذي ينبغي أن يراه القارئ. فالتصوير حُجّة — اجعلها عادلة.

لماذا تحتاج النماذج خصائص نظيفة

لا تفهم الخوارزميات سوى الأرقام، ويفترض كثير منها أن الخصائص على مقاييس متقاربة وخالية من الثغرات. لكن البيانات الحقيقية نصوص وفئات وخلايا مفقودة ومديات متباينة جدًا. والمعالجة تسدّ هذه الفجوة — و«المدخل الرديء يعطي مخرجًا رديئًا» هي القانون الحديدي هنا.

ترميز الفئات

حوّل الفئات النصية إلى أرقام. الترميز أحادي التنشيط (one-hot) يصنع عمود 0/1 لكل فئة (الأفضل للفئات غير المرتّبة كالمدينة). والترميز الترتيبي يمنح ترتيبًا (مناسب لـ «صغير < وسط < كبير»).

قياس الخصائص العددية

إذا اجتمع «العمر» (0–100) و«الدخل» (0–1,000,000)، تظنّ النماذج القائمة على المسافة أن الدخل أهمّ بـ 10,000 مرّة لمجرّد مقياسه. والتقييس (طرح المتوسط والقسمة على الانحراف) أو قياس min-max (الضغط إلى 0–1) يضع الخصائص على قدم المساواة.

هندسة الخصائص: الحافة الإبداعية

الخطوة الأعلى قيمة: ابتكار خصائص جديدة تُبرز الإشارة. من تاريخ، اشتقّ يوم الأسبوع أو «هل هو عطلة»؛ ومن السعر والمساحة، اشتقّ السعر لكل متر مربّع. وخاصية مُهندَسة جيدًا قد تتفوّق على نموذج أعقد يعمل على مدخلات خام.

المُوجَّه: انحدار مقابل تصنيف

إن كانت الإجابة رقمًا (سعر، حرارة) فهو انحدار. وإن كانت فئة (مزعج/غير مزعج، أيّ من 3 فئات) فهو تصنيف. الفكرة نفسها — التعلّم من أمثلة موسومة — لكن المخرج مختلف والمقاييس مختلفة.

• الانحدار الخطي/اللوجستي — خطوط أساس بسيطة وسريعة وقابلة للتفسير.
• أشجار القرار والغابات العشوائية — تلتقط قواعد غير خطية؛ والغابات نماذج قوية متعدّدة الاستخدام.
• أقرب الجيران و SVM — يصنّفان بالتشابه أو بأفضل حدّ فاصل.

غير المُوجَّه: التجميع

بلا وسوم — يجمّع النموذج الصفوف المتشابهة. و k-means يقسّم البيانات إلى k عناقيد بإسناد النقاط تكرارًا إلى أقرب مركز ثم تحريك المراكز إلى المتوسط. يُستخدم لتقسيم العملاء وكشف الشذوذ والضغط.

تقسيم التدريب/الاختبار ومقايضة الانحياز–التباين

احتفظ دائمًا بمجموعة اختبار لا يتدرّب عليها النموذج أبدًا — فهي تقدّر الأداء في الواقع. نقص المطابقة (انحياز عالٍ) = بسيط جدًا، يفوّت النمط. وفرط المطابقة (تباين عالٍ) = يحفظ بيانات التدريب بضجيجها، ويفشل على الجديد. والهدف هو النقطة المثلى بينهما.

from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42)

model = RandomForestClassifier()
model.fit(X_train, y_train)          # learn
preds = model.predict(X_test)        # predict on unseen data

قيّم بصدق

• الانحدار: RMSE/MAE (متوسط حجم الخطأ)، و R² (نسبة التباين المفسَّر).
• التصنيف: الدقّة — لكن على البيانات غير المتوازنة استخدم الإحكام (precision) والاستدعاء (recall) و F1.
• مصفوفة الالتباس تُظهر بدقّة أيّ الفئات تختلط بأيّها.

احفظ النموذج، لا الدفتر فقط

التدريب والخدمة منفصلان. وبعد التدريب، تُسلسِل النموذج إلى ملف (joblib/pickle) ليحمّله أي برنامج ويتنبّأ دون إعادة تدريب. وهذا الأثر (artifact) هو ما تنشره.

import joblib
joblib.dump(model, "model.joblib")     # after training
# later, in the app:
model = joblib.load("model.joblib")
model.predict(new_data)

طريقتان لخدمته

• تطبيق ويب (Streamlit) — واجهة يُدخل فيها المستخدمون قيمًا ويرون التنبّؤات. أسرع طريقة لعرض القيمة.
• واجهة برمجية (Flask/FastAPI) — نقطة نهاية تستدعيها برمجيات أخرى للحصول على التنبّؤات برمجيًا. وهكذا تندمج النماذج في المنتجات الحقيقية.

لا ينتهي الأمر عند الإطلاق

العالم يتغيّر، فتنحرف دقّة النموذج الحيّ مع الوقت (انحراف البيانات). ويعني تعلّم الآلة في الإنتاج مراقبة التنبّؤات، وإعادة التدريب على بيانات جديدة، وإصدار نسخ للنماذج — وهو الانضباط المسمّى MLOps الذي يغطّيه البرنامج المتقدّم بعمق.