كيف تفهم الآلة الصور والصوت والنصوص؟ شرح مبسط للذكاء الاصطناعي متعدد الوسائط

قبل سنوات قليلة كان من السهل تقسيم أدوات الذكاء الاصطناعي إلى فئات منفصلة؛ أداة تتعامل مع النصوص، وأخرى تتعرف إلى الصور، وبرنامج يحول الكلام إلى كتابة، ونظام منفصل يحلل الفيديو. أما اليوم فقد أصبحت الحدود بين هذه المجالات أقل وضوحًا، لأن فئة جديدة من النماذج تستطيع استقبال النص والصورة والصوت والفيديو معًا، ثم الربط بينها داخل عملية واحدة. يمكنك مثلًا أن ترفع صورة لجهاز إلكتروني وتسأل: "ما هذا الجزء؟"، أو ترسل تسجيلًا صوتيًا وتطلب تلخيصه، أو تعرض صورة رسم بياني مع سؤال مكتوب وتطلب تفسير النتائج.

هذا النوع يسمى الذكاء الاصطناعي متعدد الوسائط Multimodal AI. وتشير وثائق Hugging Face الحديثة إلى أن النماذج متعددة الوسائط يمكنها معالجة مجموعات مختلفة من النصوص والصور والصوت والفيديو، بينما تتولى طبقات المعالجة تحويل كل نوع من المدخلات إلى الصيغة العددية التي يستطيع النموذج التعامل معها.

لكن السؤال المهم هو: كيف تستطيع آلة واحدة "رؤية" صورة و"سماع" صوت و"قراءة" نص، رغم أن هذه الأشياء تبدو مختلفة تمامًا بالنسبة إلينا؟ للإجابة عن ذلك يجب أن ننسى للحظة الصورة والصوت والكلمات كما يراها الإنسان، وننظر إليها بالطريقة التي تراها بها الشبكات العصبية: كل شيء في النهاية يتحول إلى أرقام وتمثيلات رياضية يمكن مقارنتها وربطها ببعضها.


كيف تفهم الآلة الصور والصوت والنصوص؟ شرح مبسط للذكاء الاصطناعي متعدد الوسائط
كيف تفهم الآلة الصور والصوت والنصوص؟ شرح مبسط للذكاء الاصطناعي متعدد الوسائط

ما المقصود بالذكاء الاصطناعي متعدد الوسائط؟

المقصود بالـMultimodal AI هو نظام قادر على التعامل مع أكثر من نوع من البيانات داخل المهمة نفسها. فالـModality تعني "نوع الوسيط" الذي يحمل المعلومة. النص وسيلة، والصورة وسيلة، والصوت وسيلة، والفيديو وسيلة أخرى.

النموذج النصي التقليدي قد يستقبل نصًا ويُخرج نصًا، بينما النظام متعدد الوسائط قد يستقبل صورة وسؤالًا مكتوبًا، أو ملفًا صوتيًا ونصًا، أو حتى فيديو وتعليمات، ثم ينتج نصًا أو صوتًا أو نوعًا آخر من المخرجات حسب تصميمه.

وثائق Hugging Face تصف النماذج الحديثة من نوع Any-to-Any بأنها نماذج تستطيع استقبال مجموعات مختلفة من النصوص والصور والصوت والفيديو، وقد تنتج مخرجات مختلفة أيضًا بدل أن تكون مقيدة بمسار واحد فقط.

لماذا يعتبر جمع الوسائط المختلفة خطوة مهمة؟

لأن العالم الحقيقي ليس نصيًا فقط. عندما يفهم الإنسان موقفًا معينًا، فهو لا يعتمد عادة على مصدر واحد؛ قد يستمع إلى صوت المتحدث، ويرى تعبير وجهه، ويقرأ النص المكتوب أمامه، وينظر إلى البيئة المحيطة. كل مصدر يضيف جزءًا من السياق.

وعندما يصبح نموذج الذكاء الاصطناعي قادرًا على دمج أكثر من نوع من المدخلات، فإنه يستطيع تنفيذ مهام كانت تحتاج في السابق عدة أنظمة منفصلة. يمكن لنظام واحد مثلًا أن يقرأ فاتورة مصورة، ويحدد الجدول الموجود فيها، ويفهم التعليمات المكتوبة، ثم يشرح لك الأرقام.

لكن هل النموذج يرى ويسمع مثل الإنسان؟

ليس بالمعنى الحرفي. الآلة لا ترى اللون الأحمر كما نراه، ولا تسمع النغمة بالطريقة الشعورية التي يسمعها الإنسان. ما يصل إلى النموذج هو تمثيل رياضي للصورة أو للصوت أو للنص، ثم تتعلم الشبكة العلاقات بين هذه التمثيلات.

وهذا هو المفتاح لفهم كل ما سيأتي بعد ذلك.

كيف يفهم الذكاء الاصطناعي النص؟

النص هو أسهل مكان للبدء، لأننا تحدثنا عنه في المقال السابق. عندما تكتب جملة، لا تدخل الجملة إلى النموذج باعتبارها كلمات ذات معنى مباشر، بل تُقسم عادة إلى وحدات صغيرة تسمى Tokens، ثم تتحول إلى أرقام ومتجهات تسمى Embeddings.

هذه المتجهات تسمح للنموذج بتمثيل العلاقات بين الكلمات والمفاهيم داخل فضاء رياضي كبير. بعد ذلك تستخدم بنية مثل Transformer وآلية Attention لربط أجزاء النص وفهم السياق.

النص يتحول من كلمات إلى تمثيل عددي

لو كتبت:

"قطة تجلس فوق طاولة"

فالنموذج لا يتعامل في النهاية مع أحرف "ق" و"ط" و"ة" كما نراها، وإنما مع تمثيلات عددية للكلمات أو أجزائها.

هذه التمثيلات تصبح لغة داخلية تستطيع الشبكة الرياضية التعامل معها.

وهذه الفكرة ستتكرر مع الصورة والصوت

الصورة أيضًا يجب أن تتحول إلى تمثيل عددي.

والصوت كذلك.

بمجرد وصول الأنواع المختلفة من البيانات إلى تمثيلات قابلة للمعالجة، يصبح من الممكن بناء طبقة مشتركة تربط بينها.

كيف "ترى" الآلة الصورة؟

الصورة الرقمية في الأصل ليست مشهدًا بالنسبة للكمبيوتر، بل شبكة ضخمة من القيم الرقمية. كل Pixel يحمل قيمًا تمثل اللون والسطوع، ولذلك فإن صورة صغيرة نسبيًا قد تحتوي مئات الآلاف أو ملايين القيم.

لكن تمرير كل هذه القيم الخام إلى نموذج لغوي كما هي ليس عمليًا عادة، ولذلك تستخدم النماذج Image Processor أو Vision Encoder لمعالجة الصورة وتحويلها إلى تمثيلات أكثر فائدة.

وثائق Hugging Face توضّح أن المعالج متعدد الوسائط قد يضم Tokenizer للنص وImage Processor للصورة وFeature Extractor للصوت، بحيث يُحوَّل كل نوع من البيانات إلى Tensor مناسب قبل إدخاله إلى النموذج.

تقسيم الصورة إلى أجزاء

في كثير من النماذج البصرية الحديثة، يمكن تقسيم الصورة إلى مناطق صغيرة تسمى أحيانًا Patches. بدل النظر إلى الصورة كاملة كوحدة واحدة، تتعامل الشبكة مع مجموعة من الأجزاء، ثم تبني تمثيلًا لكل جزء وتحاول ربطها ببعضها.

يمكن تقريب ذلك بتخيل صورة تحتوي سيارة تقف أمام منزل. جزء من الصورة يحتوي السيارة، وآخر يحتوي الباب، وآخر السماء، وآخر الطريق. لا يعني ذلك أن النموذج يعرف منذ البداية أن هذه المنطقة "سيارة"، وإنما يتعلم عبر التدريب الأنماط البصرية التي ترتبط بالأشياء والمفاهيم.

من Pixels إلى Features

في الطبقات الأولى قد تكون المعلومات بسيطة نسبيًا: حواف، ألوان، أشكال، اتجاهات. ومع تقدم المعالجة تظهر تمثيلات أكثر تعقيدًا تساعد على التعرف إلى الأجسام والعلاقات والمحتوى العام للمشهد.

كيف يعرف أن هذا الشكل قطة وليس كلبًا؟

لأنه أثناء التدريب شاهد أعدادًا كبيرة من الأمثلة التي تربط الأنماط البصرية بتسميات أو نصوص أو سياقات لغوية. تدريجيًا تتعلم الشبكة أن بعض الأنماط ترتبط بمفهوم "قطة"، وأخرى بمفهوم "كلب"، مع وجود احتمالية للخطأ بالطبع.

كيف يتحول محتوى الصورة إلى شيء يستطيع النموذج اللغوي استخدامه؟

هنا توجد إحدى أهم الأفكار في الذكاء الاصطناعي متعدد الوسائط. بعد معالجة الصورة، ينتج النظام مجموعة من Vision Embeddings أو التمثيلات البصرية. يجب بعد ذلك جعل هذه التمثيلات متوافقة مع الجزء اللغوي في النموذج.

يمكن استخدام طبقة تحويل أو Projector تربط فضاء الرؤية بفضاء يستطيع النموذج اللغوي التعامل معه. النتيجة هي أن الصورة تتحول عمليًا إلى مجموعة من الوحدات العددية التي يمكن إدخالها إلى السياق بجانب Tokens النص.

الصورة تصبح نوعًا من "الرموز" الداخلية

هذا لا يعني أنها تتحول حرفيًا إلى وصف نصي أولًا في جميع النماذج. في كثير من البنى، تُمرر التمثيلات البصرية نفسها إلى النموذج بطريقة تجعلها تتفاعل مع التمثيلات النصية.

وهنا يصبح ممكنًا أن ترفع صورة وتكتب:

"ما الشيء الموجود في أعلى يسار الصورة؟"

فيقوم Attention بربط كلمات السؤال بالتمثيلات القادمة من مناطق الصورة.

السؤال يحدد أين يجب أن ينظر النموذج

إذا سألت عن اللون، يركز النموذج على خصائص مختلفة عن تلك التي يحتاجها إذا سألته عن عدد الأشخاص أو العلاقة بين جسمين.

وهذا يشبه إلى حد ما طريقة توجيه الانتباه البشري، وإن كانت العملية الرياضية مختلفة جذريًا.

كيف يسمع الذكاء الاصطناعي الصوت؟

الصوت الرقمي هو موجة يتم أخذ عينات منها مرات كثيرة في الثانية. كل عينة تمثل قيمة رقمية مرتبطة بشدة الإشارة في تلك اللحظة.

ولذلك فالملف الصوتي الذي تسمعه كموسيقى أو كلام هو بالنسبة للكمبيوتر سلسلة طويلة جدًا من الأرقام.

Sampling Rate هو الخطوة الأولى لفهم الصوت

مصطلح Sampling Rate يعني عدد العينات الصوتية التي يتم تسجيلها في الثانية. بعض نماذج معالجة الكلام تتوقع معدلًا محددًا، مثل 16 كيلو هرتز، ولذلك يجب أحيانًا إعادة أخذ العينات قبل تمرير الصوت إلى النموذج.

وثائق Hugging Face تشير بوضوح إلى أن معالجات الصوت تحتاج إلى استقبال مصفوفة الإشارة الصوتية بمعدل Sampling Rate مناسب للنموذج المستخدم، ثم تحويلها إلى Features قابلة للمعالجة.

هل النموذج يتعامل مع الموجة الخام دائمًا؟

ليس بالضرورة. بعض النماذج تستخدم الموجة مباشرة بدرجات مختلفة، بينما تحوّل أنظمة أخرى الصوت إلى تمثيلات زمنية وترددية تساعد على اكتشاف الأنماط.

من الطرق المعروفة تصور الصوت على هيئة Spectrogram، وهو تمثيل يوضح كيف تتغير الترددات عبر الزمن. بالنسبة للنموذج، يمكن أن يصبح هذا التمثيل غنيًا جدًا بالمعلومات المتعلقة بالكلام والنغمات والضوضاء.

كيف يعرف أن شخصًا قال كلمة معينة؟

يتعلم النموذج أن أنماطًا محددة من التغيرات الصوتية ترتبط بوحدات لغوية معينة. ومع التدريب على الكلام والنصوص المرافقة له، يمكن بناء نظام قادر على تحويل الصوت إلى تمثيل لغوي أو حتى التعامل معه مباشرة داخل نموذج متعدد الوسائط.

ما الفرق بين التعرف إلى الكلام وفهم الصوت؟

هذه نقطة مهمة. تحويل الكلام إلى نص Speech-to-Text ليس الشيء نفسه تمامًا كفهم الصوت.

قد يستطيع نموذج نسخ الجملة التي قالها المتحدث، لكنه لا يدرك بالضرورة كل جوانب التسجيل الأخرى. أما نموذج صوتي أوسع فقد يتعامل أيضًا مع أصوات البيئة أو الموسيقى أو النبرة أو الأحداث الصوتية.

مثال بسيط

لو أرسلت ملفًا يحتوي:

صوت أمطار، ثم شخص يقول: "أعتقد أن العاصفة تقترب."

قد يستطيع النظام متعدد الوسائط التقاط وجود المطر إلى جانب محتوى الكلام، بدل التعامل مع التسجيل كسلسلة كلمات فقط.

كيف تُجمع الصورة والصوت والنص داخل نموذج واحد؟

هذه هي النقطة التي تجعل Multimodal AI مثيرًا للاهتمام. لكل وسيط في البداية معالجة مختلفة، لأن صورة JPEG لا تشبه ملف WAV ولا تشبه جملة نصية. لكن بعد المرور بمرحلة Encoding أو Processing، تتحول هذه المدخلات إلى تمثيلات عددية يمكن ربطها داخل النموذج.

Hugging Face تصف الـProcessor متعدد الوسائط بأنه مكوّن يجمع Tokenizer مع Image Processor أو Video Processor أو Feature Extractor للصوت، ثم يدمج الناتج في صيغة واحدة يستطيع النموذج استقبالها.

فكر فيها كأنها مترجمات متعددة إلى لغة رياضية مشتركة

النص لديه مترجمه.

الصورة لديها مترجمها.

الصوت لديه مترجمه.

كل واحد يحول نوع البيانات إلى تمثيلات يفهمها الجزء المركزي من النموذج.

بعد ذلك يمكن لـAttention أو طبقات دمج أخرى معرفة العلاقة بين التمثيلات.

وهنا يحدث الربط الحقيقي

إذا ظهرت سيارة في الصورة وقلت في الصوت: "ما لون هذه السيارة؟"، يحتاج النظام إلى ربط كلمة "السيارة" الموجودة في الصوت بالجسم المناسب داخل الصورة ثم استخراج خاصية اللون منه.

هذا مثال واضح على أن المهمة ليست مجرد تشغيل ثلاثة نماذج مستقلة، بل ربط المعلومات بين الوسائط.

ما معنى Cross-Modal Attention؟

في بعض البنى توجد آليات تسمح لتمثيلات وسيط معين بالانتباه إلى تمثيلات وسيط آخر. وهذا ما يمكن وصفه بصورة مبسطة بـCross-Modal Attention.

النص قد ينتبه إلى الصورة، أو التمثيل الناتج من الصوت قد يؤثر في التفسير اللغوي، حسب التصميم المستخدم.

مثال عملي على الربط بين النص والصورة

ترفع صورة لثلاث سيارات وتكتب:

"أي واحدة على اليمين تبدو كهربائية؟"

النموذج يحتاج أولًا إلى فهم كلمة "اليمين"، ثم تحديد الأجسام الموجودة في الصورة، ثم الربط بين الوصف والموقع، وبعدها تحليل الخصائص البصرية التي يمكن أن تساعد في الإجابة.

هذه ليست عملية تعرف بصري فقط، بل فهم سؤال + تحديد موقع + تحليل صورة + توليد جواب.

كيف يتعامل النموذج مع الفيديو؟

الفيديو يضيف تحديًا آخر لأنه ليس صورة واحدة، بل سلسلة من الصور عبر الزمن، وغالبًا معها صوت أيضًا.

لو كان الفيديو 30 إطارًا في الثانية ومدته عشر دقائق، فإن تمرير جميع الإطارات بدقتها الكاملة قد يتطلب كمًا هائلًا من الحوسبة.

لذلك قد يتم أخذ عينات من الإطارات

بعض الأنظمة تختار عددًا من Frames بدل معالجة كل إطار. وثائق Hugging Face تشير إلى أن نماذج الفيديو قد تستخدم Frame Sampling، وأن عدد الإطارات يجب أن يتوافق مع قدرة النموذج وموارد الحوسبة المتاحة.

لماذا الزمن مهم في الفيديو؟

لأن صورتين منفصلتين لا تخبرانك دائمًا بما حدث بينهما. فهم الفيديو يحتاج إلى معرفة التسلسل: من تحرك أولًا؟ هل الكرة دخلت المرمى؟ هل الشخص فتح الباب أم أغلقه؟

إذن النموذج يحتاج إلى تمثيل المكان والزمن معًا.

هل كل النماذج متعددة الوسائط تعمل بالطريقة نفسها؟

لا، وهذه نقطة يجب عدم تبسيطها أكثر من اللازم. هناك عدة تصاميم معمارية.

بعض النماذج تستخدم Encoder مستقلًا لكل وسيط ثم تحول المخرجات إلى فضاء مشترك، وبعضها يستخدم Adapters أو Projectors، وهناك نماذج أكثر توحيدًا تتعامل مع مجموعة واسعة من المدخلات داخل بنية مشتركة.

وثائق Phi-4 Multimodal مثلًا تصف نموذجًا يتعامل مع النص والصورة والصوت ويوجه المدخلات إلى Encoders مناسبة قبل دمجها مع النموذج المركزي.

إذن كلمة Multimodal تصف القدرة أكثر مما تصف معمارية واحدة

نموذجان قد يكونان كلاهما متعددَي الوسائط، لكن طريقة دمج الصورة والصوت والنص داخلهما قد تختلف كثيرًا.

كيف يتعلم النموذج أن الصورة والنص يتحدثان عن الشيء نفسه؟

هذا يحدث خلال التدريب باستخدام بيانات تجمع أكثر من وسيط. على سبيل المثال، صور مرتبطة بأوصاف نصية، أو صوت مرتبط بنصه المكتوب، أو فيديو مرتبط بتعليق وتفاصيل.

عندما يرى النموذج ملايين الأمثلة من هذا النوع، يبدأ في تعلم أن بعض الأنماط البصرية ترتبط بمفاهيم لغوية، وأن بعض الأنماط الصوتية ترتبط بكلمات أو أحداث.

مثال: صورة قطة والنص "قطة بيضاء"

إذا تكررت العلاقات بين صور القطط والكلمات المرتبطة بها عبر بيانات كثيرة، يتعلم النموذج تقاربًا بين التمثيل البصري لهذه الأنماط وتمثيل مفهوم "قطة".

وبالمثل، إذا كان هناك تسجيل صوتي لكلمة معينة مصحوبًا بنصها، يستطيع النظام تعلم العلاقة بين الإشارة الصوتية والوحدة اللغوية.

هل النموذج يحول كل صورة إلى وصف نصي أولًا؟

ليس بالضرورة. بعض الأنظمة قد تستخدم مراحل وسيطة تبدو قريبة من الوصف، لكن النماذج الحديثة تستطيع دمج Vision Embeddings مع الجزء اللغوي مباشرة.

وهذا مهم لأنه يسمح بالاحتفاظ بتفاصيل قد تضيع لو اضطررنا إلى اختزال الصورة كلها في جملة واحدة.

الوصف النصي لا يستطيع تمثيل كل شيء في الصورة

صورة واحدة قد تحتوي عشرات الأشياء والعلاقات والمواقع والألوان والأرقام. إذا كتبنا وصفًا عامًا فقط، قد نفقد التفاصيل التي يحتاجها سؤال لاحق.

أما الاحتفاظ بالتمثيلات البصرية في السياق فيعطي النموذج فرصة أفضل للوصول إلى التفاصيل عند الحاجة.

لماذا قد يخطئ النموذج في قراءة صورة واضحة بالنسبة لك؟

لأن الرؤية الآلية ليست نسخة مثالية من الرؤية البشرية. قد تكون الصورة صغيرة، أو النص داخلها دقيقًا جدًا، أو الجسم محجوبًا، أو الزاوية غريبة، أو النموذج لم يتعلم ذلك النمط بدرجة كافية.

الدقة البصرية تعتمد على عدة عوامل

من بينها دقة الصورة، حجم العناصر، طريقة المعالجة، بيانات التدريب، وقدرات النموذج نفسه. كما أن الصور التي تحتوي جداول ورسومات صغيرة أو نصوصًا كثيرة قد تكون أصعب من صورة تحتوي جسمًا واضحًا في المنتصف.

إذن لا تعتمد على الرؤية الآلية وحدها في القرارات الحساسة

إذا كان الأمر يتعلق بتقرير طبي، وثيقة قانونية، مبلغ مالي أو تفصيلة أمنية، ينبغي التحقق البشري واستخدام مصادر موثوقة.

ولماذا يخطئ في الصوت؟

قد يكون التسجيل مليئًا بالضوضاء، أو الكلام سريعًا، أو عدة أشخاص يتحدثون معًا، أو اللهجة غير مألوفة بدرجة كافية، أو الميكروفون ضعيفًا.

كل هذه العوامل تؤثر في التمثيل الذي يصل إلى النموذج.

الصوت الرديء يعني معلومات أقل وضوحًا

النموذج لا يستطيع دائمًا استعادة ما لم يُسجل أصلًا بوضوح.

ويمكن أن "يخمن" محتوى غير واضح، وهو أمر يجب الانتباه إليه عند التعامل مع النسخ الصوتي.

ما الفرق بين النموذج متعدد الوسائط ونظام من عدة نماذج منفصلة؟

يمكن بناء تطبيق يرسل الصورة إلى نموذج رؤية، والصوت إلى نموذج Speech-to-Text، ثم يرسل النتائج النصية إلى نموذج لغوي. هذا نظام متعدد المكونات، وقد يعمل جيدًا.

لكن النماذج متعددة الوسائط الحديثة تهدف إلى جعل الترابط بين الوسائط أكثر مباشرة.

لماذا الدمج المباشر مفيد؟

لأنه يقلل فقدان المعلومات بين المراحل. فبدل تحويل كل شيء إلى نص ثم محاولة فهمه، يمكن للنموذج الاحتفاظ بتمثيلات أكثر ثراءً للصورة والصوت.

أين نستخدم الذكاء الاصطناعي متعدد الوسائط عمليًا؟

تطبيقاته أوسع بكثير من مجرد وصف الصور. يمكن استخدامه لفهم المستندات، تحليل الرسومات، التعامل مع التسجيلات، دعم التعليم، مساعدة الفنيين، تحليل واجهات التطبيقات، أو بناء مساعدين يتفاعلون مع العالم المحيط.

ومن أمثلة الاستخدامات العملية:

  • رفع صورة لخطأ يظهر على شاشة الكمبيوتر وطلب شرح سبب المشكلة.

  • إرسال تسجيل اجتماع للحصول على تلخيص ونقاط تنفيذية.

  • تحليل رسم بياني وشرح الاتجاهات الموجودة فيه.

  • قراءة فاتورة مصورة واستخراج الحقول الأساسية.

  • مشاهدة مقاطع من فيديو والإجابة عن أسئلة حول ما حدث.

وهذه مجرد أمثلة؛ القوة الحقيقية تأتي عندما يتم دمج أكثر من وسيط داخل المهمة نفسها.

مثال كامل: صورة جهاز مع سؤال صوتي

تخيل أنك تمسك جهاز راوتر لا تعرف وظيفة أحد المنافذ فيه. تلتقط صورة للجهاز وتقول بصوتك:

"ما وظيفة هذا المنفذ الأزرق الموجود في الخلف؟"

ماذا يحدث داخل النظام؟

الصورة تمر عبر Image Processor أو Vision Encoder، وتتحول مناطقها إلى تمثيلات بصرية. الصوت يمر عبر Audio Processor فيتحول إلى Features أو تمثيل لغوي مناسب. بعد ذلك يجمع النظام السؤال والصورة في سياق واحد، ويربط عبارة "المنفذ الأزرق" بالموقع الصحيح داخل الصورة، ثم يستخدم المعرفة التي تعلمها لتفسير وظيفة المنفذ، ويولد الإجابة في صورة نص أو صوت.

هذه العملية توضح معنى Multimodal فعلًا

لم يعد السؤال نصًا منفصلًا عن الصورة، بل كل وسيط يساعد في تفسير الآخر.

كيف يستطيع النموذج إخراج صوت أو صورة أيضًا؟

حتى الآن تحدثنا كثيرًا عن مدخلات متعددة ومخرج نصي، لكن بعض النماذج الحديثة تدعم مخرجات متعددة أيضًا. وتشير وثائق Hugging Face الخاصة بـAny-to-Any إلى أن بعض النماذج تستطيع قبول مجموعات مختلفة من الوسائط وإنتاج نص أو صوت أو صور حسب قدراتها.

الفكرة العامة تبقى مشابهة ولكن في الاتجاه العكسي؛ النموذج يبني تمثيلًا داخليًا للنتيجة ثم يستخدم Decoder أو نموذج توليد متخصصًا لتحويل هذا التمثيل إلى صوت أو صورة أو بيانات أخرى.

هل يعني ذلك أننا نقترب من ذكاء يفهم العالم مثل الإنسان؟

قدرات النماذج أصبحت أوسع بكثير، لكن يجب الحذر من تشبيهها بالإنسان بشكل مباشر. النموذج يستطيع ربط أنماط بصرية وصوتية ولغوية بدرجة مدهشة، لكنه يظل نظامًا حسابيًا قد يرتكب أخطاء غير متوقعة.

القدرة على ربط الوسائط لا تعني فهمًا بشريًا كاملًا

قد يصف النموذج المشهد بدقة ثم يفشل في تفصيل بسيط، أو ينسخ التسجيل بشكل ممتاز لكنه يسيء تفسير النية، أو يتعرف إلى الأشياء لكنه يخطئ في علاقة مكانية بينها.

وهذه الفجوة مهمة جدًا عند الاعتماد على النماذج في الاستخدامات العملية.

لماذا يمثل Multimodal AI مستقبل المساعدات الرقمية؟

لأن المستخدم لا يريد دائمًا وصف المشكلة بالكلمات. أحيانًا الأسهل أن تصوّرها. وأحيانًا تتحدث بدل الكتابة. وأحيانًا تريد للنظام أن ينظر إلى الشاشة أو مستند أو مقطع فيديو.

OpenAI تصف Multimodality بأنها قدرة النموذج على فهم أو توليد المحتوى عبر أنواع مثل النصوص والصور والصوت والفيديو، وهو الاتجاه الذي يجعل التفاعل مع النماذج أقرب إلى الطريقة الطبيعية التي يتعامل بها البشر مع المعلومات.

الواجهة المستقبلية قد تكون أقل اعتمادًا على الكتابة

بدل أن تكتب وصفًا طويلًا لخطأ على الشاشة، قد تعرضه مباشرة. وبدل كتابة ملاحظات الاجتماع، قد يسجل النظام الصوت ويستخلص المطلوب. وبدل وصف منتج، قد ترفع صورته وتسأل عنه.

هذا لا يلغي النص، بل يجعله واحدًا من عدة قنوات للمعلومة.

الخلاصة: الصور والصوت والنص تختلف لنا، لكنها تتحول داخل الآلة إلى تمثيلات يمكن ربطها

السر في الذكاء الاصطناعي متعدد الوسائط ليس أن الكمبيوتر اكتسب عينًا وأذنًا مثل الإنسان، بل أن الباحثين طوروا طرقًا لتحويل أنواع مختلفة من البيانات إلى تمثيلات عددية تستطيع الشبكات العصبية التعامل معها وربطها ببعضها.

النص يتحول إلى Tokens وEmbeddings، والصورة تتحول من Pixels إلى Features أو Vision Embeddings، والصوت يتحول من موجة رقمية إلى Features أو تمثيلات صوتية، بينما تحتاج الفيديوهات إلى تمثيل الصور عبر الزمن وربطها بالصوت أو النص عند وجودهما. وتوضح وثائق Hugging Face أن الـProcessors الحديثة تجمع Tokenizers ومعالجات الصور والصوت والفيديو لتقديم هذه الأنواع المختلفة للنموذج في صيغة موحدة.

بعد ذلك تأتي المرحلة الأهم: دمج التمثيلات. هنا يستطيع النموذج ربط السؤال المكتوب بالشيء الموجود في الصورة، أو ربط الكلام المسجل بالمشهد المرئي، أو استخدام أكثر من مصدر للوصول إلى جواب واحد. وبعض النماذج الحديثة تجاوزت حتى فكرة "مدخلات متعددة ومخرج نصي" إلى نماذج Any-to-Any يمكنها التعامل مع أنواع متعددة من المدخلات والمخرجات.

ولهذا عندما ترسل صورة وتسأل عنها، أو ترفع تسجيلًا وتطلب تلخيصه، لا توجد عملية سحرية داخل النظام. هناك سلسلة متدرجة تبدأ بتحويل كل وسيط إلى أرقام، ثم ضغط هذه الأرقام إلى تمثيلات ذات معنى للنموذج، ثم ربطها داخل شبكة عصبية، وأخيرًا استخدام السياق المشترك لتوليد النتيجة.

ومن هنا يمكن تلخيص الفكرة في جملة واحدة: الآلة لا تحتاج إلى أن ترى وتسمع بالطريقة التي نرى ونسمع بها؛ يكفي أن تتعلم تمثيل العلاقات الموجودة في الصور والصوت والنص داخل لغة رياضية مشتركة تستطيع استخدامها للاستدلال والتوليد.

ومع تطور هذه النماذج، سيصبح التعامل مع الذكاء الاصطناعي أقل اعتمادًا على كتابة Prompt طويل، وأكثر اعتمادًا على الطريقة الطبيعية التي نتعامل بها مع العالم: نريه ما نراه، ونسمعه ما نسمعه، ونخبره بالكلمات عما نريد فهمه.



إرسال تعليق

0 تعليقات