متصل
فهرسة المواقع و الموضوعات علي محركات البحث
فهرسة المواقع و الموضوعات علي محركات البحث
لطالما كنت أتسائل عند دخول هذه القائمة في المنتدي للإطلاع علي الزوار و الموضوعات التي يهتمون بها
و ما يشاهدونه من موضوعات
لمعرفة توجه الزوار
فيما يظهر أيضا أعضاء المنتدي
كنت أري مثل هذه القائمة
و بها بعض الأسماء الغريبة و هي ليست عضويات في المنتدي
روبوت Ahrefs علي سبيل المثال
دخلت إلي الموقع و ترجمته وجدت الإفادة
الموضوع
أداة
Powers Ahrefs
لمراجعة الموقع. يمكن لمستخدمي Ahrefs استخدام Site Audit
لتحليل مواقع الويب والعثور على كل من مشكلات
تحسين محركات البحث التقنية
وتحسين محركات البحث على الصفحة.
شريك الفهرس الآن
نعم - محرك البحث الذي طورته Ahrefs -
هو مشارك رسمي في بروتوكول IndexNow ،
إلى جانب محركات البحث الرئيسية الأخرى.
نحن نساعد مالكي مواقع الويب على إخطارنا على الفور عند تحديث المحتوى ، مما يضمن فهرسة أكثر دقة وفي الوقت المناسب.
هو مشارك رسمي في بروتوكول IndexNow ،
إلى جانب محركات البحث الرئيسية الأخرى.
نحن نساعد مالكي مواقع الويب على إخطارنا على الفور عند تحديث المحتوى ، مما يضمن فهرسة أكثر دقة وفي الوقت المناسب.
قوائم التحقق والملكية الفكرية
عناوين IP
نحن نزحف من نطاقات IP المنشورة علنا. يمكنك سحب عناوين IP الخاصة بنا كنطاقات IP أو عناوين IP الفردية. يمكنك العثور على معلومات حول كيفية إدراج عناوين IP الخاصة بنا في مقالة المساعدة.
عكس DNS
لاحق DNS العكسي لاسم مضيف عناوين IP هو دائمًا ahrefs.com أو ahrefs.net.
حالة الموقع
يمكنك التحقق من حالة موقع الويب الخاص بك كما هو موضح من خلال روبوتاتنا وما إذا كان يمكن الزحف إليها
فوائد لأصحاب المواقع
تقوم AhrefsBot بفهرسة معلومات جديدة ودقيقة حول مواقع الويب ومحتواها ، وكيفية ارتباطها ببعضها البعض. هذه البيانات مفيدة بشكل لا يصدق ويمكن تسخيرها بطرق عديدة:
- تعمل AhrefsBot على تشغيل Yep - محرك بحث مستقل يركز على الخصوصية. يساعد تضمينك في فهرس Yep مالكي المواقع في الوصول إلى جمهور جديد.
- AhrefsBot يغذي البيانات في مجموعة أدوات Ahrefs. يمكن لمالكي مواقع الويب إنشاء حساب مجاني لمشرفي المواقع في Ahrefs والتحقق من ملكية النطاق لفتح تحليلات الموقع ، بما في ذلك الوصول إلى بيانات الروابط الخلفية المتعمقة ومقاييس أداء موقع الويب ومراقبة تغيير المحتوى. كما يقدم Ahrefs مجموعة من أدوات تحسين محركات البحث المجانية التي يمكن لأي شخص استخدامها دون إنشاء حساب.
- AhrefsSiteAudit يزودنا بأداة تدقيق الموقع. يتحقق تدقيق الموقع من مواقع الويب بحثًا عن المشكلات الفنية وعلى الصفحة مثل الروابط المعطلة والأداء البطيء وسوء التكوين الأمني ومزالق تحسين محركات البحث. من خلال الزحف وتقديم الصفحات ، نساعد في تحديد التحسينات التي يمكن أن تعزز الرؤية وسرعة التحميل وتجربة المستخدم بشكل عام. كما يوفر Ahrefs خيار تشغيل Site Audit مجانًا على مواقع الويب التي تم التحقق منها ، مما يساعد مالكي المواقع على اكتشاف المشكلات الفنية وإصلاحها ، كل ذلك دون تكبد أي رسوم
السياسات والالتزامات
طاعة Robots.txt
كلا الروبوتين يحترمون بدقة robots.txt على كل من عدم السماح ويسمح القواعد، فضلا عن توجيهات الزحف تأخير. يمكن فقط لمالكي المواقع الذين تم التحقق منهم السماح لـ AhrefsSiteAudit crager بعصيان robots.txt على موقعهم حتى يتمكنوا من التحقق من وجود مشكلات في أقسام الموقع التي عادة ما لا يُسمح بها للزحف.
يتم اتباع تأخير الزحف بدقة عند طلب صفحات HTML ، مما يضمن أننا لا نتجاوز حدود المعدل المحددة. ومع ذلك، لا يمكن اتباعه عند تقديم جافا سكريبت. عندما تقوم برامج الروبوت الخاصة بنا بعرض صفحة ، فقد تطلب أصولًا متعددة (على سبيل المثال ، الصور والبرامج النصية وأوراق الأنماط) في وقت واحد ، مما قد يؤدي إلى ظهور طلبات أكثر تكرارًا في سجلات الخادم مما يسمح به إعداد تأخير الزحف. يحاكي هذا السلوك تجربة المستخدم الحقيقية ، حيث تتطلب صفحات الويب الحديثة غالبًا موارد متعددة ليتم تحميلها في وقت واحد للعرض والوظيفة المناسبة.
يتم اتباع تأخير الزحف بدقة عند طلب صفحات HTML ، مما يضمن أننا لا نتجاوز حدود المعدل المحددة. ومع ذلك، لا يمكن اتباعه عند تقديم جافا سكريبت. عندما تقوم برامج الروبوت الخاصة بنا بعرض صفحة ، فقد تطلب أصولًا متعددة (على سبيل المثال ، الصور والبرامج النصية وأوراق الأنماط) في وقت واحد ، مما قد يؤدي إلى ظهور طلبات أكثر تكرارًا في سجلات الخادم مما يسمح به إعداد تأخير الزحف. يحاكي هذا السلوك تجربة المستخدم الحقيقية ، حيث تتطلب صفحات الويب الحديثة غالبًا موارد متعددة ليتم تحميلها في وقت واحد للعرض والوظيفة المناسبة.
ذاكرة التخزين المؤقت
أثناء الزحف ، نقوم بتخزين الملفات المطلوبة بشكل متكرر (الصور ، CSS ، JS) لتقليل الجلب المتكرر ، مما يقلل من استهلاك عرض النطاق الترددي وحمل الخادم.
إدارة الحمل
إذا واجهنا رموز حالة غير 200 ، خاصة أخطاء 4xx أو 5xx ، فإننا نقلل تلقائيًا من سرعة الزحف إلى هذا الموقع. وهذا يضمن الحد الأدنى من الضغط على المواقع التي قد تشهد انقطاعات أو تحميل خادم مرتفع.
الممارسات الشفافة
نحن نفهم أن مزودي الاستضافة و CDNs ومنصات CMS قد يرغبون في إدارة كيفية تفاعل البوتات مع مواقع عملائهم. تتيح لك عناوين IP المتاحة للجمهور وسلاسل وكيل المستخدم لك أو لمقدمي الخدمة الخاص بك التحقق بسرعة من حركة المرور المشروعة لـ Ahrefs. نحن ملتزمون بالشفافية بشأن أنشطتنا الزاحفة لتعزيز الثقة والتعاون. إذا كان لديك أي مخاوف ، فتواصل مع [email protected] وسنبذل قصارى جهدنا للمساعدة.
التحكم في سلوك البوتات
نحن نقدم خيارات واضحة وسهلة الاستخدام للتحكم في روبوتاتنا:
عبر Robots.txt
لتغيير التردد الذي يزور فيه AhrefsBot أو AhrefsSiteAudit موقعك ، ما عليك سوى تحديد الحد الأدنى من التأخير المقبول بين طلبين متتاليين في ملف robots.txt الخاص بك:
وكيل المستخدم: AhrefsBotالزحف-التأخير: [قيمة]
(حيث قيمة الزحف والتأخير هي الوقت في ثوان.)
إذا كنت ترغب في منع AhrefsBot أو AhrefsSiteAudit من زيارة موقعك أو قسم منه ، فاستخدم Disallowتوجيهات Disallow:
وكيل المستخدم: AhrefsBotعدم السماح: / المسار إلى عدم السماح/
يرجى ملاحظة أن AhrefsBot قد تحتاج إلى بعض الوقت لالتقاط التغييرات في ملف robots.txt الخاص بك. يتم ذلك قبل الزحف المجدول التالي. يمكن لمالكي المواقع الذين تم التحقق منهم السماح لـ AhrefsSiteAudit cravert بعصيان robots.txt على موقعهم حتى يتمكنوا من التحقق من وجود مشكلات في أقسام الموقع التي عادة ما لا يُسمح بها للزحف.
أيضًا ، إذا كان robots.txt يحتوي على أخطاء ، فلن تتمكن روبوتاتنا من التعرف على أوامرك وستواصل الزحف إلى موقع الويب الخاص بك بالطريقة التي فعلتها من قبل. اقرأ المزيد عن robots.txt على www.robotstxt.org.
وكيل المستخدم: AhrefsBotالزحف-التأخير: [قيمة]
(حيث قيمة الزحف والتأخير هي الوقت في ثوان.)
إذا كنت ترغب في منع AhrefsBot أو AhrefsSiteAudit من زيارة موقعك أو قسم منه ، فاستخدم Disallowتوجيهات Disallow:
وكيل المستخدم: AhrefsBotعدم السماح: / المسار إلى عدم السماح/
يرجى ملاحظة أن AhrefsBot قد تحتاج إلى بعض الوقت لالتقاط التغييرات في ملف robots.txt الخاص بك. يتم ذلك قبل الزحف المجدول التالي. يمكن لمالكي المواقع الذين تم التحقق منهم السماح لـ AhrefsSiteAudit cravert بعصيان robots.txt على موقعهم حتى يتمكنوا من التحقق من وجود مشكلات في أقسام الموقع التي عادة ما لا يُسمح بها للزحف.
أيضًا ، إذا كان robots.txt يحتوي على أخطاء ، فلن تتمكن روبوتاتنا من التعرف على أوامرك وستواصل الزحف إلى موقع الويب الخاص بك بالطريقة التي فعلتها من قبل. اقرأ المزيد عن robots.txt على www.robotstxt.org.
إرجاع رموز الحالة غير 200 لتقليل سرعة الزحف
يمكنك تقليل سرعة الزحف AhrefsBot مؤقتًا. قد يكون مفيدًا في حالات انقطاع التيار الكهربائي أو تغييرات البنية التحتية عند تقليل التحميل على الموقع. يمكن تقليل معدل الزحف مؤقتًا عن طريق إرجاع رموز حالة HTTP 4xx أو 5xx طوال مدة انقطاع التشغيل أو نافذة الصيانة. سيقوم bot لدينا بالكشف عن هذه الأخطاء والتراجع تلقائيًا.
ضبط إعدادات السرعة في تدقيق الموقع
يمنع bot AhrefsSiteAudit التحميل المفرط على خوادم موقع الويب عن طريق الحد من الزحف إلى 30 عنوان URL لكل دقيقة كحد أقصى. إذا كنت مالك موقع ويب ، فيمكنك الزحف إلى مواقعك بسرعات أعلى إذا كنت تريد أن يتم إعلامك بمشكلات الموقع بشكل أسرع. للقيام بذلك ، ستحتاج إلى التحقق من الملكية في أداة تدقيق الموقع.
الاتصال بنا
إذا كان لديك أي مخاوف بشأن عدد المرات التي نزحف فيها أو إذا رأيت حركة مرور مشبوهة تريد تأكيدها ، فيرجى الاتصال بـ [email protected]. نحن هنا للمساعدة في توضيح وحل أي مشاكل.
