الدكتور نت » النشر و محركات البحث http://qatardr.net تقنية إبداعية Sat, 27 Aug 2011 17:22:53 +0000 en hourly 1 http://wordpress.org/?v=3.3.1 robots.txt: فهرسة أو بدون فهرسة هذا هو السؤال؟ http://qatardr.net/webmaster/robots-txt/ http://qatardr.net/webmaster/robots-txt/#comments Fri, 21 Oct 2005 19:53:00 +0000 فاطمة العمادي http://localhost/newblog/?p=905 إخفاء صفحاتك المهمة عن جوجل Google و محركات البحث الأخرى

مع تقدم خدمات الأرشفة index و البحث أصبح جوجل أكثر دقة و قدرة على أرشفة و فهرسة الصفحات و بالتالي أصبح قادرا على الوصول إلى معلومات مهمة قد لا ترده الوصول إليها مثل أرقام الهواتف و أرقام بطاقات الائتمان. و بالتالي تقدم للها كرز المعلومات على طبق من ذهب . و بهذه الطريقة هي لا تحتاج إلى مخترق خبير فمن الممكن أن يصل إليها حتى الشخص العادي المبتدأ بواسطة جوجل فقط .

بالرغم من أن معظم حالات سرقات بطاقات الائتمان تتم عن طريقة سرقة قواعد البيانات إلا أننا لا نستطيع إغفال خطورة الوضع .

هل يجب أن نلوم جوجل؟

جوجل أو ما يسمى Google spider يقوم بعمله فقط . جوجل لا يفهرس الصفحات عنوه لكنه يفهرس صفحات الإنترنت ووضعك للمعلومات الحساسة و المهمة على شبكة الإنترنت بدون حماية خطأك وحدك .و حماية هذه المعلومات مسئوليتك .

استخدم ملفات robots.txt

هذه بالتأكيد أحد أهم الأدوات و هو ملف صغير نصي ترفعه إلى مستضيفك يحوي على الملفات و المجلدات التي يستطيع أو لا يستطيع إلى محرك بحث و ليس جوجل فقط فهرستها .في الخطوة التالية سنستعرض محتويات الملف .

حذف ملفاتك المهمة من جوجل

لو وقع الفأس في الرأس و فهرس جوجل صفحات مهمة و حساسة في موقعك يمكنك إزالتها عن طريق عدد من الخطوات مذكورة هنا http://www.google.com/webmasters/remove.html

سأحاول ترجمتها على عجالة ( أو استخلاص المفيد منها )

لو كنت تريد حذف صفحة من جوجل فورا و لا تريد انتظار عملية الأرشفة القادمة زر الوصلة التالية و اطلب حذف الأرشيف automatic URL removal system

حذف موقعك بالكامل من جوجل أو محركات البحث الأخرى

لمنع كل محركات البحث من أرشفة موقعك ضع الكود التالي في ملف robots.txt


User-agent: *
Disallow: /

لمنع جوجل فقط من أرشفة صفحات موقعك .


User-agent: Googlebot
Disallow: /

كل بورت port يحتاج لملف robots.txt خاص له مثلا http تحتاج لملف و https يحتاج لملف و ftp يحتاج ملف و هكذا .

إزالة صفحة واحدة من جوجل .

هناك طريقتان :

أولا : ملف robots.txt

بعد جملة user-agent يمكنك ان تحدد محرك بحث بعينه مثلا googlebot أو يمكنك أن تضع * لمنع جميع محركات البحث .

الأمثلة التالية على تمنع جميع محركات البحث لكن يمكنك استبدال googlebot بـــ * لمنع جميع محركات البحث .

لمنع فهرسة مجلد 


User-agent: Googlebot
Disallow: /lemurs

لمنع فهرسة نوع معين من الملفات مثلا الصور من نوع gif


User-agent: Googlebot
Disallow: /*.gif$

لمنع فهرسة الصفحات الديناميكية مثل index.php?task=anything


User-agent: Googlebot
Disallow: /*?

ثانيا : الميتاتاج met tag

لمنع فهرسة صفحة معينه نضع التالي في منطقة الرأس بين <head> و </head>


<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

لمنع جوجل فقط من فهرسة هذه الصفحة نضع 


<META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW">

للسماح بفهرسة الصفحة و لكن عدم فهرسة الصفحات المربوطة بها 


<META NAME="ROBOTS" CONTENT="NOFOLLOW">

حذف الوصف snippets

عند إظهار جوجل للنتائج فإنها تظهر وصف snippets تحت كل موقع لحذفه 


<META NAME="GOOGLEBOT" CONTENT="NOSNIPPET">

حذف النسخ المخزنة cached pages

جوجل تحتفظ بنسخة من صفحات موقعك في قواعدها لمنع ذلك 


<META NAME="GOOGLEBOT" CONTENT="NOARCHIVE">

حذف صورة من محرك بحث جوجل للصور .

جميع الأمر تطبق عليها لكن اسم الروبوت هنا Googlebot-Image و ليس googlebot

لحذف صورة معينة أضف في ملف robots.txt


User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

لمنعه من فهرسة جميع صور موقعك 


User-agent: Googlebot-Image
Disallow: /

ما مدى درجة الأمان لهذه الملفات ؟

ملف robots.txt ليس وسيلة حماية يمكن الاعتماد عليها لحماية موقعك . في الحقيقة هي أقرب لوحة ممنوع الدخول على الباب و ليست قفلا عليها.لذلك عليك تأمين موقعك جيدا و حماية مجلداتك بكلمات مرور أو منع الدخول بواسطة ملفات htaccess و يمكنك قراءة المزيد عنها من هنا .

ملاحظة أخيرة

هناك عدد من السبايدر spiders الخاصة بشركات تجمع البريد الإلكتروني من المواقع لترسل لك و لغيرك رسائل غير مرغوب بها spam يمكنك أيضا إيقافها مثل

EmailCollector و EmailSiphon و EmailWolf و ExtractorPro و Titan

معلومات إضافية

]]> http://qatardr.net/webmaster/robots-txt/feed/ 1 كيف تحسن ترتيبك في Google؟ http://qatardr.net/seo/google-rank/ http://qatardr.net/seo/google-rank/#comments Sat, 21 Aug 2004 21:00:00 +0000 فاطمة العمادي http://localhost/newblog/?p=861 كيف تصنف محركات Google المواقع ؟

يتم تصنيف موقعك على حسب عدد و نوعية الوصلات التي تصل لموقعك مثلا لو كان هناك 100 وصلة على الشبكة تشير لموقعك فيهذ فستكون أعلى من  موقع لديه 20 وصلة تصل له على الأنترنت

و بالطبع يتختلف نوعية الوصلات لو كانت الوصلات من مواقع مهمة أو مشهورة هي أيضا كان  ترتيبك أفضل

و فكرة التصنيف هذه منشورة من قبل جوجل في  http://www.google.com/technology/

تحسين ترتيب موقعك ؟

1- أحصل على وصلات

حاول أن تزيد عدد الصفحات التي تشير لموقعك مثلا  لو حاول إضافته في عدد من أدلة البحث أو عدد من المواقع التي تخصص وصلات للمواقع أو اعقد صداقة مع عدد من المواقع لتضيف موقعك

2- عنوان الصفحة

تأكد دائما من وضع عنوان لموقعك . افصد العنوان بين <title> و </title> و هي   و التي تظهر في الشريط الأزرق أعلى المتصفح بعض برامج التحرير مثل  الفرونت بيج تضع عنوان  تلقائيا شئ مثل New Page حاول وضع عناوين لكل الصفحات و إن لا يكون كلها يشير لإسم موقعك بل إلى موضوع الصفحة أيضا .

3- كثافة كلمات البحث

حاول أو تزيد من كلمات البحث مثلا لو كان موقعك موقع يتكلم عن  التصميم ما قد تتوقع أن أي شخص يريد أن يصل لموقعك سيكتب كلمة مثل كلمة تصميم .. و لكن من الممكن أن تتكلم عن تصميم الصفحات لكن لن تذكر كلمة تصميم في صفحات موقعك بالشكل الكافي هذا يؤثر على ترتيب موقعك  بالطبع في سياق الموضوع و ليس بشكل عشوائي . مثال آخر للتوضيح أو كان موقعك يتحدث عن الإسلام .. و ربما يحتوي على عدد من المقالات التي تتحدث عن الدين الإسلامي لكنك ربما ستتكلم عن الإسلام بصيغة (هذا الدين و و في هذا الدين و يحمل هذا الدين) بدل استخدام كلمة الإسلام و بالتالي أنت تقلل من تكرار هذه الكلمة وفي حال بحث عنها الزائر في جوجل لن يكون موقعك في المواقع العليا أو المتقدمة.

4- الكلمات المفتاحية في الوصلات

وفقا لمحرك البحث جوجل فإن الوصلات التي تحمل كلمات مفتاحية  ترفع من ترتيب موقعك مثلا  يفضل أن تضع وصلة تحمل العنوان  تعلم التصميم – اضغط هنا بدل من استخدام عبارة اضغط هنا فقط.

أفكار أخرى

1- جوجل و الصفحات الديناميكية

مثلا انظر في شريط العنوان في الأعلى ستجد عنوان مثل http://qatardr.net/showclass.php?classid=something  و هذه صفحات ديناميكية أي ان الصفحات فعليا غير موجودة على المستضيف ولكن يتم إنشاءها اتوماتيكيا عند طلبها  وهناك محركات بحث لا تستطيع فهرسة هذه المواقع أما جوجل فيستطيع

.

2- النص البديل للصورة

لو كنت تترك صور موقعك من غير وضع نص لها فهذا  وقت مناسب لتغير رأيك حاول أن تضيف نص لكل صورة في  ALT .

3- الميتاتاج يتم تجاهلها

قبل سنوات كانت الطريقة الوحيدة التي يتم فهرسة المواقع فيها هي الميتا تاج  و لكن مفاجئه  جوجل لا يحتاج كلمات البحث في الميتاتاج لذلك فلا تحاول أن تزيدها أكثر من اللازم.

]]> http://qatardr.net/seo/google-rank/feed/ 0