የፍለጋ ሮቦት (ቦት፣ ሸረሪት፣ ሸረሪት፣ ክራውለር) በበይነመረቡ ላይ ጣቢያዎችን ለመቃኘት የተነደፈ ልዩ የፍለጋ ፕሮግራም ነው።
ብዙ ሰዎች የመቃኘት ቦቶች በቀላሉ መረጃ እንደሚሰበስቡ እና እንደሚያከማቹ አያውቁም። አያስኬዱትም። ሌሎች ፕሮግራሞች ይህን ያደርጋሉ.
ጣቢያውን በፍለጋ ሮቦት አይን ማየት ከፈለጉ ይህንን በዌብማስተር ፓነል በኩል ማድረግ ይችላሉ።
ጉግል እንዴት እንደሚሰራ በድር አስተዳዳሪ ፓነል በኩል ማየት ይችላሉ። እዚያ ጣቢያዎን ማከል ያስፈልግዎታል እና ከዚያ ገጹን ማየት ይችላሉ-
https://www.google.com/webmasters/tools/googlebot-fetch?hl=ru
Yandex በተቀመጠው የገጹ ቅጂ በኩል ማየት ይችላሉ። ይህንን ለማድረግ በ Yandex ፍለጋ ውስጥ የተፈለገውን ገጽ ያግኙ, "የተቀመጠ ቅጂ" እና ከዚያ "የጽሁፍ ስሪት ይመልከቱ" የሚለውን ጠቅ ያድርጉ.
ጣቢያዎቻችንን የሚጎበኙ የፍለጋ ሮቦቶች ዝርዝር ከዚህ በታች አለ። አንዳንዶቹ ድረ-ገጾችን አመልካች፣ ሌሎች ደግሞ የአውድ ማስታወቂያን ይቆጣጠራሉ። የተወሰኑ ጠባብ ስራዎችን የሚያከናውኑ ልዩ ሮቦቶች አሉ. ለምሳሌ ምስሎችን ወይም ዜናዎችን ያመለክታሉ።
ሮቦቱን በእይታ ማወቅ, በጣቢያው ዙሪያ እንዲንሸራሸር መከልከል ወይም መፍቀድ ይችላሉ, በዚህም በአገልጋዩ ላይ ያለውን ጭነት ይቀንሳል. ደህና፣ ወይም መረጃዎን ወደ አውታረ መረቡ ከመግባት ይጠብቁ።
የ Yandex ፍለጋ ሮቦቶችየ Yandex የፍለጋ ሞተር ለእኛ የሚታወቁ ደርዘን ተኩል የፍለጋ ሮቦቶች አሉት። ከኦፊሴላዊው እገዛ ጨምሮ ለመቆፈር የቻልኩባቸው የቦቶች ዝርዝር ከዚህ በታች አለ።
YandexBot ዋናው ጠቋሚ ሮቦት ነው;
YandexMedia የመልቲሚዲያ መረጃን የሚያመለክት ሮቦት ነው;
YandexImages - Yandex.Images ጠቋሚ;
YandexCatalog - ለ Yandex.Catalog "መታ" መሣሪያ, በካታሎግ ውስጥ የማይገኙ ጣቢያዎችን በጊዜያዊነት ለማስወገድ ያገለግላል;
YaDirectFetcher - Yandex.Direct ሮቦት;
YandexBlogs ልጥፎችን እና አስተያየቶችን የሚያመለክት የብሎግ ፍለጋ ሮቦት ነው;
YandexNews - Yandex.News ሮቦት;
YandexWebmaster - በ AddURL መድረክ በኩል አንድ ጣቢያ ሲጨመር ይመጣል;
YandexPagechecker - ማይክሮ ማርክ አረጋጋጭ;
YandexFavicons - favicon ጠቋሚ
YandexMetrika - Yandex.Metrica ሮቦት;
YandexMarket - Yandex.Market ሮቦት;
YandexCalendar የ Yandex.Calendar ሮቦት ነው።
ጉግልቦት ዋናው ጠቋሚ ሮቦት ነው;
Googlebot Nes - የዜና ጠቋሚ;
Googlebot ምስሎች - ምስል ጠቋሚ;
Googlebot ቪዲዮ - ለቪዲዮ ውሂብ ሮቦት;
ጎግል ሞባይል - የሞባይል ይዘት ጠቋሚ;
ጎግል ሞባይል አድሴንስ - የሞባይል አድሴንስ ሮቦት
ጎግል አድሴንስ - አድሴንስ ሮቦት
Google AdsBot - የማረፊያ ገጽ ጥራት ማረጋገጫ ቦት
Mediapartners-Google - አድሴንስ ሮቦት
እንዲሁም፣ በጣቢያዎ ምዝግብ ማስታወሻዎች ውስጥ፣ በሌሎች የፍለጋ ፕሮግራሞች አንዳንድ ሮቦቶች ላይ ሊሰናከሉ ይችላሉ።
Rambler - StackRambler
Mail.ru - Mail.Ru
ያሁ! - Slurp (ወይም Yahoo! Slurp)
AOL - ስሉርፕ
MSN - MSNBot
ቀጥታ - MSNBot
ይጠይቁ - ቴማ
አሌክሳ - ia_archiver
ሊኮስ - ሊኮስ
Aport - Aport
ዌባልታ - ዌብአልታ (ዌብአልታ ክራውለር/2.0)
ከመፈለጊያ ሞተር ቦቶች በተጨማሪ በገጾቹ ዙሪያ የሚሯሯጡ ሁሉም አይነት የግራ ክንፍ ሸረሪቶች ያሉት ግዙፍ ሰራዊት አለ። እነዚህ ከጣቢያዎች መረጃ የሚሰበስቡ የተለያዩ ተንታኞች ናቸው፣ አብዛኛውን ጊዜ ለፈጣሪያቸው ራስ ወዳድነት።
አንዳንዶቹ ይዘትን ይሰርቃሉ, ሌሎች ምስሎችን ይሰርቃሉ, ሌሎች ድህረ ገፆችን ይሰርቃሉ እና አገናኞችን በድብቅ ያስቀምጣሉ. እንደዚህ አይነት ተንታኝ እራሱን ከጣቢያዎ ጋር እንዳጣበቀ ካስተዋሉ በሁሉም መንገዶች መዳረሻውን ያግዱ
በየቀኑ እጅግ በጣም ብዙ አዳዲስ ነገሮች በበይነመረቡ ላይ ይታያሉ፡ ድህረ ገፆች ተፈጥረዋል፣ የድሮ ድረ-ገጾች ተዘምነዋል፣ ፎቶዎች እና ቪዲዮ ፋይሎች ተሰቅለዋል። የማይታዩ የፍለጋ ሮቦቶች ከሌሉ በአለም አቀፍ ድር ላይ ከእነዚህ ሰነዶች ውስጥ አንዳቸውንም ማግኘት አይቻልም። በአሁኑ ጊዜ ከእንደዚህ ዓይነት የሮቦት ፕሮግራሞች ሌላ አማራጭ የለም. የፍለጋ ሮቦት ምንድን ነው, ለምን ያስፈልጋል እና እንዴት ይሠራሉ?
የፍለጋ ሮቦት ምንድን ነው?የድር ጣቢያ ጎብኚ (የፍለጋ ሞተር) በሚሊዮኖች የሚቆጠሩ ድረ-ገጾችን መጎብኘት የሚችል አውቶማቲክ ፕሮግራም ነው፣ ያለኦፕሬተር ጣልቃገብነት በፍጥነት በይነመረቡን ያቋርጣል። ቦቶች ያለማቋረጥ ቦታውን ይቃኛሉ፣ አዲስ የኢንተርኔት ገፆችን ያግኙ እና አስቀድሞ መረጃ ጠቋሚ የተደረገባቸውን በየጊዜው ይጎብኙ። ለፍለጋ ሮቦቶች ሌሎች ስሞች: ሸረሪቶች, ክራውለር, ቦቶች.
የፍለጋ ሮቦቶች ለምን ያስፈልገናል?የፍለጋ ሮቦቶች የሚያከናውኑት ዋና ተግባር ድረ-ገጾችን እንዲሁም በእነሱ ላይ የሚገኙትን ጽሑፎች፣ ምስሎች፣ ኦዲዮ እና ቪዲዮ ፋይሎችን መጠቆም ነው። ቦቶች አገናኞችን፣ የመስታወት ጣቢያዎችን (ቅጂዎችን) እና ማሻሻያዎችን ይፈትሹ። ሮቦቶች ለአለም አቀፍ ድር የቴክኖሎጂ ደረጃዎችን የሚያዘጋጅ እና የሚተገበረውን የአለም ድርጅት መስፈርቶችን ለማክበር የኤችቲኤምኤል ኮድን ይቆጣጠራሉ።
ኢንዴክስ ማድረግ በእውነቱ አንድን የተወሰነ ድረ-ገጽ በፍለጋ ሮቦቶች የመጎብኘት ሂደት ነው። ፕሮግራሙ በጣቢያው ላይ የተለጠፉ ጽሑፎችን, ምስሎችን, ቪዲዮዎችን, የወጪ አገናኞችን ይቃኛል, ከዚያ በኋላ ገጹ በፍለጋ ውጤቶች ውስጥ ይታያል. በአንዳንድ ሁኔታዎች, ጣቢያው በራስ-ሰር ሊጎበኝ አይችልም, ከዚያ በድር አስተዳዳሪው በእጅ ወደ የፍለጋ ሞተር ሊጨመር ይችላል. በተለምዶ ይህ የሚሆነው የተወሰነ (ብዙውን ጊዜ በቅርቡ የተፈጠረ) ገጽ ሲጎድልዎት ነው።
የፍለጋ ሮቦቶች እንዴት እንደሚሠሩእያንዳንዱ የፍለጋ ሞተር የራሱ ቦት አለው ፣ የጉግል መፈለጊያ ሮቦት በአሰራር ዘዴው ከተመሳሳይ የ Yandex ፕሮግራም ወይም ከሌሎች ስርዓቶች በእጅጉ ሊለያይ ይችላል።
በአጠቃላይ የሮቦት አሠራር መርህ የሚከተለው ነው-ፕሮግራሙ በውጫዊ አገናኞች በኩል ወደ ጣቢያው "ይመጣል" እና ከዋናው ገጽ ጀምሮ የድረ-ገጹን ምንጭ "ያነበባል" (ተጠቃሚው ያላደረገውን የአገልግሎት ውሂብ ማየትን ጨምሮ). ተመልከት)። ቦት ሁለቱም በአንድ ጣቢያ ገጾች መካከል ሊንቀሳቀሱ እና ወደ ሌሎች መሄድ ይችላሉ።
መርሃግብሩ የትኛውን እንደሚመርጥ ብዙውን ጊዜ የሸረሪት "ጉዞ" የሚጀምረው በዜና ጣቢያዎች ወይም በትላልቅ ሀብቶች, ማውጫዎች እና አሰባሳቢዎች ከትልቅ አገናኝ ጋር ነው. የፍለጋው ሮቦት ያለማቋረጥ ገጾቹን አንድ በአንድ ይሳባል፣ የመረጃ ጠቋሚው ፍጥነት እና ወጥነት በሚከተሉት ምክንያቶች ተጽዕኖ ይደረግበታል።
- ውስጣዊማገናኘት (በተመሳሳይ የመረጃ ምንጮች መካከል ያሉ ውስጣዊ አገናኞች) ፣ የጣቢያው መጠን ፣ የኮድ ትክክለኛነት ፣ የተጠቃሚ ወዳጃዊነት እና የመሳሰሉት;
- ውጫዊወደ ጣቢያው የሚያመሩ አጠቃላይ የአገናኞች ብዛት።
በመጀመሪያ ደረጃ, የፍለጋ ሮቦት በማንኛውም ድህረ ገጽ ላይ የ robots.txt ፋይልን ይፈልጋል. የሀብቱን ተጨማሪ መረጃ ጠቋሚ ከዚህ ሰነድ በተቀበለው መረጃ መሰረት ይከናወናል. ፋይሉ ለ "ሸረሪቶች" ትክክለኛ መመሪያዎችን ይዟል, ይህም የፍለጋ ሮቦቶችን ገፁን የመጎብኘት እድልን ለመጨመር ያስችላል, እና ስለዚህ, ጣቢያው በተቻለ ፍጥነት ወደ Yandex ወይም Google ውጤቶች ውስጥ መግባቱን ለማረጋገጥ.
የ "ሮቦት ፍለጋ" ጽንሰ-ሐሳብ ብዙውን ጊዜ ከማሰብ, ከተጠቃሚ ወይም ከራስ ገዝ ወኪሎች, "ጉንዳኖች" ወይም "ትሎች" ጋር ይደባለቃል. ከኤጀንቶች ጋር በማነፃፀር ብቻ ጉልህ ልዩነቶች አሉ ፣
ስለዚህ ወኪሎች የሚከተሉትን ሊሆኑ ይችላሉ-
- ምሁራዊ: ከጣቢያ ወደ ጣቢያ የሚዘዋወሩ ፕሮግራሞች, በቀጣይ ምን ማድረግ እንዳለቦት በመወሰን; በይነመረብ ላይ በጣም የተለመዱ አይደሉም;
- ራሱን የቻለእንደነዚህ ያሉ ወኪሎች አንድን ምርት እንዲመርጡ ፣ ቅጾችን በመፈለግ ወይም በመሙላት ይረዷቸዋል ፣ እነዚህ ከአውታረ መረብ ፕሮግራሞች ጋር ምንም ግንኙነት የሌላቸው ማጣሪያዎች ናቸው ።
- ብጁ: ፕሮግራሞች የተጠቃሚዎችን ከአለም አቀፍ ድር ጋር ግንኙነትን ያመቻቻሉ ፣ እነዚህ አሳሾች ናቸው (ለምሳሌ ፣ ኦፔራ ፣ አይኢ ፣ ጎግል ክሮም ፣ ፋየርፎክስ) ፣ ፈጣን መልእክተኞች (Viber ፣ Telegram) ወይም የኢሜል ፕሮግራሞች (ኤምኤስ አውትሉክ ወይም ኳልኮም)።
"ጉንዳኖች" እና "ትሎች" ከ "ሸረሪቶች" ፍለጋ ጋር በጣም ተመሳሳይ ናቸው. የቀድሞዎቹ በመካከላቸው አውታረ መረብ ይመሰርታሉ እና እንደ እውነተኛ የጉንዳን ቅኝ ግዛት ተስማምተው ይገናኛሉ ፣ “ትሎች” ግን እራሳቸውን የመራባት ችሎታ አላቸው ፣ ካልሆነ ግን እንደ መደበኛ የፍለጋ ሮቦት በተመሳሳይ መንገድ ይሰራሉ።
የፍለጋ ሮቦቶች ዓይነቶችብዙ አይነት የፍለጋ ሮቦቶች አሉ። በፕሮግራሙ ዓላማ ላይ በመመስረት እነሱም-
- “መስታወት” - የተባዙ ጣቢያዎችን ይመልከቱ።
- ሞባይል - በሞባይል የበይነመረብ ገጾች ላይ ያነጣጠረ።
- ፈጣን - አዳዲስ መረጃዎችን በፍጥነት ይያዙ ፣ የቅርብ ጊዜ ዝመናዎችን ይመልከቱ።
- ማጣቀሻ - ጠቋሚ አገናኞች እና ቁጥራቸውን ይቆጥሩ.
- የተለያዩ የይዘት ዓይነቶች ጠቋሚዎች - ለጽሑፍ ፣ ለድምጽ እና ለቪዲዮ ቅጂዎች ፣ ምስሎች የተለየ ፕሮግራሞች።
- “ስፓይዌር” - በፍለጋ ሞተሩ ውስጥ ገና ያልታዩ ገጾችን ይፈልጋል።
- "የእንጨት ፓይከሮች" - ተገቢነታቸውን እና አፈፃፀማቸውን ለማረጋገጥ በየጊዜው ጣቢያዎችን ይጎብኙ።
- ብሄራዊ - በአንድ ሀገር ጎራዎች ላይ የሚገኙ የድር ሀብቶችን ይመልከቱ (ለምሳሌ .ru፣ .kz ወይም .ua)።
- ግሎባል - ሁሉንም ብሔራዊ ጣቢያዎችን ይጠቁማል.
የተለየ የፍለጋ ሞተር ሮቦቶችም አሉ። በንድፈ ሀሳብ ፣ ተግባራቸው በከፍተኛ ሁኔታ ሊለያይ ይችላል ፣ ግን በተግባር ፕሮግራሞቹ ከሞላ ጎደል ተመሳሳይ ናቸው። በሁለቱ ዋና የፍለጋ ሞተሮች የበይነመረብ ገጾችን በሮቦቶች መረጃ ጠቋሚ መካከል ያሉት ዋና ዋና ልዩነቶች እንደሚከተለው ናቸው ።
- የማረጋገጫ ጥብቅነት.የ Yandex መፈለጊያ ሮቦት ዘዴ አንድን ጣቢያ ከአለም አቀፍ ድር ደረጃዎች ጋር ለማክበር በተወሰነ ደረጃ በጥብቅ እንደሚገመግም ይታመናል።
- የጣቢያውን ትክክለኛነት መጠበቅ.የጎግል መፈለጊያ ሮቦት ሙሉውን ጣቢያ (የሚዲያ ይዘትን ጨምሮ) መረጃ ጠቋሚ ሲሆን Yandex ገጾችን መርጦ ማየት ይችላል።
- አዲስ ገጾችን የመፈተሽ ፍጥነት። Google በጥቂት ቀናት ውስጥ ለፍለጋ ውጤቶች አዲስ ምንጭ ያክላል, በ Yandex ሁኔታ, ሂደቱ ሁለት ሳምንታት ወይም ከዚያ በላይ ሊወስድ ይችላል.
- የመልሶ ማመላከቻ ድግግሞሽ.የ Yandex መፈለጊያ ሮቦት ዝማኔዎችን በሳምንት ሁለት ጊዜ ይፈትሻል፣ እና ጎግል በየ14 ቀኑ አንድ ጊዜ ይፈትሻል።
በይነመረቡ, በእርግጥ, በሁለት የፍለጋ ሞተሮች ብቻ የተገደበ አይደለም. ሌሎች የፍለጋ ሞተሮች የራሳቸው ጠቋሚ መለኪያዎችን የሚከተሉ የራሳቸው ሮቦቶች አሏቸው። በተጨማሪም, በትልልቅ የፍለጋ ሀብቶች ያልተዘጋጁ በርካታ "ሸረሪቶች" አሉ, ግን በግለሰብ ቡድኖች ወይም የድር አስተዳዳሪዎች.
የተለመዱ የተሳሳቱ አመለካከቶችከታዋቂ እምነት በተቃራኒ ሸረሪቶች የተቀበሉትን መረጃ አያስተናግዱም። ፕሮግራሙ ድረ-ገጾችን ብቻ ይቃኛል እና ያስቀምጣል, እና ተጨማሪ ሂደት የሚከናወነው ሙሉ ለሙሉ በተለየ ሮቦቶች ነው.
እንዲሁም ብዙ ተጠቃሚዎች የፍለጋ ሮቦቶች አሉታዊ ተፅእኖ እንዳላቸው እና በይነመረብ ላይ "ጎጂ" እንደሆኑ ያምናሉ. በእርግጥ አንዳንድ የ "ሸረሪቶች" ስሪቶች አገልጋዮቹን በከፍተኛ ሁኔታ ሊጫኑ ይችላሉ. የሰው አካልም አለ - ፕሮግራሙን የፈጠረው የድር አስተዳዳሪ በሮቦት ቅንጅቶች ውስጥ ስህተት ሊሰራ ይችላል። ነገር ግን፣ አብዛኞቹ ነባር ፕሮግራሞች በጥሩ ሁኔታ የተነደፉ እና በሙያ የሚተዳደሩ ናቸው፣ እና ማንኛውም የሚፈጠሩ ችግሮች ወዲያውኑ ይስተካከላሉ።
ኢንዴክስን እንዴት ማስተዳደር እንደሚቻልየፍለጋ ሮቦቶች አውቶማቲክ ፕሮግራሞች ናቸው, ነገር ግን የመረጃ ጠቋሚው ሂደት በድር አስተዳዳሪው በከፊል ቁጥጥር ሊደረግበት ይችላል. የውጭ ሀብቶች በዚህ ረገድ በጣም ይረዳሉ. በተጨማሪም, እራስዎ አዲስ ጣቢያን ወደ የፍለጋ ሞተር ማከል ይችላሉ ትላልቅ ሀብቶች ድረ-ገጾችን ለመመዝገብ ልዩ ቅጾች አሏቸው.
የአገልጋይ ምዝግብ ማስታወሻዎችን በመመልከት አንዳንድ ጊዜ ከመፈለጊያ ሮቦቶች ለጣቢያዎች ከልክ ያለፈ ፍላጎት ማየት ይችላሉ። ቦቶች ጠቃሚ ከሆኑ (ለምሳሌ PS indexing bots) ምንም እንኳን በአገልጋዩ ላይ ያለው ጭነት ቢጨምርም የቀረውን መከታተል ብቻ ነው። ግን የጣቢያው መዳረሻ የማይፈለግባቸው ብዙ ትናንሽ ሮቦቶችም አሉ። ለራሴ እና ለአንተ ውድ አንባቢ መረጃውን ሰብስቤ ወደ ምቹ ታብሌት ቀይሬዋለሁ።
የፍለጋ ሮቦቶች እነማን ናቸው።የፍለጋ ቦት ወይም እነሱም እንደሚጠሩት ሮቦት፣ ተሳቢ፣ ሸረሪት በገጾቹ ላይ ያሉትን ሊንኮች በመከተል የገጾቹን ይዘት የሚፈልግ እና የሚቃኝ ፕሮግራም ከመሆን የዘለለ አይደለም። የፍለጋ ሮቦቶች ያላቸው የፍለጋ ፕሮግራሞች ብቻ አይደሉም። ለምሳሌ፣ የ Ahrefs አገልግሎት በጀርባ አገናኞች ላይ ያለውን መረጃ ለማሻሻል ሸረሪቶችን ይጠቀማል፣ ፌስቡክ ከርዕሶች፣ ስዕሎች እና መግለጫዎች ጋር በድጋሚ የተለጠፈ አገናኞችን ለማሳየት የገጽ ኮድን ድህረ ገጽ መቧጨር ያከናውናል። የድረ-ገጽ መቧጨር ከተለያዩ ሀብቶች መረጃ መሰብሰብ ነው.
በ robots.txt ውስጥ የሸረሪት ስሞችን መጠቀምእንደሚመለከቱት, ከይዘት ፍለጋ ጋር የተያያዘ ማንኛውም ከባድ ፕሮጀክት የራሱ ሸረሪቶች አሉት. እና አንዳንድ ጊዜ አስቸኳይ ስራው የተወሰኑ ሸረሪቶችን ወደ ጣቢያው ወይም ወደ እያንዳንዱ ክፍሎቹ መድረስን መገደብ ነው. ይህ በጣቢያው ስር ማውጫ ውስጥ ባለው የ robots.txt ፋይል በኩል ሊከናወን ይችላል። ቀደም ብሎ ስለ ሮቦቶች ስለማዘጋጀት የበለጠ ጽፌ ነበር፣ እንዲያነቡት እመክራለሁ።
እባክዎን የrobots.txt ፋይል እና መመሪያዎቹ በፍለጋ ሮቦቶች ችላ ሊባሉ እንደሚችሉ ልብ ይበሉ። መመሪያዎች ለቦቶች ብቻ ምክሮች ናቸው።
ክፍሉን በመጠቀም ለፍለጋ ሮቦት መመሪያ ማዘጋጀት ይችላሉ - የዚህን ሮቦት ተጠቃሚ ወኪል ማነጋገር። ለተለያዩ ሸረሪቶች ክፍሎች በአንድ ባዶ መስመር ይለያሉ.
የተጠቃሚ ወኪል፡ Googlebot ፍቀድ፡ /
የተጠቃሚ ወኪል፡ Googlebot ፍቀድ፡/ |
ከላይ ወደ ጎግል ዋና የፍለጋ ሞተር የተደረገ ጥሪ ምሳሌ ነው።
መጀመሪያ ላይ የፍለጋ ቦቶች በአገልጋይ ምዝግብ ማስታወሻዎች ውስጥ እራሳቸውን እንዴት እንደሚለዩ በጠረጴዛው ላይ ግቤቶችን ለመጨመር አስቤ ነበር። ግን ይህ መረጃ ለ SEO ትንሽ ጠቀሜታ ስላለው እና ለእያንዳንዱ ወኪል ማስመሰያ ብዙ አይነት መዝገቦች ሊኖሩ ስለሚችሉ የቦቶቹን ስም እና ዓላማቸውን ብቻ ለማድረግ ተወስኗል።
ሮቦቶችን ይፈልጉ G o o g l| ጎግልቦት | ለኮምፒዩተር እና ለስማርትፎኖች የተመቻቸ የገጾች ዋና ጎብኚ-ጠቋሚ |
| Mediapartners-Google | አድሴንስ የማስታወቂያ አውታር ሮቦት |
| APIs-Google | APIs-የGoogle ተጠቃሚ ወኪል |
| AdsBot-Google | ለፒሲዎች የታቀዱ ድረ-ገጾች ላይ የማስታወቂያውን ጥራት ይፈትሻል |
| AdsBot-Google-ሞባይል | ለተንቀሳቃሽ መሳሪያዎች የተነደፉ ድረ-ገጾች ላይ የማስታወቂያውን ጥራት ይፈትሻል |
| ጎግልቦት-ምስል (Googlebot) | በድረ-ገጾች ላይ ምስሎችን ጠቋሚዎች |
| ጎግልቦት-ዜና (Googlebot) | ወደ Google ዜና የሚታከሉ ገጾችን ይፈልጋል |
| ጎግልቦት-ቪዲዮ (Googlebot) | የቪዲዮ ቁሳቁሶች ጠቋሚዎች |
| AdsBot-Google-ሞባይል-መተግበሪያዎች | ለ አንድሮይድ መሳሪያዎች በመተግበሪያዎች ውስጥ የማስታወቂያውን ጥራት ይፈትሻል፣ ልክ እንደ መደበኛ AdsBot በተመሳሳይ መርሆች ይሰራል |
| Yandex | በ robots.txt ውስጥ ይህን ወኪል ቶከን ሲገልጹ፣ ጥያቄው ወደ ሁሉም የ Yandex ቦቶች ይሄዳል |
| YandexBot | መሰረታዊ ጠቋሚ ሮቦት |
| YandexDirect | ስለ YAN አጋር ጣቢያዎች ይዘት መረጃን ያወርዳል |
| የ Yandex ምስሎች | የመረጃ ጠቋሚዎች የድርጣቢያ ምስሎች |
| YandexMetrika | Yandex.Metrica ሮቦት |
| YandexMobileBot | ለሞባይል መሳሪያዎች አቀማመጥ መኖሩን ለመተንተን ሰነዶችን ያውርዳል |
| YandexMedia | የሮቦት መረጃ ጠቋሚ የመልቲሚዲያ ውሂብ |
| YandexNews | Yandex.News ማውጫ |
| Yandex ገጽ አራሚ | የማይክሮ ምልክት አረጋጋጭ |
| YandexMarket | Yandex.Market ሮቦት; |
| YandexCalenda | Yandex.Calendar ሮቦት |
| YandexDirectDyn | ተለዋዋጭ ባነሮችን ያመነጫል (ቀጥታ) |
| YaDirectFetcher | መገኘታቸውን ለመፈተሽ እና ርዕሱን ለማብራራት ገጾችን ከማስታወቂያዎች ጋር ያውርዱ (YAN) |
| የ Yandex ተደራሽነትBot | ለተጠቃሚዎች መገኘታቸውን ለማረጋገጥ ገጾችን ያውርዳል |
| YandexScreenshotBot | የገጹን ቅጽበታዊ ገጽ እይታ (ቅጽበታዊ ገጽ እይታ) ያነሳል። |
| የ Yandex ቪዲዮ ፓርሰር | Yandex.የቪዲዮ አገልግሎት ሸረሪት |
| YandexSearchShop | የምርት ካታሎጎች የYML ፋይሎችን ያወርዳል |
| YandexOntoDBAPI | የነገር ምላሽ bot ተለዋዋጭ ውሂብ በማውረድ ላይ |
| ባይዱስፓይደር | የ Baidu የቻይና የፍለጋ ሞተር ሸረሪት |
| ክሊክዝቦት | የማይታወቅ የፍለጋ ሞተር Cliqz ሮቦት |
| AhrefsBot | Ahrefs ፍለጋ ቦት (የአገናኝ ትንተና) |
| ጂኒዮ | Genieo አገልግሎት ሮቦት |
| ቢንግቦት | Bing የፍለጋ ሞተር ጎብኚ |
| ስሉፕ | ያሁ የፍለጋ ሞተር ጎብኚ |
| DuckDuckBot | የድር ጎብኚ PS DuckDuckGo |
| facebot | የፌስቡክ ሮቦት ለድር መጎተት |
| WebAlta (የድር አልታ ክሬውለር/2.0) | የፍለጋ ጎብኚ PS WebAlta |
| ቦምቦራቦት | በቦምቦራ ፕሮጀክት ውስጥ የተሳተፉ ገጾችን ይቃኛል። |
| CCBot | Apache Hadoop ፕሮጀክትን የሚጠቀም ኑች ላይ የተመሰረተ ጎብኚ |
| MSNBot | PS MSN ቦት |
| ደብዳቤ.ሩ | Mail.Ru የፍለጋ ሞተር ጎብኚ |
| ia_archiver | ለ Alexa አገልግሎት መረጃን መቧጨር |
| ቴማ | የአገልግሎት ቦት ይጠይቁ |
ብዙ የፍለጋ ቦቶች አሉ, በጣም ተወዳጅ እና ታዋቂ የሆኑትን ብቻ መርጫለሁ. በአሰቃቂ እና የማያቋርጥ የጣቢያ ቅኝት ምክንያት ያጋጠሟቸው ቦቶች ካሉ ፣ እባክዎ ይህንን በአስተያየቶቹ ውስጥ ያመልክቱ ፣ እኔም ወደ ጠረጴዛው እጨምራቸዋለሁ ።
Yandex ዛሬ በየቀኑ ከአንድ ሚሊዮን በላይ ሰዎች በሚጠቀሙበት በሩሲያኛ በይነመረብ ላይ በጣም ታዋቂው የፍለጋ ሞተር ነው። ይህ ተወዳጅነት የተገለፀው የ Yandex ዳታቤዝ እጅግ በጣም ብዙ ቁጥር ያላቸው ኢንዴክስ የተደረገባቸው የበይነመረብ ገጾችን በመያዙ ነው ። ከፍለጋው አልጎሪዝም ጋር፣ ይህ በተጠቃሚው ጥያቄ ላይ ወደሚገኙ ሰነዶች ከፍተኛ ተዛማጅነት እና በመጨረሻም የተጠቃሚውን የመረጃ ፍላጎቶች እርካታ ወደማሟላት ይመራል።
ከጁላይ 17 ቀን 2009 ጀምሮ Yandex 3,558,614,259 ድረ-ገጾችን ጠቋሚ አድርጓል። ከበይነመረብ ጣቢያዎች መረጃን መቀበል እና ወደ የፍለጋ ሞተር ዳታቤዝ መላክ የልዩ ጠቋሚ ሮቦት ተግባር ነው። በአብዛኛው ለሥራው ከፍተኛ ፍጥነት ምስጋና ይግባውና ዛሬ Yandex ለፍለጋ እንደዚህ ያለ ሰፊ የመረጃ ቋት አለው.
የ Yandex ሮቦቶች ታሪክYandex በ 1996 ታየ. ግን እንደ የፍለጋ ሞተር አይደለም ፣ ግን በተለያዩ ምርቶች መልክ። ለምሳሌ, Yandex.Site ድህረ ገጽን የሚፈልግ ፕሮግራም ነው, Yandex.CD በሲዲ ላይ ሰነዶችን የሚፈልግ ፕሮግራም ነው.
የፍለጋ ስርዓቱ ራሱ በ 1997 መገባደጃ ላይ ታየ. በሴፕቴምበር 23, በሶፍትል ኤግዚቢሽን, Yandex እንደ ሙሉ በሙሉ የሚሰራ የበይነመረብ ፍለጋ ሞተር በይፋ ቀርቧል. ከዚያን ጊዜ ጀምሮ, የ Runet መጠን ያለማቋረጥ ጨምሯል, ይህም መረጃን ለመጠቆም እና ለመፈለግ ስልተ ቀመሮችን እንድናሻሽል አስገድዶናል.
ስለዚህ እ.ኤ.አ. በ 1999 አዲስ የፍለጋ ሮቦት ተፈጠረ ፣ ይህም የመረጃ ጠቋሚ ፍጥነትን በከፍተኛ ሁኔታ ከመጨመር በተጨማሪ ተጠቃሚዎች በተለያዩ የሰነዱ አካባቢዎች መረጃን እንዲፈልጉ አስችሏል - በዩአርኤል ፣ በአርእስቶች ፣ በአገናኞች ፣ ወዘተ.
አሁን 11 የ Yandex ሮቦቶች በይፋ ታውቀዋል, እያንዳንዳቸው በአንድ የተወሰነ ተግባር ላይ ያተኮሩ ናቸው.
የ Yandex ሮቦቶችእያንዳንዱ የፍለጋ ሞተር ሮቦት የራሱ ስም አለው። ለምሳሌ, Rambler "StackRambler/2.0" አለው, Google "Googlebot/2.1" አለው. Yandex በጥብቅ የተገለጹ ተግባራትን የሚያከናውኑ በርካታ ልዩ ሮቦቶች አሉት። ሊያገኟቸው የሚችሏቸው የ Yandex ሮቦቶች እነኚሁና:
በተጨማሪም Yandex በአሁኑ ጊዜ በተዛማጅ አገልግሎት ውስጥ የተገናኘ ጣቢያ ወይም ሰነድ መኖሩን የሚወስኑ የሮቦቶች ቡድን አለው.
ከመጀመሪያው ቡድን ሮቦቶች በተለየ, እነዚህ ስራዎች የገጹን ይዘት አይወስዱም, ነገር ግን የአገልጋዩን ምላሽ ብቻ ይመዝግቡ. ስለዚህ, ለአገልጋዩ ትንሽ ለየት ያለ ጥያቄ ያቀርባሉ. ለምሳሌ፣ የዳይቴል ሮቦትን መጎብኘት በሚከተለው ይዘት እንደ መስመር በአገልጋይ ምዝግብ ማስታወሻዎች ውስጥ ሊመዘገብ ይችላል።
213.180.193.53 - - "HEAD / HTTP / 1.0" 200 0 "-" "Yandex / 2.01.000 (ተኳሃኝ; Win16; Dyatel; C)".
እንደሚመለከቱት፣ የጭንቅላት መመሪያው ጥቅም ላይ ይውላል፣ የአገልጋይ ራስጌዎችን ብቻ ይጠይቃል። በዚህ ሁኔታ, የሁኔታ ኮድ 200 እሺ ስለተሰጠ ጣቢያው ተደራሽ እና እየሰራ ነው.
እንዲሁም ከተዘረዘሩት ሮቦቶች በተጨማሪ Yandex "ፈጣን ሮቦት" ተብሎ የሚጠራውን ያካትታል - በእሱ የሰነድ መረጃ ጠቋሚ ድግግሞሽ ከመደበኛ ጠቋሚ ሮቦት ብዙ እጥፍ ይበልጣል። የ Yandex ዋና አዘጋጅ ኤሌና ኮልማኖቭስካያ እንደተናገሩት "በተጠቃሚዎች በጣም የሚፈለጉትን ወቅታዊ ሰነዶችን ለመጠቆም ፈጣን ሮቦት ያስፈልጋል."
ፈጣን ሮቦት አንድን ጣቢያ እንደጎበኘ ለማወቅ አንድ መንገድ ብቻ ነው - በፍለጋ ውጤቶቹ ውስጥ ፣ ከጣቢያው አድራሻ ቀጥሎ ፣ ገጹ በፍጥነት በሮቦት ስንት ሰዓታት እንደጎበኘ የሚያሳይ ትንሽ ማስታወሻ መታየት አለበት። ለምሳሌ፣ "ከ5 ሰዓታት በፊት"
የሰነድ መረጃ ጠቋሚ ሂደትሰነድን በፍለጋ ሞተር ሮቦቶች የማውጣት ሂደት በአጠቃላይ በልዩ ገጽ ላይ አንድ ጣቢያ ወደ አንድ ቅጽ በመጨመር ይጀምራል። ለ Yandex ይህ ገጽ http://webmaster.yandex.ru/ ነው። እዚህ የጣቢያውን አድራሻ ብቻ ማስገባት ያስፈልግዎታል, ምንም ተጨማሪ ውሂብ አያስፈልግም. ነገር ግን በራምብል ውስጥ ለምሳሌ የጣቢያውን ስም, የጣቢያው አጭር መግለጫ እና የእውቂያ ሰው መጠቆም ያስፈልግዎታል.
አንድ ጣቢያ ለመጀመሪያ ጊዜ እየታከለ ከሆነ Yandex የሚከተለውን መልእክት ያሳያል።
አድራሻው http://example.com/ በተሳካ ሁኔታ ታክሏል። ሮቦቱ እየሳበ ሲሄድ መረጃ ጠቋሚ ይደረግና መፈለግ የሚችል ይሆናል።
ጣቢያው አስቀድሞ በጠቋሚ ሮቦት የተጎበኘ ከሆነ መልእክት ይመጣል፡-
ሰነዱ http://example.com/ አስቀድሞ መረጃ ጠቋሚ እና መፈለግ የሚችል ነው።
የትኛዎቹ የጣቢያው ገጾች http://example.com/ በአሁኑ ጊዜ በ Yandex (* ገፆች) ይገኛሉ።
በቅጹ በኩል አዲስ ጣቢያ ከጨመረ በኋላ ወዲያውኑ በ Yandex / 1.03.003 ሮቦት (ተኳሃኝ; Win16; D) ይጎበኛል. የጣቢያው መረጃ ጠቋሚ መኖሩን ይወስናል, እንዲሁም ጣቢያው የ Yandex መስፈርቶችን የሚያሟላ መሆኑን ይወስናል, ዋናው ሀብቱ በሩሲያኛ መሆን አለበት. ስለዚህ, እንደ ምሳሌ, የሚከተለው ሁኔታ ሊፈጠር ይችላል.
አድራሻው http://www.example.com/ በ Yandex ዳታቤዝ ውስጥ አልተካተተም ምክንያቱም http://www.example.com/ ድረ-ገጽ ከሲአይኤስ አገሮች ጎራዎች ውጭ ስለሚገኝ እና የእኛ ሮቦት ይህን ማድረግ አልቻለም። በውስጡ ያለውን የሩሲያ ጽሑፍ ይወቁ.
ሁሉም ነገር ጥሩ ከሆነ በጣቢያ ምዝግብ ማስታወሻዎች ውስጥ መስመሩን ማግኘት ይችላሉ-
213.180.206.223 - - "GET /robots.txt HTTP/1.1" 404 296 "-" "Yandex/1.03.003 (ተኳሃኝ; Win16; D)"
213.180.206.223 - - "GET / HTTP/1.1" 200 2674 "-" "Yandex/1.03.003 (ተኳሃኝ; Win16; D)"
ጣቢያው ከመጠቆም ተከልክሏል ወይ የሚለውን ለመወሰን ሮቦቱ መጀመሪያ የRobots.txt ፋይል እንደደረሰ ማየት ይቻላል። ከዚያም ወደ ዋናው ገጽ ዞርኩ።
አንድ ጣቢያ ወደ ገጹ http://webmaster.yandex.ru/ ከጨመረ በኋላ ከሁለት ቀናት ባነሰ ጊዜ ውስጥ ጣቢያው በ Yandex/1.01.001 (ተኳሃኝ; Win16; I) ጠቋሚ ሮቦት ይጎበኛል. እና ከተወሰነ ጊዜ በኋላ ጣቢያው በ Yandex ውስጥ ለመፈለግ ይገኛል.
ሰነድ ሲጠቁሙ ሊሆኑ የሚችሉ እንቅፋቶችበ Yandex ውስጥ ጣቢያው በትክክል እንዳይመዘገብ የሚከለክሉት በርካታ ምክንያቶች አሉ።
- ሀ. አገልጋዩ በትክክል እየሰራ አይደለም, 404 ስህተቶችን ይመልሳል. ለ. ረጅም የአገልጋይ ምላሽ ጊዜ (ለምሳሌ፣ በከባድ ሸክሙ ምክንያት። እንዲሁም ረጅም የምላሽ ጊዜዎች ለነፃ ማስተናገጃ የተለመዱ ናቸው)
- ሀ. በ robots.txt ፋይል ውስጥ የግለሰብ ገጾችን ጠቋሚ ማድረግን መከልከል ለ. ሜታ መለያዎችን በመጠቀም ኢንዴክስ ማድረግን መከልከል
- ሀ. በጣም ትንሽ የገጽ መጠን (Yandex ከ 1 ኪ.ባ ያነሱ ፋይሎችን አያመለክትም) ለ. ሀብቱ የሩስያ ጽሑፍ አልያዘም
የ Yandex ኢንዴክሶች የኤችቲኤምኤል ሰነዶችን ብቻ ሳይሆን መሆኑን ልብ ሊባል ይገባል። ከነሱ በተጨማሪ የሚከተሉት የሰነድ ዓይነቶች ለመጠቆም ይገኛሉ፡ ፒዲኤፍ (Adobe Acrobat file)፣ DOC (MS Word)፣ RTF (የደረሰን የጽሑፍ ቅርጸት)። Yandex እንዲሁም የፍላሽ ቴክኖሎጂዎችን በመጠቀም የተፈጠሩ ጣቢያዎችን ይጠቁማል። ነገር ግን Rambler ኤችቲኤምኤልን፣ ኤችቲኤምኤልን፣ ኤስኤችቲኤምኤል ፋይሎችን እና ኢንዴክሶችን ተለዋዋጭ ገጾችን እና ፍላሽ ጣቢያዎችን ደካማ ነው።
በ Yandex የውሂብ ጎታ ውስጥ አንድ ድረ-ገጽ የተከማቸበትን ቅጽ እንደሚከተለው ማየት ይችላሉ.
የአንዳንድ ገጽ አካላት መረጃ ጠቋሚ አለመሆን በብዙ ምክንያቶች ሊከሰት ይችላል፡-
በበይነመረብ ላይ ከባድ ፕሮጀክት የሚያካሂድ ማንኛውም ሰው የፍለጋ ሞተር ጠቋሚ ሮቦቶች እንዴት እንደሚሠሩ መሰረታዊ መርሆችን መረዳት አለበት። አንድ ሮቦት ወደ አንድ ጣቢያ ሲመጣ ፣ ምን እንደሚጠቁመው ፣ የማይጠቅሰውን ማወቅ ፣ ብዙ ችግሮችን እንዲያስወግዱ ይፈቅድልዎታል ፣ በዋነኝነት ቴክኒካዊ ጉዳዮች ፣ ቀድሞውኑ ጣቢያን በመፍጠር ደረጃ ላይ እና በጥገናው ወቅት።
ጣቢያው ለምንድነው ለተወሰነ ጥያቄ ከፍለጋ ውጤቶቹ ለምን እንደጠፋ ላለመገረም ፣ በመጀመሪያ ፣ ሮቦቱ በአሁኑ ጊዜ በጣቢያው ላይ ያቀረበውን መተንተን ጠቃሚ ነው? አንዳንድ መረጃዎች በአንድ ወይም በሌላ ምክንያት ለሮቦቱ የማይደረስበት ሊሆን ይችላል?
የሰነድ መረጃ ጠቋሚ ሂደት ዋና ዋና ነጥቦች እውቀት በፍለጋ ሞተር ውስጥ ሀብትን በትክክል እንዲመዘግቡ እና ተጨማሪ ማስተዋወቂያውን በብቃት እንዲያካሂዱ ይፈቅድልዎታል ስለዚህ ተጠቃሚዎች ሁልጊዜ ጣቢያዎን በይነመረብ ላይ እንዲያገኙ።
መላውን ጣቢያ በመሰረዝ ላይአንድን ጣቢያ ከፍለጋ ሞተሮች ለማስወገድ እና ወደፊት ሁሉም ሮቦቶች እንዳይጎበኟቸው ለመከላከል የሚከተለውን robots.txt ፋይል በአገልጋዩ ስር ማውጫ ውስጥ ያስቀምጡ።
የተጠቃሚ ወኪል፡*
አትፍቀድ፡/
አንድን ጣቢያ ከGoogle ብቻ ለማስወገድ እና ለወደፊቱ የጎግል መፈለጊያ ሮቦት እንዳይጎበኘው ለመከላከል፣የሮቦት.txt ፋይል ከሚከተለው ይዘት ጋር በአገልጋዩ ስር ማውጫ ውስጥ ያስቀምጡ።
የተጠቃሚ ወኪል፡ Googlebot
አትፍቀድ፡/
እያንዳንዱ ወደብ የራሱ የRobots.txt ፋይል ሊኖረው ይገባል። በተለይም የ http እና https ፕሮቶኮሎች ጥቅም ላይ ከዋሉ, ለእያንዳንዱ የተለየ robots.txt ፋይሎች ያስፈልጋሉ. ለምሳሌ የጉግል ጎብኚ ሁሉንም የ http ገፆች ጠቋሚ እንዲያደርግ እና https እንዳይጎበኝ ለመከላከል የሮቦቶች.txt ፋይሎችዎ ይህን ይመስላል።
ለ http ፕሮቶኮል (http://yourserver.com/robots.txt)፡-
የተጠቃሚ ወኪል፡*
ፍቀድ፡/
ለ https ፕሮቶኮል (https://yourserver.com/robots.txt)፡-
የተጠቃሚ ወኪል፡*
አትፍቀድ፡/
የRobots.txt ፋይል በድር አገልጋዩ ስርወ ማውጫ ውስጥ የሚቆይ ከሆነ፣ Google ለወደፊቱ ጣቢያውን ወይም ማውጫዎቹን አይጎበኝም። የአገልጋይ ሩት ማውጫ ከሌለዎት የ robots.txt ፋይልን መሰረዝ ከሚፈልጉት ፋይሎች ጋር በተመሳሳይ ደረጃ ማስቀመጥ ይችላሉ። አንዴ ይህን ካደረጉ እና አውቶማቲክ የዩአርኤል ማስወገጃ ስርዓቱን ከተጠቀሙ በኋላ የRobots.txt ፋይል ጥያቄው ከተሰራ በኋላ ይወገዳል ምንም ይሁን ምን ጣቢያው ለ180 ቀናት ከGoogle መረጃ ጠቋሚ ይወገዳል። (የrobots.txt ፋይልን በተመሳሳይ ደረጃ ከተዉት ዩአርኤሉ በየ180 ቀኑ በራስ ሰር ስርዓት መወገድ አለበት።)
የጣቢያውን የተወሰነ ክፍል በማስወገድ ላይአማራጭ 1. ሮቦቶች.txt
ማውጫዎችን ወይም ነጠላ ገጾችን ለማስወገድ በአገልጋዩ ስር ማውጫ ውስጥ የ robots.txt ፋይልን ማስቀመጥ ይችላሉ። እንዴት የrobots.txt ፋይል መፍጠር እንደሚቻል መረጃ ለማግኘት የRobot Exceptions Standard የሚለውን ይመልከቱ። የእርስዎን የrobots.txt ፋይል ሲፈጥሩ የሚከተሉትን ነጥቦች ግምት ውስጥ ያስገቡ። በአንድ የተወሰነ አስተናጋጅ ላይ የትኞቹ ገጾች እንደሚጎበኟቸው በሚወስኑበት ጊዜ የጉግል ጎብኚ በሮቦትስ.txt ፋይል ውስጥ ባለው የመጀመሪያ ግቤት መሰረት ይሠራል የተጠቃሚ-ወኪል መለኪያ በ"Googlebot" ይጀምራል። እንደዚህ አይነት ግቤት ከሌለ, የመጀመሪያው ህግ ይፈጸማል, ይህም የተጠቃሚ-ወኪሉ "*" ነው. በተጨማሪም፣ Google የእርስዎን የrobots.txt ፋይል ኮከቦችን በመጠቀም በተለዋዋጭነት እንዲጠቀሙ ይፈቅድልዎታል። በስርዓተ ጥለቶች፣ የ"*" ቁምፊ ማንኛውንም የቁምፊዎች ቅደም ተከተል ሊወክል ይችላል። ንድፉ በ"$" ቁምፊ ሊያልቅ ይችላል፣ እሱም የስሙን መጨረሻ ያመለክታል።
የአንድ የተወሰነ ማውጫ ሁሉንም ገፆች ለማስወገድ (ለምሳሌ፣ "lemurs")፣ የሚከተለውን ግቤት ወደ robots.txt ፋይል ያክሉ።
የተጠቃሚ ወኪል፡ Googlebot
አትፍቀድ: / lemurs
ሁሉንም የአንድ የተወሰነ አይነት (ለምሳሌ .gif) ፋይሎችን ለማስወገድ የሚከተለውን ግቤት ወደ robots.txt ፋይልዎ ያክሉ።
የተጠቃሚ ወኪል፡ Googlebot
አትፍቀድ: /*.gif$
በተለዋዋጭ የመነጩ ገጾችን ለማስወገድ የሚከተለውን ግቤት ወደ robots.txt ፋይልዎ ያክሉ።
የተጠቃሚ ወኪል፡ Googlebot
አይፈቀድም: /*?
አማራጭ 2. ሜታ መለያዎች
ሌላ መመዘኛ ፣ ከገጾች ጋር ለመስራት የበለጠ ምቹ ፣ ሮቦቶች ገጹን እንዳይጠቁሙ የሚከለክለው በኤችቲኤምኤል ገጽ ላይ ሜታ መለያን ለመጠቀም ያቀርባል። ይህ መስፈርት በገጽ ላይ ተገልጿል.
ሁሉም ሮቦቶች የጣቢያ ገጽን እንዳይጠቁሙ ለመከላከል የሚከተለውን ሜታ መለያ ወደ የገጹ ክፍል ያክሉ።
ጎግል ሮቦቶች ብቻ አንድ ገጽ እንዳይጠቁሙ እና ሌሎች እንዲጠቁሙት ለመፍቀድ የሚከተለውን መለያ ይጠቀሙ።
ሮቦቶች ገጽን እንዲጠቁሙ ነገር ግን ውጫዊ አገናኞችን ላለመከተል የሚከተለውን መለያ ይጠቀሙ፡-
ማስታወሻ. ጥያቄዎ አስቸኳይ ከሆነ እና የሚቀጥለውን ጎግል መጎብኘት የማይቻል ከሆነ፣ ይህን አውቶማቲክ ሂደት ለመቀስቀስ፣ ዌብማስተር ተገቢውን ሜታ መለያዎችን በኤችቲኤምኤል ገጽ ኮድ ውስጥ ማስገባት አለበት። ከዚህ በኋላ፣ ጥያቄውን ካስተናገዱ በኋላ የrobots.txt ፋይልን ወይም የሜታ ታጎችን ቢያነሱ ምንም ይሁን ምን ማውጫዎቹ ለ180 ቀናት ከGoogle መረጃ ጠቋሚ ይወገዳሉ።
ቁርጥራጮችን (ቁርጥራጮችን) በማስወገድ ላይቁርጥራጭ (ቅንጣቢ) በፍለጋ ውጤቶች ዝርዝር ውስጥ በገጹ ርዕስ ስር የሚታየው እና የገጹን ይዘት የሚገልጽ ጽሑፍ ነው።
ጎግል ከገጽህ ላይ ያሉትን ቁርጥራጮች እንዳያሳይ ለመከላከል የሚከተለውን መለያ ወደ ክፍሉ ጨምር።
ማስታወሻ. ቁርጥራጮች ሲሰረዙ የተሸጎጡ ገጾች እንዲሁ ይሰረዛሉ።
የተሸጎጡ ገጾችን በመሰረዝ ላይጎግል የሚጎበኘውን የእያንዳንዱን ገጽ ቅጽበታዊ ገጽ እይታ በራስ ሰር ይፈጥራል እና በማህደር ያስቀምጣል። እነዚህ የተሸጎጡ ስሪቶች መኖራቸው ለዋና ተጠቃሚዎች የማይገኙ ቢሆኑም (ገጹን የሚያስተናግደው አገልጋይ በጊዜያዊ ችግር ምክንያት) ገጾችን እንዲያገኙ ያስችላቸዋል። ተጠቃሚዎች ጉግል ሲጎበኝባቸው የተሸጎጡ ገጾችን ያዩታል። ይህ የተሸጎጠ ስሪት መሆኑን የሚገልጽ መልእክት በገጹ አናት ላይ ይታያል። እንደዚህ አይነት ገጽ ለመድረስ ተጠቃሚው በፍለጋ ውጤቶች ገጽ ላይ "የተሸጎጠ" አገናኝን መምረጥ አለበት.
ሁሉም የፍለጋ ፕሮግራሞች ይህን አገናኝ ወደ እርስዎ ጣቢያ እንዳይያሳዩ ለመከላከል፣ ወደ ክፍሉ የሚከተለውን መለያ ያክሉ።
ማስታወሻ. ጥያቄዎ አስቸኳይ ከሆነ እና ለሚቀጥለው የጉግል ድረ-ገጽ መጎተትን መጠበቅ የማይቻል ከሆነ አውቶማቲክ የዩአርኤል ማስወገጃ ስርዓቱን ይጠቀሙ። ይህንን አውቶማቲክ ሂደት ለመቀስቀስ፣ ዌብማስተሩ መጀመሪያ ተገቢውን ሜታ መለያዎችን በገጹ HTML ኮድ ውስጥ ማስገባት አለበት።
ከጉግል ምስል ፍለጋ ምስልን በማስወገድ ላይምስልን ከGoogle ምስል ማውጫ ላይ ለማስወገድ የrobots.txt ፋይልን በአገልጋዩ ስር ማውጫ ውስጥ ያስቀምጡት። (ይህ የማይቻል ከሆነ በማውጫው ደረጃ ያስቀምጡት).
ምሳሌ፡- ምስሉን ከጉግል መረጃ ጠቋሚ ማስወገድ ከፈለጋችሁ www.vash-sajt.ru/kartinki/sobaki.jpg ላይ ባለው ድህረ ገጽ ላይ፣ www.vash-sajt.ru/robots.txt እና በሚከተለው ጽሑፍ ላይ ጨምሩበት።
የተጠቃሚ-ወኪል፡ Googlebot-Image
አትፍቀድ፡ /images/dogs.jpg
በጣቢያው ላይ ያሉትን ሁሉንም ምስሎች ከመረጃ ጠቋሚው ለማስወገድ የሮቦት.txt ፋይል ከሚከተለው ይዘት ጋር በአገልጋዩ ስር ማውጫ ውስጥ ያስቀምጡ።
የተጠቃሚ-ወኪል፡ Googlebot-Image
አትፍቀድ፡/
ይህ አብዛኛዎቹ ስካነሮች የሚከተሉ መደበኛ ፕሮቶኮል ነው; ከመረጃ ጠቋሚው አገልጋይ ወይም ማውጫ እንዲያስወግዱ ይፈቅድልዎታል. ስለ robots.txt ተጨማሪ መረጃ በገጹ ላይ ይገኛል።
ጎግል በተጨማሪም የrobots.txt ፋይልዎን ኮከቦችን በመጠቀም በተለዋዋጭነት እንዲጠቀሙ ይፈቅድልዎታል። በስርዓተ ጥለቶች፣ የ"*" ቁምፊ ማንኛውንም የቁምፊዎች ቅደም ተከተል ሊወክል ይችላል። ንድፉ በ"$" ቁምፊ ሊያልቅ ይችላል፣ እሱም የስሙን መጨረሻ ያመለክታል። ሁሉንም የአንድ የተወሰነ አይነት ፋይሎች ለመሰረዝ (ለምሳሌ ምስሎችን በ.jpg ቅርጸት ለመተው እና በ.gif ቅርጸት ያሉትን ለመሰረዝ) የሚከተለውን ግቤት ወደ robots.txt ፋይል ያክሉ።
የተጠቃሚ-ወኪል፡ Googlebot-Image
አትፍቀድ: /*.gif$
ማስታወሻ. ጥያቄዎ አስቸኳይ ከሆነ እና ለሚቀጥለው የጉግል ሮቦት ጣቢያዎን የሚጎበኘውን ክፍለ ጊዜ መጠበቅ የማይቻል ከሆነ አውቶማቲክ የዩአርኤል ማስወገጃ ስርዓቱን ይጠቀሙ። ይህንን አውቶማቲክ ሂደት ለመጀመር፣ ዌብማስተር መጀመሪያ የrobots.txt ፋይል መፍጠር እና በተገቢው ቦታ ላይ ማስቀመጥ አለበት።
የRobots.txt ፋይል በድር አገልጋዩ ስርወ ማውጫ ውስጥ የሚቆይ ከሆነ፣ Google ከአሁን በኋላ ጣቢያውን ወይም ማውጫዎቹን አይጎበኝም። የአገልጋይ ሩት ማውጫ ከሌለህ የ robots.txt ፋይሉን መሰረዝ ከፈለጋቸው ፋይሎች ጋር በተመሳሳይ ደረጃ ማስቀመጥ ትችላለህ። ይህን ካደረጉ እና አውቶማቲክ የዩአርኤል ማስወገጃ ስርዓትን ከተጠቀሙ በኋላ በ robots.txt ፋይል ውስጥ የተገለጹት ማውጫዎች ለ180 ቀናት ያህል ከGoogle መረጃ ጠቋሚ ይወገዳሉ፣ ጥያቄውን ካስኬዱ በኋላ የrobots.txt ፋይሉን ቢያነሱትም ይሁን። (የrobots.txt ፋይልን በተመሳሳይ ደረጃ ከተዉት ዩአርኤሉ በየ180 ቀኑ በራስ ሰር ስርዓት መወገድ አለበት።)
