ለሮቦቶች txt ትዕዛዞች. የሮቦቶች txt ፋይል እንዴት እንደሚስተካከል። የሮቦት txt ፋይል ምንድን ነው ፣ ለምን ያስፈልጋል እና ለምንድነው ተጠያቂው?

የ sitemap.xml ፋይል እና ለጣቢያው ትክክለኛው robots.txt የድረ-ገጽ ምንጮችን በፍለጋ ሮቦቶች ፈጣን እና የተሟላ መረጃ ጠቋሚ ለማድረግ አስተዋፅዖ የሚያደርጉ ሁለት አስገዳጅ ሰነዶች ናቸው። በ Yandex እና Google ውስጥ ትክክለኛ የጣቢያ መረጃ ጠቋሚ በፍለጋ ሞተሮች ውስጥ ስኬታማ ብሎግ ማስተዋወቅ ቁልፍ ነው።

የጣቢያ ካርታን በኤክስኤምኤል ቅርጸት እንዴት እንደሚሰራ እና ለምን እንደሚያስፈልግ አስቀድሜ ጽፌያለሁ። አሁን ለ WordPress ጣቢያ ትክክለኛውን robots.txt እንዴት መፍጠር እንደሚቻል እና ለምን በአጠቃላይ እንደሚያስፈልግ እንነጋገር ። ስለዚህ ፋይል ዝርዝር መረጃ ከ Yandex እና ከ Google እራሳቸው በቅደም ተከተል ማግኘት ይቻላል. ወደ ዋናው ነገር እገባለሁ እና የእኔን ፋይል እንደ ምሳሌ በመጠቀም ለዎርድፕረስ መሰረታዊ የ robots.txt ቅንብሮችን እነካለሁ።

ለድር ጣቢያ የrobots.txt ፋይል ለምን ያስፈልግዎታል?

የRobots.txt መስፈርት በጥር 1994 ታየ። የድረ-ገጽ ምንጭን በሚቃኙበት ጊዜ ሮቦቶች በመጀመሪያ የጽሁፍ ፋይልን ይፈልጉ robots.txt፣ በጣቢያው ወይም በብሎግ ስር አቃፊ ውስጥ ይገኛል። በእሱ እርዳታ ጣቢያውን የሚያመለክቱ የተለያዩ የፍለጋ ፕሮግራሞች ሮቦቶች የተወሰኑ ህጎችን ልንገልጽ እንችላለን።

robots.txtን በትክክል ማዋቀር የሚከተሉትን እንዲያደርጉ ይፈቅድልዎታል፦

ከመረጃ ጠቋሚው የተባዙ እና የተለያዩ የቆሻሻ መጣያ ገጾችን ማግለል;
ልንደብቃቸው የምንፈልጋቸውን የገጾች, ፋይሎችን እና አቃፊዎችን ጠቋሚ ማገድ;
በአጠቃላይ ለአንዳንድ የፍለጋ ሮቦቶች (ለምሳሌ ያሁ፣ ስለገቢ አገናኞች ከተፎካካሪዎች ለመደበቅ) ኢንዴክስ ማድረግን እምቢ ማለት፤
የጣቢያው ዋና መስታወት (ከ www ጋር ወይም ያለ www) ያመልክቱ;
ወደ የጣቢያ ካርታ ጣቢያmap.xml የሚወስደውን መንገድ ይግለጹ።

ለአንድ ጣቢያ ትክክለኛውን robots.txt እንዴት መፍጠር እንደሚቻል

ለዚሁ ዓላማ ልዩ ማመንጫዎች እና ፕለጊኖች አሉ, ነገር ግን ይህንን በእጅ ማድረግ የተሻለ ነው.

ማንኛውንም የጽሑፍ አርታኢ (ለምሳሌ ኖትፓድ ወይም ኖትፓድ++) በመጠቀም robots.txt የሚባል መደበኛ የጽሁፍ ፋይል መፍጠር እና በብሎግዎ ስር አቃፊ ውስጥ ወደ ማስተናገጃዎ ይስቀሉት። አንዳንድ መመሪያዎች በዚህ ፋይል ውስጥ መፃፍ አለባቸው፣ ማለትም. ለ Yandex ፣ Google ፣ ወዘተ ሮቦቶች የመረጃ ጠቋሚ ህጎች።

በዚህ ለመጨነቅ በጣም ሰነፍ ከሆናችሁ፣ከዚህ በታች ከኔ እይታ ትክክለኛ robots.txt ለዎርድፕረስ ከብሎግዬ ምሳሌ እሰጣለሁ። የጎራውን ስም በሶስት ቦታዎች በመተካት ሊጠቀሙበት ይችላሉ.

Robots.txt የፍጥረት ህጎች እና መመሪያዎች

ለስኬታማ ብሎግ የፍለጋ ሞተር ማመቻቸት፣Robots.txtን ለመፍጠር አንዳንድ ህጎችን ማወቅ ያስፈልግዎታል፡-

የሮቦትስ.txt ፋይል አለመኖር ወይም ባዶ መሆን ማለት የፍለጋ ፕሮግራሞች ሁሉንም የድረ-ገጽ ሀብቶች መረጃ ጠቋሚ እንዲያደርጉ ተፈቅዶላቸዋል ማለት ነው።
robots.txt በ your site.ru/robots.txt ላይ መከፈት አለበት፣ ለሮቦት የምላሽ ኮድ 200 እሺ እና መጠኑ ከ32 ኪ.ባ አይበልጥም። ፋይል መክፈት ያልቻለው (ለምሳሌ በ404 ስህተት ምክንያት) ወይም ትልቅ የሆነ ፋይል እንደ ደህና ይቆጠራል።
በፋይሉ ውስጥ ያሉት የመመሪያዎች ብዛት ከ 1024 መብለጥ የለበትም የአንድ መስመር ርዝመት ከ 1024 ቁምፊዎች መብለጥ የለበትም.
የሚሰራ የrobots.txt ፋይል በርካታ መግለጫዎች ሊኖሩት ይችላል፣ እያንዳንዱም በተጠቃሚ-ወኪል መመሪያ መጀመር አለበት እና ቢያንስ አንድ የእገዳ መመሪያ መያዝ አለበት። አብዛኛውን ጊዜ መመሪያዎችን በ robots.txt ለ Google እና ለሁሉም ሌሎች ሮቦቶች እና ለ Yandex ለየብቻ ይጽፋሉ.

መሰረታዊ robots.txt መመሪያዎች፡-

የተጠቃሚ-ወኪል - መመሪያው ለየትኛው የፍለጋ ሮቦት ይጠቁማል።

“*” የሚለው ምልክት ይህ በሁሉም ሮቦቶች ላይ ተፈጻሚ ይሆናል ማለት ነው፡- ለምሳሌ፡-

የተጠቃሚ ወኪል፡*

በ robots.txt ውስጥ ለ Yandex ደንብ መፍጠር ከፈለግን እንጽፋለን-

የተጠቃሚ ወኪል፡ Yandex

ለአንድ የተወሰነ ሮቦት መመሪያ ከተገለጸ፣ የተጠቃሚ-ወኪሉ፡ * መመሪያ በእሱ ግምት ውስጥ አይገባም።

አትፍቀድ እና ፍቀድ - በቅደም ተከተል, ይከለክላል እና ሮቦቶች የተገለጹትን ገጾችን እንዲጠቁሙ ይፍቀዱ. ሁሉም አድራሻዎች ከጣቢያው ሥር መገለጽ አለባቸው, ማለትም. ከሦስተኛው ግርዶሽ ጀምሮ. ለምሳሌ:

ሁሉም ሮቦቶች መላውን ጣቢያ እንዳይጠቁሙ መከልከል፡-
የተጠቃሚ ወኪል፡*
አትፍቀድ፡/
Yandex በ/wp-አስተዳዳሪ የሚጀምሩትን ሁሉንም ገፆች ጠቋሚ ማድረግ የተከለከለ ነው፡-
የተጠቃሚ ወኪል፡ Yandex
አትፍቀድ: / wp-አስተዳዳሪ
ባዶ የተፈቀደው መመሪያ ሁሉም ነገር መረጃ ጠቋሚ እንዲደረግ ይፈቅዳል እና ፍቀድ ከሚለው ጋር ተመሳሳይ ነው። ለምሳሌ፣ Yandex መላውን ጣቢያ እንዲጠቁም እፈቅዳለው፡-
የተጠቃሚ ወኪል፡ Yandex
አትፍቀድ፡
እና በተቃራኒው፣ ሁሉንም የፍለጋ ሮቦቶች ሁሉንም ገጾች እንዳይጠቁሙ እከለክላለሁ፡
የተጠቃሚ ወኪል፡*
ፍቀድ፡
ከተመሳሳይ የተጠቃሚ-ወኪል መመሪያዎችን ፍቀድ እና አትፍቀድ በዩአርኤል ቅድመ ቅጥያ ርዝመት የተደረደሩ እና በቅደም ተከተል የተፈጸሙ ናቸው። ብዙ መመሪያዎች ለጣቢያው አንድ ገጽ ተስማሚ ከሆኑ በዝርዝሩ ውስጥ የመጨረሻው ተፈፃሚ ይሆናል። አሁን ሮቦቱ መመሪያዎችን ሲጠቀሙ የተፃፉበት ቅደም ተከተል ለውጥ የለውም. መመሪያዎቹ ተመሳሳይ ርዝመት ያላቸው ቅድመ ቅጥያዎች ካሉት፣ ፍቀድ መጀመሪያ ይፈጸማል። እነዚህ ደንቦች በማርች 8, 2012 በሥራ ላይ ውለዋል. ለምሳሌ፡- በ/wp-ያካተተ የሚጀምሩ ገጾችን ብቻ ኢንዴክስ እንዲደረግ ይፈቅዳል፡-
የተጠቃሚ ወኪል፡ Yandex
አትፍቀድ፡/
ፍቀድ፡/wp-ያካትታል።

የጣቢያ ካርታ - የኤክስኤምኤል የጣቢያ ካርታ አድራሻን ይገልጻል። አንድ ጣቢያ ብዙ የSitemap መመሪያዎች ሊኖሩት ይችላል፣ እነሱም ጎጆ ሊሆኑ ይችላሉ። የጣቢያ መረጃ ጠቋሚን ለማፋጠን ሁሉም የጣቢያ ካርታ ፋይል አድራሻዎች በ robots.txt ውስጥ መገለጽ አለባቸው።

የጣቢያ ካርታ፡ http://sitemap.xml.gz
የጣቢያ ካርታ፡ http://site/sitemap.xml

አስተናጋጅ - ለመስታወቱ ሮቦት የትኛውን የድረ-ገጽ መስታወት ዋናውን ግምት ውስጥ ማስገባት እንዳለበት ይነግረዋል.

ጣቢያው በበርካታ አድራሻዎች (ለምሳሌ በ www እና ያለ www) የሚገኝ ከሆነ, ይህ ሙሉ የተባዙ ገጾችን ይፈጥራል, በማጣሪያው ሊያዙ ይችላሉ. እንዲሁም, በዚህ ሁኔታ, በመረጃ ጠቋሚው ውስጥ ዋናው ገጽ ላይሆን ይችላል, ነገር ግን ዋናው ገጽ, በተቃራኒው, ከፍለጋ ሞተር ኢንዴክስ ይገለላሉ. ይህንን ለመከላከል በ robots.txt ፋይል ውስጥ የታሰበውን የአስተናጋጅ መመሪያን ተጠቀም ለ Yandex ብቻ እና አንድ ብቻ ሊኖር ይችላል. ከተከለከለ እና ፍቀድ በኋላ የተፃፈ ሲሆን ይህን ይመስላል፡-

አስተናጋጅ: ድር ጣቢያ

መጎብኘት-ዘገየ - በሰከንዶች ውስጥ ገጾችን በማውረድ መካከል ያለውን መዘግየት ያዘጋጃል። ከባድ ጭነት ካለ እና አገልጋዩ ጥያቄዎችን ለማስኬድ ጊዜ ከሌለው ጥቅም ላይ ይውላል። በወጣት ጣቢያዎች ላይ የ Crawl-delay መመሪያን አለመጠቀም የተሻለ ነው. እንዲህ ተብሎ ተጽፏል።

የተጠቃሚ ወኪል፡ Yandex
ጎበኘ-ዘገየ፡ 4

Clean-param - በ Yandex ብቻ የተደገፈ እና የተባዙ ገጾችን በተለዋዋጭ ለማስወገድ ጥቅም ላይ ይውላል, ወደ አንድ ያዋህዳቸዋል. ስለዚህ, የ Yandex ሮቦት ተመሳሳይ ገጾችን ብዙ ጊዜ አያወርድም, ለምሳሌ, ከማጣቀሻ አገናኞች ጋር የተያያዙ. ይህንን መመሪያ እስካሁን አልተጠቀምኩም, ነገር ግን በ robots.txt ለ Yandex እገዛ, በአንቀጹ መጀመሪያ ላይ ያለውን አገናኝ ይከተሉ, ይህንን መመሪያ በዝርዝር ማንበብ ይችላሉ.

ልዩ ቁምፊዎች * እና $ በRobots.txt ውስጥ ጥቅም ላይ የሚውሉት የመከልከል እና የፍቀድ መመሪያዎችን ዱካዎች ነው፡-

ልዩ ቁምፊ "*" ማለት ማንኛውም የቁምፊዎች ቅደም ተከተል ማለት ነው. ለምሳሌ፡ አትፍቀድ፡/*?* ማለት ከዚህ ቁምፊ በፊት እና በኋላ ምን አይነት ገፀ-ባህሪያት ቢመጡም በአድራሻው ውስጥ “?” በሚታይባቸው ገፆች ላይ እገዳ ማለት ነው። በነባሪ, ልዩ ቁምፊ "*" በእያንዳንዱ ደንብ መጨረሻ ላይ ተጨምሯል, ምንም እንኳን ተለይቶ ባይገለጽም.
የ"$" ምልክት በህጉ መጨረሻ ላይ ያለውን "*" ይሰርዛል እና ጥብቅ ማዛመድ ማለት ነው። ለምሳሌ የተፈቀደው: /*?$ መመሪያ በ"?" ቁምፊ የሚያልቁ ገጾችን ጠቋሚ ማድረግን ይከለክላል።

ምሳሌ robots.txt ለዎርድፕረስ

በዎርድፕረስ ኢንጂን ላይ ላለ ብሎግ የእኔ የ robots.txt ፋይል ምሳሌ ይኸውና፡

የተጠቃሚ ወኪል፡ * አትፍቀድ፡ / cgi-bin አትፍቀድ፡ / wp-አስተዳዳሪ አትፍቀድ፡ / wp-ይዘትን ያካትታል አትፍቀድ፡ /wp-content/plugins አትፍቀድ፡ /wp-content/cache አትፍቀድ፡ /wp-ይዘት/ገጽታዎችን አትፍቀድ፡ / ተከልክሏል፡ */ተመለስ አትፍቀድ፡ */*/መመለስ አትፍቀድ፡/መመገብ/ አትፍቀድ፡ */*/መጋቢ/*/ አትፍቀድ፡ */መጋቢ አትከልከል፡/*?* አትፍቀድ፡ /?s= የተጠቃሚ ወኪል፡ Yandex አትፍቀድ: / cgi-bin አትፍቀድ: / wp-አስተዳዳሪ አትፍቀድ: / wp-ጨምሮ አይፈቀድም: / wp-content/plugins አትፍቀድ: / wp-ይዘት / መሸጎጫ አትፍቀድ: / wp-ይዘት / ገጽታዎች አትፍቀድ: / ትራክ አትፍቀድ: */ መከታተያ አትፍቀድ፡ */*/መመለስ አትፍቀድ፡/መጋቢ/ አትፍቀድ፡ */*/መጋቢ/*/ አትፍቀድ፡ */መጋቢ፡ አትፍቀድ፡/*?* አትፍቀድ፡ /?.ru/sitemap.xml..xml

ለ WordPress ትክክለኛውን robots.txt በመፍጠር እራስዎን ላለማታለል ይህንን ፋይል መጠቀም ይችላሉ። በመረጃ ጠቋሚ ላይ ምንም ችግሮች የሉም. የቅጂ ጥበቃ ስክሪፕት አለኝ፣ ስለዚህ ዝግጁ የሆነ robots.txt ለማውረድ እና ወደ ማስተናገጃዎ ለመስቀል የበለጠ አመቺ ይሆናል። በአስተናጋጅ እና በጣቢያ ካርታ መመሪያዎች ውስጥ የእኔን ጣቢያ ስም በራስዎ መተካትዎን አይርሱ።

የRobots.txt ፋይልን ለዎርድፕረስ በትክክል ለማዘጋጀት ጠቃሚ ተጨማሪዎች

የዛፍ አስተያየቶች በእርስዎ የዎርድፕረስ ጦማር ላይ ከተጫኑ ?replytocom= የተባዙ ገጾችን ይፈጥራሉ። በRobots.txt ውስጥ እንደዚህ ያሉ ገፆች በመከልከል፡/*?* መመሪያ ይዘጋሉ። ግን ይህ መፍትሄ አይደለም እና እገዳዎችን ማስወገድ እና replytocomን በሌላ መንገድ መዋጋት የተሻለ ነው። ምንድን, .

ስለዚህ፣ አሁን ያለው robots.txt ከጁላይ 2014 ጀምሮ ይህንን ይመስላል።

ተጠቃሚ-ወኪል፡ * አትፍቀድ፡ / wp-ን ያካትታል አትፍቀድ፡ / wp-ፊድ አትፍቀድ፡/wp-content/plugins አትፍቀድ፡/wp-content/cache አትፍቀድ፡/wp-ይዘት/ገጽታዎች ተጠቃሚ-ወኪል፡ Yandex አይፈቀድም፡ /wp መከልከልን ያካትታል፡ / wp-feed አትፍቀድ፡/wp-content/plugins አትፍቀድ፡/wp-ይዘት/መሸጎጫ አትፍቀድ፡/wp-ይዘት/ገጽታዎችን አስተናጋጅ፡ site.ru ተጠቃሚ-ወኪል፡ Googlebot-ምስል ፍቀድ፡/wp-ይዘት / ሰቀላ/ የተጠቃሚ ወኪል፡ YandexImages ፍቀድ፡ /wp-content/uploads/ የጣቢያ ካርታ፡ http://site.ru/sitemap.xml

በተጨማሪም የምስል ጠቋሚ ሮቦቶችን ደንቦችን ያዘጋጃል.

የተጠቃሚ-ወኪል፡ Mediapartners-Google
አትፍቀድ፡

ምድብ ወይም መለያ ገጾችን ለማስተዋወቅ ካቀዱ ከዚያ ወደ ሮቦቶች መክፈት አለብዎት። ለምሳሌ በብሎግ ድረ-ገጽ ላይ ምድቦች ከመረጃ ጠቋሚ የተዘጉ አይደሉም፣ ምክንያቱም ትንንሽ መጣጥፎችን ብቻ ስለሚያትሙ፣ ይዘትን ከማባዛት አንጻር ሲታይ እዚህ ግባ የሚባል አይደለም። እና በብሎግ ምግብ ውስጥ የጥቅሶችን ማሳያ ከተጠቀሙ ፣ በልዩ ማስታወቂያዎች የተሞሉ ፣ ከዚያ በጭራሽ ማባዛት አይኖርም።

ከላይ ያለውን ተሰኪ ካልተጠቀምክ፣ በRobots.txt ፋይልህ ውስጥ መለያዎችን፣ ምድቦችን እና ማህደሮችን መጠቆምን መከልከል ትችላለህ። ለምሳሌ የሚከተሉትን መስመሮች መጨመር፡-

አትፍቀድ፡ / ደራሲ/
አትፍቀድ፡/መለያ
አትፍቀድ፡ /መደብ/*/*
አትፍቀድ፡/20*

በ Yandex.Webmaster ፓነል ውስጥ ያለውን የrobots.txt ፋይል መፈተሽዎን አይርሱ እና ከዚያ ወደ ማስተናገጃዎ እንደገና ይስቀሉት።

robots.txtን ለማዋቀር ምንም ተጨማሪዎች ካሉዎት በአስተያየቶቹ ውስጥ ስለ እሱ ይፃፉ። አሁን ስለ ምን እንደሆነ እና ትክክለኛውን የ robots.txt ለጣቢያ እንዴት መፍጠር እንደሚችሉ ቪዲዮ ይመልከቱ, በ robots.txt ፋይል ውስጥ ኢንዴክስ ማድረግን እንዴት እንደሚከለክሉ እና ስህተቶችን ማስተካከል.

ሰላምታ፣ ውድ የፒንጎ SEO ብሎግ አንባቢዎች። በዚህ ጽሑፍ ውስጥ ለድር ጣቢያ robots.txt እንዴት በትክክል መፃፍ እንደሚቻል የእኔን ሀሳብ መግለጽ እፈልጋለሁ። በአንድ ወቅት፣ በዚህ ጉዳይ ላይ በበይነመረቡ ላይ ያለው መረጃ በቀላሉ የተበታተነ በመሆኑ በጣም ተናድጄ ነበር። በዚህ ምክንያት፣ ተደጋጋሚ መረጃዎችን በየጊዜው በማጣራት እና አዳዲሶችን በመለየት ብዙ ሀብቶችን ማለፍ ነበረብኝ።

ስለዚህ፣ እዚህ ላይ ከትርጉሙ ጀምሮ እና በዚህ መሳሪያ የተፈቱ የእውነተኛ ችግሮች ምሳሌዎችን በመጨረስ አብዛኞቹን ጥያቄዎች ለመመለስ እሞክራለሁ። አንድ ነገር ከረሳሁ, በአስተያየቶቹ ውስጥ ስለ እሱ ጻፍ - ጉዳዩን እመረምራለሁ እና ወደ ጽሑፉ እጨምራለሁ.

Robots.txt - ምንድን ነው, ለምን ያስፈልጋል እና የት ነው የሚኖረው?

ስለዚህ, በመጀመሪያ, ከዚህ ርዕስ ጋር ሙሉ ለሙሉ ለማያውቁት ትምህርታዊ ፕሮግራም.

Robots.txt ለፍለጋ ሞተር ሮቦቶች ጣቢያን ለመጠቆም መመሪያዎችን የያዘ የጽሑፍ ፋይል ነው። በዚህ ፋይል ውስጥ የድር አስተዳዳሪው የጣቢያውን ጠቋሚ መለኪያዎች ለሁሉም ሮቦቶች በአንድ ጊዜ እና ለእያንዳንዱ የፍለጋ ሞተር (ለምሳሌ ለ Google) መግለፅ ይችላል።

robots.txt የት ነው የሚገኘው?እሱ የሚገኘው በኤፍቲፒ ጣቢያ ስር አቃፊ ውስጥ ነው ፣ እና በእውነቱ ፣ በ txt ቅርጸት መደበኛ ሰነድ ነው ፣ እሱም በማንኛውም የጽሑፍ አርታኢ ሊስተካከል ይችላል (በግል ፣ ማስታወሻ ደብተር ++ እመርጣለሁ)። የሮቦቶች ፋይል ይዘቶች በአሳሽዎ የአድራሻ አሞሌ ውስጥ http://www.your-site.ru/robots.txt በመግባት ማየት ይችላሉ። በእርግጥ ካለ።

እንዴት ለድር ጣቢያ robots.txt መፍጠር ይቻላል?ተመሳሳይ ስም ያለው መደበኛ የጽሁፍ ፋይል መስራት እና ወደ ጣቢያው መጫን በቂ ነው. እንዴት በትክክል ማዋቀር እና ማቀናበር እንደሚቻል ከዚህ በታች ይብራራል.

የRobots.txt ፋይል አወቃቀር እና ትክክለኛ ውቅር

ትክክለኛው የሮቦቶች txt ፋይል ለአንድ ጣቢያ ምን መምሰል አለበት? አወቃቀሩ እንደሚከተለው ሊገለፅ ይችላል.

1. የተጠቃሚ-ወኪል መመሪያ

በዚህ ክፍል ውስጥ ምን ይፃፉ? ይህ መመሪያ የሚከተሉት መመሪያዎች ለየትኛው ሮቦት እንደታሰቡ ይወስናል። ለምሳሌ ለሁሉም ሮቦቶች የታሰቡ ከሆነ የሚከተለው ንድፍ በቂ ነው.

በRobots.txt ፋይል አገባብ ውስጥ “*” የሚለው ምልክት “ማንኛውም” ከሚለው ሐረግ ጋር እኩል ነው። ለአንድ የተወሰነ የፍለጋ ሞተር ወይም ሮቦት መመሪያዎችን መግለጽ ከፈለጉ ፣ ስሙ በከዋክብት ምትክ ከቀዳሚው ምሳሌ ተጽፏል ፣ ለምሳሌ-

የተጠቃሚ ወኪል፡ YandexBot

እያንዳንዱ የፍለጋ ሞተር የተወሰኑ ተግባራትን የሚያከናውን ሙሉ የሮቦቶች ስብስብ አለው። የ Yandex የፍለጋ ሞተር ሮቦቶች ተገልጸዋል. በጥቅሉ ሲታይ የሚከተለው አለ።

Yandex - የ Yandex ሮቦቶች ማጣቀሻ.
ጎግል ቦት ዋና ጠቋሚ ሮቦት ነው።
MSNBot የBing ዋና መረጃ ጠቋሚ ሮቦት ነው።
Aport - Aport ሮቦቶች.
Mail.Ru - PS ሜይል ሮቦቶች.

ለአንድ የተወሰነ የፍለጋ ሞተር ወይም ሮቦት መመሪያ ካለ, አጠቃላይዎቹ ችላ ይባላሉ.

2. መመሪያ ፍቀድ

ቀደም ሲል ከመረጃ ጠቋሚ ሙሉ በሙሉ ተዘግቶ የነበረ ከሆነ የአንድ ክፍል ነጠላ ገጾችን ይፈቅዳል። ለምሳሌ:

የተጠቃሚ ወኪል፡*
አትፍቀድ፡/
ፍቀድ፡ /ክፍት-ገጽ.html

በዚህ ምሳሌ ከገጹ poni.html በስተቀር መላውን ጣቢያ ከመረጃ ጠቋሚ እንከለክላለን

ይህ መመሪያ በእገዳው መመሪያ ከተገለጹት ደንቦች የማይካተቱትን ለማመልከት በተወሰነ ደረጃ ያገለግላል። እንደዚህ አይነት ሁኔታዎች ከሌሉ መመሪያው ጨርሶ ጥቅም ላይ ሊውል አይችልም. ብዙ ሰዎች እንደሚያስቡት ለመረጃ ጠቋሚ ጣቢያ እንዲከፍቱ አይፈቅድልዎትም ምክንያቱም እንደ Disallow: / እንደ ክልከላ ከሌለ በነባሪነት ይከፈታል።

2. መመሪያን አትፍቀድ

የመመሪያው ፍቀድ መከላከያ ነው እና ገፆችን፣ ክፍሎችን ወይም አጠቃላይ ጣቢያውን ከመረጃ ጠቋሚ ያግዳል። እሱ ከ noindex መለያ ጋር ተመሳሳይ ነው። ለምሳሌ:

የተጠቃሚ ወኪል፡*
አትፍቀድ: /closed-page.html

3. የአስተናጋጅ መመሪያ

ለ Yandex ብቻ ጥቅም ላይ የዋለ እና ወደ ጣቢያው ዋናው መስታወት ይጠቁማል. ይህን ይመስላል።

ዋና መስታወት ያለ www:

ዋና መስታወት ከ www:

አስተናጋጅ: www.site.ru

ድር ጣቢያ በ https ላይ:

አስተናጋጅ: https://site.ru

የአስተናጋጁን መመሪያ ሁለት ጊዜ ወደ ፋይል መጻፍ አይችሉም። ይህ በሆነ ስህተት ምክንያት ከተከሰተ በመጀመሪያ የሚመጣው መመሪያ ተሠርቷል, ሁለተኛው ደግሞ ችላ ይባላል.

4. የጣቢያ ካርታ መመሪያ

ወደ ኤክስኤምኤል የጣቢያ ካርታ ጣቢያmap.xml (ካለ) የሚወስደውን መንገድ ለመለየት ይጠቅማል። አገባቡ እንደሚከተለው ነው።

የጣቢያ ካርታ: http://www.site.ru/sitemap.xml

5. ንጹህ-ፓራም መመሪያ

ከመረጃ ጠቋሚ የተባዙ ሊሆኑ የሚችሉ ገፆችን ለማገድ ይጠቅማል። በእኔ አስተያየት የዩአርኤሎችን ፓራሜትሪክ ጅራት የሚቆርጥ በጣም ጠቃሚ መመሪያ የገጹ የመጀመሪያ አድራሻ የሆነውን የጀርባ አጥንት ብቻ ይተዋል ።

ይህ ችግር በተለይ ከካታሎጎች እና የመስመር ላይ መደብሮች ጋር ሲሰራ የተለመደ ነው.

ገጽ አለን እንበል፡-

http://www.site.ru/index.php

እና ይህ በስራ ሂደት ውስጥ ያለው ገጽ በአይነቱ ክሎኖች ሊበቅል ይችላል።

http://www.site.ru/index.php?option=com_user_view=አስታውስ
http://www.site.ru/index.php?option=com_user_view=reset
http://www.site.ru/index.php?option=com_user_view=login

የዚህን አይፈለጌ መልእክት ሁሉንም ሊሆኑ የሚችሉ ልዩነቶችን ለማስወገድ የሚከተሉትን ግንባታዎች ማመልከት በቂ ነው-

Clean-param: አማራጭ /index.php

በምሳሌው ላይ ያለው አገባብ ግልጽ ነው ብዬ አስባለሁ፡-

Clean-param፡ # መመሪያውን ይግለጹ
አማራጭ # የአይፈለጌ መልእክት መለኪያውን ይግለጹ
/index.php # የዩአርኤልን የጀርባ አጥንት በአይፈለጌ መልእክት መለኪያ ይግለጹ

ብዙ መመዘኛዎች ካሉ፣ በቀላሉ አምፐርሳንድ (&) በመጠቀም እንዘረዝራቸዋለን።

http://www.site.ru/index.php?option=com_user_view=remind&size=big # URL ከሁለት መለኪያዎች ጋር
Clean-param፡አማራጭ&big/index.php # ሁለት መለኪያዎች የሚገለጹት አምፐርሳንድ በመጠቀም ነው።

ምንነቱን የሚያብራራ ቀላል ምሳሌ ተወስዷል። በተለይ ከሲኤምኤስ ቢትሪክስ ጋር ስሰራ ለዚህ ግቤት አመሰግናለሁ ማለት እፈልጋለሁ።

የጉብኝት መዘግየት መመሪያ

የጣቢያ ገጾችን በ Yandex ሮቦት ለመጫን ጊዜ እንዲያዘጋጁ ይፈቅድልዎታል. አገልጋዩ በጣም ከተጫነ እና ይዘቱን በፍጥነት ለመመለስ ጊዜ አይኖረውም. በእኔ አስተያየት, ይህ ከአሁን በኋላ ከግምት ውስጥ የማይገባ እና ጥቅም ላይ ሊውል የማይችል አናክሮኒዝም ነው.

የጉብኝት መዘግየት፡- 3.5 #ጊዜ 3.5 ሰከንድ

አገባብ

# - አስተያየቶችን ለመጻፍ ያገለግል ነበር-

የተጠቃሚ ወኪል፡ * # መመሪያ በሁሉም ሮቦቶች ላይ ተፈጻሚ ይሆናል።

* - ማንኛውም የቁምፊዎች ቅደም ተከተል ማለት ነው, ትርጉሙ:

አትፍቀድ፡ /ገጽ* # ሁሉንም በገጽ የሚጀምሩ ገጾችን አትፍቀድ

አትፍቀድ፡/*ገጽ # በገጽ የሚያልቁ ገጾችን አትፍቀድ

አትፍቀድ: /cgi-bin/*.aspx # ሁሉንም aspx ገጾች በcgi-bin አቃፊ ውስጥ አትፍቀድ

$ - ደንብ መቆራረጥ፣ የኮከብ ምልክት ምልክት መከላከያ

አትፍቀድ፡ /ገጽ$ # የሚዘጋው /ገጽ ብቻ ነው እንጂ /page.html ወይም pageline.html አይደለም።

ምሳሌ robots.txt ፋይል

ከላይ የተገለጹትን አወቃቀሮች እና ደንቦች ግንዛቤን ለማጠናከር, ለሲኤምኤስ የውሂብ ህይወት ሞተር መደበኛውን ሮቦቶች txt እናቀርባለን.

የተጠቃሚ ወኪል፡ *# መመሪያዎች ለሁሉም የፍለጋ ፕሮግራሞች የታሰቡ ናቸው።
አትፍቀድ፡ /engine/go.php # የተወሰኑ ክፍሎችን እና ገጾችን አሰናክል
አትፍቀድ፡ / ሞተር/download.php #
አትፍቀድ፡ /ተጠቃሚ/ #
አትፍቀድ፡ /አዲስ ልኡክ ጽሁፎች/ #
አትፍቀድ፡/*ንዑስ አንቀጽ=userinfo # ገፆችን ከግል መለኪያዎች ጋር መዝጋት
አትፍቀድ፡ /*ንዑስ ጽሑፍ=አዲስ ልኡክ ጽሁፎች #
አትፍቀድ፡/* አድርግ=የመጨረሻ አስተያየት #
አትፍቀድ፡/* አድርግ=ምላሽ #
አትፍቀድ፡ /* አድርግ= መመዝገብ #
አትፍቀድ፡/* አድርግ=የጠፋ የይለፍ ቃል #
አስተናጋጅ፡ www.site # የጣቢያውን ዋና መስታወት ይጠቁማል
የጣቢያ ካርታ፡ https://site/sitemap.xml # ወደ የጣቢያ ካርታው የሚወስደውን መንገድ ያመለክታሉ
የተጠቃሚ-ወኪል፡- Aport # የሕጎችን አቅጣጫ በPS Aport ላይ ያመላክታል።
አትፍቀድ፡/ # ከእነሱ ጋር ጓደኛ መሆን እንደማንፈልግ እናስብ

ሮቦቶች.txt በመፈተሽ ላይ

ሮቦቶችን txt ትክክለኛነትን እንዴት ማረጋገጥ እንደሚቻል? መደበኛው አማራጭ የ Yandex አረጋጋጭ ነው - http://webmaster.yandex.ru/robots.xml. ወደ ሮቦቶችዎ ፋይል የሚወስደውን መንገድ ያስገቡ ወይም ወዲያውኑ ይዘቱን ወደ የጽሑፍ መስኩ ይለጥፉ። ልንፈትናቸው የምንፈልጋቸውን የዩአርኤሎች ዝርዝር አስገባን - በተሰጠው መመሪያ መሰረት የተዘጉም ይሁኑ የተከፈቱ - "Check" የሚለውን ይጫኑ እና voila! ትርፍ

የገጹ ሁኔታ ታይቷል - ለመረጃ ጠቋሚ ክፍት ወይም ተዘግቷል. ከተዘጋ, ከዚያም በየትኛው ደንብ ይገለጻል. የእንደዚህ አይነት ገጽ መረጃ ጠቋሚን ለመፍቀድ በአረጋጋጭ የተመለከተውን ደንብ ማሻሻል ያስፈልግዎታል። በፋይሉ ውስጥ የአገባብ ስህተቶች ካሉ አረጋጋጩ ይህንንም ሪፖርት ያደርጋል።

Robots.txt ጀነሬተር - የመስመር ላይ ፈጠራ

አገባቡን ለማጥናት ፍላጎት ወይም ጊዜ ከሌለዎት ነገር ግን በድረ-ገጹ ላይ አይፈለጌ መልዕክት ገጾችን መዝጋት ካስፈለገዎት ማንኛውንም ነፃ የመስመር ላይ ጀነሬተር መጠቀም ይችላሉ ለጣቢያው ሮቦቶች txt ብቻ እንዲፈጥሩ ያስችልዎታል ። ሁለት ጠቅታዎች. ከዚያ ማድረግ ያለብዎት ፋይሉን ማውረድ እና ወደ ድር ጣቢያዎ መጫን ብቻ ነው። ከእሱ ጋር በሚሰሩበት ጊዜ ግልጽ የሆኑትን መቼቶች መፈተሽ ብቻ ነው, እና እንዲሁም ከመረጃ ጠቋሚ ማገድ የሚፈልጓቸውን ገጾች ያመልክቱ. ጄነሬተሩ ቀሪውን ያደርግልዎታል.

ለታዋቂ ሲኤምኤስ ዝግጁ የሆኑ ፋይሎች

በ1C Bitrix ላይ ላለ ጣቢያ የRobots.txt ፋይል

የተጠቃሚ-ወኪል፡*
አትፍቀድ፡ /ቢትሪክስ/
አትፍቀድ፡ /የግል/
አትፍቀድ፡ / መስቀል/
አትፍቀድ: /*ግባ*
አትፍቀድ: /*auth*
አትፍቀድ፡/* ፍለጋ
አትፍቀድ: /*? ዓይነት=
አትፍቀድ: /* gclid=
አትፍቀድ: /* መመዝገብ =
አትፍቀድ: /*?በአንድ_ቁጥር=
አትፍቀድ: /*የረሳው_ይለፍ ቃል=
አትፍቀድ፡ /*የይለፍ ቃል ለውጥ=
አትፍቀድ: /*መውጣት=
አትፍቀድ፡ /*back_url_admin=
አትፍቀድ: /* ማተም =
አትፍቀድ: /*backurl=
አትፍቀድ: /* BACKURL =
አትፍቀድ: /*back_url=
አትፍቀድ፡ /*BACK_URL=
አትፍቀድ፡ /*ADD2BASKET
አትፍቀድ፡ /*ADD_TO_COMPARE_LIST
አትፍቀድ፡ /* DELETE_FROM_COMPARE_LIST
አትፍቀድ፡/* ድርጊት=ግዛ
አትፍቀድ፡ /*set_filter=y
አትፍቀድ፡ /*?ሞድ=ማትሪክስ
አትፍቀድ፡ /*?mode=ዝርዝሮች
አትፍቀድ: /* openstat
አትፍቀድ፡ /*from=adwords
አትፍቀድ: /* utm_source
አስተናጋጅ: www.site.ru

Robots.txt ለዳታላይፍ ሞተር (ዲኤልኤል)

የተጠቃሚ ወኪል፡*
አትፍቀድ: /engine/go.php
አትፍቀድ: /engine/download.php
አትፍቀድ: / ሞተር / ክፍሎች / ከፍተኛ ስላይድ /
አትፍቀድ፡ /ተጠቃሚ/
አትፍቀድ፡ /tags/
አትፍቀድ፡ / newposts/
አትፍቀድ: /statistics.html
አትፍቀድ: /* ንዑስ ክፍል = userinfo
አትፍቀድ: /* ንዑስ ጽሑፍ = አዲስ ልጥፎች
አትፍቀድ፡/* አድርግ=የመጨረሻ አስተያየት
አትፍቀድ፡/* አድርግ=ምላሽ
አትፍቀድ: /* አድርግ = መመዝገብ
አትፍቀድ፡/* አድርግ=የጠፋ የይለፍ ቃል
አትፍቀድ: /* አድርግ= addnews
አትፍቀድ: /* አድርግ = ስታቲስቲክስ
አትፍቀድ: /* do=pm
አትፍቀድ፡/* አድርግ=ፈልግ
አስተናጋጅ: www.site.ru
የጣቢያ ካርታ: http://www.site.ru/sitemap.xml

Robots.txt ለ Joomla

የተጠቃሚ ወኪል፡*
አትፍቀድ: /አስተዳዳሪ/
አትፍቀድ፡ /መሸጎጫ/
አትፍቀድ፡ /ያካትታል/
አትፍቀድ፡/መጫን/
አትፍቀድ፡ /ቋንቋ/
አትፍቀድ፡ /ቤተመጽሐፍት/
አትፍቀድ፡ /ሚዲያ/
አትፍቀድ፡ /ሞዱሎች/
አትፍቀድ፡ /plugins/
አትፍቀድ፡ / አብነቶች/
አትፍቀድ፡ /tmp/
አትፍቀድ፡ /xmlrpc/
አትፍቀድ: * ማተም
አትፍቀድ: /* utm_source
አትፍቀድ፡ /*mailto*
አትፍቀድ፡/*ጀምር*
አትፍቀድ: /*መመገብ*
አትፍቀድ፡/*ፈልግ*
አትፍቀድ: /*ተጠቃሚዎች*
አስተናጋጅ: www.site.ru
የጣቢያ ካርታ: http://www.site.ru/sitemap.xml

Robots.txt ለ Wordpress

የተጠቃሚ ወኪል፡*
አትፍቀድ: /cgi-bin
አትፍቀድ: / wp-አስተዳዳሪ
አትፍቀድ: / wp- ያካትታል
አትፍቀድ: / wp-content/plugins
አትፍቀድ፡/wp-content/cache
አትፍቀድ: / wp-ይዘት / ገጽታዎች
አትፍቀድ፡ */መመለስ
አትፍቀድ፡ */መመገብ
አትፍቀድ: /wp-login.php
አትፍቀድ: /wp-register.php
አስተናጋጅ: www.site.ru
የጣቢያ ካርታ: http://www.site.ru/sitemap.xml

Robots.txt ለ Ucoz

የተጠቃሚ ወኪል፡*
አትፍቀድ፡ /ሀ/
አትፍቀድ፡ /stat/
አትፍቀድ፡ /index/1
አትፍቀድ፡ /index/2
አትፍቀድ፡ /index/3
አትፍቀድ፡ /index/5
አትፍቀድ፡ /index/7
አትፍቀድ፡ /index/8
አትፍቀድ፡ /index/9
አትፍቀድ፡ /ፓነል/
አትፍቀድ፡ /አስተዳዳሪ/
አትፍቀድ፡ /አስተማማኝ/
አትፍቀድ፡ /አዋቂ/
አትፍቀድ: /mchat
አትፍቀድ፡/ፈልግ
አትፍቀድ፡/ሱቅ/ማዘዝ/
አትፍቀድ: /?ssid=
አትፍቀድ: /google
አትፍቀድ፡/

ለጣቢያው የrobots.txt ፋይል እንዴት መፍጠር እንደሚቻል ላይ ዝርዝር መመሪያዎች። Robots.txt የድረ-ገጽ ሙሉ የፍለጋ ሞተር ማሻሻያ በጣም አስፈላጊ ከሆኑ ነገሮች አንዱ ነው። ይህንን ፋይል በትክክል ለመጠቀም ሁኔታዎችን በመመልከት በጣቢያው ላይ የተወሰነ አወንታዊ ውጤት ማግኘት ይችላሉ። ለአብዛኛው PS የተለያዩ መመሪያዎችን መጥቀስ ይቻላል. የትኛው ለፍለጋ ቦት ገጾችን፣ ማውጫዎችን ወይም የገጹን ክፍሎች ለመጎብኘት አስፈላጊ የሆኑ ገደቦችን ወይም ፈቃዶችን ያሳያል።

የጽሁፉ ይዘት፡-

Robots.txt ፋይል - መሠረታዊ ፍቺ

Robots.txt - በጥር 1944 ተቀባይነት ያገኘው የፍለጋ ወኪሎች (ቦቶች) የተወሰኑ የማግለል ደረጃዎች አሉት። የዚህ ፋይል ደንቦች በፈቃደኝነት በጣም የተለመዱ PS ይከተላሉ. ፋይሉ አንድ ወይም ብዙ ደንቦችን ያቀፈ ሊሆን ይችላል፣ እያንዳንዱም የፍለጋ ሮቦት በጣቢያው ላይ የተወሰኑ መንገዶችን ያግዳል ወይም ይፈቅዳል።

በነባሪ, ይህ ፋይል በጣቢያው ላይ አይደለም - ይህም ሁሉንም PS ሁሉንም የጣቢያ ይዘት መረጃ ጠቋሚ ለማድረግ ሙሉ ፍቃድ ይሰጣል. እንዲህ ዓይነቱ ፈቃድ በፍለጋ ሞተር ኢንዴክስ ውስጥ የተካተቱትን የጣቢያው አስፈላጊ ቴክኒካዊ ገጾችን ሊያስከትል ይችላል, ይህም መሆን የለበትም.

ለምን Robots.txt በድር ጣቢያ ላይ ያስፈልጋል - በፍለጋ ሞተር ማስተዋወቅ ላይ ያለው ተጽእኖ

Robots.txt በድር ጣቢያ የፍለጋ ሞተር ማሻሻያ ውስጥ በጣም አስፈላጊው ነገር ነው። ለፍለጋ ቦቶች በትክክል ለተገለጸው የሕጎች ስብስብ ምስጋና ይግባውና በፍለጋ ውስጥ የአንድ ጣቢያ ደረጃ ላይ የተወሰነ ጭማሪ ማግኘት ይቻላል። እነዚህ መመሪያዎች ምን ይሰጣሉ:

የገጹን የተወሰኑ ገጾችን፣ ክፍሎች እና ማውጫዎችን ከመጠቆም ተቆልፏል።
ጠቃሚ ይዘት የሌላቸውን ገጾች ሳይጨምር።
የተባዙ ገጾችን ማስወገድ, ወዘተ.

ለአብዛኛዎቹ ጣቢያዎች እንደዚህ ያሉ የመረጃ ጠቋሚ ገደቦች በቀላሉ አስፈላጊ ናቸው ፣ ትናንሽ ሙሉ ገጽ ያላቸው አማራጭ ናቸው። ይሁን እንጂ በእያንዳንዱ ጣቢያ ላይ የተወሰኑ መመሪያዎችን መጨመር ያስፈልጋል. ለምሳሌ፣ በመረጃ ጠቋሚ ላይ እገዳዎች፡-

የመመዝገቢያ ገጾች, የአስተዳዳሪ መግቢያ, የይለፍ ቃል መልሶ ማግኘት.
ቴክኒካዊ ካታሎጎች.
Rss - የጣቢያ ምግቦች.
Replytocom እና ሌሎች ነገሮች.

ትክክለኛውን Robors.txt እራስዎ እንዴት መፍጠር እንደሚችሉ

የRobots.txt ፋይልን በሚፈጥሩበት ጊዜ ጀማሪዎች እንኳን ምንም አይነት ችግር ሊገጥማቸው አይገባም። የተወሰኑ የድርጊቶችን ቅደም ተከተል መከተል በቂ ነው-

Robots.txt የጽሑፍ ሰነድ ነው እና በማንኛውም የሚገኝ የጽሑፍ አርታዒ የተፈጠረ ነው።
የፋይል ቅጥያው .txt መሆን አለበት።
ስሙ የሚፈለገው ሮቦቶች ነው።
በአንድ ጣቢያ ላይ አንድ እንደዚህ ያለ ፋይል ብቻ ይፈቀዳል።
በጣቢያው ስር ማውጫ ውስጥ ብቻ ተቀምጧል.

መደበኛ የጽሑፍ አርታዒ (ማስታወሻ ደብተር እንደ አማራጭ) መጠቀም ያስፈልግዎታል። የ .txt ቅርጸት ሰነድ እና የሮቦቶች ስም እንፈጥራለን. ከዚያም ይህንን ሰነድ የኤፍቲፒ ደንበኛን በመጠቀም ወደ ጣቢያው ስርወ ማውጫ እናስተላልፋለን። እነዚህ መከናወን ያለባቸው ዋና ዋና ደረጃዎች ናቸው.

የመስመር ላይ አገልግሎቶችን በመጠቀም Robots.txt መፍጠር

ይህ ዘዴ በጣም ቀላል እና ፈጣኑ ነው, ሮቦቶች.txt ራሳቸው ለመፍጠር ለሚፈሩ ወይም በቀላሉ ሰነፍ ለሆኑ ተስማሚ ነው. የዚህን ፋይል መፈጠር የሚያቀርቡ እጅግ በጣም ብዙ አገልግሎቶች አሉ። ግን ይህንን ዘዴ በተመለከተ አንዳንድ ጥቃቅን ነገሮችን ግምት ውስጥ ማስገባት ጠቃሚ ነው. ለምሳሌ፡-

ተወካዩን ለመከልከል ወይም ለመፍቀድ በትክክል ምን እንደሚፈልጉ አስቀድመው ግምት ውስጥ ማስገባት ያስፈልጋል.
የተጠናቀቀውን ፋይል ወደ ጣቢያው ከመጫንዎ በፊት ማረጋገጥ አስፈላጊ ነው.
ይጠንቀቁ፣ ምክንያቱም በተሳሳተ መንገድ የተፈጠረ Robots.txt የመስመር ላይ ፋይል ወደ አስከፊ ሁኔታ ይመራል። ስለዚህ, ፍለጋው ቀዳሚ መሆን የሌለበት የጣቢያው ቴክኒካዊ እና ሌሎች ገጾችን ሊያካትት ይችላል.

አሁንም ትክክለኛ ብጁ ሮቦቶችን ለመፍጠር ጊዜ እና ጥረት ማጥፋት ይሻላል። በዚህ መንገድ ከጣቢያዎ ጋር የሚዛመድ ክልከላዎች እና ፈቃዶች በግልፅ የተረጋገጠ መዋቅር እንደገና መፍጠር ይችላሉ።

የRobots.txt ፋይልን ማስተካከል እና ማረም

አንዴ Robots.txt በተሳካ ሁኔታ ከተፈጠረ በቀላሉ አርትዕ ማድረግ እና እንደፈለጉ መቀየር ይችላሉ። በዚህ ሁኔታ, አንዳንድ ደንቦችን እና ትክክለኛ አገባብ ግምት ውስጥ ማስገባት አለብዎት. ከጊዜ በኋላ ይህን ፋይል ደጋግመው ይለውጣሉ። ነገር ግን አይርሱ, ከአርትዖት በኋላ, ይህን ፋይል ወደ ጣቢያው መስቀል ያስፈልግዎታል. በዚህም ለፍለጋ ሮቦቶች ይዘቱን በማዘመን ላይ።

Robots.txt ን መፃፍ በጣም ቀላል ነው, ለዚህ ምክንያቱ የዚህ ፋይል ቀላል ንድፍ መዋቅር ነው. ደንቦችን በሚጽፉበት ጊዜ ዋናው ነገር በጥብቅ የተገለጸ አገባብ መጠቀም ነው. እነዚህ ደንቦች በፈቃደኝነት የሚከተሏቸው ከሞላ ጎደል ሁሉም ዋና PSs ናቸው። በRobots.txt ፋይል ውስጥ ያሉ ብዙ ስህተቶችን ለማስወገድ የአንዳንድ ህጎች ዝርዝር ይኸውና፡

በአንድ መስመር ላይ ከአንድ በላይ የተገለጹ መመሪያዎች ሊኖሩ አይገባም።
እያንዳንዱ ህግ በአዲስ መስመር ይጀምራል።
በመስመሩ መጀመሪያ ላይ ያለው ቦታ ተወግዷል.
ከ# ምልክቱ በኋላ አስተያየቶች ተፈቅደዋል።
ባዶ ሮቦቶች ለመጠቆም እንደ ሙሉ ፍቃድ ይቆጠራሉ።
ይህ ፋይል በትክክለኛ "ሮቦቶች" ቅርጸት ብቻ ሊሰየም ይችላል.
የፋይሉ መጠን ከ 32 ኪባ መብለጥ የለበትም.
በፍቀድ እና አትፍቀድ መመሪያዎች ውስጥ አንድ ህግ ብቻ ነው የሚፈቀደው። ከመፍቀድ በኋላ ያለው ባዶ እሴት፡ ወይም አትፍቀድ፡ ከሙሉ ፍቃድ ጋር እኩል ነው።
ሁሉም ህጎች በትንሽ ፊደል መፃፍ አለባቸው።
ፋይሉ ሁል ጊዜ የሚገኝ መሆን አለበት።
ከተጠቀሱት ደንቦች በኋላ ያለው ባዶ መስመር የተጠቃሚ-ወኪል መመሪያ ደንቦችን ሙሉ በሙሉ ያመለክታል.
ለእያንዳንዱ PS ህጎቹን በተናጠል ማዘዝ ጥሩ ነው.
ደንቡ የጣቢያ ማውጫ ከሆነ ፣ ከዚያ በፊት slash (/) ማስቀመጥዎን ያረጋግጡ።
በመስመር ላይ ወይም በደንቡ ውስጥ ምንም የጥቅስ ምልክቶች ሊኖሩ አይገባም።
ከጣቢያዎ ጋር የሚዛመዱ ጥብቅ የሕጎችን መዋቅር ግምት ውስጥ ማስገባት ያስፈልጋል.
Robots.txt ዝቅተኛ መሆን እና የሚተላለፈውን መልእክት በግልፅ ማስተላለፍ አለበት።

የRobots.txt ፋይል ትክክለኛ ውቅር - ትክክለኛ የትእዛዝ ጽሑፍ

ሮቦቶችን ሲጠቀሙ አወንታዊ ውጤት ለማግኘት, በትክክል ማዋቀር ያስፈልግዎታል. በዚህ የማስተማሪያ ፋይል ውስጥ ያሉት ሁሉም መሰረታዊ ትዕዛዞች በ Google እና Yandex በትልቁ የፍለጋ ሞተሮች ይከተላሉ. ሌሎች PSs አንዳንድ መመሪያዎችን ችላ ማለት ይችላሉ። እንዴት ነው robots.txt ለአብዛኛዎቹ የፍለጋ ፕሮግራሞች የበለጠ ምላሽ ሰጪ ማድረግ የሚቻለው? እዚህ ከዚህ ፋይል ጋር ለመስራት መሰረታዊ ህጎችን መረዳት አለብዎት, ይህም ከላይ የተብራራውን.
መሰረታዊ ትእዛዛትን እንታይ እዩ?

የተጠቃሚ-ወኪል፡*- መመሪያው በሁሉም የ ps bots ላይ ተፈጻሚ ይሆናል። እንዲሁም የተወሰኑ የፍለጋ ፕሮግራሞችን በተናጥል መግለጽ ይቻላል, ለምሳሌ: የተጠቃሚ-ወኪል: GoogleBot እና የተጠቃሚ-ወኪል: YandexBot. በዚህ መንገድ, ለአስፈላጊ PSs ደንቦች በትክክል ተሰይመዋል.

አትፍቀድ፡- መጎተት እና መረጃ ጠቋሚ (ገጽ ፣ ማውጫ ወይም ፋይሎች) ሙሉ በሙሉ ይከለክላል።

ፍቀድ፡- መጎተት እና መረጃ ጠቋሚ (የገጽ ፣ ማውጫ ወይም ፋይሎች) ሙሉ በሙሉ ይፈቅዳል።

ንጹህ-ፓራም;- ተለዋዋጭ ይዘት ያላቸውን የጣቢያ ገጾችን ለማስቀረት ያስፈልጋል። ለዚህ ደንብ ምስጋና ይግባውና በጣቢያው ላይ የተባዛ ይዘትን ማስወገድ ይችላሉ.

ጎበኘ - መዘግየት፡- ደንቡ ለ p-bots ሰነዶችን ከጣቢያው ለማውረድ ያለውን የጊዜ ክፍተት ይገልጻል። በአገልጋዩ ላይ ያለውን ጭነት በከፍተኛ ሁኔታ እንዲቀንሱ ያስችልዎታል. ለምሳሌ: "Crawl-delay: 5" - ሰነዶችን ከጣቢያው ማውረድ በ 5 ሰከንድ ከአንድ ጊዜ በላይ እንደማይቻል ለሮቦት ይነግረዋል.

አስተናጋጅ: your_site.ru- ለጣቢያው ዋና መስታወት ተጠያቂ ነው. ይህ መመሪያ የጣቢያው ቅድሚያ የሚሰጠውን ስሪት መግለጽ አለበት።

የጣቢያ ካርታ፡ http://your_site.ru/sitemap.xml- እርስዎ እንደገመቱት ይህ መመሪያ በጣቢያው ላይ የጣቢያ ካርታ መኖሩን ለp-bot ይነግረዋል.

# - አስተያየቶችን ለመተው ያስችልዎታል. ከሃሽ ምልክቱ በኋላ ብቻ አስተያየት መስጠት ይችላሉ። በአዲስ መስመር ላይ ወይም እንደ መመሪያው ቀጣይነት ሊቀመጥ ይችላል. መመሪያዎችን በሚያልፉበት ጊዜ እነዚህ ሁሉ አማራጮች በቦቶች ችላ ይባላሉ።

የRobots.txs ምሳሌዎች ለሁሉም ዋና የይዘት አስተዳደር ስርዓቶች (ሲኤምኤስ)

መመሪያውን ለመቅዳት, ፍንጭ ባለው አዝራር ላይ ጠቅ ማድረግ ያስፈልግዎታል.

ዎርድፕረስ (WP)

የተጠቃሚ-ወኪል፡*

ፍቀድ፡ /wp-content/loads/

አትፍቀድ: /wp-login.php

አትፍቀድ: /wp-register.php

አትፍቀድ: /xmlrpc.php

አትፍቀድ: /template.html

አትፍቀድ: / wp-አስተዳዳሪ

አትፍቀድ: / wp- ያካትታል

አትፍቀድ: / wp-ይዘት

አትፍቀድ: / ምድብ

አትፍቀድ: / ማህደር

አትፍቀድ፡ */መመለስ/

አትፍቀድ፡ */መመገብ/

አትፍቀድ፡ */አስተያየቶች/

አትፍቀድ: /?feed=

አስተናጋጅ: site.ru
»

HostCMS

የተጠቃሚ ወኪል፡*

አትፍቀድ: captcha.php

አትፍቀድ፡ download_file.php

አስተናጋጅ: site.ru
የጣቢያ ካርታ፡ http://site.ru/sitemap.xml

ኢዮምላ

የተጠቃሚ ወኪል፡*

አትፍቀድ: /አስተዳዳሪ/

አትፍቀድ፡ /መሸጎጫ/

አትፍቀድ፡ /አካላት/

አትፍቀድ፡ /ምስሎች/

አትፍቀድ፡ /ያካትታል/

አትፍቀድ፡/መጫን/

አትፍቀድ፡ /ቋንቋ/

አትፍቀድ፡ /ቤተመጽሐፍት/

አትፍቀድ፡ /ሚዲያ/

አትፍቀድ፡ /ሞዱሎች/

አትፍቀድ፡ /plugins/

አትፍቀድ፡ / አብነቶች/

አትፍቀድ፡ /xmlrpc/

አስተናጋጅ: site.ru
የጣቢያ ካርታ፡ http://site.ru/sitemap.xml

ኢዮምላ 3

የተጠቃሚ ወኪል፡*

አትፍቀድ: /አስተዳዳሪ/

አትፍቀድ፡ /መሸጎጫ/

አትፍቀድ፡ /ያካትታል/

አትፍቀድ፡/መጫን/

አትፍቀድ፡ /ቋንቋ/

አትፍቀድ፡ /ቤተመጽሐፍት/

አትፍቀድ፡ /ሚዲያ/

አትፍቀድ፡ /ሞዱሎች/

አትፍቀድ፡ /plugins/

አትፍቀድ፡ / አብነቶች/

አትፍቀድ፡ /xmlrpc/

MODx Evo

የተጠቃሚ ወኪል፡*

አትፍቀድ፡ /ንብረቶች/መሸጎጫ/

አትፍቀድ፡ /ንብረቶች/ሰነዶች/

አትፍቀድ፡ /ንብረቶች/ወደ ውጪ መላክ/

አትፍቀድ፡ /ንብረቶች/ማስመጣት/

አትፍቀድ፡ /ንብረቶች/ሞጁሎች/

አትፍቀድ፡ /ንብረቶች/ፕለጊኖች/

አትፍቀድ፡ /ንብረቶች/ ቁርጥራጭ/

አትፍቀድ: /ጫን/

አትፍቀድ፡ /አስተዳዳሪ/

አትፍቀድ: /index.php

አስተናጋጅ: vash_sait.ru (ወይም www.vash_sait.ru)
የጣቢያ ካርታ፡ http:// ዱካ ወደ የእርስዎ ኤክስኤምኤል ቅርጸት ካርታ

NetCat

የተጠቃሚ-ወኪል፡*

አትፍቀድ: /ጫን/

አትፍቀድ፡ /links/

አትፍቀድ፡ /netcat/

አትፍቀድ፡ /netcat_files/

አትፍቀድ፡ /*.swf

አስተናጋጅ: vash_sait.ru (ወይም www.vash_sait.ru)
የጣቢያ ካርታ፡ http:// ዱካ ወደ የእርስዎ ኤክስኤምኤል ቅርጸት ካርታ

MODx

የተጠቃሚ ወኪል፡*

አትፍቀድ፡ /ንብረቶች/መሸጎጫ/

አትፍቀድ፡ /ንብረቶች/ሰነዶች/

አትፍቀድ፡ /ንብረቶች/ወደ ውጪ መላክ/

አትፍቀድ፡ /ንብረቶች/ማስመጣት/

አትፍቀድ፡ /ንብረቶች/ሞጁሎች/

አትፍቀድ፡ /ንብረቶች/ፕለጊኖች/

አትፍቀድ፡ /ንብረቶች/ ቁርጥራጭ/

አትፍቀድ: /ጫን/

አትፍቀድ፡ /አስተዳዳሪ/

አስተናጋጅ: site.ru
የጣቢያ ካርታ፡ http://site.ru/sitemap.xml

Cart ክፈት

የተጠቃሚ ወኪል፡*

አትፍቀድ፡/*መንገድ=መለያ/

አትፍቀድ፡ /*መንገድ=ተቆራኝ/

አትፍቀድ፡ /*መንገድ=ቼክአውት/

አትፍቀድ፡/* መንገድ=ምርት/ፍለጋ

አትፍቀድ፡ /index.php?route=ምርት/ምርት*&አምራች_id=

አትፍቀድ: / አስተዳዳሪ

አትፍቀድ: /ካታሎግ

አትፍቀድ: / አውርድ

አትፍቀድ: / ወደ ውጪ መላክ

አትፍቀድ: /ስርዓት

አትፍቀድ: /*? ዓይነት=

አትፍቀድ፡ /*&መደብ=

አትፍቀድ: /*?ትእዛዝ=

አትፍቀድ፡ /*&ትእዛዝ=

አትፍቀድ: /*?ገደብ=

አትፍቀድ: /*&limit=

አትፍቀድ: /*?filter_name=

አትፍቀድ፡ /*&filter_name=

አትፍቀድ፡ /*?filter_sub_category=

አትፍቀድ፡ /*&filter_sub_category=

አትፍቀድ: /*?filter_description=

አትፍቀድ፡ /*&filter_description=

አትፍቀድ: /*?tracking=

አትፍቀድ: /*&tracking=

አትፍቀድ: /*?ገጽ=

አትፍቀድ፡ /*&ገጽ=

አትፍቀድ፡/የምኞት ዝርዝር

አትፍቀድ: / መግባት

አትፍቀድ፡ /index.php?route=product/አምራቹ

አትፍቀድ፡ /index.php?route=product/compare

አትፍቀድ፡ /index.php?route=product/category

አስተናጋጅ: vash_sait.ru (ወይም www.vash_sait.ru)

UMI

የተጠቃሚ-ወኪል፡*

አትፍቀድ፡ /emarket/ addToCompare

አትፍቀድ: /emarket/basket

አትፍቀድ: /go_out.php

አትፍቀድ: / ምስሎች

አትፍቀድ: /images/lizing

አትፍቀድ፡ /images/ntc

አትፍቀድ: /ፋይሎች

አትፍቀድ: /ተጠቃሚዎች

አትፍቀድ: / አስተዳዳሪ

አትፍቀድ፡/ፈልግ

አትፍቀድ: /ጭነት-temp

አትፍቀድ: /install-static

አትፍቀድ: /install-libs

አስተናጋጅ: vash_sait.ru (ወይም www.vash_sait.ru)
የጣቢያ ካርታ፡ http:// ዱካ ወደ የእርስዎ ኤክስኤምኤል ቅርጸት ካርታ

አሚሮ.ሲኤምኤስ

የተጠቃሚ ወኪል፡*

አትፍቀድ: / አስተዳዳሪ

አትፍቀድ፡ /_አስተዳዳሪ/

አትፍቀድ: / አባላት

አትፍቀድ፡/ፈልግ

አትፍቀድ: / ይመዝገቡ

አትፍቀድ: /ተጠቃሚዎች

አትፍቀድ፡ /*ማካካሻ=0

አትፍቀድ: /*ፎረም_ext=

አትፍቀድ: /*_print_version=

አትፍቀድ: /* ድርጊት = ወደ ውጪ መላክ_rss

አትፍቀድ: /* ድርጊት = ፍለጋ

አትፍቀድ: /* ድርጊት = እይታ_ልጥፎች

አትፍቀድ: /* display_form=

አስተናጋጅ: site.ru
የጣቢያ ካርታ፡ http://site.ru/sitemap.xm

ቢትሪክስ

የተጠቃሚ ወኪል፡*

አትፍቀድ: /*index.php$

አትፍቀድ፡ /ቢትሪክስ/

አትፍቀድ፡ /auth/

አትፍቀድ፡ /የግል/

አትፍቀድ፡ / መስቀል/

አትፍቀድ፡ /ፈልግ/

አትፍቀድ፡ /*/ፈልግ/

አትፍቀድ፡ /*/ስላይድ_ሾው/

አትፍቀድ፡ /*/ጋለሪ/*ትእዛዝ=*

አትፍቀድ: /*?print=

አትፍቀድ: /*&print=

አትፍቀድ: /* መመዝገብ =

አትፍቀድ: /*የረሳው_ይለፍ ቃል=

አትፍቀድ፡ /*የይለፍ ቃል ለውጥ=

አትፍቀድ: /*login=

አትፍቀድ: /*መውጣት=

አትፍቀድ: /*auth=

አትፍቀድ: /*?እርምጃ =

አትፍቀድ፡ /* ድርጊት=ADD_TO_COMPARE_LIST

አትፍቀድ፡/* ድርጊት=DELETE_FROM_COMPARE_LIST

አትፍቀድ፡ /* ድርጊት=ADD2BASKET

አትፍቀድ፡/* ድርጊት=ግዛ

አትፍቀድ፡/* bitrix__*=

አትፍቀድ፡ /*backurl=*

አትፍቀድ፡ /* BACKURL=*

አትፍቀድ፡ /*back_url=*

አትፍቀድ፡ /*BACK_URL=*

አትፍቀድ፡ /*back_url_admin=*

አትፍቀድ፡ /*print_course=Y

አትፍቀድ፡ /*COURSE_ID=

አትፍቀድ፡ /*?COURSE_ID=

አትፍቀድ: /*?PAGEN

አትፍቀድ፡ /*PAGEN_1=

አትፍቀድ፡ /*PAGEN_2=

አትፍቀድ፡ /*PAGEN_3=

አትፍቀድ፡ /*PAGEN_4=

አትፍቀድ፡ /*PAGEN_5=

አትፍቀድ፡ /*PAGEN_6=

አትፍቀድ፡ /*PAGEN_7=

አትፍቀድ፡ /*PAGE_NAME=ፍለጋ

አትፍቀድ፡ /*PAGE_NAME=የተጠቃሚ_መለጠፍ

አትፍቀድ፡ /*PAGE_NAME=ዝርዝር_ስላይድ_ሾት።

አትፍቀድ: /* SHOWALL

አትፍቀድ: /* አሳይ_ሁሉንም =

አስተናጋጅ: vash_sait.ru (ወይም www.vash_sait.ru)
የጣቢያ ካርታ፡ http:// ዱካ ወደ የእርስዎ ኤክስኤምኤል ቅርጸት ካርታ

Drupal

የተጠቃሚ ወኪል፡*

አትፍቀድ፡ /መረጃ ቋት/

አትፍቀድ፡ /ያካትታል/

አትፍቀድ፡ /misc/

አትፍቀድ፡ /ሞዱሎች/

አትፍቀድ፡ /ጣቢያዎች/

አትፍቀድ፡ /ገጽታ/

አትፍቀድ፡ /ስክሪፕቶች/

አትፍቀድ: /ዝማኔዎች/

አትፍቀድ፡ /መገለጫዎች/

አትፍቀድ፡/መገለጫ

አትፍቀድ፡ /መገለጫ/*

አትፍቀድ: /xmlrpc.php

አትፍቀድ: /cron.php

አትፍቀድ: /update.php

አትፍቀድ: /install.php

አትፍቀድ: /index.php

አትፍቀድ፡ /አስተዳዳሪ/

አትፍቀድ፡ /አስተያየት/መልስ/

አትፍቀድ፡ /አግኝ/

አትፍቀድ: /መውጣት/

አትፍቀድ፡ /ፈልግ/

አትፍቀድ፡ /ተጠቃሚ/ይመዝገቡ/

አትፍቀድ፡ /ተጠቃሚ/ይለፍ ቃል/

አትፍቀድ፡ *መመዝገብ*

አትፍቀድ፡ *መግባት*

አትፍቀድ፡/ከፍተኛ ደረጃ የተሰጠው-

አትፍቀድ፡ /መልእክቶች/

አትፍቀድ፡/መጽሐፍ/መላክ/

አትፍቀድ፡ /user2userpoints/

አትፍቀድ፡ /myuserpoints/

አትፍቀድ፡ /tagadelic/

አትፍቀድ፡ /ማጣቀሻ/

አትፍቀድ፡ /ማጠቃለያ/

አትፍቀድ፡ /ፋይሎች/ፒን/

አትፍቀድ: /የእርስዎ-ድምጾች

አትፍቀድ፡ /አስተያየቶች/የቅርብ ጊዜ

አትፍቀድ: /*/አርትዕ/

አትፍቀድ፡/*/ሰርዝ/

አትፍቀድ፡ /*/መላክ/html/

አትፍቀድ፡ /taxonomy/term/*/0$

አትፍቀድ: /*/አርትዕ$

አትፍቀድ: /*/ outline$

አትፍቀድ፡ /*/ክለሳዎች$

አትፍቀድ: /*/contact$

አትፍቀድ፡/*የማውረጃ ቱቦ

አትፍቀድ፡/node$

አትፍቀድ፡ / node/*/track$

አትፍቀድ፡ /*?ገጽ=0

አትፍቀድ: /* ክፍል

አትፍቀድ፡/* ማዘዝ

አትፍቀድ፡/*?መደርደር*

አትፍቀድ፡/*&መደርደር*

አትፍቀድ፡/*የድምፅ መውረድ

አትፍቀድ: /* የቀን መቁጠሪያ

አትፍቀድ: /*index.php

አስተናጋጅ: vash_sait.ru (ወይም www.vash_sait.ru)
የጣቢያ ካርታ፡ http:// ዱካ ወደ የእርስዎ ኤክስኤምኤል ቅርጸት ካርታ

Google ወይም Yandex ን በመጠቀም Robots.txtን እንዴት ማረጋገጥ እንደሚቻል

በሚገርም ሁኔታ ይህንን ፋይል ለማየት Google ወይም Yandex ዌብማስተር ፓነሎች ብቻ ያስፈልጋሉ። ይህ ደግሞ ስህተቶችን ለማግኘት በጣም ቀላል ያደርገዋል.

ጎግል ዌብማስተር- በግራ ምናሌው ውስጥ "ስካን" እና በመቀጠል "Robots.txt ፋይል ማረጋገጫ መሳሪያ" የሚለውን ትር ይምረጡ. ከዚያ በሚታየው መስኮት ግርጌ መስመር ላይ የፋይሉን ስም ይጨምሩ. ከዚያ «Check» ን ጠቅ ያድርጉ እና ጎግል ቦት ሮቦቶችዎን እንዴት እንደሚያይ ይመልከቱ።

የድር አስተዳዳሪ Yandex- በግራ ምናሌው ውስጥ "መሳሪያዎች" እና "ትንታኔ Robots.txt" የሚለውን ይምረጡ. ከዚያ በኋላ በሚታየው መስኮት ውስጥ በቀላሉ "Check" የሚለውን ቁልፍ ይጫኑ.

ይህንን ፋይል ለመፈተሽ ብዙ የመስመር ላይ አረጋጋጮች እንዳሉ ልብ ሊባል ይገባል። ሁል ጊዜ በእጃቸው ስለሚገኙ በጣም ተደራሽ ስለሆኑ ተናገርኩ።

መደምደሚያ

ለሁሉም ጣቢያዎች አንድ ተስማሚ ሮቦቶችን ለመጻፍ የማይቻል ነው. ለዚህ ምክንያቱ ጣቢያዎቹ እራሳቸው ናቸው, አንዳንዶቹ በእጅ የተሰሩ ናቸው, ሌሎች ደግሞ በተለያዩ የሲኤምኤስዎች ላይ ይገኛሉ. በፍፁም ሁሉም ጣቢያዎች የተለየ የማውጫ መዋቅር እና ሌሎች ነገሮች አሏቸው። ስለዚህ, እያንዳንዱ ዌብማስተር በቀላሉ ለ p-bots የራሱ የሆነ ልዩ ደንቦችን የመፍጠር ግዴታ አለበት. እንዲህ ዓይነቱ ፋይል ቅድሚያ የሚሰጧቸውን ነገሮች ያሟላል እና ወደ ሚስጥራዊ መረጃ ፍለጋ ውስጥ እንዲገቡ አይፈቅድልዎትም. ለዚህም ምስጋና ይግባውና ጠቋሚው አላስፈላጊ ቆሻሻ ሳይኖር ከፍተኛ ጥራት ያለው ይዘት ይይዛል.

በዚህ ርዕስ ላይ ጽሑፎችን ያንብቡ-

robots.txt በድር ጣቢያ ላይ የተቀመጠ እና ለፍለጋ ሞተር ሮቦቶች የታሰበ መደበኛ የጽሑፍ ፋይል ነው። በዚህ ፋይል ውስጥ ለሁሉም የፍለጋ ሞተር ሮቦቶች በአንድ ጊዜ ወይም ለእያንዳንዱ የፍለጋ ሞተር ለብቻው ለጣቢያዎ ጠቋሚ መለኪያዎችን መግለጽ ይችላሉ።

አንድ ድር ጣቢያ ሲገቡ ሁሉም የፍለጋ ሮቦቶች መጀመሪያ የrobots.txt ፋይል ይፈልጉ።

እንዴት መፍጠር ይቻላል?

የRobots.txt ፋይል መስራት በጣም ቀላል ነው - መደበኛ የጽሑፍ ሰነድ ይፍጠሩ, ሮቦቶች ይደውሉ, በደብዳቤዎች ወይም በፊደሎች እራሳቸው ላይ ስህተት አይሰሩ, ስሙ በትክክል እንደዚህ መሆን አለበት. የጣቢያ ገጾችን ጠቋሚ ማድረግን ለመከልከል ካላሰቡ የተፈጠረውን ፋይል ባዶ መተው ይችላሉ። ካቀዱ, በ 1994 በተቀበሉት አጠቃላይ ደረጃዎች መሰረት ሰነዱን በቀላሉ ይሙሉ. ከዚህ በኋላ ፋይሉ በ http://www.site.ru/robots.txt አገናኝ በኩል እንዲከፈት ፋይሉን ወደ ጣቢያዎ ስርወ ማውጫ መስቀል ያስፈልግዎታል። ሁሉም።

ከመረጃ ጠቋሚ ምን መደበቅ?

የ robots.txt ፋይልን ለመሙላት ህጎች

ስለዚህ, በ robots.txt ፋይል ውስጥ, እያንዳንዱ ትዕዛዝ ወይም መመሪያ በተለየ መስመር ላይ መፃፍ አለበት. የቡድኖች ብዛት የተወሰነ አይደለም.

የተጠቃሚ-ወኪል መመሪያ
ፋይሉን መሙላት መጀመር ያለብዎት የመጀመሪያው ነገር ትእዛዞቹ ለየትኛው ሮቦት እንደሚሆኑ ማመልከት ነው, ለዚህም በመጀመሪያ መስመር ላይ እንጽፋለን.
መመሪያዎ ለ Yandex ሮቦቶች የታሰበ ከሆነ፡-
የተጠቃሚ-ወኪል: yandex
ለGooglebots፡-
የተጠቃሚ ወኪል፡ googlebot
ለሁሉም ሮቦቶች ያለ ምንም ልዩነት:
አትፍቀድ እና መመሪያ ፍቀድ
ቡድን አትፍቀድሮቦቱ አንድን የተወሰነ ፋይል ወይም አቃፊ እንዳይጠቁም ይከለክላል።

ለምሳሌ,
በዚህ አቃፊ ውስጥ ያሉ ፋይሎችን ጠቋሚ ማድረግ ይከለክላል፡-
አትፍቀድ፡ /cgi-bin/
ይህን ፋይል መጠቆም ይከለክላል፡-
አትፍቀድ: /company.html
መላውን ጣቢያ ጠቋሚ ማድረግን ይከለክላል
ጣቢያዎን ያረጋግጡ - ይህ የአንድ ጣቢያ መረጃ ጠቋሚ ካልተደረገበት የተለመዱ ምክንያቶች አንዱ ነው።
አስፈላጊ!ብዙ መመሪያዎችን በአንድ መስመር መግለጹ ትክክል አይደለም፡-
አትፍቀድ፡ /cgi-bin/ /ሴል/ /bot/

መመሪያ ፍቀድበተቃራኒው, አንዳንድ ፋይሎችን በማውጣት ላይ ያለውን እገዳ ያስወግዳል. የአጠቃቀም ምሳሌ፡-

የተጠቃሚ ወኪል፡ Yandex
ፍቀድ፡ /cgi-binDisallow፡/

በፋይሉ ውስጥ ያለው ይህ ግቤት የ Yandex ሮቦት በ "/ cgi-bin" ከሚጀምሩ ገጾች በስተቀር ሁሉንም ነገር እንዳያወርድ ይከለክላል.

አስፈላጊ!መመሪያው በፋይሉ ውስጥ ከተገለፀ ፣ ግን ለእሱ መለኪያዎች ካልተገለፁ እሴቶቹ እንደሚከተለው ይሆናሉ ።
በጣቢያ መረጃ ጠቋሚ ላይ ምንም እገዳ የለም፡-
ጣቢያው በሙሉ ከመረጃ ጠቋሚ ክልክል ነው፡-
የጣቢያ ካርታ መመሪያ
በ sitemaps.xml ቅርጸት የጣቢያ ካርታ ካለዎት በልዩ መመሪያ ውስጥ ወደ እሱ የሚወስደውን መንገድ ይግለጹ የጣቢያ ካርታ(ብዙ ፋይሎች ካሉ ሁሉንም ያመልክቱ)

የጣቢያ ካርታ፡ http://site.ru/sitemaps1.xml
የጣቢያ ካርታ፡ http://site.ru/sitemaps2.xml
የአስተናጋጅ መመሪያ
ይህ ግቤት በ Yandex ሮቦቶች ጥቅም ላይ ይውላል. በአስተናጋጅ መመሪያው ውስጥ የጣቢያዎን ዋና መስታወት ይግለጹ እና ይግለጹ፡

አስተናጋጅ: www.site.ru

ብዙውን ጊዜ ጀማሪ የድር አስተዳዳሪዎች www.site.ru እና site.ru ያለው እና ያለሱ ድረ-ገጽ እርስ በርስ መስታወቶች መሆናቸውን ይረሳሉ። ስለዚህ ከ www ጋርም ሆነ ያለ የትኛው አድራሻ ቅድሚያ እንዳለው መጠቆምዎን ያረጋግጡ።

መመሪያ አስተናጋጅየተገለጸውን ዋና መስታወት ለመምረጥ ዋስትና አይሰጥም, ነገር ግን Yandex በከፍተኛ ደረጃ ግምት ውስጥ ያስገባል.

ሮቦቶች.txt የመሙላት ምሳሌ

የተጠቃሚ ወኪል፡*
አትፍቀድ: /አስተዳዳሪ/
አትፍቀድ፡ /መሸጎጫ/
አትፍቀድ፡ /ቋንቋ/
አትፍቀድ፡ /ሞዱሎች/
አትፍቀድ፡ /plugins/
አትፍቀድ፡ / አብነቶች/
አትፍቀድ፡ /tmp/
አስተናጋጅ: sait.ru
የጣቢያ ካርታ፡ http://site.ru/sitemaps.xml

የ robots.txt ፋይልን በመፈተሽ ላይ

የተገኘውን ፋይል ለመፈተሽ Yandex.Webmaster ን መጠቀም ይችላሉ። ወይም ሙሉ የ SEO ኦዲት ከእኛ ይዘዙ፣ እና ይህን ፋይል ብቻ ሳይሆን ሌሎች አስፈላጊ መለኪያዎችንም እንፈትሻለን።

ሰላም ሁላችሁም! አንድ ጠቃሚ ማስታወቂያ ልጀምር። ብሎጋችን "በአጉሊ መነጽር ቴክኒካል ኦዲት" የሚለውን ፕሮጀክት ይጀምራል እና ይህ ጽሑፍ በዚህ ርዕስ ላይ ያተኮሩ ተከታታይ መጣጥፎችን ይከፍታል. ዛሬ ስለ ምን እንነጋገራለን? ለድር ጣቢያ robots.txt ከባዶ እንዴት በትክክል እንደሚፃፍ።

የጽሑፍ ፋይልን በራሳቸው እንዴት መፍጠር እንደሚችሉ ለመማር ለሚፈልጉ ጽሑፉን እንዲያነቡ እመክራችኋለሁ, እና በውስጡ ያለውን የአሠራር መርህ ከውስጥ ያስቡ. መረጃው ጣቢያቸውን ወደ TOP ለማስተዋወቅ ለሚፈልጉ የድር ፕሮጀክቶች ባለቤቶችም ጠቃሚ ይሆናል።

ከዚህ በታች ያለው ጽሑፍ የሚከተሉትን ጉዳዮች "በአጉሊ መነጽር" ይመረምራል.

ጽሑፉን ለመጻፍ 37 ሰአታት ያህል አሳልፌያለሁ፣ ከ20 በላይ ምንጮችን አጥንቻለሁ እና በርካታ የድር አስተዳዳሪ መድረኮችን ጎበኘሁ። ስለዚህ, እያንዳንዱ ቃል በተደጋጋሚ ተፈትሽ እና እንደገና ይጣራል.

ስለዚህ, እንጀምር. ከርዕሰ ጉዳዩ ጋር ለማስተዋወቅ እና ስለ robots.txt አጠቃላይ ሀሳብ ለመስጠት ፣ በወጉ ፣ ወደ ማህበራት እንዲዞሩ ሀሳብ አቀርባለሁ። የቤት ባለቤት እንደሆንክ አድርገህ አስብ፣ እና በግሉ ዘርፍ እንደተለመደው ከጎረቤትህ አንዱ ያለማቋረጥ ሊጎበኝህ ይመጣል። ምን ማድረግ ትችላለህ? በአጠቃላይ ለማንም በሩን አትክፈት ወይም አንዳንድ ይበልጥ ማራኪ የሆኑትን አስገባ። በተመሳሳይ ጊዜ ሁሉንም የግል አፓርታማዎችን በመዝጋት ሙሉውን ቤት ወይም የግለሰብ ክፍሎችን ብቻ ለእንግዶች ማዘጋጀት ይችላሉ.

Robots.txt በዚህ መርህ ላይ ይሰራል ለአንድ ሰው የሆነ ነገር ይከፍታል, ነገር ግን አንድ ሰው ወደ ሌላ ቦታ እንዲገባ አይፈቅድም. ለዝርዝሮች በጽሁፉ ውስጥ የበለጠ ያንብቡ።

Robots.txt: ምን ማለት እንደሆነ እና እንዴት እንደሚሰራ

ከጠቋሚው ፋይል ጋር ከቃሉ ማብራሪያ ጋር መተዋወቅ መጀመር ምክንያታዊ ነው።

ሮቦቶች.txt- የፍለጋ ፕሮግራሞች የትኛው ውሂብ እና የጣቢያው ገጾች ትኩረት መስጠት እንዳለባቸው (ኢንዴክስ ፣ ሂደት) እና የትኛው እንዳልሆነ የሚነግር የጽሑፍ ሰነድ። እንዲሁም “የሮቦት ስታንዳርድ/ልዩ ፕሮቶኮል” ተብሎም ይጠራል። ለ https፣ http እና FTP ፕሮቶኮሎች ይሰራል እና UTF-8 ዩኒኮድ ኢንኮዲንግ ይጠቀማል።

ሁሉም ማለት ይቻላል ታዋቂ የፍለጋ ፕሮግራሞች እነዚህን መመዘኛዎች ይከተላሉ-Google, Ask, Yandex, AOL, Yahoo!, Bing, ወዘተ. ምንም እንኳን Google እንደ "ምክሮች" እንጂ እንደ "ትዕዛዝ" እንደማይገነዘበው ልብ ሊባል የሚገባው ነው. ማለትም ፣ እኔ እንደተረዳሁት ፣ እሱን በጥብቅ መከተል እፈልጋለሁ ፣ ግን አልፈልግም።

የ robots.txt ፋይል የት ነው የሚገኘው? በድር ፕሮጀክቱ ስር ማውጫ ውስጥ ተቀምጧል. በእይታ ይህንን ይመስላል።

https://site.com.ua/robots.txt

ሮቦቶች.txt እንዴት እንደሚሰራ

በቀላል አነጋገር የሮቦቶች.txt መኖር በድር ፕሮጀክት እና በፍለጋ ሞተሮች (እንደ ድርድር ውስጥ ተርጓሚ) መካከል ውይይት ለመመስረት ይረዳል። በተመሳሳይ ጊዜ የሀብቱ ባለቤት ራሱ የት እንደሚከፈት እና መግቢያውን መከልከል እንዳለበት ይወስናል.

ስለዚህ የመረጃ ጠቋሚ ፋይሉን ከተቃኘ በኋላ የክስተቶች እድገት ከ 3 ሁኔታዎች ውስጥ አንዱን ይከተላል, ማለትም. የፍለጋ ፕሮግራሞች የሚከተሉትን ይቀበላሉ

ለጠቅላላው የድር ሀብት ሙሉ መዳረሻ;
ከፊል መቅረት፣ ማለትም ለተፈቀደላቸው ገጾች እና መረጃዎች ብቻ;
ጣቢያው ለሂደቱ ሙሉ በሙሉ የተዘጋበት በመግቢያው ላይ ፍጹም እገዳ።

አንድ የድር ፕሮጀክት ከሮቦትስ.txt ጋር እና ያለእንዴት እንደሚጠቆመ ለማሳየት፣ ኢንፎግራፊክ ሰራሁ።

የዚህን ፋይል አስፈላጊነት ለመረዳት የፍለጋ ፕሮግራሞች እንዴት እንደሚሠሩ ማወቅ ያስፈልግዎታል. ታዲያ እንዴት ነው የሚሰሩት?

የፍለጋ ሞተር ሮቦት አንድ ድር ጣቢያ ጎበኘ እና መጀመሪያ robots.txtን ይፈልጋል። እዚያ ከሌለ ወይም በትክክል ካልተጠናቀረ የፍለጋ ፕሮግራሙ በራሱ "ሰልፉን መምራት" ይጀምራል. ያም ማለት ሁሉንም ነገር ይቃኛል: ሁለቱንም አስፈላጊ እና አላስፈላጊ. በዚህ አቀራረብ የድረ-ገጽ ምንጭን ማቀናበር ረጅም ጊዜ ይወስዳል እና አስፈላጊ ገፆች በመስመር ላይ የመጀመሪያ ደረጃ ላይ እንደሚገኙ እውነታ አይደለም. ለምን እንደዚህ ያሉ ችግሮች?

በተጨማሪም ሮቦቶች በአንድ ጉብኝት የተወሰነ ቁጥር ያላቸውን ሀብቶች ያዘጋጃሉ። ከዚህስ ምን መደምደሚያ ይመጣል? ለመጎብኘት ያነሱ ገጾች፣ የበለጠ መረጃ ጠቋሚ እና ስለዚህ ተጨማሪ ትራፊክ። ፈጣን መረጃ ጠቋሚ አዲስ ይዘትን ለመጠበቅ እና አንዳንድ ክስተቶች እንዴት በደረጃዎች ላይ ተጽዕኖ እንዳሳደሩ ለመከታተል ይረዳል።

Robots.txt ለመጻፍ 5 ዋና መመሪያዎች

የRobots.txt ፋይል መፍጠር ከመጀመርዎ በፊት የእገዳ ዝርዝር ለመጻፍ ከሚያስፈልጉት መሰረታዊ ትዕዛዞች (መመሪያዎች) ጋር እራስዎን ማወቅ አለብዎት.

5 መሰረታዊ ትዕዛዞች አሉ-

USER-ኤጀንት።

የሚከተሏቸው ትዕዛዞች ለየትኛው የፍለጋ ሞተር እንደታሰቡ ያሳያል። የ "*" ምልክትን መጠቀም ይችላሉ ከዚያም መመሪያው በሁሉም የፍለጋ ፕሮግራሞች ላይ ተግባራዊ ይሆናል. ማንኛውም የመረጃ ጠቋሚ ፋይል በዚህ መመሪያ ይጀምራል። ካልተመዘገበ, የፍለጋው ሮቦት ሁሉም በሮች ለእሱ ክፍት እንደሆኑ ያምናል.

ለምሳሌ:

የተጠቃሚ-ወኪል፡ ጉግል - ለGoogle ትዕዛዞች
የተጠቃሚ-ወኪል: Yandex - ለ Yandex ትዕዛዞች
የተጠቃሚ-ወኪል: * - ለሁሉም የፍለጋ ፕሮግራሞች ትዕዛዞች

እባክዎን ያስተውሉ ሮቦቱ የፍለጋ ፕሮግራሙን ስም ከተጠቃሚ-ወኪሉ መመሪያ በኋላ ካገኘ ከ "ተጠቃሚ-ወኪል: *" ክፍል ሁሉንም መመሪያዎች ችላ ይላል.

የፍለጋ ፕሮግራሞች ብዙ ሮቦቶች እንዳሏቸው ልብ ሊባል የሚገባው ጉዳይ ነው, ለእያንዳንዳቸው ትዕዛዞችን በተናጠል መጻፍ ያስፈልግዎታል.

በጣም ታዋቂ የሆኑትን ጎግል እና Yandex የፍለጋ ፕሮግራሞችን መሰረታዊ ሮቦቶችን እንይ፡-
1. ጎግል፡

ጎግልቦት- ዋናው የፍለጋ ሞተር ሮቦት;
ጎግልቦት-ምስል- ምስሎችን ይቃኛል;
ጎግልቦት-ቪዲዮ- የቪዲዮ ፋይሎችን ይፈትሻል;
ጎግልቦት-ሞባይል- ለሞባይል መግብሮች ገጾችን ያስኬዳል;
Adsbot-Google- በፒሲ ሀብቶች ላይ የማስታወቂያውን ጥራት ያረጋግጣል;
ጎግልቦት-ዜና- ወደ ጎግል ዜና የሚታከሉ ገጾችን ይፈልጋል።

2. Yandex:

Yandex- ትእዛዞቹ በሁሉም የ Yandex ሮቦቶች ላይ ተፈጻሚ ይሆናሉ ማለት ነው;
YandexBot- መሰረታዊ የፍለጋ ሞተር ቦት;
የ Yandex ምስሎች- ስዕሎችን ያስኬዳል;
YandexNews –ለ Yandex ዜና የታቀዱ ገጾች ጠቋሚ;
YandexMedia- የመልቲሚዲያ ውሂብን ይቃኛል;
YandexMobileBot- ለሞባይል መሳሪያዎች አቀማመጥ ሰነዶችን ይፈትሻል.

ያስታውሱ፣ የrobots.txt ፋይልን በሚጽፉበት ጊዜ ለተለያዩ ቦቶች ክፍሎች በ1 ባዶ መስመር መለየት አለባቸው።

ለማስታወስ ያህል፡-

አትፍቀድ እና ፍቀድ

እዚህ ሁሉም ነገር ቀላል ነው. የፍቀድ መመሪያ የፍለጋ ቦቶች ሃብቱን እንዲጎበኝ ይፈቅዳል፣የፍቃድ መመሪያው ይከለክላል። እንዴት እንደሚሠሩ ጠለቅ ብለን እንመርምር።

በRobots.txt ፋይል ውስጥ አትፍቀድ ወይም አትፍቀድ የሚለውን የተከለከለ ትዕዛዝ ካስገቡ፣ ማድረግ ይችላሉ፡-

ሸርተቴ በመጠቀም ወደ መላው ጣቢያ የሮቦትን መዝጋት/ክፍት;

አትፍቀድ፡/
ፍቀድ፡/

አድራሻውን በመግለጽ የተወሰኑ ገጾችን መቃኘትን ይከለክላል/ፍቀድ።

አትፍቀድ፡ /አስተዳዳሪ/
ፍቀድ፡ /አስተዳዳሪ/

መንገዱን በመግለጽ ወደ አንድ የተወሰነ ፋይል ግቤት ይክፈቱ/ዝጋ፡

አትፍቀድ: /razdel/file
ፍቀድ፡ /razdel/file

* በመጠቀም የተወሰኑ ሰነዶችን መከልከል/መፍቀድ መፍቀድ

አትፍቀድ: /*png*
ፍቀድ: /*png*

እባክዎን ያስታውሱ የጣቢያ ገጾችን ለመዝጋት/ለመክፈት ከእነዚህ የrobots.txt መመሪያዎች በኋላ ሙሉ አድራሻው የተጻፈ ሳይሆን ከጣቢያው ጎራ በኋላ የሚመጣው ክፍል ብቻ ነው።

እንደምታየው, ሁሉም ነገር በእውነቱ ቀላል ነው. እንደ ሂሳብ፡ ቀመሩን ታውቃላችሁ፡ ችግሩን ትፈቱታላችሁ።

ቁሳቁሱን ለማጠናከር፣ አንድ ምሳሌ እንመልከት፡-

የተጠቃሚ ወኪል፡*
አትፍቀድ፡/
ፍቀድ፡ /ብሎግ/
ፍቀድ፡ / *.ስጦታ*

በዚህ የ robots.txt ቁርጥራጭ ውስጥ የምናየው፡ መዳረሻ ለሁሉም የፍለጋ ፕሮግራሞች ክፍት ነው፣ ሁሉም ገፆች ለመሳበም ዝግ ናቸው፣ ከአንድ ክፍል “ብሎግ” እና እንደ “ስጦታ” ካሉ ፋይሎች በስተቀር።

እንዳይረሱ ከታች ያለውን ምስል ያውርዱ፡-

robots.txt እና Disallowን በመጠቀም ምን ማሰናከል ይቻላል?

ሁሉም ነገር, በእርግጥ, በድር ፕሮጀክቱ ባለቤት ፍላጎት ላይ የተመሰረተ ነው, ግን በርካታ አጠቃላይ ምክሮች አሉ.

robots.txtን በመጠቀም የሀብቶችን መረጃ ጠቋሚ ማድረግን መከልከል ይመከራል፡-

የአስተዳደር ክፍል (በሌላ አነጋገር የአስተዳዳሪው ፓነል);
የተጠቃሚዎች የግል ውሂብ;
የማይጠቅም፣ አግባብነት የሌለው ወይም ልዩ ያልሆነ ይዘት (የማረጋገጫ ዝርዝር);
ባለብዙ ደረጃ ምዝገባ, ግብረመልስ, ትዕዛዝ እና የግዢ ጋሪ ቅጾች;
መለያዎች, የጣቢያ ፍለጋ ውጤቶች, ማጣሪያዎች.

በ robots.txt ፋይል ውስጥ አስፈላጊ ያልሆኑ፣ የማይፈለጉ ወይም ለተጠቃሚዎች እና የፍለጋ ፕሮግራሞች መታየት የሌለባቸውን የጣቢያ ገፆች መዝጋት አለቦት ብለን መደምደም እንችላለን።

በነገራችን ላይ ስለ ይዘት አንድ መጣጥፍ "2 የእይታ ይዘት"

SITEMAP

በRobots.txt ፋይል ውስጥ መፃፍ ያለበት ሌላው መመሪያ Sitemap ነው። ምን ጥቅም ላይ ይውላል? የፍለጋ ቦቶች ወደ የጣቢያ ካርታ የሚወስደውን መንገድ ለማሳየት። ጥያቄውን በዝርዝር እንመልከተው።

የጣቢያ ካርታበ xml ቅርጸት በ UTF8 ኢንኮዲንግ ፋይል ነው፣ እሱም በድር ሃብቱ ስር ማውጫ ውስጥ ይከማቻል። ወደ ተለያዩ ገፆች የሚወስዱ አገናኞች ያሉት የማውጫ አይነት ነው። ካርታ በሚዘጋጅበት ጊዜ፣ ተለዋዋጭ ዩአርኤሎች እና መለያዎች ያላቸውን ሳይጨምር ኢንዴክስ የሚያስፈልጋቸውን ሀብቶች ብቻ ማካተት አስፈላጊ ነው።

ለፋይሉ መሰረታዊ መስፈርቶችን ከዚህ በታች ይመልከቱ።

የጣቢያ ካርታ መመሪያ በመረጃ ጠቋሚ እንዴት ይረዳል?

የፍለጋ ቦቶች እንዴት እንደሚሠሩ መርሆውን እናስታውስ: ወደ አንድ ጣቢያ ይሂዱ, የተዘጉ ገጾችን ይጥላሉ, እና ከዚያ ምንም ትዕዛዝ ከሌለ, ጣቢያውን በዘፈቀደ መፈተሽ ይጀምራሉ. አንድን የድር ፕሮጀክት ለመቃኘት ጊዜው የተገደበ ስለሆነ ሮቦቱ በጣም አስፈላጊ የሆኑትን ግብዓቶች ላይደርስ ይችላል። ይህ በተለይ ብዙ ገጾች እና አገናኞች ባሉበት ለ "ትልቅ" ጣቢያዎች እውነት ነው.

“ዘላለማዊ አገናኞችን መግዛት፡ ከግርግር ወደ ትዕዛዝ 4 ደረጃዎች” የሚለውን ማንበብ አስደሳች ይሆናል።

የጣቢያ ካርታ መመሪያው ለማዳን የሚመጣው እዚህ ላይ ነው። ሮቦቱን ወደ ሳይት ካርታ ትመራዋለች፣ ይህ ደግሞ የትኞቹ ምንጮች መጠቆም እንዳለባቸው እና የትኞቹ በጣም አስፈላጊ እንደሆኑ እንዲሁም መረጃው በምን ያህል ጊዜ መዘመን እንዳለበት ያመለክታል። ይህ መረጃ ጠቋሚ 100% ከፍተኛ ጥራት ያለው እና 3.14 ጊዜ ፈጣን ነው።

የተጠናቀቀው የጣቢያ ካርታ ይህን ይመስላል (ቁርጥራጭ)

የጣቢያ ካርታ እንዴት መፍጠር እንደሚቻል?

በጣም ጥሩው አማራጭ ነፃ የመስመር ላይ ጀነሬተሮችን መጠቀም ነው።

የሞከርኳቸው አገልግሎቶች ዝርዝር እነሆ፡-

XML-Sitemaps.com.እስከ 500 ገጾችን ለያዙ ጣቢያዎች የጣቢያ ካርታዎችን በነጻ ይፈጥራል። የስራ ጊዜ - 2-3 ደቂቃዎች. ፋይልን በኤክስኤምኤል ሰነድ ቅርጸት ለማውረድ ያቀርባል። ምዝገባ አያስፈልግም. በይነገጽ በእንግሊዝኛ።
mysitemapgeneration. ለነፃው ጥቅል, ገደቡ እስከ 500 ገጾች ነው. የጣቢያ ካርታ መፍጠር ጥቂት ደቂቃዎችን ብቻ ይወስዳል። የተጠናቀቀው ፋይል በ xml ቅርጸት በኢሜል ይላካል። ጣቢያው Russified ነው, ቀላል እና ለመረዳት. መመዝገብ አያስፈልግም።
የኤክስኤምኤል የጣቢያ ካርታ ጀነሬተር. እስከ 2000 ገፆች ገደብ ያለው የእንግሊዝኛ ቋንቋ ምንጭ። ፋይሉን በበርካታ ቅርጸቶች ማውረድ ይችላሉ-xml, rss, html, txt. የጣቢያ ካርታ መፍጠር እንዲሁ ፈጣን ነው እና ምንም ምዝገባ አያስፈልገውም።
ማጀንቶምዝገባ የማያስፈልገው የሩሲያ ቋንቋ የሚሰራ ድር ጣቢያ። ነፃ የጥቅል ገደቦች፡ እስከ 1000 ገፆች፣ ለአንድ አይፒ አድራሻ 5 ጊዜ/በቀን። የሪፖርት መለኪያዎችን መግለፅ እና ከተወሰነ ቅጥያ ጋር በገጾች ላይ ማጣሪያ ማዘጋጀት ይችላሉ። የተጠናቀቀው የጣቢያ ካርታ በ xml ቅርጸት ሊወርድ ይችላል.

ሁሉም አገልግሎቶች የጣቢያ ካርታዎችን በመፍጠር ጥሩ ስራ ይሰራሉ። ከቀረቡት የመስመር ላይ ጀነሬተሮች በተጨማሪ ሌሎችም ብዙ አሉ፡ Small Seo Tools፣ Screamingfrog፣ xSitemap.com፣ Free Sitemap Generator፣ ወዘተ። ለራስዎ በጣም ጥሩውን ይምረጡ እና ያለምንም ችግር የጣቢያ ካርታዎችን ይፍጠሩ።

እንዲሁም በጽሑፍ እንደ ቅጂ ጸሐፊ ለመስራት ስለ 5 ምርጥ አገልግሎቶች ይወቁ

በተጠናቀቀው ፋይል ውስጥ ከዩአርኤሎች በተጨማሪ ብዙ ትዕዛዞችን ያያሉ ፣ የሚከተለው ስዕል እነሱን ለመፍታት ይረዳዎታል ።

የጣቢያው ካርታ ዝግጁ ነው. ቀጥሎ ምን አለ?

የፍለጋ ፕሮግራሞች ስለዚህ ጉዳይ ማሳወቅ አለባቸው. እርግጥ ነው, የፍለጋ ፕሮግራሞች ውሎ አድሮ ይህንን ፋይል እራሳቸው ያገኙታል, ነገር ግን ሂደቱን ለማፋጠን, መንገዱን ወዲያውኑ ማሳየቱ የተሻለ ነው.

ስለ የጣቢያ ካርታዎ የፍለጋ ቦቶችን ለመንገር 2 ቀላሉ መንገዶች እዚህ አሉ፡

ከGoogle እና Yandex የመጣውን የድር አስተዳዳሪ የመሳሪያ አሞሌን በመጠቀም ወደ ፋይል አድራሻ አገናኝ ያክሉ። በ Yandex.Webmaster ውስጥ የሚከተሉትን ማድረግ አለብዎት: በ "መረጃ ጠቋሚ" ትር ላይ, ከዚያም "የጣቢያ ካርታ ፋይሎች" ላይ ጠቅ ያድርጉ እና ዩአርኤሉን ያስገቡ. ለጉግል፡ ጎግል ፍለጋ ኮንሶልን ክፈት፡ “መዳሰስ” ላይ፣ በመቀጠል “Sitemap Files” ላይ ጠቅ ያድርጉ እና አድራሻውን ያስገቡ እና ያስገቡ።
የSitemap ፋይሉ የሚገኝበት አገናኝ ወደ robots.txt ፋይል ያስገቡ። በእይታ ይህንን ይመስላል፡ የጣቢያ ካርታ፡ https://site.com/sitemap.xml

በማጠቃለያው አንድ ጠቃሚ ምክር በእያንዳንዱ ጣቢያ ላይ አዲስ መረጃ ከታተመ በኋላ የጣቢያ ካርታ ማከል ጥሩ ነው ።

ሌላ መረጃ ጠቋሚን እንዴት ማፋጠን እንደሚቻል ያንብቡ፡-
"የአንድን መጣጥፍ መረጃ ጠቋሚ እንዴት ማስቀመጥ እና ማፋጠን ይቻላል? 5 የስኬት ሚስጥሮች »

HOST

የRobots.txt የመጨረሻው ዋና አካል የአስተናጋጅ መመሪያ ነበር። የፍለጋው ሮቦት የትኛው የድረ-ገጽ ፕሮጀክት መስታወት (ተለዋጭ ስም) ዋና እንደሆነ አሳይቷል፡ ከ www ቅድመ ቅጥያ ጋር ወይም ያለ። ይህ ትዕዛዝ በ Yandex የፍለጋ ሞተር ብቻ ተቀባይነት ያለው እና "ቅጂዎች" ላላቸው ጣቢያዎች ብቻ ተገቢ ነበር.

ማሳሰቢያ፡ የጣቢያ መስታወት የኢንተርኔት ፕሮጄክት ሙሉ ወይም ከፊል ቅጂ ሲሆን የራሱ ጎራ ያለው እና በተለየ የመረጃ ምንጭ ላይ የሚገኝ ነው።

ይህን ይመስላል።

ለምንድነው ሁሉም ነገር ያለፈው ጊዜ የተወጠረው, እርስዎ ይጠይቃሉ. መልሱ ቀላል ነው - እ.ኤ.አ. ማርች 20 ቀን 2018 Yandex የአስተናጋጅ መመሪያውን መተዉን በይፋ አሳወቀ። አሁን ይህ ትዕዛዝ በ .htaccess ፋይል በኩል በ 301 አቅጣጫ መቀየር አለበት. የአስተናጋጁ መመሪያ በቀላሉ ከመረጃ ጠቋሚ ፋይሉ መወገድ አለበት። ምንም እንኳን, ካለ, ምንም መጥፎ ነገር አይከሰትም, ምክንያቱም ... Yandex አሁን በቀላሉ ችላ ይለዋል.

ዋናውን ቦታ ለማወቅ 301 ማዘዋወርን መጠቀም ሁለንተናዊ ዘዴ ነው፣ ምክንያቱም... በሁሉም የፍለጋ ቦቶች ተቀባይነት. የ 301 ማዘዋወርን እንዴት ማዋቀር እንደሚቻል በሚቀጥለው ርዕስ ውስጥ በዝርዝር ይብራራል. ድህረ ገጹን በመጎብኘት ወይም በዜና መጋቢው በኩል በብሎግ ላይ ያሉ የቅርብ ጊዜ ዜናዎችን ይከተሉ