Robots.txt SEO metodai
Šis pranešimas yra ilgas, bet svarbus. Aš rekomenduočiau jums patraukti puodelį karšto šokolado prieš savo pradžios ![]()
Jei dar nesate girdėję apie robots.txt failo, ji tiesiog yra mažas failas, esantis jūsų svetainės šakniniame kataloge, kuris nurodo paieškos, ką jie gali ir ko negali daryti. Nors nėra griežtai laikomasi, paieškos robotai paprastai gerbti nustatytas taisykles robots.txt faile. Su tinkamai sukonfigūruotas robots.txt faile galite, pavyzdžiui, bandymas apsiginti nuo automatinių reklaminių žinučių, pasakykite "Google" ne savo nuotraukas indeksas arba pavesti robotus praleisti puslapius, kuriuose gali būti identišką turinį.
Robotai yra programinės įrangos dalių, naudojamų paieškos įmonių, nepageidaujamų elektroninių komercinių pranešimų platintojus ir turinio akumuliatorių nuskaityti internete rasti naują ar pakeistą turinį. Botui užduotis yra sekti nuorodas nuskaitant iš puslapio į puslapį ir vienos svetainės į kitą svetainę. Tai tipo kaip šešių laipsnių Kevin Bacon dalykas. Sekite pakankamai ryšius ir galiausiai turėtumėte rasti visą turinį internete. Tai yra, kodėl Atgalinės nuorodos yra tokie svarbūs. Daugiau Atgalinės turite, tuo lengviau yra paieškos rasti jūsų turinį. Yra pažodžiui milijonams botų atvejais, tralavimo tinklą bet kuriuo metu. Botui oficialus terminas yra user-agent ", kurių yra tūkstančiai. Leidžia imtis "Google", pavyzdžiui. "Google" turi daug skirtingų vartotojo agentus, naudojamos indeksuoti svetainę, išskleisti atvaizdus ir vaizdo įrašus, rasti naujienų kanalus, rasti mobiliojo telefono turinį, patikrinti savo svetainę AdSense kokybės ir pan. Ši svetainė detalės visą sąrašą žinomų user-agent.
Robots.txt failas buvo maždaug už amžiaus. Iš tikrųjų tai buvo įvesta AltaVista 1994 metais, tačiau dabar išlieka pagrindinis maisto produktas, interneto vorų. Norėdami pamatyti pilną failo aprašymo ir standartinio aiškinamąją pastabą, apsilankykite čia . Trumpai tariant, robots.txt failas gali apriboti konkrečius robotus nuskaityti visą savo svetainę ar jos dalies. Norėdami tai padaryti, visi darbai turi specialų parašą. Pavyzdžiui, "Google" indeksas botui vadinama "Googlebot", "Bing" robotas vadinamas MSNBot, ir "Yahoo" botui vadinama Yahoo! Slurp,.
Įrašo į failą robots.txt gali atrodyti taip:
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Čia mes pasakoja srėbti vartotojo agentas, kad jis gali pasiekti visus puslapius, esančius bet kurioje direktorijoje, pradedant "visuomenė", ir neturi patekti į puslapius su "_print" URI.
Žemiau yra visiškai failą robots.txt mano eksperimentinių WordPress svetainių aš rašyti straipsnį, paaiškinantį, ką aš turiu galvoje eksperimentinės svetainėje kitą dieną). Astute skaitytojai gali atkreipti dėmesį, kad aš esu atmetusi visus vartotojo agentai iš specialių katalogų, ir leidžiant tik kai kurie specifiniai vartotojo agentai susipažinti su kitų sričių mano svetainei. Neseniai atnaujinta į standartą taip pat leidžia man mano svetainę žemėlapyje vietą, kad padėtų surasti visus mano puslapius paieškos į sąrašą.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://beginnerchess.org/sitemap.xml
Uždrausti prieigą prie turinio nėra skirti vartoti robotus bus užtikrinti, kad jūsų svetainė bus likti raktažodis optimizuotas visuose puslapiuose, taip padedant skatinti jūsų svetainę per paieškos eiliškumą. Jį, pavyzdžiui, jūs sunkiai dirbo visus puslapius optimizuoti raktažodžių "svorio padidėjimas" ir įvairių ilgų uodegų. Jūsų darbas gali būti filtruojamas paieškos akyse, jei ji galėjo nuskaityti savo prisijungimo puslapį, privatumo puslapį ir kontaktinę formą.
Kai kurie SEO ekspertai taip pat teigia, kad "Google" baudžia už vyresnio amžiaus labiau įsitvirtinę svetainėse jaunus svetaines. "Google", matyt, naudoja "Internet Archive" (rasta čia ) nustatyti svetainės amžių. Jei jis negali surasti archyve svetainę, tai, matyt, daroma prielaida, ši svetainė yra tam tikro amžiaus. Dėl šios priežasties daugelis žmonių aktyviai sustabdyti Internet Archive user-agent indeksavimo savo svetainę. Tai galima padaryti įtraukiant šias eilutes:
User-agent: ia_archiver-web.archive.org
Disallow: /
Jei norite, galite taip pat sustabdyti vaizdo robotus patekti į nuotraukas, jei jie pasiskolino ne akcijų vaizdus iš kitų svetainių. Tai galima padaryti štai taip:
User-agent: Googlebot-Image
Allow: /
Galiausiai, robots.txt gali būti naudojamasi siekiant paneigti robotus, kuris gali būti naudojamas rodyti turinio, kuris gali būti prieinamas ir į kitas svetaines ar puslapius iš konkrečių puslapių. Dažnai teigiama, kad "Google" bus nubausti savo reitingus rodyti identišką turinį. Aš asmeniškai ne tai didelė problema ir manyti, kad dublikatas turinys iš tikrųjų gali padėti jūsų svetainės reitingą, kai kuriais atvejais daugiau apie tai kitą dieną). Bet kokiu atveju, sustabdyti botas patekti į tam tikrą puslapį, pridėkite šias eilutes:
User-agent: *
Disallow: */my-duplicate-page.html
Atkreipkite dėmesį, kad tai nėra kvailas įrodymas metodas. Jei jūsų uždrausta puslapis turi nuorodas į jį iš kitos svetainės, ji vis dar bus galima nuskaityti iš reklaminių žinučių.
Galėčiau nesustoti, bet aš tikiu, kad jūs visi nuobodu dabar. Nedvejodami komentarą žemiau, arba susisiekite su manimi tiesiogiai, jei norite sužinoti daugiau.
Su roboting.



















