MarkBeljaars.com

Detta inlägg är en lång men viktig. Jag rekommenderar att du ta en kopp varm choklad innan du påbörjar

Om du inte har hört talas om robots.txt-filen är det helt enkelt en liten fil som finns på din webbplats rotkatalog som instruerar sökmotorer på vad de kan och inte kan göra. Även om det inte strikt, kommer sökmotorn bots respekterar generellt de regler som framåt i filen robots.txt. Med en korrekt konfigurerad robots.txt-fil kan du till exempel försök att avvärja spam bots, tala om för Google att inte indexera dina bilder eller instruera robotar att hoppa sidor som kan innehålla dubbletter.

Bots är bitar av programvara som används av företag sökmotorer och spammare och ackumulatorer innehåll till genomsöka internet för att hitta nytt eller ändrat innehåll. En bot uppgift är att följa länkar på en webbsida kryper från sida till sida och plats till plats. Det är ungefär som en sex grader med Kevin Bacon sak. Följ tillräckligt länkar och du bör så småningom hitta allt innehåll på nätet. Det är därför bakåtlänkar är så viktiga. Ju fler bakåtlänkar du har, desto lättare är det för sökmotorerna att hitta ditt innehåll. Det finns bokstavligen miljontals bot fall trålfiske nätet vid någon tidpunkt. Den officiella termen för en bot är en user-agent som det finns tusentals. Låt oss ta Google till exempel. Google har många olika användardefinierade medel som används för att indexera din webbplats, extrahera bilder och videor, hitta nyhetsflöden, hitta mobilt innehåll till telefonen, kontrollera din webbplats för Adsense kvalitet och så vidare. Detta webbplatsen detaljer en komplett lista över kända user-agents.

Robots.txt-filen har funnits i evigheter. Det var faktiskt introducerades av AltaVista 1994, men nu återstår en basföda för web spindlar. För en fullständig beskrivning av filen och dess standard notation, besök här . I korthet kan en robots.txt-fil begränsa specifika sökrobotar från att genomsöka hela webbplats eller del därav. För att göra detta, alla robotar har en speciell signatur. Till exempel är Googles index bot kallas Googlebot är Bings bot heter MSNbot och Yahoo: s bot heter Yahoo! Slurp.

En post i filen robots.txt kan se ut så här:

User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html

Här är vi talar Slurp User Agent att det kan komma åt alla sidor som finns i en katalog som börjar med "allmänheten", och har ingen tillgång till sidor med "_print" i URI.

Nedan är en komplett robots.txt-fil för en av mina experimentella WordPress sidor (jag kommer lägga upp en artikel som förklarar vad jag menar med experimentell webbplats annan dag). Skarpsinniga läsare kan notera att jag underkänna alla användarprogram från specifika kataloger och bara låta vissa användarprogram tillgång till övriga delar av min webbplats. En ny uppdatering av standarden gör mig också att lista placeringen av min sajt kartan för att hjälpa sökmotorerna att hitta alla mina sidor.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Sitemap: http://beginnerchess.org/sitemap.xml

Underkänna robotar från att komma åt innehållet inte avsedd för konsumtion kommer att se till att din webbplats kommer att förbli sökordet optimerad på alla sidor, vilket bidrar främja din webbplats inom sökmotorer. Säg till exempel att du har arbetat hårt för att optimera alla sidor för sökordet "viktökning" och de olika långa svansar. Ditt arbete kan filtreras ner i ögonen på sökmotorn om det kunde genomsöka din inloggningssida, integritet sida och kontaktformulär.

Vissa SEO-experter hävdar också att Google straffar unga webbplatser till förmån för äldre mer etablerade webbplatser. Google använder tydligen Internet Archive (hittade här ) för att bestämma åldern på en webbplats. Om den inte kan hitta platsen i arkivet, antar det tydligen platsen är en viss ålder. Av denna anledning är det många som slutar aktivt Internet Archive user-agent från att indexera deras webbplats. Detta kan göras genom att inkludera följande rader:

User-agent: ia_archiver-web.archive.org
Disallow: /

Du kanske vill också stoppa bild robotar från att komma åt dina bilder om de har lånat utanför lager bilder från andra webbplatser. Detta kan göras så här:

User-agent: Googlebot-Image
Allow: /

Slutligen kan robots.txt användas för att exkludera robotar från vissa sidor som kan användas för att visa innehåll som kan finnas på andra webbplatser eller sidor. Det hävdas ofta att Google kommer att straffa dina betyg för att visa samma innehåll. Jag personligen ser inte detta som en stor fråga och tror att samma innehåll faktiskt kan hjälpa din webbplats betyg i vissa fall (mer om detta en annan dag). Hur som helst, för att stoppa en bot från att komma åt en viss sida, lägg till följande rader:

User-agent: *
Disallow: */my-duplicate-page.html

Notera att detta inte är en idiotsäker metod. Om otillåtna sida har länkar till den från en annan webbplats, kommer det fortfarande genomsöks av robotar.

Jag kunde fortsätta, men jag är säker ni alla är uttråkad nu. Kommentera gärna nedan eller kontakta mig direkt om du vill veta mer.

Lycklig roboting.

Följande guide är ett omfattande steg-för-steg procedur för att konfigurera ett SEO (Search Engine Optimization) vänlig webbplats med utgångspunkt från en standard WordPress installation. Jag har antagit att du redan har installerat WordPress och har loggat in som administratör instrumentbrädan. Jag har också antagit att du vet hur man installerar och konfigurerar nya plugins. Om inte, se här .

Alla instruktioner är skrivna för WordPress 2.8.6, men bör fungera lika bra för de flesta versioner. Innan vi börjar måste du redan forskat din fras mål nyckel skrivit en 300 + ord sökord optimerad artikeln och valt ett domännamn som innehåller din nyckel fras. Här är en artikel på sökord forskning för att komma igång.

1. Expandera Utseende menyn och välj Lägg till nya teman. Bläddra bland alla tillgängliga teman och valde en som bäst representerar din nyckelfras. Temat du väljer bör ha en minsta uppsättning funktioner som finner det SEO optimerad. De innefattar:
   
   
   • En navigation meny som visas på alla sidor. Detta garanterar att om sökningen bot snubblar på någon av dina sidor, finns det en väg till alla andra sidor för att det ska följa.
   • En text titel och titeln beskrivning som visas på toppen av alla sidor. Titeln bör vara innesluten i H1 taggar. Sökmotorer kan inte använda optisk teckenigenkänning för att hämta din blogg namn, så se till att den är skriven i text.
   • En till vänster. Studier visar att människor klickar på annonser som visas på vänster oftare än lägger till höger.
2. Redigera standardinställningar WordPress inställningar:
   
   
   • Expandera Inställningar och välj Allmänt. Ställ bloggen titeln till din nyckelfras. Ställ Tagline till ett sökord lång svans eller en fras som innehåller ett eller flera sökord. Se till att E-postadressen fylls i.
   • Expandera Inställningar och välj Permalinks. Fastställa gemensamma Inställningar för anpassad struktur och i inmatningsfältet, skriv "/% postname% /" (utan citationstecken). Detta kommer att ge ditt inlägg sida med samma namn som ditt inlägg titel. Som ditt inlägg titel bör vara nyckelord optimerad, så även kommer din posr webbadress.
3. Installera och aktivera Akismet plugin. Följ instruktionerna i Akismet konfigurationssidan att förvärva en WordPress.com API Key. Akismet kommer automatiskt bort spam kommentarer. Det sista du vill ha är spam kommentarer minska ditt sökord densitet.
4. Installera och aktivera WP-Sticky plugin. WP-Sticky kan du hålla ditt sökord optimerad post till toppen av din hemsida.
5. Installera och aktivera Bruten Länk Checker plugin. Det har debatterats att Google kommer att sänka din myndighet om din webbplats innehåller många trasiga länkar. Det är vettigt som områden med brutna länkar är i allmänhet föråldrade eller är av låg kvalitet. Använd denna plugin att regelbundet kontrollera om brutna länkar inom en sida eller post.
6. Installera och aktivera Contact Form plugin. Följ instruktionerna för att skapa en kontakt sida. Folk kommer inte att vara bekväm köpa varor från din sida om det inte finns något sätt att kontakta dig om något går fel.
7. Installera och aktivera Easy sekretesspolicy plugin. Följ instruktionerna för att skapa en sida sekretesspolicy. Observera att om du tänker visa Google-annonser måste din webbplats innehåller en tillgänglig sekretesspolicy för att uppfylla Goggles krav.
8. Installera och aktivera SEO Ingen Duplicera plugin. Google delar ut länkarna för samma innehåll till webbplatsen med den högsta sidan ranking. Många debatt som Google också straffa webbplatser som har många sidor med samma innehåll. Denna plugin kommer helt enkelt peka allt dubbletter på din webbplats till en enda permalänk.
9. Installera och aktivera sociala bokmärken plugin. Om dina inlägg är värt att dela, bör du uppmuntra dina läsare att socialt bokmärke. Om du gör det kommer att bidra till att driva trafik till din webbplats.
10. Installera och aktivera Innehållsförteckning Creator plugin. Följ instruktionerna för att skapa en sida webbplats karta. Denna plugin kommer att hjälpa robotar sökmotorn genom att exponera alla sidor i en enda lista.
11. Installera och aktivera Ultimate Google Analytics plugin. Följ instruktionerna för att förvärva en Google Analytics-konto-ID. Detta är fördelaktigt eftersom du kommer att kunna spåra antalet användare som besöker sticka webbplatsen.
12. Installera och aktivera Google XML Sitemaps plugin. Följ instruktionerna för att få en Yahoo program-ID. Sökmotorer använder webbplatsen kartor för att avgöra hur ofta dina sidor ändras.
13. Installera och aktivera All in One SEO Pack plugin. Ta din tid när du fyller i plugin alternativen. Se till att:
    
    
    • Den hem titeln är din sökordsfras.
    • The Home Beskrivning är nyckelord optimerad och utformad för att fånga uppmärksamheten hos någon som vill bli besökare. Denna beskrivning visas under din webbplats listning i många sökmotorer.
    • The Home Nyckelord bör inkludera din nyckelfras, de enskilda nyckelord och eventuella viktiga ord långa svansar.
    • Ansök om webmaster konton på Google , Yahoo och bing . Lägg till din webbplats för att varje konto och kopiera alla tre taggar tillstånd metataggar i ytterligare en tjänst rubriker, Extra sidhuvuden och ytterligare huvuden Home finns i SEO Pack sidan Alternativ.
14. Skapa ett nytt inlägg och klistra in i din optimerad sökord artikel. Se till att namnet på ditt inlägg är nyckelordet. Skriv inlägg taggar och kategorier också matchar din nyckelfras och nyckelord. Fyll i SEO Pack alternativen längst ned på sidan, se till att titeln är din nyckelfras, är beskrivningen sökordet optimerade och Nyckelord inkludera din nyckelfras och alla sökord. Ställ Posten Sticky status för att Sticky.
15. Använd någon av de många inlämnande Sökning verktyg (som det en) för att skicka in din webbplats till alla de stora sökmotorerna.

Det var allt. Du har nu en 4 sida webbplats. Den första platsen tog förmodligen sättet längre än 10 minuter, men i följd områden kommer att vara snabbare eftersom du redan har Akismet API nyckel, Yahoo Application ID och konton webmaster. Observera att du kan få vänta någonstans upp till 1 månad innan din webbplats först indexeras. För att påskynda processen, sociala bokmärke din webbplats till Clipmarks, snubbla på, reddit, Digg och så vidare. Med hjälp av denna teknik bör din webbplats ska indexeras på så lite som 2 veckor. Låt dig inte ryckas ändå. Om du skapar 100-tals bokmärken innan din webbplats är indexerad, kommer Google att bli misstänksam och jag har sett folk få vänta 3 månader eller mer innan deras webbplats visas.

Också vänta på att lägga google adsense förrän 2 veckor efter att din webbplats är indexerad. Vissa hävdar att Lägga till AdSense för tidigt att försämra din webbplats betyg.

Det finns också några andra plugins du bör tänka på att lägga. De är:

1. Pretty Link . Detta plugin låter dig spåra Länk Träffar och snyggt långa webbadresser.
2. WP-phpMyAdmin . För den avancerade användaren. Detta plugin tillåter direkt åtkomst till WordPress databas.
3. WP Super Cache . Om din webbplats har en stor mängd trafik, kommer WP Super Cache påskynda användarens upplevelse genom caching HTML resultatet av en sida stället för att återigen köra serversidan PHP-skript.
4. WP-DBManager . Utför automatisk rutinmässigt underhåll av WordPress databas och kan även konfigureras för att skicka en säkerhetskopia av databasen med jämna mellanrum.
5. WordPress Backup . E-post en säkerhetskopia av WordPress plugin, uppladdningar och kataloger tema med jämna mellanrum.

Jag hoppas att denna artikel har varit till någon nytta.

Det är officiellt. Microsoft loves XHTML sidor kompatibla web! Välformade dokument kan konsekvent visas, sökt, indexeras, sorteras och så vidare. Microsoft underhöll även idén att verkställa XHTML efterlevnaden i IE8. Jag antar att det är självklart att Bing också kommer att föredra välformade webbsidor. Om Bing blir populär, kan det vara den katalysator som används för att gunga utvecklare att skapa välformulerade XHTML webbsidor.

Jag ställer därför ut på ett underbart äventyr att ta bort alla XHTML fel och varningar från en av mina färdiga sites.The felfri sida kan hittas på http://beginnerchess.org om någon är intresserad.

Intressant, fann jag tre problem som kan påverka många människor som använder Wirdoress 2,8 och ovan.

1. Google AdSense-koden snippets bryter verkligen wordpress. WordPress omvandlar fästet avslutas CDATA till> (ej>). För att fixa, ta bort CDATA-avsnitt och ersätta med kommentar taggar. t.ex.:
   
   

   

2. Dessutom är wordpress 2,8 sökfunktionen inte välformad. Om du kan bli störd, ändra wp-includes/general-templates.php och ta bort alla hänvisningar till rollen = "Sök".
3. Slutligen, se till att din tema har <ul> och </ UL> taggar runt några samtal till dynamic_sidebar (som normalt finns i sidebar.php eller functions.php filer).

Observera också att inbäddade flash-filer inte XHTML Kompatibel. Det har gjorts försök att visa flash använder överensstämmer taggar, men jag har funnit dem vara tillförlitliga. Stick med icke-kompatibla kod för nu.

För att testa din webbsida, besök http://validator.w3.org/~~V