Çfarë është një servil? mjet servil "Yandex" dhe Google

Çdo ditë në internet ka një sasi të madhe të materialeve të reja për të krijuar një faqe interneti përditësuar faqet e vjetra web, ngarkoni foto dhe video. Pa fshehur nga motorët e kërkimit nuk mund te gjendet ne World Wide Web, asnjë nga këto dokumente. Alternativat si programet robotik në çdo kohë të dhënë nuk ekziston. Çfarë është një robot kërkimi, pse keni nevojë për të dhe se si të veprojë?

Çfarë është një robot kërkimi

Crawler site (search engine) - ajo është një program automatik që është në gjendje për të vizituar miliona faqet e internetit, shpejtësi lundrimit përmes internetit pa asnjë ndërhyrje të operatorit. Bots janë vazhdimisht hapësira scan e World Wide Web, duke gjetur faqet e reja web dhe rregullisht vizitojnë tashmë indeksuar. Emra të tjerë për web crawlers merimangat, crawlers, bots.

Pse e kërkimit spiders motor

Funksionet kryesore që kryejnë kërkim spiders motor - web pages indeksuara, si tekst, imazhe, audio dhe video files që janë në ta. Bots kontrolloni referenca, faqet pasqyrë (kopje) dhe më të reja. Robotët kryejnë edhe kontrollin HTML-kodin për standardet konformitetin e Organizatës Botërore, e cila zhvillon dhe zbaton standardet teknologjike për World Wide Web.

Çfarë është indeksimit, dhe pse ajo është e nevojshme

Indeksimi - është, në fakt, është procesi i vizituar një faqe të veçantë web nga motorët e kërkimit. Programi skanon tekstin në këtë faqe, images, videos, lidhje jashtë, atëherë faqja shfaqet në rezultatet e kërkimit. Në disa raste, vendi nuk mund të skanuar automatikisht, atëherë ajo mund të shtohet në motor kërkimi me dorë webmaster. Në mënyrë tipike, kjo ndodh në mungesë të lidhjeve të jashtme në një (shpesh të krijuar vetëm kohët e fundit) faqe të veçantë.

Si mund të kërkoni spiders motor

Secili motor kërkimi ka bot e vet me kërkimin robot Google mund të ndryshojnë në mënyrë të konsiderueshme në bazë të mekanizmit punon në një program të ngjashëm, "Yandex" ose sistemet e tjera.

Në përgjithësi, një robot Parimi i punës është si vijon: programi "vjen" në faqen e internetit dhe lidhjet e jashtme nga faqen kryesore, "thuhet" Web burimeve (duke përfshirë edhe ata që kërkojnë sipërm që nuk e sheh përdoruesit). Boat është se si për të lundruar në mes të faqeve të një vend dhe të lëvizin për të tjerët.

Programi do të zgjedhë se cili vend në indeksin? Më shpesh sesa jo "udhëtim" merimangë fillon me faqet e lajmeve apo faqet e mëdha të burimeve dhe bashkime me peshë të madhe reference. Crawler vazhdimisht skanon faqet një nga një, për normën dhe konsistencën e indeksimit faktorët e mëposhtëm:

• Brendshme: perelinovka (lidhjet e brendshme në mes të faqeve të të njëjtit burim), madhësia vend, kodin e saktë, user-friendly dhe kështu me radhë;
• Të jashtëm: pesha totale reference, e cila çon në vend.

Gjëja e parë kërkimet Kërko robot në ndonjë faqe interneti nga robots.txt. indeksimit burim i mëtejshëm është kryer bazuar në informacionin e marrë është nga ky dokument. Kjo skedë përmban udhëzime specifike për "merimangat", që mund të rrisë shanset e vizitave faqe nga motorët e kërkimit, dhe, rrjedhimisht, për të arritur një vend të hershëm goditur në "Yandex" ose Google.

Program analoge crawlers

Shpesh termi "kërkimit robot" është ngatërruar me inteligjente, përdoruesit ose agjentët autonome, "milingonave" ose "krimbat". dallime të zhytur të rëndësishme vetëm në krahasim me agjentë, përkufizimet e tjera i referohen llojeve të ngjashme të robotëve.

Për shembull, agjentët mund të jenë:

• intelektuale: programi, të cilat janë lëvizur nga vendi në vend, në mënyrë të pavarur të vendoset se si të vazhdohet; ata nuk janë shumë të zakonshme në internet;
• Autonomous: Këta agjentë të ndihmojë përdoruesit në zgjedhjen e një produkti, kërkim, ose plotësimin e formularëve, të ashtuquajturat filtra, të cilat janë shumë pak në lidhje me programet e rrjetit;.
• Përdoruesi: programi të kontribuojnë në ndërveprimin e përdoruesit me World Wide Web, një shfletues (për shembull, Opera, IE, Google Chrome, Firefox), të dërguarit (Viber, telegram) ose programet e-mail (MS Outlook dhe Qualcomm).

"Milingonat" dhe "krimbat" janë më të ngjashme me search engine "merimangat". Forma e parë në mes të një rrjeti dhe vazhdimisht ndërveprojnë si kjo koloni të milingonave, "krimbat", është në gjendje për të replikuar në aspekte të tjera e njëjtë si servil standarde.

Shumëllojshmëri të robots search engine

Dallimin midis shumë lloje të crawlers. Në varësi të qëllimit të programit, ato janë:

• "Mirror", - kopje identike janë duke shfletuar faqet e internetit.
• Mobile - të përqëndrohet në versionet celular e faqeve web.
• Quick - fix informacion të ri shpejt me shikimin përditësimet më të fundit.
• Referenca - indeksi referencë, numërimin numrat e tyre.
• Indexers lloje të ndryshme të përmbajtjes - programeve të veçanta për tekst, audio, video, imazhe.
• "Spyware" - në kërkim për faqet që nuk janë shfaqur ende në motor kërkimi.
• "Qukapiku", - periodike vizitoni faqet për të kontrolluar përshtatshmërinë dhe efikasitetin e tyre.
• National - shfletuar burimet Web vendosur në një nga fushat e vendit (p.sh., Mobi, ose .kz .ua).
• Global - Indeksi i të gjitha faqet e kombëtare.

Robots motorë kërkimi të mëdha

Ka edhe disa spiders search engine. Në teori, funksionaliteti i tyre mund të ndryshojnë shumë, por në praktikë programet janë pothuajse identike. Dallimet kryesore indeksimit faqet web robots dy motorë kërkimi të mëdha janë si vijon:

• Rreptësia e testimit. Besohet se mekanizmi i servil "Yandex" Vlerësimet disi strikte vend për pajtueshmëri me standardet e World Wide Web.
• Ruajtja e integritetit të vendit. Indekset servil Google i gjithë vendi (duke përfshirë edhe përmbajtjen e medias), "Yandex" mund të shikoni përmbajtjen selektive.
• Test Speed Faqet reja. Google shton burim të ri në rezultatet e kërkimit brenda pak ditësh, në rastin e "nga Yandex" proces mund të zgjasë dy javë ose më shumë.
• Frekuenca e ri-indeksimit. Crawler "Yandex" Kontrollo për përditësime dy herë në javë, dhe Google - një çdo 14 ditë.

Internet, natyrisht, pa u kufizuar në të dy motorët e kërkimit. makina tjera të kërkimit kanë robotët e tyre të cilët ndjekin parametrat e tyre të indeksimit. Përveç kësaj, ka disa "merimangat" që janë projektuar burimet e kërkimit nuk e mëdha, dhe ekipet individuale ose webmasters.

keqkuptime të zakonshme

Në kundërshtim me besimin popullor, "merimangat" nuk procesin e informacionit. Programi i vetëm skanon dhe ruan web faqet dhe përpunimin e mëtejshëm merr robots krejtësisht të ndryshme.

Gjithashtu, shumë përdorues besojnë se spiders search engine ketë një ndikim negativ dhe "të dëmshme" internetin. Në fakt, disa versione të "merimangat" mund te trupezuar me mbeshtjelljen ndjeshëm server. Ekziston edhe një faktori njeri - webmasteri, i cili krijoi programin, mund të bëjë gabime në konfigurimin robot. Megjithatë, shumica e programeve ekzistuese janë të dizajnuara mirë dhe menaxhohet në mënyrë profesionale, dhe çdo problem që dalin hequr menjëherë.

Si për të menaxhuar indeksimin

robots search engine janë programet automatizuar, por procesi i indeksimit mund të kontrollohet pjesërisht nga webmaster. Kjo ndihmon në masë të madhe të jashtme dhe optimizimin e brendshme të burimeve. Përveç kësaj, ju manualisht mund të shtoni një faqe të re në një motor kërkimi: Burimet e mëdha kanë një formë të veçantë të regjistrimit faqet Web.