楼上说(shuō )的很多,我补充(chōng )一下,正(zhèng )确(què )的应(yīng )该叫网络(luò )蜘蛛,又(yòu )称爬虫(chóng ),本(běn )质是(shì )搜索引擎派出的(de )一个(gè )执(zhí )行抓取任务的(de )程序蜘蛛池的本质是大量的(de )网(wǎng )站互相链接(jiē ),每(měi )个站单(dān )独产生大(dà )量(liàng )的(de )内容吸引(yǐn )蜘(zhī )蛛(zhū )来爬,几千(qiān )个网(wǎng )站互链时,可(kě )以想象(xiàng )蜘蛛的链接(jiē )
Copyright © 2008-2018