用php實(shí)現的小偷程序原理
來(lái)源:昆明網(wǎng)絡(luò )公司 日期:2010-09-15 閱讀: 發(fā)表評論
很多站因為無(wú)法及時(shí)更新網(wǎng)站信息,所以都采用了程序自動(dòng)采集網(wǎng)絡(luò )新聞的做法,這里我們來(lái)說(shuō)一下php的自動(dòng)采集原理。
1、確定采集的網(wǎng)站目標。
2、使用file_get_contents來(lái)獲取遠程網(wǎng)站的內容存儲到某個(gè)變量當中。
3、構建正則表達式,提取需要的內容,并循環(huán)存儲到數據庫中。
該任務(wù)的主要技術(shù)難點(diǎn)有以下:
1、正則表達式的構建,需要重復測試并且試驗一段時(shí)間。
2、對方采取一些了防采集的措施,比如,網(wǎng)頁(yè)內容規律的刻意打亂,服務(wù)器端的檢測,對內容讀取時(shí)間頻率的控制等等。
上一篇:snoopy中文手冊 下一篇:css reset css重置分享
發(fā)表評論評論列表(有 條評論)