$url = "网站地址目录";
创新新互联,凭借10多年的网站设计、成都网站建设经验,本着真心·诚心服务的企业理念服务于成都中小企业设计网站有上1000+案例。做网站建设,选创新互联建站。
$queryServer = curl_init();
curl_setopt($queryServer, CURLOPT_URL, $url);
curl_setopt($queryServer, CURLOPT_HEADER, 0);
curl_setopt($queryServer, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($queryServer, CURLOPT_RETURNTRANSFER, true);
curl_setopt($queryServer, CURLOPT_CONNECTTIMEOUT, 10);
curl_setopt($queryServer, CURLOPT_TIMEOUT, 30);
$html = curl_exec($queryServer);
$html = iconv('UTF-8','GBK//IGNORE',$html); //如果你需要是的数据是utf-8编码的,这一行可以注销,如果需要gbk编码的,请保留.如果出现乱码,就是一行的问题,你自己调着试吧
//echo $holder;exit; 此处可以输出来测试.
$html = str_replace(array("\n","\r","\t"),"",$html);
$preg = '/table\s+width=\"800\"[^]+(.*?)\/table/';
preg_match_all($preg,$html,$out);
//匹配每行
preg_match_all('/tr[^]+(.*?)\/tr/',$out[1][0],$tr);
//匹配每个td
$result = array();
$match = '/td.+([^]+)\/td/U';
foreach( $tr[0] as $key = $value ){
preg_match_all($match,$value,$arr);
$result[] = $arr[1];
}
//输出测试,$result就是你要的数据,至于你要怎么输出显示格式,那就随心调就好了。
foreach( $result as $key = $value ){
echo implode("\t",$value);
echo "br";
}
exit;
登陆后抓取所有的html代码。
然后通过正则匹配html标签来获取自己需要的东西,最主要的是你获取到html源码后,想要什么不就是看你需求了嘛,正则有问题可以继续问我。
一般网站都是通过cookie来判断登录状态的,你可以第一次手动登录,然后把cookie保存下来。然后在用curl带上这个cookie去请求网站,就会认为你是登录的了,同时你要把新返回的cookie保存下来,这都是curl里面设置的事情,一个CURLOPT_COOKIEFILE 一个 CURLOPT_COOKIEJAR 可以说百分之九十的网站都可以这样处理
curl基本特性
模拟浏览器传输数据
实现post/get方式传输
支持多种协议:HTTP、HTTPS、FTP上传
支持cookie,用户名/密码的认证
使用curl完成请求的简单步骤
初始化一个curl句柄
resource curl_init ([ string $url = NULL ] )
设置curl选项
bool curl_setopt ( resource $ch , int $option , mixed $value )
执行curl请求
mixed curl_exec ( resource $ch )
释放curl资源
void curl_close ( resource $ch )
简单的分了几个步骤:
1、确定采集目标
2、获取目标远程页面内容(curl、file_get_contents)
3、分析页面html源码,正则匹配你需要的内容(preg_match、preg_match_all),这一步最为重要,不同页面正则匹配规则不一样
4、入库