你用网页的方式,让人点击,服务器采集,简直是弱爆了。每个人的点击循环1000次,来个100人同时点,你要用的是普通的虚拟机就不行了。
成都创新互联公司服务项目包括渭南网站建设、渭南网站制作、渭南网页制作以及渭南网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,渭南网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到渭南省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!
最好是换种方式实现,不要通过网页进行采集。
可以非常简单的在数据库的表,创建一个采集队列,后台执行一个crontab的计划任务,去完成队列里的采集任务。
1.PHP基本上就是一种数组语言。时常要进行大量的数组循环操作,主要有两种方式,
一种是foreach,另一种是while,
代码如下:
foreach ($array as $value) {
echo $value;
}
while (list($key) = each($array)) {
echo $array[$key];
}
foreach ($array as $value) {
echo $value;
}
while (list($key) = each($array)) {
echo $array[$key];
}
2.在循环里进行的是数组“写”操作,则while比foreach快:
foreach ($array as $key = $value) {
echo $array[$key] = $value . '...';
}
while (list($key) = each($array)) {
$array[$key] = $array[$key] . '...';
}
foreach ($array as $key = $value) {
echo $array[$key] = $value . '...';
}
while (list($key) = each($array)) {
$array[$key] = $array[$key] . '...';
}
没必要一次性查出100W条。每次请求3-5W数据update,分页用递归。
控制好变量内存,不要内存溢出。