189 8069 5689
1W条数据量也不是特别大，那就直接读取，然后在foreach入库就可以了
三元网站建设公司创新互联公司,三元网站设计制作，有大型网站制作公司丰富经验。已为三元上千家提供企业网站建设服务。企业网站搭建\成都外贸网站制作要多少钱，请找那个售后服务好的三元做网站的公司定做！
如果数据量非常大的时候，那就分段读取，然后入库~
考虑到php超时，那就网页端打开，第一部分执行完，刷新页面，开始执行第二部分，依次进行...
当然，直接在命令行下执行也可以~
你用网页的方式，让人点击，服务器采集，简直是弱爆了。每个人的点击循环1000次，来个100人同时点，你要用的是普通的虚拟机就不行了。
最好是换种方式实现，不要通过网页进行采集。
可以非常简单的在数据库的表，创建一个采集队列，后台执行一个crontab的计划任务，去完成队列里的采集任务。
大数据的话可以进行以下操作：
减少对数据库的读取，也就是减少调用数据库，
进行数据缓存，
利用数据库的自身优化技术，如索引等
精确查询条件，有利于提高查找速度