缘由

吃饭的时候和朋友聊天，谈到他上一个项目，他去抓其他网站的数据，然后用canvas画出走势图。吸引我的是前面的抓数据，以前从来没有尝试过，一定会很有意思了！

开始

听他讲大致就是用jsonp去请求，然后读取json吧。感觉这种方式不太好，因为只有目标网站提供了相应接口，才能去请求，然后解析收到的数据。 自己尝试用jsonp去请求一些数据，于是找数据接口，不过好少。目前找到的下面几个： （浏览器中打开的json格式不太好看，请读者朋友把下面的json拷到

朋友项目中用到的：

天气：

 //东莞天气

….

新浪：

//获取公共微博注意.最后为你的appkey。

//获取授权用户UID.

 获取当前登录用户及其所关注用户的最新微博

//获取用户最新的微博

…

豆瓣：

//获取用户信息

//获取用户时间线

…

在用jsonp请求数据的时候，只需要把url换成上面的就可以了，然后在回调函数里面处理返回的json数据就好了。

文章的标题叫做抓数据，但是到此为止好像只有请求数据，没有抓。。

 

然后

尽管上面找的那些链接能够完成很多事情，但是，让我不爽的是提供接口的网站并不多。要是我想要虎扑上的比赛数据呢？要是我想要河畔最新的贴子呢？

于是，又开始在网上找可以抓取任意网站数据的方法。在一篇文章中看到了火车头采集器，去下载了。把它的论坛上三个视频看了，感觉这个只是适合站长，不太适合普通开发者。不过功能真的是比较强大。这里不讲了，有兴趣的可以从去看下。

然后接着查询。。印象中python和java比较适合干这样的事，但是对这两门语言都不太熟悉，故还是想从熟悉的东西着手。咨询几个朋友，原来php也可以抓取数据～～

查看了几个例子，自己实验了一番，总结如下。

 

通过fopen来读取要抓取的网页

下面的例子来抓取我博客的title

     Unable to open remote file.\n";         exit;     }     while (!feof ($file)) {         $line = fgets ($file, 1024);         if (eregi ("", $line, $out)) {             $title = $out[1];             echo "".$title."";             break;         }     }     fclose($file); ?>

获取我博客所有代码

     \n";     } else {        $out = "GET / HTTP/1.1\r\n";        $out .= "Host: freestyle21.cn \r\n";        $out .= "Connection: Close \r\n\r\n";        fputs($fp, $out);        while (!feof($fp)) {          echo fgets($fp, 128);        }        fclose($fp);     }?>

通过curl／DOMDocument／DOMXpath抓取数据

上面的那种方式或许还不能叫抓数据。因为对返回的HTML处理不够。 然后，我们知道在php中curl可以抓取下载html（也可以模拟登录，伪装客户端等），DOMDocument可以刚刚下载的HTML加载成DOM，DOMXPath则可以使用XPath语法进行数据的定位和采集。幸运的是，对于前端来说，三个都比较熟悉，所以就比较简单了。

 

抓博客中所有的链接url

     cURL error number:" .curl_errno($ch);        echo "
cURL error:" . curl_error($ch);        exit;    }    //创建一个DomDocument对象，用于处理一个HTML    $dom = new DOMDocument();    //从一个字符串加载HTML    @$dom->loadHTML($html);    //使该HTML规范化    $dom->normalize();    //用DOMXpath加载DOM，用于查询    $xpath = new DOMXPath($dom);    //获取所有的a标签的地址    $hrefs = $xpath->evaluate("/html/body//a//@href");    for ($i = 0; $i < $hrefs->length; $i++) {        $href = $hrefs->item($i);        $linktext = $href->nodeValue;        echo $linktex;        echo "
";    }?>

结果如下；

如果想要抓取博客中的“这里记载着帅气的博主的技术成长过程，也会时而发下生活的牢骚”，这几个字，把xpath改成：

$hrefs = $xpath->evaluate("/html/body//div//h2");

如果想要抓取”freestyle21”几个字母，改成：

$hrefs = $xpath->evaluate("/html/body//div//a//h1");

如果想要抓去最下面的描述“一个老男人,今年22岁.一枚程序员，Web前端！一只科蜜，季后赛！”，改成

$hrefs = $xpath->evaluate("/html/body//div//ul//li");

到此，要抓取给定网页的任意数据就比较简单了，最终任务转换到解析DOM。而这，又是没有前端都擅长的～

 

总结

总的来说，用这篇文章中的方法抓取数据都不是最科学的，因为我们必须要读取所以的HTML，这样效率肯定比较低。最科学的方式还是不用下到本地服务器，直接读取。以后有需求了，还是学下Python和Java的抓取方式～～