Copyright & 2012 - .用javascript爬取京东商城的商品信息_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
用javascript爬取京东商城的商品信息
上传于||文档简介
&&使​用​j​a​v​a​s​c​r​i​p​t​编​写​的​爬​虫​源​码​,​用​于​爬​取​京​东​商​城​上​的​商​品​信​息​。
阅读已结束，如果下载本文需要使用2下载券
想免费下载本文？
定制HR最喜欢的简历
你可能喜欢php+phpquery简易爬虫抓取京东商品分类 - 推酷
php+phpquery简易爬虫抓取京东商品分类
这是一个简单的php加phpquery实现抓取京东商品分类页内容的简易爬虫。phpquery可以非常简单地帮助你抽取想要的html内容，phpquery和jquery非常类似，可以说是几乎一样；如果你有jquery的基础的话你可以迅速地上手。
1、下载phpquery并置于web根目录下的phpQuery文件夹
phpquery下载：/p/phpquery/downloads/list
phpquery教程可在这里查看：/p/phpquery/
2、抓取程序
* Created on
* To change the template for this generated file go to
* Window - Preferences - PHPeclipse - PHP - Code Templates
header(&Content-type:text/ charset=utf-8&);
function getPage( $url )
$cnt = file_get_contents($url);
return mb_convert_encoding($cnt ,&UTF-8&,&GBK&);
include 'phpQuery/phpQuery.php';
$url = '/allSort.aspx';
$page = getPage($url);
//phpQuery::newDocumentHTML($page);
phpQuery::newDocumentFile($url);
$firstCate = pq('#allsort .m');
foreach($firstCate as $first){
$topcate = pq($first)-&find(&.mt a&);
//echo &**************************& . $topcate-&text() . &**************************************&/br&&;
echo $id . &#&;
foreach($topcate as $top){
echo pq($top)-&text() . &#& . && a href='& .pq($top)-&attr(&href&) . &' target='_blank'&& . pq($top)-&text() .&& /a&、&;
echo &#0#1&/br&&;
$companies = pq($first)-&find(&.mc dl&);
$parent_id = $id;
foreach($companies as $company)
$sparent_id = $id;
& . $id . &#& .pq($company)-&find('dt')-&text() . &#& .
&& a href='& . pq($company)-&find('dt a')-&attr(&href&) . &' target='_blank'&& . pq($company)-&find('dt')-&text() .&& /a&#& . $parent_id .&#2&br&&;
$cate = pq($company)-&find('dd em a');
foreach($cate as $detail) {
echo & & .
$id . &#& .pq($detail)-&text() . &#& . && a href='&. pq($detail)-&attr(&href&) . &' target='_blank'&& . pq($detail)-&text() .&& /a&#& . $sparent_id . &#3&br&&;
3、运行效果
这样可以抓取京东商品分类的信息了。可以加上数据库，将数据保存在数据库中，这样可以更利于数据的保存和操作。虽然这里只是抓取京东商品的分类，如果延伸一下的话还可以抓取商品价格，好评差评等信息。这里就不一一细说了，具体问题具体解决，完全看需求。如果有需要的话还可以做成万能的，输入标签的xpath，然后得到具体的值；这纯属YY，有兴趣的可以网上找找资料，实现的方式应该也不少。
已发表评论数()
请填写推刊名
描述不能大于100个字符!
权限设置： 公开
仅自己可见
正文不准确
标题不准确
排版有问题
主题不准确
没有分页内容
图片无法显示
视频无法显示
与原文不一致查看: 4117|回复: 5
使用Httphelper获取京东（jd.com）商品价格
TA的每日心情开心13&小时前签到天数: 146 天[LV.7]常住居民III
比如要获取这个商品的价格
如果你直接请求这个页面是肯定不行的，因为他的价格是使用Ajax获取的，
网址我找到了直接提供给大家吧
看到skuid你应该就明白了，是和上面的数字是对应的，
直接访问这个页面就能提取价格
[C#] 纯文本查看 复制代码
Recommend.cbRecoFittings({&master&:{&name&:&\u\uff08Lenovo\uff09 G410AT 14.0\u82f1\u5bf8\u7b14\u8bb0\u672c\u\uff08i5-0G 2G\u72ec\u663e \u6444\u50cf\u5934 DVD\u523b\u5f55 Win8\uff09\u9ed1\u8272&,&price&:&3599.00&,&discount&:&200.00&,&pic&:&jfs/t610/108/109/d4ca2aNf381b1f0.jpg&,&skuid&:&1178322&,&sort&:672},&fittings&:[{&name&:&\u5de5\u5177&,&price&:&149.00&,&discount&:&150.00&,&pic&:&g12/M00/01/07/rBEQYFMr1mkIAAAAAADJhiB2ueMAADEPgECiMYAAMme574.jpg&,&skuid&:1075420,&sort&:1050},{&name&:&\ua\u963f\u4fee\u7f57SE \u6709\u7ebf\u632f\u52a8\u70ab\u \u6e38\u620f\u624b\u67c4 \u955c\u&,&price&:&119.00&,&discount&:&0.00&,&pic&:&g6/M02/05/0C/rBEGDFDSvUMIAAAAAAE2FnVvEZEAABDPwJDWqIAATYu495.jpg&,&skuid&:783846,&sort&:696},{&name&:&\ua\u963f\u4fee\u7f57TE PC&PS3\u53cc\u5e73\u53f0 \u667a\u80fd\u6e38\u620f\u624b\u67c4 \u955c\ud&,&price&:&139.00&,&discount&:&10.00&,&pic&:&g7/M03/07/1E/rBEHZVBlPp4IAAAAAAERal4_IjoAABjmgNeB2EAARGC682.jpg&,&skuid&:737628,&sort&:696},{&name&:&\ua\u77ac\u98ce189 \u96f6\u6b7b\u89d2 \u6e38\u620f\u65b9\u&,&price&:&299.00&,&discount&:&0.00&,&pic&:&g14/M00/14/13/rBEhVVMVN4EIAAAAAAGA0Hh6ikEAAJg_ACdAboAAYDo073.jpg&,&skuid&:1068234,&sort&:696},{&name&:&latit\u65f6\u5c1a\u\u91cf\u\u5305&,&price&:&99.00&,&discount&:&100.00&,&pic&:&g10/M00/11/06/rBEQWVFbl7sIAAAAAAKRSNUkhPoAADXBQJADvUAApFg411.jpg&,&skuid&:848726,&sort&:675},{&name&:&\u8d5b\u777f6gv2\u7ea2\u8f74\u673a\u68b0\u952e\u76d8&,&price&:&799.00&,&discount&:&0.00&,&pic&:&jfs/t640/204/941/e0a696c0/cec248.jpg&,&skuid&:692575,&sort&:689},{&name&:&\u8d5b\u777f\u971c\u51bb\u4e4b\u84dd\ua&,&price&:&829.00&,&discount&:&40.00&,&pic&:&g1/M02/06/12/rBEGDlAWIx0IAAAAAAEpxCvzp7kAABSFwGt8EMAASnc458.jpg&,&skuid&:692632,&sort&:696},{&name&:&\u8d5b\u777f\u971c\u51bb\u4e4b\u84dd\u9f20\u6807&,&price&:&399.00&,&discount&:&40.00&,&pic&:&g9/M01/12/1D/rBEHaVD82KoIAAAAAACYd8GTiJMAADsnAFPA-AAAJiP102.jpg&,&skuid&:805716,&sort&:690},{&name&:&\u8d5b\u777fQCK+\u539a\u8d28\u\u9f20\u6807\u57ab&,&price&:&129.00&,&discount&:&0.00&,&pic&:&240/8c5be7ab-e264-629c471b59.jpg&,&skuid&:536515,&sort&:826},{&name&:&\u952e\u76d8\u4fdd\u62a4\u819c&,&price&:&23.90&,&discount&:&0.00&,&pic&:&g13/M02/10/1C/rBEhU1LOXQoIAAAAAAFKJY3pT2oAAHw7gJ9y5QAAUo9114.jpg&,&skuid&:394238,&sort&:675},{&name&:&\u739b\u96c5\uff08MAYA\uff09\u65c5\u884c\u4e07\uc\u\u5934/USB\u\u5668/\u6\u4e2a\u56fd\u5bb6\u \u767d\u8272&,&price&:&59.90&,&discount&:&10.00&,&pic&:&g5/M02/13/12/rBEIC0_7h_sIAAAAAAC8XqqSiMgAAD0ugCCodcAALx2566.jpg&,&skuid&:534127,&sort&:1047},{&name&:&\u98de\u\uff08PHILIPS\uff09\u\u6ee4\u6ce2\u7a33\u538b\u\u51c0\u\u5ea7 \ub\u\u4f4d\u72ec\u7acb\u5f00\u5173&,&price&:&59.90&,&discount&:&39.10&,&pic&:&jfs/t595/31/967/9ac43e5c/5c6a7f70.jpg&,&skuid&:1108623,&sort&:1047},{&name&:&\u60a8\u\u\u&,&price&:&99.00&,&discount&:&50.00&,&pic&:&jfs/t343/100/360//N70c36e32.jpg&,&skuid&:314666,&sort&:675}],&fittingType&:[{&sort&:1050,&name&:&\u\u5de5\u5177&,&number&:1},{&sort&:696,&name&:&\u6e38\u620f\u8bbe\u5907&,&number&:4},{&sort&:690,&name&:&\u9f20\u6807&,&number&:1},{&sort&:675,&name&:&\u7b14\u8bb0\u672c\u914d\u4ef6&,&number&:3},{&sort&:1047,&name&:&\u63d2\u5ea7&,&number&:2},{&sort&:826,&name&:&\u9f20\u6807\u57ab&,&number&:1},{&sort&:689,&name&:&\u952e\u76d8&,&number&:1}]})
&price&:&119.00&,这个就是，其他的大家看情况需要的就用不需要无视之
使用Httphelper提取的方法如下
[C#] 纯文本查看 复制代码
HttpHelper http = new HttpHelper();
HttpItem item = new HttpItem()
URL = &/fittingInfo/get?skuId=1178322&callback=Recommend.cbRecoFittings&,//URL
ContentType = &text/html&,//返回类型
可选项有默认值
ResultType = ResultType.String
HttpResult result = http.GetHtml(item);
string html = result.H
string cookie = result.C
直接分析Html就行了。
该用户从未签到
受教了学习中……
该用户从未签到
关键是怎么找到查询价格的连接，具体是怎么找到的，楼主，能说下大概思路吗？
TA的每日心情开心13&小时前签到天数: 146 天[LV.7]常住居民III
抓包，个的检查，没几个连接
该用户从未签到
受教了学习中……
该用户从未签到
感谢您的无私奉献，真是帮了我的大忙了
( 豫ICP备号-1)&&