3394772548 / yue-spider

手机淘宝App 闲鱼App 相关爬虫 学习测试

yue-spider 爬虫程序

包含了淘宝app 闲鱼app的爬虫程序 仅能测试使用

当前可用API

api	功能
mtop.taobao.detail.getdetail	淘宝商品基本信息
mtop.taobao.detail.getdesc	淘宝商品商品详情
mtop.taobao.rate.detaillist.get	淘宝商品评价
mtop.taobao.wsearch.appsearch	淘宝商品搜索
mtop.taobao.wsearch.appsearch.shop	淘宝店铺商品搜索
mtop.taobao.ugc.tql.facade	淘宝商品买家秀
mtop.taobao.idle.main.item.search	闲鱼商品搜索
mtop.taobao.idle.item.detail	闲鱼宝贝详情
mtop.taobao.sharepassword.querypassword	淘口令解析

在线测试地址 （有请求限流最好大家下载在本地测试）

下载程序后 针对所属平台直接运行启动程序

平台	启动命令
windows	yue-win.exe
mac	yue-mac
linux	yue-linux

命令行启动

服务器启动后，浏览器打开接口文档地址

启动参数

指定启动端口

-port=9090

设置代理

-proxy=http://127.0.0.1:8888

接口文档基于swagger-go实现，可以直接在线模拟测试调用 http://localhost:8080/swagger/index.html

---

---

点击其中一个接口展开接口介绍 点击 try it out 进行接口调用

---

---

填写接口参数点击excute 运行

---

---

查看对应请求命令和返回内容

---

yue-spider's Issues

本地测试没问题，部署到阿里云就没有办法使用

{"data":{},"ret":["FAIL_SYS_USER_VALIDATE::亲,访问被拒绝了哦!请检查是否使用了代理软件或VPN哦~"]}
有没有办法解决这个问题

闲鱼搜索接口好像不能翻页了

page=2 数据是一样的

详情页数据/mtop.taobao.detail.getdetail接口失效

详情页数据/mtop.taobao.detail.getdetail接口失效，其他接口正常可以使用，返回错误数据
{
"rgv587_flag": "sm",
"url": "https://www.taobao.com/markets/bx/deny_h5"
}

你好，我这边是抓取淘宝店铺预售数据，有好几千个店铺，经常会出现FAIL_SYS_USER_VALIDATE，RGV587_ERROR::SM

抓取的频率为第15秒左右请求一次接口，你那边能处理这个问题吗？
付高费用合作，解决 加微信shchzh85或是q420610229

淘宝天猫店铺列表页能否支持自定义分类的搜索

淘宝天猫店铺列表页能否支持自定义分类的搜索

想请教一下大佬这个是用什么接口获取信息的，之前有两个接口

之前的两个接口有一个封掉了，还有一个接口可以用但是调用频繁的话需要登录淘宝，想请教一下你这个是怎么弄的

项目图片资源

不考虑开源吗？

如题

你好可以实现商品详情的批量抓取吗/?

我在安卓逆向app后，可以几次调用接口，但是无法批量抓取，返回
{ "ret": [ "FAIL_SYS_SESSION_EXPIRED::SESSION失效" ]}
session失效，请问如何解决？有好的办法吗？

请教

您好，能请问您这是具体怎样实现的么,是通过代码模拟淘宝app的请求吗？之前淘宝网页搜索被封的差不多了，我现在是通过xposed框架hook 淘宝app的方式来爬数据，麻烦得很。如果您能指点下不胜感激。

抓取数据发现每次访问都是访问的第一页的数据

@3394772548 作者你好，在实际操作过程中，发现最终的pageNumber都是为1。比如访问关键词"裙子"前3页的数据：

第二页和第三页的数据是完全一样的。后台抓包发现每次提交的内容也是一样的，只是返回的内容有随机性：

{
	"activeSearch": true,
	"bizFrom": "home",
	"categoryId": 0,
	"fromKits": false,
	"fromLeaf": false,
	"fromShade": false,
	"fromSuggest": false,
	"gps": "",
	"keyword": "裙子",
	"mType": {
		"mFrom": "fromPush",
		"mParam": "paramHistory"
	},
	"noSelect": false,
	"originJson": false,
	"pageNumber": 1,
	"parentCategoryId": 0,
	"recommend": false,
	"rowsPerPage": 10,
	"shadeBucketNum": -1,
	"suggestBucketNum": 2
}

不管page为多少，pageNumber提交的时候都是1。作者能否解答一下？不胜感激，只是为了学习交流

闲鱼搜索不行了吗

{"data":{},"ret":["FAIL_SYS_USER_VALIDATE::登陆成功后请点击重试获得查询结果!"]}

error when get date..

{
"rgv587_flag": "sm",
"url": "https://www.taobao.com/markets/bx/deny_h5"
}

Anyone sample problem?

好厉害的项目，闲鱼接口有计划加入价格区间吗

淘个索尼xzp手机。不知道会不会被人拿去滥用，淘宝这个月就关了网页的搜索