这个故事叫无聊到用Matlab写爬虫获取寻宝角色信息-更新完毕

夜雨丶丶寒 · 发表于 2020-4-5 17:08:18

本帖最后由夜雨丶丶寒于 2020-4-6 15:18 编辑

偶然在网上看到matlab也可以写爬虫，而且流程很简单，就记录一下我是怎么做到的。。
搜索全区角色要在寻宝首页选择游戏，然后搜对应职业名就可以啦。
下面以归云为例，其实我还爬了逐霜，不因为别的就因为美...

流程
使用webread函数直接读取该网页所有源代码，你所需要的信息就包含在里面，只不过因为是代码所以看起来杂乱无章。
之后通过正则表达式匹配定位所需信息，提取这些信息，按顺序写入汇总表格。

简单以上图举个例子，我想获取价格信息，那么在源代码里面可以看到在“￥”符号之后跟着的数字就是价格。
正则表达式就可以写成 exp_price=’(?<=\￥)\d*.\d’。
它的意思就是从￥往后查找（数字（多位）.数字（一位））这种规则的字符串，然后提取出来就是“6800.0”.
完整代码就不放在这里啦。

成果展示

最贵的一个才1万多哦- -哈哈哈哈...
所用函数
1.webread(）
2.regexp()
3.reshape()
4.xlswrite()

很简单吧，我当时就是觉得就这么几个函数一定很简单，然后研究了老半天各种小问题- -…读正则表达式帮助就读了很久…

下一步**
我已经提取到了每个商品具体详情页的网址，那么可以用循环再爬取具体详情页里面的更多信息。
之后可以通过计算价格/重要属性，按自己想要的方式加权平均，获取一个综合性价比排序。但是目前这个网站很多属性并没有做好和游戏的接口，
就有一些重要的属性看不到…一定是因为开新系统太快！！
勉强算是能在**号**号的时候作为一个定价议价的参考吧…哈哈哈虽然不怎么玩了。。实用性不怎么强，用来作为学习的例子倒是很有趣~首发在CSDN上了~

更新一下具体详情信息以及性价比计算

按照昨天的思路，挨个爬取具体详情页信息。遇到快速多次访问网站跳回网站首页问题，那么模拟人为访问速度，让程序跑慢一点，大概1.2s访问一次就没啥问题。
访问速度还是可以优化的，不过我小白，不是学编程的，短时间没有太好办法。

**家全名默认打码，不过可以从装备主人，法宝主人，宠物主人等等地方获取。。不打扰大家mai号所以隐藏了.
性价比计算方法，属性/价格获取单个属性性价比，求平均值获取该属性全区平均性价比（以此为基准1）.
各个角色单属性性价比/基准获得相对性价比，所有属性相对性价比求平均获得综合相对性价比（1就是全区角色平均水平，越大性价比越高）.
这个算法很随意，不过拿来平行对比还是有一定作用的，比如我想**5000-8000的角色，筛选出来之后挑出我看重的的属性，求综合性价比相互比较.
同样可以以此反算给自己的**角色进行定价.

————————————————
版权声明：本文为CSDN博主「Evil_zz」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Evil_zz/article/details/105326459