爱美女网爬虫[预览版] [23.07.02] [Windows]

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
更新日志:
兼容处理分类问题
更新日志: 兼容处理分类问题
更新日志:
兼容处理分类问题

使用方法:

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
C:\Users\obaby>F:\Pycharm_Projects\meitulu-spider\dist\imn5_v2.exe
****************************************************************************************************
爱美女网爬虫[预览版] 23.07.02
当前服务器地址:https://www.imn5.cc/
Blog: http://oba.by
姐姐的上面的域名怎样啊?说不好的不让用!!哼!!
****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
-a <download all site images>
-q <query the image with keywords>
-h <display help text, just this>
Option Arguments:
-p <image download path>
-r <random index category list>
-c <single category url>
-e <early stop, work in site crawl mode only>
-s <site url eg: https://www.xrmnw.cc (no last backslash "/")>
****************************************************************************************************
C:\Users\obaby>F:\Pycharm_Projects\meitulu-spider\dist\imn5_v2.exe **************************************************************************************************** 爱美女网爬虫[预览版] 23.07.02 当前服务器地址:https://www.imn5.cc/ Blog: http://oba.by 姐姐的上面的域名怎样啊?说不好的不让用!!哼!! **************************************************************************************************** USAGE: spider -h <help> -a <all> -q <search> Arguments: -a <download all site images> -q <query the image with keywords> -h <display help text, just this> Option Arguments: -p <image download path> -r <random index category list> -c <single category url> -e <early stop, work in site crawl mode only> -s <site url eg: https://www.xrmnw.cc (no last backslash "/")> ****************************************************************************************************
C:\Users\obaby>F:\Pycharm_Projects\meitulu-spider\dist\imn5_v2.exe
****************************************************************************************************
爱美女网爬虫[预览版] 23.07.02
当前服务器地址:https://www.imn5.cc/
Blog: http://oba.by
姐姐的上面的域名怎样啊?说不好的不让用!!哼!!
****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -r <random index category list>
         -c <single category url>
         -e <early stop, work in site crawl mode only>
         -s <site url eg: https://www.xrmnw.cc (no last backslash "/")>
****************************************************************************************************

Continue Reading

秀人美女网爬虫<重构版>[Windows][23.05.25]

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
更新日志:
1.重写了部分通用代码
2.修复https证书错误
3.去掉错误警告信息
4.其他的问题,至于是什么我也忘了。
5.修复-p参数无效
更新日志: 1.重写了部分通用代码 2.修复https证书错误 3.去掉错误警告信息 4.其他的问题,至于是什么我也忘了。 5.修复-p参数无效
更新日志:
1.重写了部分通用代码
2.修复https证书错误
3.去掉错误警告信息
4.其他的问题,至于是什么我也忘了。
5.修复-p参数无效

Continue Reading

美女图片整理【异常图片】

由于爬虫比较多,有的爬虫在下载的时候没有处理网络问题或者图片本山链接错误导致的图片异常。有的是处理了的,不要问为什么没加异常检测,问就是懒。

下载的图片会出现下面的问题,其实预览的时候就会发下问题了,另外打开这个图片其实会显示404或者502之类的错误页面。所以写了一段处理代码,主要两个功能:

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
1.删除小文件,至于多小自己去调整代码
2.如果目录下所有的文件都有问题,删除文件后同时删除目录
1.删除小文件,至于多小自己去调整代码 2.如果目录下所有的文件都有问题,删除文件后同时删除目录
1.删除小文件,至于多小自己去调整代码
2.如果目录下所有的文件都有问题,删除文件后同时删除目录

Continue Reading

秀人集爬虫 【22.1.20】【OS X】【m1版本】

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
***********************************************************************************
参数说明:
/Users/zhongming/PycharmProjects/meitulu/dist/xiurenji/xiurenji
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
-a <download all site images>
-q <query the image with keywords>
-h <display help text, just this>
Option Arguments:
-p <image download path>
-s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
***********************************************************************************
*********************************************************************************** 参数说明: /Users/zhongming/PycharmProjects/meitulu/dist/xiurenji/xiurenji USAGE: spider -h <help> -a <all> -q <search> Arguments: -a <download all site images> -q <query the image with keywords> -h <display help text, just this> Option Arguments: -p <image download path> -s <site url eg: http://www.xiurenji.vip (no last backslash "/")> ***********************************************************************************
***********************************************************************************
参数说明:
 /Users/zhongming/PycharmProjects/meitulu/dist/xiurenji/xiurenji 
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
***********************************************************************************

Continue Reading

秀人集爬虫 【22.1.20】【Windows】

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
参数说明:
****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
-a <download all site images>
-q <query the image with keywords>
-h <display help text, just this>
Option Arguments:
-p <image download path>
-s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
****************************************************************************************************
参数说明: **************************************************************************************************** USAGE: spider -h <help> -a <all> -q <search> Arguments: -a <download all site images> -q <query the image with keywords> -h <display help text, just this> Option Arguments: -p <image download path> -s <site url eg: http://www.xiurenji.vip (no last backslash "/")> ****************************************************************************************************
参数说明:
****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
****************************************************************************************************

Continue Reading