1.python爬虫资源汇总:书单、码分网站博客、码分框架、码分工具、码分项目（附资源）
2.Python网络爬虫-APP端爬虫
3.mitmproxy的使用

python爬虫资源汇总:书单、码分网站博客、码分阿拉德之怒开服源码框架、码分工具、码分项目（附资源）

       爬虫技术因其快速且高效的码分数据抓取能力，在互联网时代逐渐受到广泛关注，码分对于职场人而言，码分掌握爬虫技能无疑是码分提升竞争力的有效手段。随着爬虫技术的码分普及，网络资源日益丰富，码分但初学者往往难以筛选优质资源，码分容易走弯路。为此，源码心系列我们精心整理了一份针对零基础同学的python爬虫资源汇总，旨在帮助大家系统学习爬虫知识，快速上手。

       以下是我们精选的python爬虫学习资源，包括书单、网站博客、框架、工具以及实战项目：

       必读书单

       学习python爬虫，以下8本书将是你的理想指南：

       《Python编程：从入门到实践》：豆瓣评分9.1，本书适合所有层次的读者，既介绍基础知识，又通过三个项目实践提升技能。

       《Python编程快速上手》：豆瓣评分9.0，面向实践的指南，不仅讲解语言基础，还通过项目教会读者应用知识。中医馆源码

       《像计算机科学家一样思考Python》：豆瓣评分8.7，旨在培养读者以计算机科学家的角度理解Python编程。

       《“笨方法”学Python》：豆瓣评分7.9，适合通过核心概念学习Python的初学者。

       《Python Cookbook 中文版》：豆瓣评分9.2，覆盖常见问题的解决方案，包含大量实用代码示例。

       《流畅的python》：豆瓣评分9.4，深入解析语言设计细节，教你写出地道的Python代码。

       《深入浅出python》：豆瓣评分8.5，适合不想看枯燥教程的读者，内容轻松易懂。

       《python3 网络爬虫开发实战》：豆瓣评分9.0，全面介绍使用Python3进行网络爬虫开发的知识，从基础到实战。类似电报源码

       网站博客

       以下网站提供爬虫案例、技巧和最新资讯，是学习爬虫的宝贵资源：

       awesome-python-login-model：收集各大网站的登陆方式和爬虫程序，研究模拟登陆方式和爬虫技巧。

       《Python3网络爬虫与开发实战》作者博客：分享作者的爬虫案例和心得，内容丰富。

       Scraping.pro：专业的采集软件测评网站，提供国内外顶尖采集软件的测评文章。

       Kdnuggets：涵盖商业分析、大数据、数据挖掘、数据科学等，内容丰富多元。

       Octoparse：功能强大的免费采集软件博客，提供浅显易懂的采集教程。

       Big Data News：专注于大数据行业，掘金社区源码包含网站采集的子栏目。

       Analytics Vidhya：专业数据采集网站，内容涵盖数据科学、机器学习、网站采集等。

       爬虫框架

       掌握以下爬虫框架，能够高效完成爬取任务：

       Scrapy：应用广泛，用于数据挖掘、信息处理或存储历史数据。

       pyspider：功能强大的网络爬虫系统，支持浏览器界面脚本编写。

       Crawley：高速爬取网站内容，支持关系和非关系数据库。

       Portia：可视化爬虫工具，无需编程知识即可爬取网站。

       Newspaper：用于提取新闻、文章和内容分析，支持多线程和多种语言。

       Beautiful Soup：从HTML或XML文件中提取数据的Python库。

       Grab：构建复杂网页抓取工具的Python框架。

       Cola：分布式爬虫框架，易于使用。

       工具

       以下是爬虫过程中常用的工具，帮助你提高工作效率：

       HTTP代理工具集合：Fiddler、Charles、AnyProxy、mitmproxy等。

       Python爬虫工具汇总：在线资源提供广泛工具。

       blogs爬虫：爬取博客列表页。

       慕课网爬虫：爬取慕课网视频。

       知道创宇爬虫：特定题目爬取。

       爬虫：爱丝APP爬取。

       新浪爬虫：动态IP解决反爬虫，快速抓取内容。

       csdn爬虫：爬取CSDN博客文章。

       proxy爬虫：爬取代理IP并验证。

       乌云爬虫：公开漏洞、知识库爬虫和搜索。

       这份资源汇总将帮助你系统学习python爬虫，从基础知识到实战项目，全面提升你的爬虫技能。记得在微信公众号DC黑板报后台回复“爬虫书单”获取完整资源包。祝你学习进步，掌握python爬虫技术！

Python网络爬虫-APP端爬虫

       一、环境安装

       1.1 模拟器安装

       借助模拟器进行APP端调试，通过下载安装可实现。推荐使用夜神模拟器（yeshen.com/）或网易MuMu模拟器（mumu..com/）。

       1.2 SDK安装

       提供多种下载渠道，首选官网下载（developer.android.com/s...）或第三方下载平台（androiddevtools.cn/）。使用SDK Manager.exe安装工具，选择需要的工具，如Build-tools和特定Android版本，同时勾选Extras中的选项，最后点击Install安装。注意，安装过程可能持续数小时。配置环境变量，设置ANDROID_HOME为sdk安装目录，并将平台工具和工具路径添加到Path环境变量中。

       1.3 Fiddler安装

       直接从官网下载安装（telerik.com/download/fi...）以获取puters connect选项开启。

       2.2 模拟器配置

       在模拟器设置中，手动更改代理设置，输入本机IP和Fiddler端口，完成与Fiddler的代理连接。

       三、移动端自动化控制

       3.1 APK包名获取

       通过adb命令获取apk包名，确保adb服务启动并连接模拟器，然后在模拟器中获取所需app的包名和Activity。

       3.2 Appium使用

       使用appium的python包，启动appium服务，编写示例代码操作模拟器，并使用uiautomatorviewer获取元素的Xpath路径。

       四、利用mitmproxy抓取存储数据

       4.1 基本原理

       mitmproxy提供命令行接口mitmdump，用于处理抓取的数据，并将其存储到数据库中，同时支持Python脚本处理请求和响应。

       4.2 抓取步骤

       使用fiddler分析请求，然后通过mitmdump拦截并保存数据至MySQL数据库。

       五、APK脱壳反编译

       5.1 脱壳

       使用Xposed框架安装FDex2工具，通过Hook ClassLoader方法脱壳APK。推荐从网络下载并安装FDex2工具。

       5.2 APK反编译

       使用apktool反编译apk文件以获取静态资源，而dex2jar则将.dex文件转换为Java源代码。此过程需谨慎处理多个.dex文件。

       5.3 JAD-反编译class文件

       借助GitHub上的JAD工具将.class文件反编译为Java源代码，便于阅读和理解。

mitmproxy的使用

        [TOC]

        mitmproxyis a free and open source interactive HTTPS proxy.

        官网： /mitmproxy/mitmproxy

        mitmproxy/tools/_main.py

        /questions//using-mitmproxy-inside-python-script

        /KevCui/mitm-scripts