5.2Charles抓包步骤&原理

目录介绍

  • 01.下载安装说明
  • 02.抓包代理设置
  • 03.抓包Https操作
  • 04.抓包原理介绍
  • 05.抓包数据介绍
  • 06.常见问题总结

01.下载安装说明

  • 下载地址(下载对应的平台软件即可)
    • https://www.charlesproxy.com/download/
  • 下载破解文件
    • https://assets.examplecode.cn/file/charles.jar
    • 打开Finder,在应用程序中选择Charles并右键选择显示包内容
    • 显示包内容后在Content/Java目录下将破解文件复制过来替换掉原文件即可
    • 如果打开Charles时提示：程序已损坏，打不开。您应该将它移到废纸篓。此时需要在终端中执行以下命令即可：sudo spctl --master-disable
  • 或者注册账号
    • https://www.charles.ren/

02.抓包代理设置

  • charles代理设置
    • 可以设置抓包数据类型，包括http与socket数据。可以根据需要在proxies栏下勾选。这里简单操作进行设置，Proxy ---> Proxy Settings默认端口是8888，根据实际情况可修改。
      • image
        image
  • Android手机代理设置
    • 首先获取电脑ip地址
      • 第一种方式：查看本机IP地址：Help ---> Local IP Addresses
        • image
          image
      • 第二种方式：命令行方式，输入ifconfig即可
        • image
          image
    • 然后打开手机设置代理
      • 注意：手机需要和电脑使用同一个Wi-Fi网络，这是前提！！！
      • 操作步骤：打开WiFi列表 ---> 长按连接的WiFi修改网络设置代理 --- > 设置代理信息
        • image
          image
  • 最后抓包如下
    • 抓包数据如下所示
      • image
        image

03.抓包Https操作

  • 需要做哪些操作
    • 1.电脑上需要安装证书
    • 2.手机上需要安装证书
    • 3.Android项目代码设置兼容
  • 1.电脑上需要安装证书
    • 第一步安装证书：help ---> SSl Proxying ---> install charles root certificate ---> 安装证书
    • 第二步设置SSL属性：Proxy ---> SSL Proxy Settings ---> 然后add操作(设置port为443)。如下所示
      • image
        image
    • 然后抓包试一下，会发现Android7.0手机之前可以抓包，但是Android7.0之后是无法抓包的
      • 报错信息：客户端SSL握手失败:处理证书时出现未知问题(certificate_unknown)
      • image
        image
    • 如何解决在Android7.0之后也可以抓包https信息，接着往下看。
  • 2.手机上需要安装证书
    • 第一步下载证书
      • 打开浏览器，输入：chls.pro/ssl，就会自己下载到手机上，这里需要记住下载完成保存到本地的路径。
    • 第二步安装证书
      • 设置 ---> 更多设置 ---> 系统安全 ---> 加密与凭据 ---> 从SD卡安装，选择之前保存证书的路径。
      • 注意，有的手机是直接点击下载的文件即可安装……
    • 安装操作如下图所示
      • image
        image
  • 3.Android项目代码设置兼容
    • 添加安全配置文件。如下所示：
    • java.security.cert.CertPathValidatorException: Trust anchor for certification path not found 这个异常，解决方案如下所示：
    <?xml version="1.0" encoding="utf-8"?>
<network-security-config>
    <base-config cleartextTrafficPermitted="true">
        <trust-anchors>
            <certificates
                overridePins="true"
                src="system" />
            <certificates
                overridePins="true"
                src="user" />
        </trust-anchors>
    </base-config>
</network-security-config>

//清单文件配置
<application
    android:networkSecurityConfig="@xml/network_security_config_debug">
    • Android 7.0及以上为何不能轻易抓取到Https请求的明文数据？
      • 在Android 7.0(API 24 ) ，有一个名为“Network Security Configuration”的新安全功能。这个新功能的目标是允许开发人员在不修改应用程序代码的情况下自定义他们的网络安全设置。如果应用程序运行的系统版本高于或等于24，并且targetSdkVersion>=24，则只有系统(system)证书才会被信任。所以用户(user)导入的Charles根证书是不被信任的。
  • 抓https最后结果如下所示
    • image
      image
    • image
      image

04.抓包原理介绍

  • 1.抓包的原理：
    • 代理。客户端请求->经过代理->到达服务端 服务端返回->经过代理->到达客户端
  • 2.任何Https的 app 都能抓的到吗？
    • 7.0以下是可以的，只要手机里安装对应CA证书，比如用charles抓包，手机要安装charles提供的证书就行。
    • Android 7.0 之后，Google 推出更加严格的安全机制，应用默认不信任用户证书（手机里自己安装证书），自己的app可以通过配置解决，但是抓其它app的https请求就行不通。
  • 3.如何避免抓包
    • 1.基于抓包原理的基础上，直接使用okhtttp禁止代理，就可以了 builder.proxy(Proxy.NO_PROXY);经过测试，可以避免抓包
    • 2.直接使用加密协议，全是字段乱码， 把域名换装IP。这样基本别人很难抓到，像混淆一样
  • 4.charles抓包原理图
    • image
      image
  • 5.大概步骤流程
    • 第一步，客户端向服务器发起HTTPS请求，charles截获客户端发送给服务器的HTTPS请求，charles伪装成客户端向服务器发送请求进行握手 。
    • 第二步，服务器发回相应，charles获取到服务器的CA证书，用根证书（这里的根证书是CA认证中心给自己颁发的证书）公钥进行解密，验证服务器数据签名，获取到服务器CA证书公钥。然后charles伪造自己的CA证书（这里的CA证书，也是根证书，只不过是charles伪造的根证书），冒充服务器证书传递给客户端浏览器。
    • 第三步，与普通过程中客户端的操作相同，客户端根据返回的数据进行证书校验、生成密码Pre_master、用charles伪造的证书公钥加密，并生成HTTPS通信用的对称密钥enc_key。
    • 第四步，客户端将重要信息传递给服务器，又被charles截获。charles将截获的密文用自己伪造证书的私钥解开，获得并计算得到HTTPS通信用的对称密钥enc_key。charles将对称密钥用服务器证书公钥加密传递给服务器。
    • 第五步，与普通过程中服务器端的操作相同，服务器用私钥解开后建立信任，然后再发送加密的握手消息给客户端。
    • 第六步，charles截获服务器发送的密文，用对称密钥解开，再用自己伪造证书的私钥加密传给客户端。
    • 第七步，客户端拿到加密信息后，用公钥解开，验证HASH。握手过程正式完成，客户端与服务器端就这样建立了”信任“。
    • 在之后的正常加密通信过程中，charles如何在服务器与客户端之间充当第三者呢？
    • 服务器—>客户端：charles接收到服务器发送的密文，用对称密钥解开，获得服务器发送的明文。再次加密， 发送给客户端。
    • 客户端—>服务端：客户端用对称密钥加密，被charles截获后，解密获得明文。再次加密，发送给服务器端。由于charles一直拥有通信用对称密钥enc_key，所以在整个HTTPS通信过程中信息对其透明。
  • 6.总结一下
    • HTTPS抓包的原理还是挺简单的，简单来说，就是Charles作为“中间人代理”，拿到了服务器证书公钥和HTTPS连接的对称密钥，前提是客户端选择信任并安装Charles的CA证书，否则客户端就会“报警”并中止连接。这样看来，HTTPS还是很安全的。

05.抓包数据介绍

  • HTTP请求包的结构
    • 请求报文
      • 请求报文结构格式：
        请求行： <method> <request-URL> <version>
头部：   <headers>
主体：   <entity-body>
      • 请求报文结构示意图：
        • image
          image
      • 例子：
        • 请求了就会收到响应包(如果对面存在HTTP服务器)
        POST /meme.php/home/user/login HTTP/1.1
Host: 114.215.86.90
Cache-Control: no-cache
Postman-Token: bd243d6b-da03-902f-0a2c-8e9377f6f6ed
Content-Type: application/x-www-form-urlencoded

tel=13637829200&password=123456
    • 常见的是那些
      • User-Agent：产生请求的浏览器类型。
      • Accept：客户端可识别的响应内容类型列表;
      • Accept-Language：客户端可接受的自然语言;
      • Accept-Encoding：客户端可接受的编码压缩格式;
      • Host：请求的主机名，允许多个域名同处一个IP 地址，即虚拟主机;
      • Connection：连接方式(close 或 keep-alive);
      • Cookie：存储于客户端扩展字段，向同一域名的服务端发送属于该域的cookie;
  • HTTP响应包结构
    • 响应报文
      • 响应报文结构格式：
        状态行：  <version> <status> <reason-phrase>
响应头部：    <headers>
响应主体：    <entity-body>
      • 响应报文结构示意图：
        • image
          image
      • 例子：
        HTTP/1.1 200 OK
Date: Sat, 02 Jan 2016 13:20:55 GMT
Server: Apache/2.4.6 (CentOS) PHP/5.6.14
X-Powered-By: PHP/5.6.14
Content-Length: 78
Keep-Alive: timeout=5, max=100    Connection: Keep-Alive
Content-Type: application/json; charset=utf-8

{"status":202,"info":"\u6b64\u7528\u6237\u4e0d\u5b58\u5728\uff01","data":null}
    • 常见的响应头部参数
      • Allow 服务器支持哪些请求方法（如GET、POST等）。
      • Content-Encoding 文档的编码（Encode）方法。
      • Content-Length 表示内容长度。只有当浏览器使用持久HTTP连接时才需要这个数据。
      • Content-Type 表示后面的文档属于什么MIME类型。
      • Server 服务器名字。
      • Set-Cookie 设置和页面关联的Cookie。
      • ETag：被请求变量的实体值。ETag是一个可以与Web资源关联的记号（MD5值）。
      • Cache-Control：这个字段用于指定所有缓存机制在整个请求/响应链中必须服从的指令。
  • 响应报文状态码
    • 包含了状态码以及原因短语，用来告知客户端请求的结果。
    • 关于状态码，可以看这篇文章，http状态码。
      状态码类别原因短语
      1XXInformational（信息性状态码）接收的请求正在处理
      2XXSuccess（成功状态码）请求正常处理完毕
      3XXRedirection（重定向状态码）需要进行附加操作以完成请求
      4XXClient Error（客户端错误状态码）服务器无法处理请求
      5XXServer Error（服务器错误状态码）服务器处理请求出错

06.常见问题总结

  • 1.配置好后无法打开APP
    • 在我们抓取时碰到个别APP在配置代理后无法打开，这个主要是因为该APP做了防止抓取处理，比如校验https的证书是否合法等，这种解决方法可以通过反编译APP，查看源码解决，难度较大。
  • 2.抓取到的内容为乱码
    • 有的APP为了防止抓取，在返回的内容上做了层加密，所以从Charles上看到的内容是乱码。这种情况下也只能反编译APP,研究其加密解密算法进行解密。
  • 3.charles进阶操作之mock操作
    • 具体可以看这个：https://blog.csdn.net/liangzai2D108/article/details/124376013

07.Android拦截抓包

imageimageimageimage

  • 网络拦截分析，主要是分析网络流量损耗，以及request，respond过程时间。打造网络分析工具……
  • 项目代码地址：https://github.com/yangchong211/YCAndroidTool
  • 如果你觉得这个拦截网络助手方便了测试，以及开发中查看网络数据，可以star一下……

网络拦截库：https://github.com/yangchong211/YCAndroidTool

贡献者: yangchong211