2020年12月_少年时未觉悟，觉悟时不再年少，还危机四伏！_毕小宝

12月 11月 10月 09月 08月 07月 06月 05月 04月 02月 01月

原创 vncserver: Wrong type or access mode

背景最近配置 Cuckoo Sandbox 环境，在配置 Guest 端的时候，必须用图形界面工具连接到 Ubuntu 然后启动虚拟机，创建 Guest 实例。由于权限限制，只能用普通用户上传文件到虚拟机，所以就将 /root 目录的所属用户设置为普通用户了。这导致 vncserver 工具失效。权限问题vncserver: Wrong type or access mode of /root/.vnc.进入这个报错目录看了下权限，当前用户是一个普通用户，这就是症结了。重新还给 root 用户，

2020-12-31 18:05:46 443

原创啊，久违的 win7 开机画面！

Cuckoo Sandbox 环境部署需要 win7 的客户机，昨天找到了一个 win7 64 位的镜像文件，然后在本地虚拟机上用该镜像创建了一个 win7 的节点。在虚拟机上跑起来的一刻，啊，久违的 win7 开机画面！

2020-12-30 13:31:45 90

原创 Cuckoo Sandbox 在Ubuntu上安装问题及解决方法

上周领导让我研究一下 Cuckoo Sandbox这个开源项目，花了两天时间安装环境，周六终于安装起来了。虽然是对着官方文档执行的每一步，但是中间有两个步骤始终过不去，本文来整理下安装过程中碰到的问题及解决方法。

2020-12-27 07:33:14 198

原创 Webmagic 重试次数怎么设置才能生效？

Webmagic 爬虫时出现了请求超时异常、但是请求没有重新被重新发送的情况，跟踪了一遍源码，发现 `Site` 类定义了两个重试次数的变量，有一个看似正确的变量，却并不是请求重试使用的属性，导致超时异常后直接中断了请求。本文来分享这个问题的始末。

2020-12-21 19:04:17 159

原创 Windows下操作 Elasticsearch 问题汇总

Elasticsearch 作为一款流行的文本检索数据库，2014 年的时候项目中用它实现过文本检索，后来就用的较少了。去年公司的一款产品中使用了 Elasticsearch ，由于我写了一段时间的前端，没关注过后台代码。近期需要了解下整个项目的后台，所以重新了解了一下 Elasticsearch 的用法，本文汇总操作过程中遇到的异常。

2020-12-19 09:32:08 2391 4

原创 ElasticSearch源码编译时如何选择Gradle版本？

导入 ElasticSearch 源码，下载了ElasticSearch6.3 和 6.8 的版本，三个版本的 gradle ，都没有编译成功。ElasticSearch 和 Gradle 之间的版本对应关系如何呢？我从 ElasticSearch 源码包中的说明文档中找到了答案。

2020-12-18 06:27:37 288

原创 Tomcat 包缺失导致 missing ServletWebServerFactory bean.

Spring Boot 启动报错阅读项目中某个模块的代码时，直接运行 SpringBoot 的启动类报错：org.springframework.context.ApplicationContextException: Unable to start web server; nested exception is org.springframework.context. ApplicationContextException: Unable to start ServletWebServerA

2020-12-17 06:40:04 462 1

原创动态解析521响应Cookie失效后，爬虫如何继续？

前面章节介绍了网站使用两次 JS 混淆反爬技术，模拟请求流程得到的动态 Cookie 信息，它的有效期是一个小时。Cookie 失效后，WebMagic 后面依旧是 521 响应码。本文探讨的问题是：动态解析到的 Cookie 失效后，WebMagic 如何动态修改 Cookie 信息呢？Site 类的 addHeader 和 addCookie ，哪个是决定最终请求头域的要素呢？

2020-12-16 06:49:34 248

原创两次 JS 动态混淆反爬虫策略导致的 521 响应码，如果破？

521 可不是浪漫的表白数字哦，它还是一个http 请求响应码，碰到它能让你头大啊。最近在做一个漏洞爬取项目，上周发现 CNVD 网站升级了，使用了动态 JS 混淆技术，导致爬虫程序大量返回 521 响应码。解决过程，颇费周折，希望爬虫能维持一段时间、这个网站不要继续升级才好。

2020-12-13 10:13:47 252 3

原创 Python 数据分析之逐块读取文本

背景《利用Python进行数据分析》，第 6 章的数据加载操作 read_xxx，有 chunksize 参数可以进行逐块加载。经测试，它的本质就是将文本分成若干块，每次处理 chunksize 行的数据，最终返回一个TextParser 对象，对该对象进行迭代遍历，可以完成逐块统计的合并处理。示例代码文中的示例代码分析如下：from pandas import DataFrame,Seriesimport pandas as pd path='D:/AStudy2018/pydata-bo

2020-12-10 09:15:52 1852 6