SHIELD

简单讲它仍然是一种hash的方法，但是它的特点是，它可以使用固定的内存（不随url的数量而增长）以O(1)的效率判定url是否已经在set中。 可惜天下没有白吃的午餐，它的唯一问题在于，如果这个ur ...

python中对于获取键盘输入的函数是 input("msg") ,与C语言中 scanf("标记值") 不同 所以对于获取键盘输入的值需要通 ...

作为一个基本的爬虫,主要分为由几个框架所组成 1.爬虫的调度端2.爬虫的主程序1.url管理器2.网页下载器3.网页解析器3.爬虫获取的数据的存储 初步设计用到requests，beautifuls ...

python中并没有像c中的各种字符串处理函数库,但是python提供了一个特别强大的功能,那就是切片 s[start:end:step] 例如 12345678910s='123 ...

python执行系统命令的方法 output=os.popen(command).read() os.popen()会执行command命令并且获取返回值 os.system(command)也可以 ...

由于resquests默认是获取网页头content-type中点charset参数,如果头部没有指定charset,则采用默认的ISO-8859-1编码 编码格式可以通过 res=requ ...

装饰器的作用就是在函数调用方法不变的情况下，把此函数包装成另一个函数来使用 假设我们要增强函数的功能，比如，在函数调用前后自动打印日志，但又不希望修改函数的定义， 这种在代码运行期间动态增加功能的方 ...

要对进程进行监测和控制,首先必须要了解当前进程的情况,也就是需要查看当前进程, 而ps命令（Process Status）就是最基本同时也是非常强大的进程查看命令. 使用该命令 可以确定有哪些进程正 ...

mysql的远程连接设置如下 1.将所需登录的用户名给上权限 GRANT ALL PRIVILEGES ON . TO ‘user’@’%’IDENTIFIED BY ‘password’ WITH ...