python wget_python wget

wget 这个命令，平时用起来挺顺手，但有时候参数一多就容易记混。比如下面这条：wget -nH -K -E -d -np -L -r http://flatfull.com/themes/scale/，几个关键参数的作用分别是：

• -np：递归下载时不搜索上层目录，避免跑偏。
• -nH（–no-host-directories）：不创建主机目录，下载文件直接放在当前目录下。
• -d（–debug）：打印调试输出，方便排查问题。
• -L：递归时不进入其它主机，只留在当前域名里。
• -E：将所有 text/html 文档以 .html 扩展名保存。
• -r：递归抓取，这才是核心。
• -k：抓取之后修正链接，让它适合本地浏览。

用着用着，有时候会遇到一个经典错误：Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed? 这个问题的解决其实不复杂，先确保 pip 和 lxml 装好就行：

easy_install pip
easy_install lxml
pip install module_name

再说说 Python 环境里的几个常见安装问题。

py2exe 安装

下载后 py2exe 会存在 lib 目录下，路径通常是：C:\Anaconda2\Lib\site-packages 或者 C:\Users\Administrator\.windows-build-tools\python27\Lib\site-packages（取决于你的 Python 安装位置）。

Python 没有注册问题

这个情况多出现在某些 Windows 工具需要从注册表读取 Python 路径时。一个参考做法：如果你的机器上有多个 Python（比如 Anaconda 之外还有 windows-build-tools 自带的），注册时就要用对应版本的路径，并且手动把第三方库搬迁过去。

Python 2 与 Python 3 的 print 差异

Python 2 里写 print >>file, "string"，到了 Python 3 就变成了 print(string, file=file)。虽然是个小坑，但迁移代码时很容易踩到。

Windows 下 Python 工具推荐

科学计算包 Anaconda 是个省事的选择——它自带 Python 基础依赖包，解决了 Windows 上第三方库下载难的问题，甚至不用先装 Python 本体。

另外，Python 字符串的格式设计有时候确实让人想吐槽（“尿性”这个词很贴切），但习惯就好。

常用工具包安装速查

• requests：快速上手，直接 pip install requests。
• MySQLdb：Windows 上直接下载对应 32/64 位的 exe 安装；Mac/Linux 则下载 MySQL-python，修改 site.cfg 里的 mysql-config 路径，以及 setup_posix.py 中的 mysql_config.path。另外 conda install mysql-python 也可以。
• socks：pip install socksipy-branch。
• gevent：Mac/Linux 下使用 sudo pip install xxx.whl（注意对应 Python 版本和系统架构）；Windows 下直接安装 exe。
• PIL：pip install Pillow。
• appium：pip install Appium-Python-Client。
• chardet：pip install chardet。
• cv2：需要下载 OpenCV（用于图像处理）。推荐用 Homebrew 安装：brew install opencv。

Scrapy 使用

略过具体细节，但记住它是个高效的爬虫框架。

Work List

DHT metadata 相关的任务，可以后续深入研究。