Python爬取中国院士信息，揭秘人才聚集地
院士（Academician）一词源自古希腊传说中的英雄Academy，这位英雄为了拯救雅典而牺牲，是科学及学术界的最高荣誉头衔。要了解中国院士的分布情况，我们可以借助Python爬虫来获取详细信息。背景调研目前，中国院士总数超过1500人，其中科学院院士799人，工程院院士875人。科学院院士名单：http://www.casad.cas.cn/chnl/371/index.html工程院院士名单：http://www.cae.cn/cae/html/main/col48/column_48_1.htm
院士（Academician）一词源自古希腊传说中的英雄Academy，这位英雄为了拯救雅典而牺牲，是科学及学术界的最高荣誉头衔。要了解中国院士的分布情况，我们可以借助Python爬虫来获取详细信息。
背景调研
目前，中国院士总数超过1500人，其中科学院院士799人，工程院院士875人。
- 科学院院士名单：http://www.casad.cas.cn/chnl/371/index.html
- 工程院院士名单：http://www.cae.cn/cae/html/main/col48/column_48_1.html
本文将以工程院院士信息的抓取为例进行详细讲解。
工程院士出生地分布图
必备模块
通过pip安装以下模块：
- scrapy爬虫框架模块
- jieba分词模块
- win32api
如果遇到ImportError: DLL load failed: 找不到指定的模块错误，请将D:\Python27_64\Lib\site-packages\pywin32_system32下的所有文件复制到C:\Windows\System32目录下。
爬虫流程
建立爬虫项目：在E盘下创建
project_scrapy文件夹，进入该文件夹并打开cmd窗口，运行以下命令搭建爬虫框架：scrapy startproject engaca_spider
目录树如下：
E:\project_scrapy>tree /f
设置输出内容：在
items.py中添加如下内容：# -*- coding: utf-8 -*-
在
settings.py中设置爬虫源头，添加以下语句：starturl = 'http://www.cae.cn/cae/html/main/col48/column_48_1.html'
省份列表文件：在
scrapy.cfg的同层文件夹中存放pro_list.txt文件。链接：https://pan.baidu.com/s/1brg0MIz，密码：selo爬虫核心代码：在
spiders文件夹下创建aca_spider.py文件，添加以下代码：# -*- coding: utf-8 -*-
结果输出代码：在
pipelines.py中处理输出内容，可以将内容保存到数据库或文本文件中。这里直接保存到result.txt中：# -*- coding: utf-8 -*-
在
settings.py中指定输出管道：ITEM_PIPELINES = { # ... }运行爬虫：在
scrapy.cfg的同层文件夹下打开cmd窗口，运行以下命令：scrapy crawl EngAca
结果文件
result.txt将生成在该目录下。
数据可视化
利用pycharts进行数据可视化，参照教程绘制地图热图。根据生成的热图，我们可以看出，江苏省的院士数量最多，超过100人，确确实实是一个人杰地灵的地方。
项目所有文件
所有项目文件的链接：https://pan.baidu.com/s/1smligBN，密码：jdst
总结
这是一个基础且重要的爬虫练习，涉及到的内容没有JS加密和反爬措施。通过这个练习，可以熟悉爬虫框架的使用。数据预测未来，掌握这些技能可以让我们在做事时先人一步。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台，提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具，适合短剧、漫剧、广告及社交媒体内容制作。
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，