如何使用Python遍历HTML表和抓取表格数据
译者|李睿审校|孙淑娟表格数据是网络上最好的数据来源之一。它们可以存储大量有用的信息，同时又不丢失易于阅读的格式，使其成为数据相关项目的金矿。无论是抓取足球赛事数据还是提取股票市场数据，都可以使用Python从HTML表中快速访问、解析和提取数据，而这需要感谢Requests和BeautifulSoup。理解HTML表的结构从视觉上看，HTML表是一组以表格格式显示信息的行和列。本文主要介绍如何抓取表格数据：为了能够抓取该表中包含的数据，需要更深入地研究它的编码。一般来说，HTML表实际上是使用
译者 | 李睿
审校 | 孙淑娟
表格数据是网络上最好的数据来源之一。它们可以存储大量有用的信息，同时又不丢失易于阅读的格式，使其成为数据相关项目的金矿。
无论是抓取足球赛事数据还是提取股票市场数据，都可以使用Python从HTML表中快速访问、解析和提取数据，而这需要感谢Requests和Beautiful Soup。
理解HTML表的结构
从视觉上看，HTML表是一组以表格格式显示信息的行和列。本文主要介绍如何抓取表格数据：
为了能够抓取该表中包含的数据，需要更深入地研究它的编码。
一般来说，HTML表实际上是使用以下HTML标记构建的：
：标志着HTML表的开始
或 ：定义行作为HTML表的标题 - ：表示数据所在的部分
：表示表中的一行 ：在表中定义单元格 然而，正如人们在实际场景中看到的，并不是所有开发人员在构建表时都遵循这些约定，这使得一些项目比其他项目更难。不过，了解它们的工作原理对于找到正确的方法至关重要。
在浏览器中输入表的URL，并检查页面，看看在底层发生了什么。
这就是这个页面非常适合练习用Python抓取表格数据的原因。有一个明确的
标签对打开和关闭表，所有相关数据都在标签中。它只显示与前端所选条目数量匹配的10行。
关于这个表还有一些需要了解的事情，即想要抓取的条目共有57个，并且似乎有两种访问数据的解决方案。第一种是点击下拉菜单，选择“100”，显示所有条目：
或者单击“下一步”按钮以浏览分页。
那么哪一种方案会更好?这两种解决方案都会给脚本增加额外的复杂性，因此，先检查从哪里提取数据。
当然，因为这是一个HTML表，因此所有数据都应该在HTML文件本身上，而不需要AJAX注入。要验证这一点，需要右击>查看页面来源。接下来，复制一些单元格并在源代码中搜索它们。
对来自不同分页单元格的多个条目执行了相同的操作，尽管前端没有显示，但似乎所有目标数据都在其中。
有了这些信息，就可以开始编写代码了。
使用Python的Beautiful Soup删除HTML表
因为要获取的所有员工数据都在HTML文件中，所以可以使用Requests库发送HTTP请求，并使用Beautiful Soup解析响应。
注：对于网页抓取的新手，本文作者在Python教程中为初学者创建了一个网络抓取教程。尽管新手没有经验也可以学习，但从基础开始总是一个好主意。
1.发送主请求
在这个项目中创建一个名为python-html-table的新目录，然后创建一个名为bs4-table-scraper的新文件夹，最后创建一个新的python_table_scraper.py文件。
从终端pip3安装请求beautifulsoup4，并将它们导入到项目中，如下所示：
import requests from bs4 import BeautifulSoup
要用requests发送HTTP请求，所需要做的就是设置一个URL并通过request.get()传递它，将返回的HTML存储在响应变量中并输出response.status_code。
注:如果完全不熟悉Python，可以使用命令python3python_table_scraper.py从终端运行代码。
url = 'https://datatables.net/examples/styling/stripe.html' response = requests.get(url) print(response.status_code)
如果它有效，将会返回一个200状态码。任何其他情况都意味着IP正在被网站设置的反抓取系统拒绝。一个潜在的解决方案是在脚本中添加自定义标题，使脚本看起来更加人性化，但这可能还不够。另一个解决方案是使用Web抓取API处理所有这些复杂的问题。
2.使用Beautiful Soup构建解析器
在提取数据之前，需要将原始HTML转换为格式化或解析的数据。将这个解析后的HTML存储到一个soup对象中，如下所示：
soup = BeautifulSoup(response.text, 'html.parser')
从这里开始，可以使用HTML标记及其属性遍历解析树。
如果返回到页面上的表，已经看到该表用类stripe dataTable封装在
标记之间，可以使用它来选择该表。
table = soup.find('table', class_ = 'stripe') print(table)注:在测试之后，添加第二个类(dataTable)并没有返回元素。实际上，在return元素中，表的类只是stripe。还可以使用。
以下是它返回的结果：
Table Return
既然已经获取了表，就可以遍历行并获取所需的数据。
3.遍历HTML表
回想一下HTML表的结构，每一行都由
元素表示，其中有包含数据的 标签对之间。元素，所有这些都包装在 为了提取数据，将创建两个for looks，一个用于抓取表的
部分（所有行所在的位置），另一个用于将所有行存储到可以使用的变量中：for employee_data in table.find_all('tbody'): rows = employee_data.find_all('tr') print(rows)在行中，将存储表正文部分中找到的所有
元素。如果遵循这个逻辑，下一步就是将每一行存储到单个对象中，并循环遍历它们以查找所需的数据。 首先，尝试使用.querySelectorAll（）方法在浏览器控制台上选择第一个员工的名字。这个方法的一个真正有用的特性是，可以越来越深入地实现大于（>）符号的层次结构，以定义父元素（在左侧）和要获取的子元素（在右侧）。
document.querySelectorAll('table.stripe > tbody > tr > td')[0]
如上所见，一旦抓取所有
元素，这些元素就会成为节点列表。因为不能依赖类来获取每个单元格，所以只需要知道它们在索引中的位置，而第一个name是0。 从那里，可以像这样编写代码:
for row in rows: name = row.find_all('td')[0].text print(name)简单地说，逐个获取每一行，并找到其中的所有单元格，一旦有了列表，只获取索引中的第一个单元格(position 0)，然后使用.text方法只获取元素的文本，忽略不需要的HTML数据。
这是一个包含所有员工姓名的列表! 对于其余部分，只需要遵循同样的逻辑：
position = row.find_all('td')[1].text office = row.find_all('td')[2].text age = row.find_all('td')[3].text start_date = row.find_all('td')[4].text salary = row.find_all('td')[5].text然而，将所有这些数据输出在控制台上并没有太大帮助。与其相反，可以将这些数据存储为一种、更有用的新格式。
4.将表格数据存储到JSON文件中
虽然可以轻松地创建一个CSV文件并将数据发送到那里，但如果可以使用抓取的数据创建一些新内容，那么这将不是最容易管理的格式。
尽管如此，以前做的一个项目解释了如何创建一个CSV文件来存储抓取的数据。
好消息是，Python有自己的JSON模块来处理JSON对象，所以不需要安装任何程序，只需要导入它。
import json
但是，在继续并创建JSON文件之前，需要将所有这些抓取的数据转换为一个列表。为此，将在循环外部创建一个空数组。
employee_list = []
然后向它追加数据，每个循环向数组追加一个新对象。
employee_list.append({'Name': name,'Position': position,'Office': office,'Age': age,'Start date': start_date,'salary': salary })如果print(employee_list)，其结果如下：
Employee_List
还是有点混乱，但已经有了一组准备转换为JSON的对象。
注：作为测试，输出employee_list的长度，它返回57，这是抓取的正确行数(行现在是数组中的对象)。
将列表导入到JSON只需要两行代码:
with open('json_data', 'w') as json_file: json.dump(employee_list, json_file, indent=2)- 首先，打开一个新文件，传入想要的文件名称(json_data)和'w'，因为想要写入数据。
- 接下来，使用.dump()函数从数组(employee_list)和indent=2中转储数据，这样每个对象都有自己的行，而不是所有内容都在一个不可读的行中。
5.运行脚本和完整代码
如果一直按照下面的方法做，那么代码库应该是这样的：
#dependencies import requests from bs4 import BeautifulSoup import json url = 'http://api.scraperapi.com?api_key=51e43be283e4db2a5afbxxxxxxxxxxx&url=https://datatables.net/examples/styling/stripe.html' #empty array employee_list = [] #requesting and parsing the HTML file response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') #selecting the table table = soup.find('table', class_ = 'stripe') #storing all rows into one variable for employee_data in table.find_all('tbody'): rows = employee_data.find_all('tr') #looping through the HTML table to scrape the data for row in rows: name = row.find_all('td')[0].text position = row.find_all('td')[1].text office = row.find_all('td')[2].text age = row.find_all('td')[3].text start_date = row.find_all('td')[4].text salary = row.find_all('td')[5].text #sending scraped data to the empty array employee_list.append({ 'Name': name, 'Position': position, 'Office': office, 'Age': age, 'Start date': start_date, 'salary': salary }) #importing the array to a JSON file with open('employee_data', 'w') as json_file: json.dump(employee_list, json_file, indent=2)注：在这里为场景添加了一些注释。
以下是JSON文件中的前三个对象：
以JSON格式存储抓取数据允将信息用于新的应用程序
使用Pandas抓取HTML表
在离开页面之前，希望探索第二种抓取HTML表的方法。只需几行代码，就可以从HTML文档中抓取所有表格数据，并使用Pandas将其存储到数据框架中。
在项目的目录中创建一个新文件夹(将其命名为panda-html-table-scraper)，并创建一个新文件名pandas_table_scraper.py。
打开一个新的终端，导航到刚刚创建的文件夹(cdpanda-html-table-scraper)，并从那里安装pandas：
pip install pandas
在文件的顶部导入它。
import pandas as pd
Pandas有一个名为read_html()的函数，它主要抓取目标URL，并返回所有HTML表作为DataFrame对象的列表。
要实现这一点，HTML表至少需要结构化，因为该函数将查找
之类的元素来标识文件中的表。
为了使用这个函数，需要创建一个新变量，并将之前使用的URL传递给它:
employee_datapd.read_html('http://api.scraperapi.com?api_key=51e43be283e4db2a5afbxxxxxxxxxxxx&url=https://datatables.net/examples/styling/stripe.html')当输出它时，它将返回页面内的HTML表列表。
HTMLTables
如果比较DataFrame中的前三行，它们与采用BeautifulSoup抓取的结果完全匹配。
为了处理JSON,Pandas可以有一个内置的.to_json()函数。它将把DataFrame对象列表转换为JSON字符串。
而所需要做的就是调用DataFrame上的方法，并传入路径、格式（split,data,records,index等），并添加缩进以使其更具可读性：
employee_data[0].to_json('./employee_list.json', orient='index', indent=2)如果现在运行代码，其结果文件如下：
Resulting File
注意，需要从索引([0])中选择表，因为.read_html()返回一个列表，而不是单个对象。
以下是完整的代码以供参考
import pandas as pd employee_data = pd.read_html('http://api.scraperapi.com?api_key=51e43be283e4db2a5afbxxxxxxxxxxxx&url=https://datatables.net/examples/styling/stripe.html') employee_data[0].to_json('./employee_list.json', orient='index', indent=2)有了这些新知识，就可以开始抓取网络上几乎所有的HTML表了。只要记住，如果理解了网站的结构和背后的逻辑，就没有什么是不能抓取的。
也就是说，只要数据在HTML文件中，这些方法就有效。如果遇到动态生成的表，则需要找到一种新的方法。
原文标题：How to Use Python to Loop Through HTML Tables and Scrape Tabular Data，作者：Zoltan Bettenbuk
本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系bd@zhengruan.com作者最新文章漫蛙动漫APP最新版本下载 2026-10-13 13:46漫蛙如何下载最新版本 2026-10-13 13:43漫蛙漫画APP最新版本下载 2026-10-13 13:43漫蛙漫画正版官网 2026-10-13 13:19漫蛙漫画下载app最新版本 2026-10-13 13:17上一篇： Java8中如何处理特定日期热门文章 更多精品专题 更多Mac软件 更多
Adobe Acrobat Pro macOS版Adobe Acrobat Pro 是面向办公、法务、财务、教育及出版用户的专业PDF处理软件，可在Mac上创建、编辑、转换、合并和保护文档，并提供OCR文字识别、表单、批注、内容比较、敏感信息遮盖及电子签名功能。
BlenderBlender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Shapr3D macOS版Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
Adobe Illustrator macOS版Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign macOS版Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Affinity Designer macOS版Affinity Designer 的矢量设计能力现已整合进 Affinity by Canva，可在 Mac 上进行标志、图标、插画、界面原型及印刷品设计。个人用户使用免费 Canva 账户即可使用完整的矢量、像素和版面工具。
Archicad macOS版Archicad是Graphisoft推出的建筑信息模型设计软件，可在Mac上完成概念设计、参数化建模、图纸编制、工程量统计、渲染展示及团队协同。模型与平立剖面、明细表和布局保持关联，适合建筑师、室内设计师、BIM团队及相关专业学生使用。
AutoCAD LT macOS版AutoCAD LT是Autodesk推出的专业二维CAD设计与文档编制软件，Mac版本提供原生界面、多点触控及分屏查看体验。用户可精确创建和编辑DWG图形，完成图层管理、尺寸标注、表格、PDF参考、外部参照及打印输出。
AutoCAD macOS版AutoCAD for Mac 是 Autodesk 面向 macOS 提供的专业计算机辅助设计软件，支持精确的二维绘图、标注、布局输出以及实体、曲面和网格建模。软件采用适配 Mac 操作习惯的界面，可处理 DWG 图纸。
Autodesk Fusion macOS版Autodesk Fusion 是面向产品设计与制造的一体化云连接平台，在 Mac 上提供参数化建模、自由曲面、装配、工程图、仿真、PCB 设计和 CAM 加工等工具。它适合机械工程师、工业设计师、创客及制造团队使用。
Autodesk Maya macOS版Autodesk Maya是一套面向影视动画、游戏开发和视觉特效制作的专业三维创作软件，集多边形与曲面建模、角色绑定、关键帧动画、动力学模拟、程序化特效及Arnold渲染于一体，并提供脚本、插件和开放式制作管线支持。
Blender macOS版Blender是一款免费开源的综合三维创作软件，可在Mac上完成建模、数字雕刻、材质制作、角色绑定、动画、物理模拟、渲染、合成及视频剪辑。软件提供Cycles与Eevee渲染工具，并支持几何节点、蜡笔绘制和Python扩展。
WINDOWS 更多
AutoCAD Windows版AutoCAD 是 Autodesk 推出的专业计算机辅助设计软件，Windows 版支持精确二维绘图、三维实体与曲面建模、图纸标注、布局发布和任务自动化，并包含多套行业专业化工具组合，适用于建筑、机械、电气、工程建设及制造设计人员。
Adobe Acrobat Pro Windows版Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
BlenderBlender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Adobe InDesign Windows版Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator Windows版Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Figma Windows版Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer Windows版Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Cinema 4D Windows版Cinema 4D是Maxon推出的专业三维创作软件，将建模、动画、MoGraph动态图形、粒子与动力学模拟、材质灯光及Redshift渲染整合在统一工作环境中，适用于广告包装、影视特效、产品和建筑可视化、游戏素材等制作场景。
Blender Windows版Blender 是免费开源的三维创作套件，在 Windows 上提供建模、雕刻、材质、动画、物理模拟、合成、跟踪、视频剪辑及 Cycles、EEVEE 渲染工具。它适合个人创作者、学生和小型工作室，
Autodesk Maya Windows版Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
SketchUp Pro Windows版SketchUp Pro 是面向建筑、室内、景观、施工和产品设计等专业场景的三维建模工具，提供桌面建模、LayOut 二维文档、模型资源库、扩展程序及云端协作能力。其操作逻辑直观，适合从概念推敲、空间规划到图纸表达和方案汇报的完整工作流程。
