笔者之前已经写过一篇关于爬取年报的文章，但代码尚不完善，这段时间也一直有读者咨询一些问题，因此专门再发一篇更加详细的帖子，欢迎大家互相交流学习。
本文更新了爬虫程序的调用接口对现有问题进行修正，主要更新如下：
✅更加全面的年报数据，突破了旧接口的2000页限制
✅内存占用更小，运行速度更快
✅封装函数，提供方便的参数修改
✅更详细的功能说明，便于二次开发
✅更完整的免费成品资源，含2022年最新年报（2003-2022年报Excel表格）
代码目前存在的问题：
若公司发布修正后的年报，代码无法去重，需手动处理
若干不影响主功能的小缺陷…
图为巨潮资讯网公告发布页面，在右侧可以选择要查询的相关参数。
板块分类、公告类型分类、行业分类、时间范围我们选择沪深两市，公告选择年报进行查询，并按公司代码进行排列，如下图所示。
不难发现，基本已经得到了我们需要的内容，但是网站中多出了一行我们并不需要的年报摘要内容，我们在之后可以用正则表达式去除。
对网站内容分析完成后，就可以开始抓包。按F12打开开发者工具，切换到网络选项卡。
queryhttp://www.cninfo.com.cn/new/hisAnnouncement/queryjson到这里基本的抓包和分析就已经完成，我们可以直接开始这部分代码的编写。
page_numdatejsondate这部分主要就是为了实现本文的主要目的：获取指定年份的上市公司报告链接
首先我们需要循环遍历整个所有页面，那么如何确定遍历次数呢？
jsontotalpapges那么，有了这个数字，我们便可以先请求一次获取总页数，从而设定好循环次数进行获取。
⚠️然而，笔者最后生成的excel表格中存在数千条重复项，对于这个问题，笔者在研究后发现该接口每次获取的页数上限最多为100页！超过这个页数后返回的内容完全一致。
从网页上看结果也是如此，最大显示范围为100页，之后便无法获取。
针对这一问题，笔者通过划分时间范围进行处理，稍后进行介绍，此处先给出循环访问获取数据函数的完整代码，代码中的重试机制此前已经介绍，本文不再赘述。
json然后将其细化，1-4月为一组，4月内部分为5组，保证每组获取到的总页数均小于100，并将本列表作为函数参数进行遍历，将获取到的数据汇总。
jsonjson接着创建一个excel表格，按这些变量的顺序创建表格，并存入表格，注意在存入表格时，需要对内容进行筛选，如“英文版，摘要”这类年报并不是我们所需要的。
以下是主函数的完整代码。
2.5 开始运行
到这一步基本就大功告成了！只需要设置相关参数，就可以选择下载特定年份的年报，或者用循环遍历下载指定范围的年报。
3.小结
经过测试，基本上可以获取绝大部分年报，你可以通过调整请求参数来控制具体的公司行业，或者所属板块，但代码仍然有部分小问题，如进度显示会溢出、获取到的数据需要手动去除重复项等。
年报另外，笔者目前在整理2022年的年报数据以及参考吴非所做的2010-2022年上市企业的数字化转型词频，感兴趣可以先关注哦~整理好后第一时间更新.
