需求
公司的PDF年报中有各种各样的表格,需要对其中的某些具体的小标题下的表格解析出来,也就是所谓的数据结构化。
解决方案
通过看别人写的博客,发现python里面有关PDF解析的通常有以下四种:
pdfminer,擅长仅仅是文字的解析,本小白试过了,是把表格解析成普通的文本,还经常会伴随一些莫名奇妙的不认识的符号。这个方案pass掉
pdf2html,看例是把pdf解析成html,但是html的标签并没有规律,解析一个还行,但是本小白是许多的pdf文档下小标题的表格,这个方案直接pass掉
tabula,这个是我看过的前辈写的博客中使用最多的,本人用过了。对于简单的表格,也就是单元格中没有换行的,表头表尾形式不复杂的,这个方案的值得推荐。电脑需要有Java的环境。
pdfplumber,这个是看了知乎上的一个大佬的发现,并且自己安装成功之后,发现最小众,但是最符合我的需求的解决方案。前提是是需要安装ImageMagick的
实施解决
本人一共使用了两种方案解决了我的需求,分别是tabula和pdfplumber
先做前期的工作
1,将PDF文件转化为JPG格式,进行搜索关键字,查看想要的表格的页码比如下图中的风险管理状况的得分表:
代码如下:(有宝宝的百度AIP密钥哦!)
上面的模块安装起来应该问题不大,有问题的话可以留言哦。
调用函数的输出如下
会输出相应的页码(无耻的骄傲一下下,看看宝宝的jupyter好看不?)
在拿到页码的情况下,我们就可以为所欲为啦!
首先就是第一种方法:tabula
具体的操作方法如下:
这个直接返回的是一个数据帧,所以就直接是结构化的数据啦!
输出结果是这样哒:
这样的话,我们就已经完成了我们的需求啦!后续的关于写入的Excel中中的话,在下就部多言啦!可以移步熊猫或者为pywin32哦!
虽然塔布拉是很方便,但是它的输出是真的不方便,而且还需要装的的的java的环境,JAVA的环境变量搞的本宝宝肾亏...
有时候还会输出乱七八糟的东西,比如有时候会输出繁体的中文,我就遇到过...
所以保险起见
这里再给出第二个解决方案:
再次就是二个解决方案pdfplumber
嘻嘻嘻输出如下:
虽然为了展示对比的方便,这里都是用了同样的一个表格,但是方案2的解决真的要比1好
别问我为啥知道2比1好,你试试用1去解析一些带有文字格式的表格,带有复杂的表头的表格,你就知道啦!我在这里并没有在瞎说,而且还得装的的java的,后者只装一个的的ImageMagick的就行,而且ImageMagick的的的很有用哒,嘻嘻嘻
总结
本次一共总和运用了百度OCR的接口,百度AIP这个东西嘛!这简直就是男人的宝库!自己去看看就知道啦!
还有就是使用了PDF格式的解析的包
但是还是有不足的哦,就是这两个解决方案都是针对于比较乖巧的表格的,就是横线和竖线都比较完整的表格的,像下面的这种表格:
方案一的识别输出是心有余而肾不足,输出为无
方案二的识别输出是行百步者半九十,输出为一个不太像样的表格,还需要手工的调整....
好啦本次分享就到这里啦,一并感谢借鉴过的如来神掌武功秘籍的大佬们的博客!
(完)
看完本文有收获?请转发分享给更多人
关注「Python那些事」,做全栈开发工程师
领取专属 10元无门槛券
私享最新 技术干货