EasyExcel实现Excel文件导入

Vincent-yuan

发布于 2022-09-08 11:45:46

1.8K0

发布于 2022-09-08 11:45:46

文章被收录于专栏：Vincent-yuan

1 EasyExcel简介

EasyExcel是一个基于Java的简单、省内存的读写Excel的开源项目。在尽可能节约内存的情况下支持读写百M的Excel。

github地址: https://github.com/alibaba/easyexcel

官方文档: https://www.yuque.com/easyexcel/doc/easyexcel

Excel解析流程图:

EasyExcel读取Excel的解析原理:

2 EasyExcel使用

2.1 EasyExcel相关依赖

添加maven依赖, 依赖的poi最低版本3.17

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>easyexcel</artifactId>
    <version>2.2.3</version>
</dependency>

2.2 读Excel

2.2.1 最简单的读(方式一)

Excel数据类型

字符串标题	日期标题	数字标题
小明	2020-05-05 10:10:10	888.88

数据模板

注意: Java类中的属性字段顺序和Excel中的表头字段顺序一致, 可以不写@ExcelProperty

@NoArgsConstructor
@AllArgsConstructor
@Data
@Builder
public class DemoData {
    // 根据Excel中指定列名或列的索引读取
    @ExcelProperty(value = "字符串标题", index = 0)
    private String name;
    @ExcelProperty(value = "日期标题", index = 1)
    private Date hireDate;
    @ExcelProperty(value = "数字标题", index = 2)
    private Double salary;
    // lombok 会生成getter/setter方法
}

读取excel代码

关键是写一个监听器,实现AnalysisEventListener, 每解析一行数据会调用invoke方法返回解析的数据, 当全部解析完成后会调用doAfterAllAnalysed方法. 我们重写invoke方法和doAfterAllAnalysed方法即可.

@Test
public void testReadExcel() {
    // 读取的excel文件路径
    String filename = "D:\\study\\excel\\read.xlsx";
    // 读取excel
    EasyExcel.read(filename, DemoData.class, new AnalysisEventListener<DemoData>() {
        // 每解析一行数据,该方法会被调用一次
        @Override
        public void invoke(DemoData demoData, AnalysisContext analysisContext) {
            System.out.println("解析数据为:" + demoData.toString());
        }
        // 全部解析完成被调用
        @Override
        public void doAfterAllAnalysed(AnalysisContext analysisContext) {
            System.out.println("解析完成...");
            // 可以将解析的数据保存到数据库
        }
    }).sheet().doRead();
}

效果:

2.2.2 最简单的读(方式二)

读excel的方式二代码

@Test
public void testReadExcel2() {
    // 读取的excel文件路径
    String filename = "D:\\study\\excel\\read.xlsx";
    // 创建一个数据格式来装读取到的数据
    Class<DemoData> head = DemoData.class;
    // 创建ExcelReader对象
    ExcelReader excelReader = EasyExcel.read(filename, head, new AnalysisEventListener<DemoData>() {
        // 每解析一行数据,该方法会被调用一次
        @Override
        public void invoke(DemoData demoData, AnalysisContext analysisContext) {
            System.out.println("解析数据为:" + demoData.toString());
        }
        // 全部解析完成被调用
        @Override
        public void doAfterAllAnalysed(AnalysisContext analysisContext) {
            System.out.println("解析完成...");
            // 可以将解析的数据保存到数据库
        }
    }).build();
    // 创建sheet对象,并读取Excel的第一个sheet(下标从0开始), 也可以根据sheet名称获取
    ReadSheet sheet = EasyExcel.readSheet(0).build();
    // 读取sheet表格数据, 参数是可变参数,可以读取多个sheet
    excelReader.read(sheet);
    // 需要自己关闭流操作,在读取文件时会创建临时文件,如果不关闭,会损耗磁盘,严重的磁盘爆掉
    excelReader.finish();
}

2.2.3 格式化Excel中的数据格式

要读取的源数据, 日期格式是yyyy年MM月dd日 HH时mm分ss秒, 数字带小数点

数据模板

@NoArgsConstructor
@AllArgsConstructor
@Data
@Builder
public class DemoData {
    @ExcelProperty(value = "字符串标题", index = 0)
    private String name;
    @ExcelProperty(value = "日期标题", index = 1)
   // 格式化日期类型数据
    @DateTimeFormat(value = "yyyy年MM月dd日 HH时mm分ss秒")
    private Date hireDate;
    @ExcelProperty(value = "数字标题", index = 2)
   // 格式化数字类型数据,保留一位小数
    @NumberFormat(value = "###.#")
    private String salary;
    //注意: @NumberFormat对于Double类型的数据格式化会失效,建议使用String类型接收数据进行格式化
//    private Double salary;
    // lombok 会生成getter/setter方法
}

读取excel代码同上面读取方式一样.

2.2.4 读取多个sheet表格

2.2.4.1 读所有sheet

读方式一, 使用ExcelReaderBuilder#doReadAll方法

@Test
    public void testReadExcel() {
        // 读取的excel文件路径
        String filename = "D:\\study\\excel\\read.xlsx";
        // 读取excel
        EasyExcel.read(filename, DemoData.class, new AnalysisEventListener<DemoData>() {

            // 每解析一行数据,该方法会被调用一次
            @Override
            public void invoke(DemoData demoData, AnalysisContext analysisContext) {
                System.out.println("解析数据为:" + demoData.toString());
            }

            // 全部解析完成被调用
            @Override
            public void doAfterAllAnalysed(AnalysisContext analysisContext) {
                System.out.println("解析完成...");
                // 可以将解析的数据保存到数据库
            }
        })
//         .sheet(0).doRead();
           .doReadAll(); // 读取全部sheet

    }

读方式二, 使用ExcelReader#readAll方法

@Test
    public void testReadExcel2() {
        // 读取的excel文件路径
        String filename = "D:\\study\\excel\\read.xlsx";
        // 创建一个数据格式来装读取到的数据
        Class<DemoData> head = DemoData.class;
        // 创建ExcelReader对象
        ExcelReader excelReader = EasyExcel.read(filename, head, 
                                    new AnalysisEventListener<DemoData>() {
            // 每解析一行数据,该方法会被调用一次
            @Override
            public void invoke(DemoData demoData, AnalysisContext analysisContext) {
                System.out.println("解析数据为:" + demoData.toString());
            }

            // 全部解析完成被调用
            @Override
            public void doAfterAllAnalysed(AnalysisContext analysisContext) {
                System.out.println("解析完成...");
                // 可以将解析的数据保存到数据库
            }
        }).build();
        // 创建sheet对象,并读取Excel的第一个sheet(下标从0开始), 也可以根据sheet名称获取
        ReadSheet sheet = EasyExcel.readSheet(0).build();
        // 读取sheet表格数据 , 参数是可变参数,可以读取多个sheet
//        excelReader.read(sheet);
        excelReader.readAll(); // 读所有sheet
        // 需要自己关闭流操作,在读取文件时会创建临时文件,如果不关闭,会损耗磁盘,严重的磁盘爆掉
        excelReader.finish();
    }

2.2.4.2 读指定的多个sheet

不同sheet表格的数据模板可能不一样,这时候就需要分别构建不同的sheet对象,分别为其指定对应的数据模板.

@Test-
public void testReadExcel3() {
    // 读取的excel文件路径
    String filename = "D:\\study\\excel\\read.xlsx";
    // 构建ExcelReader对象
    ExcelReader excelReader = EasyExcel.read(filename).build();
    // 构建sheet对象
    ReadSheet sheet0 = EasyExcel.readSheet(0)
            .head(DemoData.class) // 指定sheet0的数据模板
            .registerReadListener(new AnalysisEventListener<DemoData>() {
                // 每解析一行数据,该方法会被调用一次
              @Override
              public void invoke(DemoData demoData, AnalysisContext analysisContext) {
                    System.out.println("解析数据为:" + demoData.toString());
              }

                // 全部解析完成被调用
                @Override
                public void doAfterAllAnalysed(AnalysisContext analysisContext) {
                    System.out.println("解析完成...");
                    // 可以将解析的数据保存到数据库
                }
            }).build();

    // 读取sheet,有几个就构建几个sheet进行读取
    excelReader.read(sheet0);
    // 需要自己关闭流操作,在读取文件时会创建临时文件,如果不关闭,会损耗磁盘,严重的磁盘爆掉
    excelReader.finish();
}

3 EasyExcel使用优化

3.1 监听器优化

上面章节的读取Excel的程序弊端:

每次解析不同数据模型都要新增一个监听器, 重复工作量大;

即使用了匿名内部类,程序也显得臃肿;

数据处理一般都会存在于项目的service中, 监听器难免会依赖dao层, 导致程序耦合度高.

解决方案:

通过泛型指定数据模型类型, 针对不同类型的数据模型只需要定义一个监听器即可;

使用jdk8新特性中的函数式接口, 将数据处理从监听器中剥离出去, 进行解耦. 监听器代码:

/**
 * 类描述：easyexcel工具类
 * @Author 
 * @Date 
 * @Version 1.0
 */
public class EasyExcelUtils<T> {

    /**
     * 获取读取Excel的监听器对象
     * 为了解耦及减少每个数据模型bean都要创建一个监听器的臃肿, 使用泛型指定数据模型类型
     * 使用jdk8新特性中的函数式接口 Consumer
     * 可以实现任何数据模型bean的数据解析, 不用重复定义监听器
     * @param consumer 处理解析数据的函数, 一般可以是数据入库逻辑的函数
     * @param threshold 阈值,达到阈值就处理一次存储的数据
     * @param <T> 数据模型泛型
     * @return 返回监听器
     */
    public static <T> AnalysisEventListener<T> getReadListener(Consumer<List<T>> consumer, int threshold) {

        return new AnalysisEventListener<T>() {

            /**
             * 存储解析的数据 T t
             */
           // ArrayList基于数组实现, 查询更快
//            List<T> dataList = new ArrayList<>(threshold);
           // LinkedList基于双向链表实现, 插入和删除更快
            List<T> dataList = new LinkedList<>(); 

            /**
             * 每解析一行数据事件调度中心都会通知到这个方法, 订阅者1
             * @param data 解析的每行数据
             * @param context
             */
            @Override
            public void invoke(T data, AnalysisContext context) {
                dataList.add(data);
                // 达到阈值就处理一次存储的数据
                if (dataList.size() >= threshold) {
                    consumer.accept(dataList);
                    dataList.clear();
                }
            }

            /**
             * excel文件解析完成后,事件调度中心会通知到该方法, 订阅者2
             * @param context
             */
            @Override
            public void doAfterAllAnalysed(AnalysisContext context) {
                // 最后阈值外的数据做处理
                if (dataList.size() > 0) {
                    consumer.accept(dataList);
                }
            }
        };

    }

    /**
     * 获取读取Excel的监听器对象, 不指定阈值, 默认阈值为 2000
     * @param consumer
     * @param <T>
     * @return
     */
    public static <T> AnalysisEventListener<T> getReadListener(Consumer<List<T>> 
                                                               consumer) {
        return getReadListener(consumer, 2000);
    }
}

再来看读取Excel的代码:

/**
 * 采用解耦的自定义监听器读取Excel, 可以实现任何数据模型bean的读取
 */
@Test
public void testReadExcelN() {
    // 读取的excel文件路径
    String filename = "D:\\study\\excel\\user1.xlsx";
    // 读取excel
    EasyExcel.read(filename, UserModel.class,     
                   EasyExcelUtils.getReadListener(dataProcess()))
            .doReadAll(); // 读取全部sheet
}

/**
 *  传给监听器的是一个处理解析数据的函数, 当调用consumer的accept方法时就会调用传递的函数逻辑
 *  这里传递的函数是对解析结果集的遍历打印操作, 也可以是数据入库操作
 * @return
 */
public Consumer<List<UserModel>> dataProcess() {
    Consumer<List<UserModel>> consumer = users -> users.forEach(System.out::println);
    return consumer;
}

参考网址：

https://blog.csdn.net/u013044713/article/details/120249233

https://github.com/alibaba/easyexcel

https://www.jianshu.com/p/10e05e89b8a0

http://events.jianshu.io/p/52d9e12e93bd

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2022-07-17，如有侵权请联系 cloudcommunity@tencent.com 删除

https