工作中经常遇到分批处理的问题，比如将一个List列表中的数据分批次保存至数据库中。如果列表中数据条目很大，比如1000万条以上，mysql中 max_allowed_packet 所能允许的最大数据包量不支持如此大的数据量，这种情况下一次性保存处理就会出现保存失败。另外，过大的数据条目数量，在保存时也会导致性能下降。为此手动批量处置就成为了一种必须。这里给出分批处理的代码，方便以后直接使用。
package com.lunyu.algorithm.service.base; import com.google.common.collect.Lists; import java.util.List; /** * @author lunyu * @since 2021/1/25 */ public class BaseService { /** * 每个批次数据条目 */ private static final int BATCH_SIZE = 10; public static void main(String[] args){ Listlist = Lists.newArrayList(); for (int i = 0; i < 23; i++){ list.add(i + 1); } // 获取执行的轮次 int round = (list.size() - 1) / BATCH_SIZE; for (int i = 0; i ){ // 求每个批次起始位置 int fromIndex = i * BATCH_SIZE; int toIndex = (i + 1) * BATCH_SIZE; // 如果是最后一个批次，则不能越界 if (i == round){ toIndex = list.size(); } List subList = list.subList(fromIndex, toIndex); // TODO: 对subList执行进一步要做的操作 System.out.println("轮次：" + i); subList.forEach(e -> { System.out.print(e + ","); }); System.out.println(); } } }
这里有三个个注意的点，
第一， 获取轮次使用 (list.size() – 1) / BATCH_SIZE ,这是为了方便将属于同一个批次的数据同属该批次。以代码为例，如果恰好有10个元素 1-10 （对应的坐标点 0-9 ），我们要把它们放置在同一个批次下， BATCH_SIZE = 10; ，那么 list.size() – 1 = 9 ，恰好可以使最后一个元素和前面所有的元素都在一个批次下，这个批次等于 0。
第二，循环的轮次为 i
第三， if (i == round) ，要保证最后一个批次的数据，在获取时不能数组越界。为了代码美观， toIndex 可以用三元表达式统一起来，写做：
int toIndex = (i < round) ? ((i + 1) * BATCH_SIZE) : list.size();
搜索
复制
Original: https://www.cnblogs.com/lunyu/p/14328171.html
Author: 论语
Title: Java List分批处理
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/588234/
转载文章受原作者版权保护。转载请注明原作者出处！