最近在该一个迁移工具的迁移方式，从ora8迁移到postgresql使用原来的插入迁移速度太慢了，老板说让使用缓存迁移，即使用postgresql的copy函数，因此去pg官网查阅了相关资料，我们需要迁移的数据量大约有3000万条，需要时间在半个小时之内，这个迁移第一步先把相关的表结构迁移过去，然后开始导入数据，下面是我缓存迁移写的一段代码，核心都在里面：
private boolean toPostgresql(int tableIndex) throws SQLException, IOException
{
int success_flag = 0; // 设置成功标志
boolean isHasError = false;
TableConfig tableConfig = (TableConfig) tableConfigList.get(tableIndex);
ITable destTable = tableConfig.getDestTable(); // 可以通过这个获得目的表的表名字
ITable srITable = tableConfig.getDestTable();
// srITable.
String dest_tablename = destTable.getName().toString();
String dest_schema = destTable.getSchemaName();
Statement stmt = null;
ResultSet rs = null;
Setfetchsize s1=new Setfetchsize();
try
{
s1.getxml_setfetchsize();
} catch (ParserConfigurationException e)
{
// TODO Auto-generated catch block
e.printStackTrace();
} catch (SAXException e)
{
// TODO Auto-generated catch block
e.printStackTrace();
}
int stmt_setfetchsize = s1.getSetfetchsize_num();// 设置setfetchsize
// 取值大小
stmt = srcConn.createStatement();
stmt.setFetchSize(stmt_setfetchsize);
rs = getSrcResultSet(tableConfig, stmt);
ResultSetMetaData rsmd = rs.getMetaData();// 为了获得字段用的
// System.out.println("缓存setfetchsize设置为："+stmt_setfetchsize);
int columnCount = rsmd.getColumnCount(); // 获得字段的个数
StringBuilder sbuild = new StringBuilder();
//System.out.println("stmt_setfetchsize实际取值为："+stmt.getFetchSize());
/**
* 把结果集的数据拼接成字符串语句，保存到sbulid中 大小受缓存大小影响
*/
KBCopyOutputStream kb_output = new KBCopyOutputStream((BaseConnection) destConn, "COPY " + dest_schema + "." + dest_tablename + "FROM STDIN");
while (rs.next())
{
row_totalnum += 1; // 记录总数据的总行数
for (int i = 1; i <= columnCount; i++)
{
String val = rs.getString(i);
int coltype = rsmd.getColumnType(i);
// 对字符字段的转义字串进行处理，使其转义效果失效
if (coltype == Types.CHAR || coltype == Types.VARCHAR || coltype == Types.NCHAR || coltype == Types.NVARCHAR || coltype == Types.LONGVARCHAR)
{
int valen = val.length();
sbuild.ensureCapacity(valen + 4);
for (int j = 0; j < valen; j++)
{
char ch = val.charAt(j);
switch (ch)
{
case '\t' :
sbuild.append("\\t");
break;
case '\n' :
sbuild.append("\\n");
break;
case '\r' :
sbuild.append("\\r");
break;
case '\\' :
sbuild.append("\\\\");
break;
default :
sbuild.append(ch);
}
}
} else
sbuild.append(val);
if (i < columnCount)
sbuild.append('\t');
}
sbuild.append('\n');
String s = sbuild.toString();
byte[] bytes = s.getBytes("UTF-8");
kb_output.write(bytes);
if (row_totalnum % 10 == 0)
{
successRowNum = 0;
addToSuccessNum(row_totalnum);
}
// System.out.print(s);
sbuild.setLength(0);
}
kb_output.close();
success_flag = 1;
destConn.commit();
if (success_flag == 1)
{
writeFinishResult(srITable.getFullName(), destTable.getFullName(), row_totalnum, row_totalnum, 0);
successRowNum = 0;
addToSuccessNum(row_totalnum);
} else
{
writeFinishResult(srITable.getFullName(), destTable.getFullName(), row_totalnum, 0, row_totalnum);
addToErrorNum(row_totalnum); // copyin执行失败返回错误数
}
writeSteps(" ");
return !isHasError;
}
我们的setfetchsize可以自己设置一下，这个目的是减少来回访问oracle拿取数据的开销，具体用法可以查看相关资料，主要是访问的数据量大的时候用的。上面的代码有个小缺陷，就是我把处理过的数据都放到一个stringbuilder里了，当数据量很大超过内存时候，估计就跑不动了，你可以对stringbuilder里的数据进行大小判断一下，当满足的时候commit一下啊就行，这个数据迁移是在一个事务中进行的，所以最后有个commit提交！