项目中Hibernate的优化:分页

本文探讨了在项目中使用Hibernate时遇到的SQL Server分页问题,指出Hibernate默认的SQL Server方言实现是伪分页,导致性能下降。通过对Hibernate方言的扩展,实现了基于`ROW_NUMBER()`的真正分页,提高了查询效率。

本文转自:http://www.iteye.com/topic/721903。

 

提到Hibernate,好多人都用“垃圾”,“效率太低”这样的字眼评价。其实任何一个框架的产生都是有原因的,这些为企业级开发产生的框架最初只是为 了简化开发,或许会有一些影响性能的地方。但是通过配置和巧妙的办法,完全可以规避这些问题,发挥最大的效果。至少目前我的项目,日均pv在500w左右 目前还没发现什么问题。
一、hibernate分页 hibernate对MsSql的伪分页
分页是web项目中比不可少的一个功能,数据量大的时候不能全部展示必然要用到分页技术。相信大家对hibernate中的分页都不陌生:

Java代码
  1. public  Query setMaxResults( int  maxResults);  
  2. public  Query setFirstResult( int  firstResult);  
public Query setMaxResults(int maxResults);
public Query setFirstResult(int firstResult);


只要调用了这两个方法并设置好参数,hibernate自动分页完全屏蔽了底层数据库分页技术,这也是众多开发者喜欢hibernate的原因之一。
项目开发中遇到一个奇怪的问题。数据库采用的是Sql Server 2005 ,也设置了上面两个参数,可是每次发送到数据库端的SQL语句都是select top ....语句。即便是查询第10w条,也只有一个select top 语句,不免引起对hibernate实现sql server分页的怀疑 。hibernate针对不同数据库实现的分页方法封装在对应数据库的方言里,通过getLimitString方法转化成对应数据库的分页算法。
以常见的Mysql数据库的方言MySQLDialect为例:

Java代码
  1. public  String getLimitString(String sql,  boolean  hasOffset) {  
  2.         return   new  StringBuffer( sql.length() +  20  )  
  3.                 .append( sql )  
  4.                 .append( hasOffset ? " limit ?, ?"  :  " limit ?"  )  
  5.                 .toString();  
  6.     }  
public String getLimitString(String sql, boolean hasOffset) {
		return new StringBuffer( sql.length() + 20 )
				.append( sql )
				.append( hasOffset ? " limit ?, ?" : " limit ?" )
				.toString();
	}


采用了大家熟悉的mysql的limit进行分页。
Oracle数据库的方言Oracle9iDialect:

Java代码
  1. StringBuffer pagingSelect =  new  StringBuffer( sql.length()+ 100  );  
  2.         if  (hasOffset) {  
  3.             pagingSelect.append("select * from ( select row_.*, rownum rownum_ from ( " );  
  4.         }  
  5.         else  {  
  6.             pagingSelect.append("select * from ( " );  
  7.         }  
  8.         pagingSelect.append(sql);  
  9.         if  (hasOffset) {  
  10.             pagingSelect.append(" ) row_ where rownum <= ?) where rownum_ > ?" );  
  11.         }  
  12.         else  {  
  13.             pagingSelect.append(" ) where rownum <= ?" );  
  14.         }  
StringBuffer pagingSelect = new StringBuffer( sql.length()+100 );
		if (hasOffset) {
			pagingSelect.append("select * from ( select row_.*, rownum rownum_ from ( ");
		}
		else {
			pagingSelect.append("select * from ( ");
		}
		pagingSelect.append(sql);
		if (hasOffset) {
			pagingSelect.append(" ) row_ where rownum <= ?) where rownum_ > ?");
		}
		else {
			pagingSelect.append(" ) where rownum <= ?");
		}


利用Oracle的rownum 结合三层嵌套查询完成分页。这个三层是Oracle最经典高效的分页算法。
可是针对Sql Server的方言SQLServerDialect:

Java代码
  1. public  String getLimitString(String querySelect,  int  offset,  int  limit) {  
  2.         if  ( offset >  0  ) {  
  3.             throw   new  UnsupportedOperationException(  "query result offset is not supported"  );  
  4.         }  
  5.         return   new  StringBuffer( querySelect.length() +  8  )  
  6.                 .append( querySelect )  
  7.                 .insert( getAfterSelectInsertPoint( querySelect ), " top "  + limit )  
  8.                 .toString();  
  9.     }  
public String getLimitString(String querySelect, int offset, int limit) {
		if ( offset > 0 ) {
			throw new UnsupportedOperationException( "query result offset is not supported" );
		}
		return new StringBuffer( querySelect.length() + 8 )
				.append( querySelect )
				.insert( getAfterSelectInsertPoint( querySelect ), " top " + limit )
				.toString();
	}


揉揉眼睛、再揉揉,没错,只出现了一个top语句。这就意味着如果查询第10w页的数据,需要把前10w页数据全部提取出来。hibernate 针对sql server的分页是伪分页,所以随着数据量日益增加用户抱怨系统速度慢,程序员抱怨hibernate性能低,dba抱怨开发人员sql功底太浅。
不知道hibernate开发组,出于什么目前或情况没有真正提供sql server的分页技术,那我们自己来实现。
方言类:

Java代码
  1. public   class  SQLServer2005Dialect  extends  SQLServerDialect {  
  2.   
  3.     /**  
  4.      *   
  5.      * 是否需要绑定limit参数?  
  6.      *   
  7.      * 在SQL Server中使用top时不能使用参数表示top条数,而使用ROW_NUMBER()则需要提供limit参数  
  8.      */   
  9.   
  10.     private  ThreadLocal<Boolean> supportsVariableLimit =  new  ThreadLocal<Boolean>();  
  11.     public  SQLServer2005Dialect() {  
  12.         registerFunction("bitand"new  BitAndFunction());  
  13.         registerFunction("bitxor"new  BitXorFunction());  
  14.         registerFunction("bitor"new  BitOrFunction());  
  15.         setSupportsVariableLimit(false );  
  16.     }  
  17.   
  18.     /**  
  19.      *   
  20.      * <p>  
  21.      * 设置是否先绑定limit参数。  
  22.      * </p>  
  23.      *   
  24.      * @param first  
  25.      */   
  26.   
  27.     private   void  setSupportsVariableLimit( boolean  first) {  
  28.         this .supportsVariableLimit.set(Boolean.valueOf(first));  
  29.     }  
  30.   
  31.     /**  
  32.      *   
  33.      * <p>  
  34.      * 获取sql中select子句位置。  
  35.      * </p>  
  36.      *   
  37.      * @param sql  
  38.      *   
  39.      * @return int  
  40.      */   
  41.     protected   static   int  getSqlAfterSelectInsertPoint(String sql) {  
  42.         int  selectIndex = sql.toLowerCase().indexOf( "select" );  
  43.   
  44.         int  selectDistinctIndex = sql.toLowerCase().indexOf( "select distinct" );  
  45.   
  46.         return  selectIndex + ((selectDistinctIndex == selectIndex) ?  15  :  6 );  
  47.     }  
  48.   
  49.     public   boolean  supportsLimitOffset() {  
  50.         return   true ;  
  51.     }  
  52.   
  53.     /*  
  54.      * Hibernate在获得Limit String(已添加了limit子句)后,如果此方法返回true,  
  55.      *   
  56.      * 则会添加额外的参数值(ROW_NUMBER()范围)(策略可能是这样:有offset设置两个参数值,没有设置一个参数值)  
  57.      */   
  58.     public   boolean  supportsVariableLimit() {  
  59.         return  ((Boolean)  this .supportsVariableLimit.get()).booleanValue();  
  60.     }  
  61.   
  62.     public   boolean  useMaxForLimit() {  
  63.         return   true ;  
  64.     }  
  65.     /**  
  66.      * 首页top,以后用ROW_NUMBER  
  67.      */   
  68.     public  String getLimitString(String query,  int  offset,  int  limit) {  
  69.         setSupportsVariableLimit(offset > 0 );  
  70.   
  71.         if  (offset ==  0 ) {  
  72.             return   new  StringBuffer(query.length() +  8 ).append(query).insert(  
  73.                     getSqlAfterSelectInsertPoint(query), " top "  + limit)  
  74.                     .toString();  
  75.         }  
  76.   
  77.         return  getLimitString(query, offset >  0 );  
  78.     }  
  79.       
  80.     public  String getLimitString(String sql,  boolean  hasOffset) {  
  81.         int  orderByIndex = sql.toLowerCase().lastIndexOf( "order by" );  
  82.   
  83.         if  (orderByIndex <=  0 ) {  
  84.             throw   new  UnsupportedOperationException(  
  85.                     "must specify 'order by' statement to support limit operation with offset in sql server 2005" );  
  86.         }  
  87.   
  88.         String sqlOrderBy = sql.substring(orderByIndex + 8 );  
  89.   
  90.         String sqlRemoveOrderBy = sql.substring(0 , orderByIndex);  
  91.   
  92.         int  insertPoint = getSqlAfterSelectInsertPoint(sql);  
  93.         return   new  StringBuffer(sql.length() +  100 )  
  94.                 .append("with tempPagination as(" )  
  95.                 .append(sqlRemoveOrderBy)  
  96.                 .insert(  
  97.                         insertPoint + 23 ,  
  98.                         " ROW_NUMBER() OVER(ORDER BY "  + sqlOrderBy  
  99.                                 + ") as RowNumber," )  
  100.                 .append(  
  101.                         ") select * from tempPagination where RowNumber>?  and RowNumber<=?" )  
  102.                 .toString();  
  103.     }  
  104. }  
public class SQLServer2005Dialect extends SQLServerDialect {

	/**
	 * 
	 * 是否需要绑定limit参数?
	 * 
	 * 在SQL Server中使用top时不能使用参数表示top条数,而使用ROW_NUMBER()则需要提供limit参数
	 */

	private ThreadLocal<Boolean> supportsVariableLimit = new ThreadLocal<Boolean>();
	public SQLServer2005Dialect() {
		registerFunction("bitand", new BitAndFunction());
		registerFunction("bitxor", new BitXorFunction());
		registerFunction("bitor", new BitOrFunction());
		setSupportsVariableLimit(false);
	}

	/**
	 * 
	 * <p>
	 * 设置是否先绑定limit参数。
	 * </p>
	 * 
	 * @param first
	 */

	private void setSupportsVariableLimit(boolean first) {
		this.supportsVariableLimit.set(Boolean.valueOf(first));
	}

	/**
	 * 
	 * <p>
	 * 获取sql中select子句位置。
	 * </p>
	 * 
	 * @param sql
	 * 
	 * @return int
	 */
	protected static int getSqlAfterSelectInsertPoint(String sql) {
		int selectIndex = sql.toLowerCase().indexOf("select");

		int selectDistinctIndex = sql.toLowerCase().indexOf("select distinct");

		return selectIndex + ((selectDistinctIndex == selectIndex) ? 15 : 6);
	}

	public boolean supportsLimitOffset() {
		return true;
	}

	/*
	 * Hibernate在获得Limit String(已添加了limit子句)后,如果此方法返回true,
	 * 
	 * 则会添加额外的参数值(ROW_NUMBER()范围)(策略可能是这样:有offset设置两个参数值,没有设置一个参数值)
	 */
	public boolean supportsVariableLimit() {
		return ((Boolean) this.supportsVariableLimit.get()).booleanValue();
	}

	public boolean useMaxForLimit() {
		return true;
	}
	/**
	 * 首页top,以后用ROW_NUMBER
	 */
	public String getLimitString(String query, int offset, int limit) {
		setSupportsVariableLimit(offset > 0);

		if (offset == 0) {
			return new StringBuffer(query.length() + 8).append(query).insert(
					getSqlAfterSelectInsertPoint(query), " top " + limit)
					.toString();
		}

		return getLimitString(query, offset > 0);
	}
	
	public String getLimitString(String sql, boolean hasOffset) {
		int orderByIndex = sql.toLowerCase().lastIndexOf("order by");

		if (orderByIndex <= 0) {
			throw new UnsupportedOperationException(
					"must specify 'order by' statement to support limit operation with offset in sql server 2005");
		}

		String sqlOrderBy = sql.substring(orderByIndex + 8);

		String sqlRemoveOrderBy = sql.substring(0, orderByIndex);

		int insertPoint = getSqlAfterSelectInsertPoint(sql);
		return new StringBuffer(sql.length() + 100)
				.append("with tempPagination as(")
				.append(sqlRemoveOrderBy)
				.insert(
						insertPoint + 23,
						" ROW_NUMBER() OVER(ORDER BY " + sqlOrderBy
								+ ") as RowNumber,")
				.append(
						") select * from tempPagination where RowNumber>?  and RowNumber<=?")
				.toString();
	}
}


函数:

Java代码
  1. public   class  BitAndFunction  implements  SQLFunction {  
  2.     public  Type getReturnType(Type type, Mapping mapping) {  
  3.         return  Hibernate.INTEGER;  
  4.     }  
  5.   
  6.     public   boolean  hasArguments() {  
  7.         return   true ;  
  8.     }  
  9.   
  10.     public   boolean  hasParenthesesIfNoArguments() {  
  11.         return   true ;  
  12.     }  
  13.   
  14.     public  String render(List args, SessionFactoryImplementor factory)  
  15.             throws  QueryException {  
  16.         if  (args.size() !=  2 ) {  
  17.             throw   new  IllegalArgumentException(  
  18.                     "BitAndFunction requires 2 arguments!" );  
  19.         }  
  20.         return  args.get( 0 ).toString() +  " & "  + args.get( 1 ).toString();  
  21.     }  
  22. }  
public class BitAndFunction implements SQLFunction {
	public Type getReturnType(Type type, Mapping mapping) {
		return Hibernate.INTEGER;
	}

	public boolean hasArguments() {
		return true;
	}

	public boolean hasParenthesesIfNoArguments() {
		return true;
	}

	public String render(List args, SessionFactoryImplementor factory)
			throws QueryException {
		if (args.size() != 2) {
			throw new IllegalArgumentException(
					"BitAndFunction requires 2 arguments!");
		}
		return args.get(0).toString() + " & " + args.get(1).toString();
	}
}

 

Java代码
  1. public   class  BitOrFunction  implements  SQLFunction {  
  2.     public  Type getReturnType(Type type, Mapping mapping) {  
  3.         return  Hibernate.INTEGER;  
  4.     }  
  5.     public   boolean  hasArguments() {  
  6.         return   true ;  
  7.     }  
  8.     public   boolean  hasParenthesesIfNoArguments() {  
  9.         return   true ;  
  10.     }  
  11.     public  String render(List args, SessionFactoryImplementor factory)  
  12.             throws  QueryException {  
  13.         if  (args.size() !=  2 ) {  
  14.             throw   new  IllegalArgumentException(  
  15.                     "BitOrFunction requires 2 arguments!" );  
  16.         }  
  17.         return  args.get( 0 ).toString() +  " | "  + args.get( 1 ).toString();  
  18.     }  
  19. }  
public class BitOrFunction implements SQLFunction {
	public Type getReturnType(Type type, Mapping mapping) {
		return Hibernate.INTEGER;
	}
	public boolean hasArguments() {
		return true;
	}
	public boolean hasParenthesesIfNoArguments() {
		return true;
	}
	public String render(List args, SessionFactoryImplementor factory)
			throws QueryException {
		if (args.size() != 2) {
			throw new IllegalArgumentException(
					"BitOrFunction requires 2 arguments!");
		}
		return args.get(0).toString() + " | " + args.get(1).toString();
	}
}

 

Java代码
  1. public  Type getReturnType(Type type, Mapping mapping) {  
  2.         return  Hibernate.INTEGER;  
  3.     }  
  4.     public   boolean  hasArguments() {  
  5.         return   true ;  
  6.     }  
  7.     public   boolean  hasParenthesesIfNoArguments() {  
  8.         return   true ;  
  9.     }  
  10.     public  String render(List args, SessionFactoryImplementor factory)  
  11.             throws  QueryException {  
  12.         if  (args.size() !=  2 ) {  
  13.             throw   new  IllegalArgumentException(  
  14.                     "BitXorFunction requires 2 arguments!" );  
  15.         }  
  16.         return  args.get( 0 ).toString() +  " ^ "  + args.get( 1 ).toString();  
  17.     }  
public Type getReturnType(Type type, Mapping mapping) {
		return Hibernate.INTEGER;
	}
	public boolean hasArguments() {
		return true;
	}
	public boolean hasParenthesesIfNoArguments() {
		return true;
	}
	public String render(List args, SessionFactoryImplementor factory)
			throws QueryException {
		if (args.size() != 2) {
			throw new IllegalArgumentException(
					"BitXorFunction requires 2 arguments!");
		}
		return args.get(0).toString() + " ^ " + args.get(1).toString();
	}



打包测试,一切正常。第一页采用top分页,以后采用ROW_NUMBER分页。
这只是在项目过程中采用的sql server遇到的该问题,如果使用mysql,oracle则不会遇到这个问题。
至此,项目中第一个问题解 决!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值