褚遂良的家中，长孙无忌来访，褚遂良当然是欢喜的迎接，张敬，刑封还有何清枫三人都抓不到褚遂良的一点把柄。那是因为褚遂良真的十分廉洁，他不贪财，不好色，唯一一次受到的处分还是在永徽元年，因为买房子出的事情。
都知道，大唐的首都长安，是古代著名的国际性大都市，天下四海的贤才商旅、各国的使节和留学生都汇聚于此，也是当时世界上人口最多的大城市。和古往今来大部分国际大都市一样，在长安生活也有一个突出的问题：房价太贵。
当时唐朝长安城的房价可谓“天价”，非长安本地的官员一般要到五品（厅局级）以上才有买房子的可能。而大部分官员要么是借住在朋友或者大户的家里，要么就是租房住，比如唐朝著名的大诗人白居易就在长安当了近二十年的“蜗居族”。
因此长安的房价在唐朝是个很敏感的社会问题，中央朝廷针对房价问题也出台了各种法律规定和政策措施，其中一条法律就是禁止达官贵人凭借自己的权势以低于市场的价格来购买房屋，违者要判处徒刑。可褚遂良偏偏在这个问题上出了事儿。
永徽元年（650年），时任中书令的褚遂良以极低的价格强买自己属下一名译语人（翻译）在长安的房屋，结果遭到了一位御史的弹劾。最后却判处褚遂良缴纳罚款20斤黄铜（约合现在7500元，不到褚遂良强买房屋省下费用的十分之一）。
但这个处罚却没有执行，因为褚遂良在没结案的时候就以宰相的待遇出任同州（今陕西省渭南市大荔县）刺史。过了一段时间，褚遂良重新回到朝廷担任宰相。而褚遂良回京后做的第一件事就是把之前弹劾自己的御史给贬到外地当县令了。
“褚遂良强买房屋案”虽然不是一件大案子，但是在这个案件处理的过程中可以明显地看到长孙无忌集团的活动已经开始凌驾于国家律法和社会公理之上。李治因为长安的“房价”开始警惕长孙无忌、褚遂良集团，这也为他们后来的失败埋下了伏笔。
要说褚遂良无懈可击那也是不对的，因为褚遂良其实是有自己想要的东西的，有人一定会问，那是什么...？
两个字，党争。
这位褚遂良太喜欢权利了，也因为喜欢权利，所以他不惜党争，贞观二十一年，褚遂良的父亲褚亮去世，褚遂良回家守孝一年。贞观二十二年，褚遂良被起复，同年被任命为中书令。从这时开始，褚遂良成了唐朝内部权力最大的人之一。
贞观二十三年，李世民去世，李治登基。李世民去世之前，曾托孤于长孙无忌和褚遂良。就连李世民的遗诏，都是褚遂良写的。李世民去世后，李治对他先贬后用。先是贬为同州刺史，外放三年后，再次调回京城，担任吏部尚书。永徽四年，升至尚书右仆射，达到了权力顶点。
但是，在这个过程当中，不管是被外放还是被召回，褚遂良始终都坚持自己的党争习惯。
李治登基后，以长孙无忌和褚遂良为首的老臣党，无疑是朝堂上最大的一股势力。
但在接下来的几年里，作为老臣党的领袖，褚遂良和长孙无忌依然不肯止步，依然想靠党争夺取更多的权力。
这次的房遗爱案，其实就是是褚遂良和长孙无忌想要将家宗室内部的所有实权派，全都清理干净...跟着就是他们老臣党一家独大。
只要这样之后，那么老臣党在朝堂上，几乎堪称无敌。就连皇帝李治，都要尽可能地听命于他们。老臣党的政令，可以毫无阻碍地通行全国。褚遂良的政治抱负，也可以顺利施行。