伍绍祖属于中共“太子党”，其祖父伍如春为毛泽东在湖南第一师范的同学，其父伍云甫曾经任中共中央军委秘书长。伍绍祖可谓少年得志，早在二十六岁时即担任全国学联主席、全国人大代表。后来又任国务院副总理王震的秘书，八五年更升为国防科工委政委和中共中央委员。
在国防科工委期间，伍绍祖即参与领导气功活动，八八年转任国家体委主任亦继续推动气功活动。由于当时参与练习气功或依靠气功治病的中共元老甚多，伍绍祖在中共高层非常“吃得开”。以致朱镕基九八年要将国家体委改为体育总会时，遭到伍绍祖强力的反弹，最后朱镕基不得不屈服，又将体育总会改为正部级的体育总局。
北京政治观察家对多维社说，伍绍祖做梦也没有想到，法轮功围坐中南海事件之后，江泽民龙颜大怒，法轮功被“钦定”为邪教，伍绍祖的体育总局的局长乌纱帽也被摘掉。
不过，同为“太子党”背景的中组部部长曾庆红还是给伍绍祖伸出了援手，将他安排到中直机关当副书记。
中直机关党委书记一般由中共中央办公厅主任兼任，曾庆红任中办主任时即兼任此职。曾庆红升任中组部部长后，中直机关党委书记由王刚兼任，原中组部副部长武连元任常务副书记，伍绍祖则被安排为第二副书记。
消息人士对多维社说，由于武连元退休在即，伍绍祖将升为常务副书记。这种安排虽然没有体育总局局长那样风光，但对于“因功成过”的伍绍祖而言还是一个不错的落脚之处。(http://renminbao.com)