Владимир Рыбак в 1976 году он стал председателем парткомиссии Киевского района Донецка. С 1980 по 1982 год Рыбак был слушателем Высшей партийной школы при ЦК КПУ. В течение 1983-1988 годов он был секретарем Киевского райкома Донецка, после чего стал главой этого района, а также председателем райисполкома. С 1993 по 2002 годы был главой Донецкого горсовета и мэром Донецка. Является создателем «Партии регионального воздействия Трудовая солидарность Украины» (ПРВУ), которая в 2001 году переименована в Партию регионов.
В 1998 году был избран народным депутатом по избирательному округу №45. За него отдали свои голоса 43,5% избирателей. В 2002 году он был выдвинут по уже знакомому ему №45 округу от блока «За единую Украину». В результате за него проголосовали 63,22% избирателей. С 2002 по 2005 год являлся постоянным представителем Кабмина в парламенте. На парламентских выборах 2006 года Рыбак стал народным депутатом по списку Партии регионов, получив №13 в избирательном списке.
Однако уже в сентябре 2006 года он сложил депутатские полномочия после того, как перешел работать в Кабмин. С августа 2006 по март 2007 года Рыбак являлся вице-премьер-министром - министром строительства, архитектуры и жилищно-коммунального хозяйства. С марта по декабрь 2007 года его оставили на должности вице-премьера. На досрочных парламентских выборах Рыбак вновь становится народным депутатом от ПР под 13-ым номером в партийном списке. Параллельно с работой в законодательной и исполнительной работой Рыбак рос и как партийный функционер. Он с 1997 по 2000 год являлся председателем Партии регионов возрождения Украины (будущая ПР). С 2001 по 2003 год был заместителем председателя Партии регионов.