O Paço de Tavarede foi mandado construir no início do século XVI por António Fernandes de Quadros, senhor de Buarcos e de Vila Verde, que instituiu o morgadio de Tavarede e aqui fixou a sua residência. Neste solar viveram diversas gerações da família Quadros, os nobres de Tavarede, desde o século XVI ao século XIX.
Foi o 3º conde de Tavarede, D. João, que, na primeira metade do século XIX, mandou fazer as maiores obras no Paço, conferindo ao edifício a arquitetura que ainda hoje mantém, segundo o gosto neomanuelino em voga na época.
O velho solar dos fidalgos Quadros, onde durante 3 séculos se organizaram festas fantásticas, foi-se degradando até à ruína. Foi reconstruído em 2006, tendo-se optado por um toque de modernidade, ainda que tenha mantido o essencial da sua arquitetura romântica e revivalista da segunda metade do século XIX. A fachada principal, a nascente, tem janelas geminadas de recorte árabe e os arcos abatidos das portas. A fachada poente tem uma bela torre edificada sobre uma antiga torre quinhentista.
Tem a data de 1 de Agosto de 1541 o Brazão das Armas das Famílias dos Quadros e Barretos, passado a António Fernandes de Quadros, Adail de Azamor e Comendador da Ordem de Cristo, e descendente das ditas famílias.
Uma das principais regalias dos senhores de Tavarede era a de receberem um imposto de cada forno de cozer pão, não podendo ninguém construi-los nos coutos de Tavarede sem sua licença.
Em 1787 é, por escritura, concedida licença a “hum morador da Figueira para poder fazer hum Forno de cozer Pão broa nas suas casas com a obrigação de pagar de Foro duas Gallinhas, e na falta de cada hua dellas duzentos e quarenta reis por cada hua á escolha do Foreiro”, conforme “Gazeta da Figueira” de 23 de Outubro de 1887.
Tavarede perdeu a sua importância quando, em 1771, D. José I mudou a câmara de Tavarede para a Figueira. Daqui, os versos:
Das regalias que tive
Uma longa história fala.
Fui senhora tantos séc’los
Para agora ser vassala!
Vila antiga como eu fui,
De nobreza verdadeira,
Esquecem meus pergaminhos
Para dar honra à Figueira.
Tavarede continuou com os seus fidalgos, mas, sem o poder de outrora. Os Quadros mudaram-se para Trancoso, nos finais do século XIX, onde possuíam igualmente grandes propriedades.
Nota: O edifício do Paço de Tavarede foi adquirido e reabilitado pela Câmara Municipal da Figueira da Foz na década de 1980 e alberga hoje em dia serviços do Município, designadamente de apoio à Juventude e a Divisão de Educação e Assuntos Sociais.