かつて戦国時代には、現在の豪徳寺を含む丘の上に、土塁に守られた館がありました。室町時代から「世田谷御所」と呼ばれた足利氏一族の名門、吉良氏はここから長く世田谷を治めてきました。いよいよ戦国の世となると、北条氏と姻戚関係を結び、善政を行いましたが北条氏が滅亡すると、その運命を共にしました。今のボロ市の元となる楽市が開かれたのもこの頃。世田谷に伝わる「さぎ草悲話」は、常盤姫と城主頼康をめぐり、この世田谷城を舞台に繰り広げられる物語です。