赵以夫，字用甫，号虚斋，居邑东芝岩，勋国公赵德钧八世孙。父彦括，宋乾道五年(1169)进士，官终尚书郎。父死时以夫方九岁，他遵父亲遗言，闭门苦读。用父荫授绍兴府诸暨县尉。嘉定十年(1217)中进士，调江陵府(湖北)监利县令，时有游民盗贩马匹，资助金兵。以夫设计擒马贼，获马匹百余献于府，荐知建昌军南丰县令，颇有政声。绍定二年(1229)，福建农民起义军席卷宁化、泰宁、建宁、清流、将乐诸县，翌年福建招捕使、南剑州知州陈委以夫通判南剑州，兼主管招捕司机宜文字。绍定四年，陈平定农民起义，任建宁府知府，荐以夫知邵武军。时邵武军经过战乱，一片废墟。以夫上任不久，官舍民庐重建修复。绍定六年，知漳州，后历任左曹郎官、左司郎中。嘉熙二年(1238)升右文殿修撰，后知庆元府。在此期间，以夫坚决反对同蒙古议和，积极备战。淳祐元年(1241)赵召权刑部侍郎。翌年，蒙古军攻宋，以夫出任沿江制置使、江东安抚使，兼知建康府行宫留守，和州无为军，安庆府屯田使。以夫沿长江布防，抵御蒙古兵进攻。他预料蒙古兵将入巢湖，事先派兵守卫，遂打败蒙古兵。后蒙古军又围和州，以夫令三郡兵马协力支援，暗中劫敌人营寨，大获全胜。他料定蒙古兵必来报复，预先埋伏兵马，严阵以待。果然蒙古兵前来，伏兵四出，大败蒙古军，他又派兵支援仪真，亲自乘舟巡视长江天险。此后，历任礼部尚书、吏部尚书。宝祐四年(1256)，以光禄大夫、资政殿学士退休，同年逝世。以夫曾诏与刘克庄同纂修国史，著有《虚斋乐府》。