使馆区请愿受阻后，学生们激愤异常，当时有人高呼：“大家往外交部去，大家往曹汝霖家去！”当时，这次游行的总负责人傅斯年担心途中会出意外，但此刻的他已经无法阻止学生运动的洪流。

　　据王抚洲回忆，当时各校总代表又集议一次，之后叫传递消息的队员告诉各同学，因为使馆区不能通过，现决定改往东城赵家楼曹汝霖的住宅，并且再三叮咛同学们，“到了曹宅，一齐高呼三声‘打倒卖国贼’，然后将手执旗帜，抛在他门前地上，我们即整队回头解散。最要紧的是千万要严守秩序，不可与警察冲突。”王抚洲特别强调说，因为他是消息传递员，要向本校同学重复说上几遍，因而至今记得最清楚，不会有错。

　　之后，学生队伍遂掉头退出东交民巷，转向北方，沿户部街、东长安街到东单牌楼和石大人胡同，曹宅就在离外交部不远的赵家楼二号，距石大人胡同东口约二里之遥。

　　据王统照回忆：“那天，我预料午后的天会热，外面只穿了一件爱国布的单长袍，可还觉得格外沉重。一顶呢子礼帽不时摘下来当扇子遮着阳光，扇扇尘土。北京的街道在那时本来就是灰沙很多，正是春末夏初，阵风一起，加上这几千人的步行蹴踏，自然有一片滚滚的尘雾，直向鼻孔口腔钻来。在焦热的空气中，大家的激情奋发，加上一路不停地高喊，口干舌燥，有些人的声音已经嘶哑，便把手中的小白旗和帽子、手绢一齐挥动起来。”

　　参加游行的北大学生田炯锦也回忆说，学生游行时，态度沉重严肃，步伍整齐，绝无谈笑喧哗者。许多外国人在学生经过时，停车脱帽，表示同情。等快到东单牌楼，忽然有人高喊“打倒卖国贼”，不少人跟着喊叫，大家愈喊愈加愤激。到曹宅大门时，真是人声鼎沸。

　　据杨亮功回忆，学生队伍大约在下午四点半左右抵达曹宅，人数因沿途散去，已不足五百人。当时学生将白旗纷纷投入曹家庭院，还有人用竹竿捣下房檐瓦片或拾起石头掷向窗口或屋中。

　　据杨振声回忆，到赵家楼后，已有警察在保护曹宅。田炯锦也回忆说，当游行学生逼近曹宅大门时，有警察数人站立两旁，但态度非常和气，他们说，曹宅大门紧闭，大约主人不在，劝大家不必强求破门而入。

　　赵家楼的那把火

　　当然，警察说曹汝霖不在家是有意撒谎，其实不仅曹汝霖在家，就连章宗祥也在曹宅做客。原来，曹、章二人这天中午应大总统徐世昌之邀前往总统府赴宴，当学生游行的消息传来时，有人劝他们暂时不要回府，但曹、章两人不以为然。三点左右，两人回到曹宅。

　　不久，陆军部航空司长丁士源和日本记者中江丑吉也来拜访。因为曹宅外已有警察保护，因而曹汝霖等人也不以为意，他们大概觉得学生们不会搞出什么名堂，即使出现暴烈举动，也能被警察所制止并加以驱散。

　　四点左右，大批学生来到曹宅门口，尽管警察已严阵以待，但学生们高呼“打倒卖国贼”的口号声如同排山倒海一般，足以令宅内的人胆战心惊。

　　很快，一些学生一边高呼：“卖国贼曹汝霖出来见我！”一边将手中的白旗等扔进曹宅。混乱当中，有学生绕屋而走，寻找其他入口。突然，只听“哗”的一声，曹宅大门被打开了，外面学生一下就冲破了警察的阻挡蜂拥而入。

　　据田炯锦回忆，学生们开始以旗杆捣门不开，乃捣屋瓦，并捡起瓦片向院内抛。不一会，有人从窗爬入，将大门打开。于是很多人纷纷跑入曹宅，警察们此时仍未干涉，只劝大家务必遵守秩序。

　　冲进屋后，学生们首先发现的是曹汝霖的老父和小妾，但他们并未对两人动手，而是继续寻找曹汝霖。但是，学生们找了半天，也没发现曹汝霖的踪迹。那这几人哪里去了呢？

　　很多人以为曹汝霖在大门被打破时逃出去了，事实并非如此。据曹汝霖的回忆，他当时仓促间躲进其妇及其女卧室中间的一个箱子间，但学生们并未细细搜查，进屋之后只是噼噼啪啪砸门窗玻璃，然后扔掷屋内的瓷器，乱嚷了一阵后，他们又出去了。

　　这时，前来做客的章宗祥算倒霉了。由于章长得肥胖，又穿着礼服，一下就被人认出，结果被痛殴了一顿（学生以为他是曹汝霖）。有个学生拿铁杆敲了章的脑袋，后者顺势倒地，学生们以为他被打死了，一些人便嚷着“曹汝霖被打死了”而散开，另一些人听了却纷纷赶来看，要证实这个消息。

　　趁着这个间隙，日本记者中江丑吉将章宗祥连抱带拖出后门，并将章推进了对面的油盐店。学生们见“曹汝霖”没死，随后跟踪而至，并要将“曹汝霖”拖出殴打，但中江丑吉拼死护住，结果也被打得头破血流。

　　据田炯锦回忆，章宗祥被打约半小时后，忽见有浓烟从曹宅内院上升，警察高声说：“怎么会放起火来，我们有责任维持秩序，对放火不能不管。你们赶紧走，迟则恐怕不能走了。”说罢，警察们跑进曹宅大门。

　　起火之后，大批巡警赶来，最终将学生们和看客们驱散，并当场抓捕了许德衍等32人。随后，消防队赶到现场将大火扑灭，但此时曹宅已烧得只剩下门房和西院的一部分，曹汝霖及家人也都趁着火起时偷偷溜走。

　　“痛殴章宗祥、火烧赵家楼”可说是当年五四的最高潮，以前者论，确实是学生们的义愤所致；不过就后者而言，根据众多参与者的回忆，可能未必如此。