典出《孟子·梁惠王上》。
孟子曾经游历齐、宋、滕、魏等国，一度曾经担任齐宣王的客卿。有一次，齐宣王要孟子跟自己谈谈齐桓公、晋文公称霸的历史。孟子一向主张“民贵君轻”，主张“王道”，反对“霸道”，便推说自己不太清楚。如果要谈，他可以谈谈王道的事。齐宣王听了，便问：
“那么你说说看，一个国君要具备怎样的品德，才能称王天下呢？”
孟子说：“我认为，一个国君，只要他能安抚人民，保护人民，那么他就可以称王天下。”
“那么，像我是不是可以做到这一点呢？”齐宣王问。
“可以。”孟子点点头说。
齐宣王听了，又问道：“你怎么知道我可以呢？”
“我是从大王的近臣和我说起过的一件事上推测的，我感到大王很有仁爱之心。”孟子说。
“什么事？”齐宣王又问。
孟子讲了以前的一件事:
有一天，齐宣王坐在朝堂上，有一个差役牵着一头牛从堂下经过。大王见了，问：“喂!你把牛牵到哪儿去？”
差役回答道：“牵去杀了，用它的血涂在祭祀用的钟上，用它的肉作为祭礼。”
大王看到那头牛似乎在发抖，很怜悯它，说：
“放了它吧!我不忍心看到它那恐惧颤抖的可怜样子，就好像一个没有罪过的人，被无辜地押上刑场一样。”
差役听了，问：“好吧!我放了它!那么是不是不要再用牲畜的血涂在祭祀的钟上了呢?祭礼要不要举行了呢？”
大王说：“祭礼怎么能废除呢?用只羊来换下这头牛吧！”
孟子说完了这件事，最后说：“大王，你连杀一头牛都不忍心，那么对老百姓一定是很仁爱的了。有了这种仁心，你一定可以称王天下的！”
齐王虽然认为孟子讲得很有道理，但他并没有采纳孟子实行“王道”的主张。过了不久，孟子也便离开了齐国，到别国去游说了。
后来，“齐王舍牛”这一典故，用来表示帝王对臣民的恻隐之情。