對於朱載坖的態度，重臣們知曉了之後也是紛紛發表自己的看法，張居正等人並不是什麼擁有大量奴仆的人，本來對於朱載坖豁除賤籍的決定不應該阻撓的。
但是張居正認為，在短時間內，朝廷已經多次打擊東南的士紳和商人地主了，張居正認為應該緩一緩，不要這麼激進的推動政策，要是因為推動政策過於激進導致這幫東南士紳們鬧出大事，甚至有不忍言之事發生，那就麻煩了，所以張居正認為應該緩一緩。
而楊博等人雖然自己家中並沒有蓄養多少奴仆，但是楊博是很清楚的，這樣的事情，不僅在東南存在，在北方一樣存在，北方的地主一樣要蓄養大量的奴仆為其種地，這些事情在哪裏都不稀奇，所以楊博等人也認為不能輕舉妄動，這可是在刨這些地主的根啊。
朱載坖說道：“清丈田畝、清退投獻，賦役改革，哪一個不是在割這些士紳地主的肉？他們想要對付朕，大可以來試試，此事不能再等了，必須要立即就辦，和清丈田畝一樣，”
朱載坖要借豁除賤籍，推動朝廷對於人口的清丈，朝廷不僅要準確的掌握天下的田畝數據，還要掌握天下的實有人口數據，這次人口的統計和以前是不一樣的，大明以前對於人口的統計，主要是對於人丁的掌握，因為對於朝廷來說，人丁才是能夠承擔朝廷賦稅的。
但是這次朱載坖的要求是統計人口，不僅僅是人丁，所有的見在人口都要被登記，朱載坖認為，豁除賤籍有利於打擊和壓製地方士紳地主勢力，因為賤民主要為地主大戶所服務，而他們勢力的擴大，也與所控製的賤民數量的增多有關，他們掌握的奴仆越多，對於朝廷的就越不安全。
其實為什麼要實行攤丁入畝和一些列的賦役改革，根本原因是農民因貧困而交不起丁銀，按丁征稅無法實施，朝廷隻得將丁銀攤入田賦中征收，這當然是一個辦法，但是朱載坖很清楚，必須剝奪士紳地主們對於人口的占有，使賤民變為良民，第一是施恩於廣大的賤民，使得他們成為朝廷的編戶齊民，為朝廷繳納賦稅。
第二就是擴大朝廷的稅源，大量的賤民被豁除賤籍，擴大了朝廷的稅基，使得普通百姓的負擔得以減輕。
第三就是打擊這些士紳地主的勢力，朱載坖絕不會容忍他們能有和朝廷對抗的實力的，對於他們肯定是要堅決打擊了，朱載坖發展工商業，也需要大量的人口，現在是士紳和朝廷爭奪勞動力，朱載坖當然不會在這個問題上有任何讓步的。
朱載坖的要求是將所有的賤民一體豁除，納入良民之中，朱載坖的這個建議自然是被張居正等人勸住了，步子太大容易扯著蛋，張居正等人賤民一事，由來已久，一朝革除顯然是不合理的，他們認為部分豁除是最佳方案。
然後君臣們就開始商量應該豁除哪些人的賤籍，首先是因事被墮入賤籍的那些人，尤其是太祖、成祖兩朝因為犯罪被墮入賤籍的人，這點朱載坖和臣子們都是同意的，畢竟現在時間已經過去了兩百年，就算是懲罰，也差不多了，這點是沒有什麼爭議的。
其次就是胥吏，這點朱載坖和重臣們也是沒有什麼分歧了，畢竟現在朱載坖實行三途並進，由吏員升遷為官的在朝廷中也有不少，總不能讓他們還是賤籍吧？這未免太失體統了，雖然吏胥也分為吏、役兩種職役，吏員嚴格意義上來說並不能算是胥吏，但是他們畢竟是為官府服務的，還是賤籍也有不妥，所以將胥吏的賤籍一體豁除，也是應當的。
但是對於其他的賤民豁除，就沒有那麼和諧了，首先是娼優，這個行業實在是太過於古老了，來源也很複雜，朱載坖也很清楚，不可能全部豁除，一旦豁除，是會造成社會動亂的，朱載坖認為除了娼妓之外的都予以豁除，但是張居正等人不同意，認為僅僅豁除因事被墮入娼優的。
朱載坖明白他們說的因事，其實還是說的太祖、成祖朝的舊事，尤其是成祖，當年的建文舊臣，成祖對他們加族誅、掘塚，妻女發浣衣局、教坊司的，大有人在，建文舊臣的妻女多充當樂戶，且主要是被發往山西，她們的後人多散落民間，成為民間樂戶，其中有技藝出色者，也被調往京師教坊司，充當官方樂戶。
張居正他們認為將一部分的賤籍予以豁除就可以，對於其他的娼優的賤籍，沒有必要豁除，朱載坖則認為這樣做的針對性太強，朱載坖不能公開反對太祖、成祖的政策，他的意思是將整個樂戶予以豁除，
朱載坖覺得，樂戶是賤民，世代從事賤業，不得改業，特別是罪臣家屬，作為一項懲罰手段，一旦罰為樂戶， 世世代代不得改業，永世得不到翻身的機會，這事過於殘酷，應當予以廢除。
張居正說道：“豁賤為良，天恩何等浩蕩，若將所有樂戶一體豁除，是否有過於泛濫了。”
朱載坖說道：“些許樂戶，為何不能豁除？既是天恩，能澤被蒼生才好呢。”
在朱載坖看來，這次豁除賤籍，就要大規模、大手筆，才能夠體現朝廷變易風俗的決心，不僅是樂戶，朱載坖的重點是奴仆，尤其是關於士紳們家中以義男、義女、雇工等各色名目的奴仆，都要予以清理，不允許他們再蓄養奴仆了。
但是這點被重臣所反對，他們認為收所謂義男義女，已經是風俗了，朝廷不能逆風俗而行，再說了，若是你情我願的這種事情，朝廷橫加幹涉，似乎也有不妥之處，重臣們認為對於家中之事，朝廷和官府不宜多幹涉，隻要不是強擄良民為奴仆的，朝廷不便幹涉。
但是朱載坖顯然不是這麼認為的，現在這些地主不都是采用簽訂協議的方式來收奴仆的嗎？