因為對開戰消極，他後來被打發到滿洲東部任第五軍司令官，兩年後才迴到日本本土第二次擔任陸軍大學校長，不到半年，就到南方軍給寺內壽一元帥當總參謀長，那個時間是四四年三月，整體戰局已經對日本開始不利。
作為頭腦還清晰的少數日軍高層，飯村穣知道在沒有海軍配合下盟軍對馬來半島的進攻是真的，而寺內司令官顯然還抱有一絲希望，在調動作戰飛機後恐怕就沒有什麼下文，不會再調地麵部隊過來了，因此他必須用言語來進行刺激。
在一位陸軍元帥麵前，飯村穣為何要這樣做呢，原因還是出在他非常了解自己這位元帥司令官的秉性、習慣。
寺內壽一雖然貴為日本陸軍元帥，但在日軍中，他有一個外號卻鮮有人知，那就是他被稱為“廁所門”。而飯村穣就是知道他這個外號的日軍高官之一。
廁所，就是衛生間；門，就是出入口。日本國內民間廁所都是裝有門的，這種門和居家的門不一樣，不高，兩邊都能推開，這樣就能讓上廁所的人進出方便。寺內壽一就被安上了這樣一個外號。
這個外號的本質意思是什麼呢？就是很隨意，能夠根據不同人的需求進行改變，這是往好裏說，往壞裏說就是寺內壽一是個沒有主見、隨波逐流的人，什麼事都看自己思想哪一邊占上風。
人們常說名字可能取錯，但外號絕對錯不了。飯村穣很擔心自己的這位頂頭上司，心一熱，腦袋一拍，就做出一些錯誤的決定，因此才拿話激他。
“飯村參謀長！你的意思是盟軍部隊會和當年的二十五軍一樣勇猛，我軍就是當年的英國部隊不堪一擊嗎？”
寺內壽一的話有些紮人，但飯村穣卻知道自己不能後退，硬著頭皮說道：“元帥閣下，我不是那個意思，隻是打個比方，提醒我們不要大意，以免人盟軍有可乘之機，到時悔之晚矣！”
“嗬嗬！飯村參謀長考慮的非常周到，應該值得諸位和我一樣好好學習！”寺內壽一站起來，走到飯村穣跟前，伸手拍了拍對方比自己高一些的肩膀，很是誇讚了幾句，一轉身，卻又對副總參謀長和知鷹二中將說道：
“飯村參謀長自到我南方軍來後，為我南方軍出謀劃策，兢兢業業，功勞卓著，特調任為新幾內亞方向第二方麵軍司令官，頂替阿南惟幾將軍和澳軍的作戰指揮，即日出發上任，不得延誤！”
這番操作，這番話，頓時人屋裏的所有人都目瞪口呆起來，就連飯村穣本人也同樣如此，萬沒有想到自己的一番勸言，徹底惹惱了寺內壽一，將他從南方軍司令部一腳踢出，趕到新幾內亞前線去了。
其他幾位想出言勸阻一下寺內壽一，為總參謀長說一定好話，但看到前者陰沉的臉色，到口的話也都咽了迴去。飯村穣雖然很氣惱，但也無可奈何，畢竟對方是南方軍最高指揮官，南方軍內部所有人事任命他都可以說了算。自己的調動雖然也需要大本營方麵的認可，但寺內壽一決定了的事件，大本營基本上都不會反對，況且這還隻是南方軍內部的事情。
默默地對寺內壽一敬了一個軍禮，又退後一步，彎腰鞠躬之後飯村穣就轉身大步離開了司令部辦公室，趕往新幾內亞方向任職去了。
見飯村穣離開，寺內壽一這才有放緩了嚴肅陰沉的表情，對和知鷹二中將說道：“這一段時間你暫代總參謀長一職，等候新的總參謀長到來後再進行交接！”
苦逼的和知鷹二內心是二十萬個不願意，他娘的飯村穣都沒有和我交接，馬上就離開新加坡了，你卻讓我和未來新的總參謀長進行交接，我交接什麼？拿什麼交接？不過這些抱怨他隻能在自己心裏想想，不可能說出來的。
作為現在僅存的幾位日本陸軍老資曆的高級軍官，寺內壽一不但自傲且小心眼，還權力欲望極重，對別人給自己起外號這種事當然是極度的不滿，而陸軍中有哪些人知道自己這個外號且在一起議論，他自然也十分清楚，飯村穣是其中一個，早就想趕他到一線部隊裏去了。
“立即命令從第四、第七飛行師團抽調五十架作戰飛機到新加坡機場，交由二十九軍統轄……”
趕走了飯村穣，寺內壽一又重拾起之前的麵孔，不過這一次卻將飛機的數量減少了一半，看來剛才幾位的話，他多少還是聽進行了幾分。不過司令官後麵的話，卻讓在座幾位內心又大震。
“……南方軍司令部明日開始暫時遷往菲律賓馬尼拉，和十四方麵軍司令部會合，就近指揮對盟軍的作戰，馬來半島和新加坡方麵，就交由土肥原司令官指揮。”
司令部要搬去馬尼拉？就近指揮日軍作戰？副總參謀長和知鷹二、航空技術部長神田實、南方軍軍政監部總務部長西大條胖、高級參謀櫛田正夫等幾位南方軍高層在聽到這段話的時候，都緊皺眉頭，顯然是沒有想到。
美軍進攻菲律賓萊特島的時候，就有人建議將司令部搬去菲律賓就近指揮，被寺內壽一拒絕了；大本營也曾來電報，希望南方軍司令部北移動，去菲律賓馬尼拉也好，去越南西貢也好，可以照顧到整個南洋南亞。既然已經不想再去進攻印度了，司令部留在新加坡也就沒什麼意義了。
這都是今年三四月份的事情，那個時候寺內壽一沒有同意，卻不想將飯村穣趕出南方軍司令部後，卻又想起了司令部搬遷的事情，難道是司令官本人對守住馬來半島沒有信心？
眾人胡思亂想一番後，感覺非常心驚，不敢再多想，趕忙接受了命令，返迴去做搬遷的準備工作，而寺內壽一也打電話，將土肥原賢二喊到他的辦公室，兩個人關起門來，不知道密謀什麼起來。