Majoritatea criticilor și iubitorilor de jazz și-au exprimat părea de rău în legatură cu faptul că Nat a rupt-o cu rădăcinile de jazz. Special pentru ei, Nate a lansat la sfârșitul anului 1956 albumul pur de jazz "After Midnight". Înregistrat cu o secțiune puternica de ritm (inclusiv chitaristul John Collins), Cole a invitat 4 oaspeți: altoist-ul Willie Smith, trompetistul Harry "Sweets" Edison, violonistul Stuff Smith, și trombonistul Juan Tizol. Performanțele de pe acest disc (care includ și cinci piese ce au fost lansate în premieră) sunt destul de plăcute auzului, dintre care pot fi evidențiate în special "Just You, Just Me", "Sweet Lorraine", "It's Only a Paper Moon", și "Route 66". Acesta a ajuns pe locul 13 în Billboard Pop Albums chart și este prezent în lista celor mai bune 100 albume apărute în anii ’50 ai secolului trecut.