宣德初年，預修兩朝實錄轉侍讀，為人溫厚簡重，學術純正，被士林所雅重，他外和內貞，諳於世故。
每與人談論總能耐心啟發，循循善誘，在清流之中頗有影響力，這次他反對的言辭最為激烈並占據了主導地位，他提出的十不可與五大謬的理由，其中重要的有：一是
“蹂躪我陵寢，虔劉我赤子
“，二是
“堂堂天朝而下與邊臣互市，冠履倒置，損國家之重威
“，三是
“韃子狡詐，出沒叵測，我竭財力而輦之邊，彼負約不至未可知也；或因互市而伏兵，若吐蕃清水之盟，未可知也；或互市畢，即入寇，入寇矣而嫁諉他部，未可知也；或以下馬索上價，或責我以他買，或望我以苛禮，未可知也；墜俺答狡詐之謀
“，四是
“大約歲帛數十萬，得馬數萬匹，十年之後畢馬少而我帛亦不繼，將何以善其後
“。楊崢雖不肯定此人的言辭，但不否認他的看法十分的準確，若非因自己誤打誤撞的來到了這個時代，十幾年的發展的確如他所言，正是抓住了這一點，這一番言語至今在朝堂之上呼聲也高，很是厲害，相較苗衷
“韃子狡詐，出沒叵測”而言，太子宮春坊司直郎高穀的奏折就是一把殺人的刀了，此人交之高衷更是厲害，為人自幼聰慧，承家訓嗜讀不倦，且資質厚重，舉止端莊。
十歲入縣學，成庠生，永樂三年十五歲中舉，永樂十三年登進士，年方廿五。
選庶吉士，授中書舍人。自此，宦海沉浮四十餘年。仁宗洪熙即位，改任高穀為太子宮春坊司直郎，尋遷翰林侍講，官兒不算小，更讓人敬佩的是此人鄙浮華、樂儉素。
為中書時，嚐奉旨往海印寺抄寫佛經，遇雨輒褪靴卷褲，提袍赤足歸，使同僚大為驚訝。
官任侍讀學士時，每赴公宴，總是用布頭剪成新花樣補綴在破錦袍上，以至有人嘲笑為
“高學士錦上添花”，高穀不以為然，在這個做官做道德的年代，這樣的人更可怕十倍，更別說他曆官永樂、洪熙、宣德三朝正兒八經的三朝元老，影響力非同一般。
也不知高穀哪兒看韃子不順眼，就在楊崢親自率領五千將士偷襲王庭一戰功臣的當晚，這位年過四旬的老頭，愣是上奏了一道犀利的奏折，較之楊崢的《確議封貢事宜疏》毫不遜色，楊士奇記憶極好，當著楊崢的麵，將這奏折給誦了出來。
“夫夷、蠻、戎、狄，地在要荒，禹平九土而西戎即敘。其性氣貪婪，凶悍不仁。四夷之中，戎、狄為甚，弱則畏服，強則侵叛。當其強也，以漢之高祖困於白登，孝文軍於霸上；及其弱也，以元、成之微而單於入朝。此其已然之效也。是以有道之君牧夷、狄也，惟以待之有備，禦之有常，雖稽顙執贄，而邊城不弛固守，**為寇，而兵甲不加遠征，期令境內獲安，疆場不侵而已。及至周室失統，諸侯專征，封疆不固，而利害異心，戎、狄乘間，得入中國，或招誘安撫以為己用，自是四夷交侵，與中國錯居。及秦始皇並天下，兵威旁達，攘胡走越，當是時，中國無複四夷也。漢建武中，馬援領隴西太守，討叛羌，徙其餘種於關中，居馮翊、河東空地。數歲之後，族類蕃息，既恃其肥強，且苦漢人侵之；永初之元，群羌叛亂，覆沒將守，屠破城邑，鄧騭敗北，侵及河內。十年之中，夷、夏俱敝，任尚、馬賢，僅乃克之。自此之後，餘燼不盡，小有際會，輒複侵叛，中世之寇，惟此為大。魏興之初，與蜀分隔，疆場之戎，一彼一此。武帝徙武都氐於秦州，欲以弱寇強國，扞禦蜀虜，此蓋權宜之計，非萬世之利也。今者當之，已受其敝矣。