孩童望著這位慈祥和善的地方官說：“耽擱你的時間了。”楊輝一聽，說：“我想見一見你的先生，你看如何？”
孩童望著楊輝，淚眼汪汪，楊輝心想，這裏肯定有什麼蹊蹺，溫和地問道：“到底是怎麼回事？”孩童這才一五一十把原因道出：原來這孩童並未上學，家中窮得連飯都吃不飽，哪有錢讀書。而這孩童給地主家放牛，每到學生上學時，他就偷偷地躲在學生的窗下偷聽，今天上午先生出了這道題，這孩童用心自學，終於把它解決了。
楊輝聽到此，感動萬分，一個小小的孩童，竟有這番苦心，實在不易。便對孩童說：“這是十兩銀子，你拿回家去吧。你領我去學堂，好吧？”
孩童就帶著楊輝找到了先生，楊輝把這孩童的情況向先生說了一遍，又掏出銀兩，給孩童補了名額，孩童感激不盡。自此，這孩童方才有了真正的先生。
教書先生對楊輝的清廉為人非常敬佩，於是倆人談論起數學。楊輝說道：“方才我和孩童做的那道題好像是《大戴禮》書中的？”先生笑著說：“是啊，《大戴禮》雖然是一部記載各種禮儀製度的文集，但其中也包含著一定的數學知識。方才你說的題目，就是我給孩子們出的數學遊戲題。”
教書先生看到楊輝疑惑的神情，又說道：“南北朝的甄鸞在《數術記遺》一書中就寫過：‘九宮者，二四為肩，六八為足，左七右三，戴九履一，五居中央。’”
楊輝默念一遍，發現他說的正與上午他和孩童擺的數字一樣，便問道：“你可知道這個九宮圖是如何造出來的？”教書先生也不知出處。楊輝回到家中，反複琢磨，一有空閑就在桌上擺弄著這些數字，終於發現一條規律。
他把這條規律總結成四句話：九子斜排，上下對易，左右相更，四維挺出。就是說：一開始將九個數字從大到小斜排三行，然後將9和1對換，左邊7和右邊3對換，最後將位於四角的4、2、6、8分別向外移動，排成縱橫三行，就構成了九宮圖。如圖：
後來，楊輝又將散見於前人著作和流傳於民間的有關這類問題加以整理，得到了“五五圖”、“六六圖”、“衍數圖”、“易數圖”、“九九圖”、“百子圖”等許多類似的圖，楊輝把這些圖總稱為縱橫圖，於1275年寫進自己的數學著作《續古摘奇算法》一書中，並流傳後世。
縱橫圖最早起源於中國，通常人們知道最早的幻方就是我國著名的“九宮圖”，早在漢鄭玄《易緯注》及《數術記遺》中都記載有“九宮”即三階幻方，千百年來一直被人披上了神秘的色彩。
幻方的幻在於無論取哪一條路線，最後得到的和或積都是完全相同的。關於幻方的起源，中國有“河圖”和“洛書”之說。相傳在遠古時期，伏羲氏取得天下，把國家治理得井井有條，感動了上天，於是黃河中躍出一匹龍馬，背上馱著一張圖，作為禮物獻給他，這就是“河圖”，也是最早的幻方。又傳洛水河中浮出一隻神龜，龜背上有一張象征吉祥的圖案稱為“洛書”。他們發現，這個圖案每一列，每一行及對角線，加起來的數字和都是一樣的，這就是我們現在所稱的幻方。也有人認為“洛書”是外星人遺物；而“河圖”則是描述了宇宙生物（包括外星人）的基因排序規則，幻方是外星人向地球人的自我介紹。
另外前幾年在上海浦東陸家嘴地區出土了一塊元朝時代伊斯蘭教信徒所掛的玉掛，玉掛的正麵寫著：“萬物非主，惟有真宰。”伏羲氏憑借著“河圖”而演繹出了八卦，後來大禹治洪水時，洛水中浮出一隻大烏龜，它的背上有圖有字，人們稱之為“洛書”。“洛書”所畫的圖中共有黑、白圓圈四十五個。把這些連在一起的小圓和數目表示出來，得到九個。這九個數就可以組成一個縱橫圖，人們把由九個數三行三列的幻方稱為三階幻方，除此之外，還有四階、五階……
幻方最早記載於中國前五百年的春秋時期《大戴禮》中，這說明中國人民早在二千五百年前就已經知道了幻方的排列規律。而在國外，130年，希臘人塞翁才第一次提起幻方。中國不僅擁有幻方的發明權，而且是對幻方進行深入研究的國家。
13世紀的數學家楊輝已經編製出三至十階幻方，記載在他1275年寫的《續古摘廳算法》一書中。在歐洲，直到1514年，德國著名畫家丟勒才繪製出了完整的四階幻方。
在國外，十二世紀的阿拉伯文獻也有六階幻方的記載，中國的考古學家們曾經在西安發現了阿拉伯文獻上的五塊六階幻方，除了這些以外，曆史上最早的四階幻方是在印度發現的，那是一個完全幻方（後麵會提到），而且比中國的楊輝還要早了兩百多年，印度人認為那是天神的手筆。1956年西安出土一鐵片板上所刻的六階幻方（古阿拉伯數字）。13世紀，東羅馬帝國才對幻方產生興趣，但卻沒有什麼成果。直到十五世紀，住在君士坦丁堡的魔索普拉才把中國的縱橫圖傳給了歐洲人，歐洲人認為幻方可以鎮壓妖魔，所以把它作為護身符。
《續古摘奇算法》上卷首先列出20個縱橫圖，即幻方。其中第一個為河圖，第二個為洛書，其次，四行、五行、六行、七行、八行幻方各兩個，九行、十行幻方各一個，最後有聚五、聚六、聚八、攢九、八陣、連環等圖。有一些圖有文字說明，但每一個圖都有構造方法，使圖中各自然數“多寡相資，鄰壁相兼”湊成相等的和數。