我們知道，遠古的天文觀測是由巫師承擔的。當他們坐在井底時，一定會對井架的結構產生興趣，並形成九州、九野的概念。終於有一天他們將數字填到了井字格中，一開始可能是隨便填入，以後便會按順序填入。
這時他們一定會驚訝地發現這些數字中呈現出某種規律，即在四正四隅方向的數字之和都等於15（1＋5＋9＝15，2＋5＋8＝15，3＋5＋7＝15，4＋5＋6＝15）。對這種神秘數字的排列使他們產生了濃厚的興趣，並導致他們發現了（人類第一個）數陣，並被稱為洛書。
在這個數陣裏，任何方向（橫排、豎排、斜排）的數字之和均為15，這種數陣古代又稱為縱橫圖或九宮數，《易緯·乾鑿度》記載：“太乙取其數以行九宮，四正四維皆合於十五。”鄭玄解釋說，太帝居住在九宮中央的紫宮，八卦神是居住在四正四維八方的八個官，太乙神按任意的順序巡行九宮，都可以做到其數均為15。與洛書同時出現的數陣，還有河圖。
從河圖、洛書的結構來看，它們還保留著結繩記事和網的形象，暗示著它們起源於遠古的漁獵時期，不過在遠古傳說中，它們的起源已經神聖化了。
《周易·係辭上》記載：“河出圖，洛出書，聖人則之。”《河南府誌》曰：“伏羲時，龍馬負圖於河，背有文：一六居下，二七居上，三八居左，四九居右，五十居中，伏羲則之以畫八卦。”龍馬負河圖的地方，相傳在今河南孟津縣西五裏，那裏原來還有負圖寺，至今民間還流傳著有關的神話傳說。
我國著名數學家華羅庚曾考慮過這樣一個問題：如果地球外其他星球上有和我們人類一樣的高級生物，那我們將用什麼東西作為與外星人交流信息的媒介？他認為應當用幾何數字圖形，第一個供選擇的就是河圖洛書。
河圖洛書早已失傳，在曆史傳說中，它們的出現是王朝興盛的象征。
孔子一生長年奔波，深感社會動蕩，曾感歎道：“鳳鳥不至，河不出圖。”
到了宋朝，大學者朱熹派好友到今日四川一帶，尋訪到一位異人，從他那裏獲得太極圖、河圖、洛書。據說，這位西蜀隱者是從華山方士陳摶得到這些圖的，至於陳摶是從哪裏得到的就不清楚了。朱熹將河圖、洛書收入到他自己的著作《周易本義》裏，一直流傳到今。
曆代對河圖、洛書的研究興趣一直不衰，並形成一門專門的“河洛學”。一般認為河圖為圓，象征天，洛書為方，象征地，並且與八卦、五行相配。
河圖十個數相加為55，被古人稱為天地之數。《周易·係辭傳》稱：“天一、地二、天三、地四、天五、地六、天七、地八、天九、地十。天數五，地數五，五位相得，而各有合，天數二十有五，地數三十，凡天地之數五十有五，此所以成變化而行鬼神也。”所謂天數即奇數，地數即偶數，用現在的說法就是：