古希臘人和古印度人表示加法都是把兩個數字寫在一起，例如5 12，就寫成512.直到今天，我們學習帶分數的寫法時，還可以看到它的痕跡。
如果要表示兩數相減，他們就把這兩個數字寫得離開一些，例如“814”的意思就表示“81-4”。
後來，意大利數學家塔塔裏亞用意大利文“piu”的第一個字母p表示相加，例如：7P4就表示7 4.古希臘數學家基奧芬特曾使用m表示相減。符號就是先由拉丁文“minus”縮寫成。例如：9m5就表示9-5.
中世紀（公元四五世紀到15世紀後期），歐洲商業逐漸發達，一些商人常在裝貨的箱子上畫一個字，表示重量略微超過一些；畫一個字，表示重量略有不足。1489年，德國數學家魏德曼在他的著作中正式用這兩個符號來表示加減運算。後來，又經過法國數學家韋達的大力宣傳和提倡，這兩個符號才開始普及，到1630年，終於獲得公認。
至於“、÷”符號的使用，也不過300多年曆史。據說，英國著名數學家威廉·奧特來德於1631年在他的著作中用表示乘法。但是，德國數學家萊布尼茲認為，符號與英文字母“X”很相似，所以曾反對使用，而讚成用表示相乘。但後來，人們還是把作為乘號沿用至今。在學習了用字母表示數後，也看做乘號，如3×ɑ可寫成“3·ɑ”。
中世紀時，阿拉伯數學相當發達，出了一位大數學家阿爾·花拉子密，他曾用“3/4”或“3：4”表示3被4除。許多人認為，現在通用的分數記號即出於此。至於，曾在歐洲大陸流行很長時間，但一直作為減法的符號。到1630年，英國人約翰·比爾在他的著作中使用做除法的符號，人們推測他大概是根據阿拉伯人的除號與比的記號：合並而成的。
在我國，人們曾把單位乘法叫做“因”，單位除法叫做“歸”，被乘數、被除數叫“實”，乘數、除數叫“法”，乘的結果叫“積”，除的結果叫“商”。
現在絕大多數國家的出版物中，都用、來表示加與減，而與的使用遠沒有、來得普遍。