在西方學說的影響下，方以智在中國首先把知識分為自然科學（“物理”）、人文科學（“宰理”）和哲學（“物之至理”）三類。據統計，在《物理小識》中約有5%的篇幅的資料來源於當時傳教士的著述，其中有54處引自艾儒略（J．Aleni）的地理著作《職方外紀》。但他對西方的學說並不是簡單地照搬複述，而是持批判地吸取的態度，具有自己獨立的見解。他既注意吸取當時西方先進的科學知識，又對西方哲學和神學進行批判。同時，他重視整理和歸納中國傳統的科學遺產，又反對泥古，認為研究古代是為了今日所用。方以智的這一治學精神，貫穿於他的《物理小識》一書中。
在自然觀方麵，方以智繼承了氣一元化的傳統理論，認為“氣”充盈於宇宙萬物之中，“充一切虛，貫一切實”，世上沒有“離氣之質”，一切事物都是由氣所構成。他還批判了西學中那種一切歸於意識的唯心論自然觀。
在天文學方麵，方以智結合中國傳統的天文學和當時傳教士傳入的西方天文學，介紹了地心學說、九重天說、黃赤道、歲差、星宿、日月食、曆法等知識。對其中的一些問題，他提出了自己的見解。如利瑪竇（M．Ricci）等人認為，太陽半徑為地球半徑的160多倍，而太陽距地球隻有1600多萬裏，方以智指出這是錯誤的，因為據此計算（定地球圓周長約9萬裏），太陽的直徑就將近有日地距離的1/3，這顯然是不可能的。為此，方以智提出了“光肥影瘦”的理論，即人眼所見的太陽圓麵比實際的發光體要大。這個理論是有一定科學道理的。
在物理學方麵，《物理小識》中的記述涉及力、光、聲、熱、磁等分支，內容包括比重、表麵張力、杠杆原理、螺旋原理、光的反射和折射、光學儀器、大氣光現象、透鏡、聲音的反射、隔音效應、磁偏角隨地域的變化、金屬傳熱等問題。其中，有些記述在當時世界上還是先進的。如所記述的有棱寶石、三棱水晶能把光分成五色，並指出這與五色彩虹同理，比牛頓的分光實驗早30多年。
在人體生理學方麵，方以智引用湯若望（J．A．S．vonBell）《主製群征》的記述，介紹了關於人體骨骼、肌肉的種類等知識，但剔除了湯若望書中那些上帝造物的宗教內容。
在認識論方麵，方以智也有獨到的見解。他認為人是“學而後知”的，不可能生而知之，並提出了“學天地”，“辨物則”的認識原則。他強調要探索和認識事物的規律，指出隻有辨識事物的運動、發展規律，才能真正地認識事物的本來麵目。正是在這一認識論思想的指導下，方以智重視對自然現象的探討，重視自然規律，因而能在自然科學、哲學和人文科學等領域中有所貢獻。