臨沂地處魯中南低山丘陵區東南部和魯東丘陵南部。地勢西北高東南低，自北而南，有沂山、蒙山、尼山3條主要山脈呈西北東南向延伸，控制著沂沭河上游及其主要支流的流向。以沂、沭河為中心，西、北、東三面群山環抱，向南構成扇狀沖積平原。山地、丘陵、平原面積比例為二：四：四。

山地集中分布在沂水、沂南、蒙陰、平邑、費縣、莒南等縣。地勢較高，一般海拔400米以上。山地植被比較茂密，是發展林果業、畜牧業的主要基地。

丘陵主要分布于山區外圍，沂水、沂南、莒南、蘭山、蘭陵、臨沭、郯城、平邑等地都有分布，以沭河以東分布最廣，一般海拔200米─400米。丘陵地帶的土壤砂性大，適耕性好，土層較簿，保水肥能力差，適宜發展防護林和經濟林，是花生、地瓜、玉米、黃煙等作物的的主要產地。

平原有沂沭河沖積平原、山間溝谷平原、澇洼平原。沂沭河沖積平原主要分布在沂水南部、沂南東部、河東、蘭山、羅莊、蘭陵、郯城。臨郯蒼平原土層深厚，土質肥沃，是糧食和蔬菜主要產區，素有“糧倉”之譽。 山間溝谷平原主要分布在費縣、平邑中部，蒙山前平坦谷地，蒙陰、沂南、沂水等縣的山間溝谷之中，土層深厚，質地適中，多種小麥、玉米等作物。澇洼地平原主要分布于蘭陵和郯城南部，土壤粘重，排水不暢，易澇，多種小麥、水稻、蔬菜等作物。