Левитан е роден в бедно еврейско семейство в град Кибартай в западната част на Руската империя - сега това място се намира в Литва. Въпреки че семейството му е бедно, то се стреми да даде на децата си най-доброто възможно образование. Заради това семейството се премества в Москва, за да може Исак и брат му да учат в Московското училище по живопис, скулптура и архитектура. Всъщност Исак демонстрира талант и академични успехи, за което даже е освободен от таксите за обучение. Скоро родителите му умират, а момчето е оставено в бедност – ходи гладно и нощува в училището.
Сред учителите на Левитан са някои достатъчно видни живописци. На едно занятие той е забелязан от Алексей Саврасов, който е известен със своите лирични пейзажи и по-специално платното "Гарваните долетяха". Саврасов кани момчето да учи в неговия клас по пейзажи и първата му изложба постига голям успех, който в края на XIX век е почти невъзможен за евреин (след покушението срещу цар Александър II много евреи биват гонени от столицата). Левитан обаче успява да завърши училище и на 18-годишна възраст започва сам да печели пари със своите картини.
Писателят Константин Паустовски пише в повестта си "Исак Левитан", че учителите са дразнят от таланта на еврейското момче, което умее да рисува руска природа. "Според тях евреин не би трябвало да се докосва до руския пейзаж. Това било дело на коренните руски художници". Впрочем, самият руски пейзаж не е от най-любимите жанрове. Градски пейзажи, дворци, исторически и библейски пейзажи - това са темите, от които се интересуват повечето художници.
Левитан обича невзрачните полета и калните пътища, изкривените мостове и малките провинциални църкви – нещата, които изглеждат недостойни за големи платна. Неговото "силно място" е Волга – рисува много епични пейзажи с изглед към тази река, особено в град Пльос с многобройните му църкви.
Истинско признание Левитан получава едва в края на краткия си живот - на 37 години става академик по пейзажна живопис, а на 39 умира в Москва от аневризма на сърцето. По това време в руския павилион на Световното изложение в Париж се провежда изложба с негови творби.