D. tilhørte en familie med mange fremtredende medlemmer. Hans mor var søster av P.A. Munch, en annen av hans onkler var den kjente tegner Carl Frederik D. ("Fyrdiriks"), Edvard Munch var hans fetter, og også Frits Thaulow hørte til slekten. En tid bodde D.-familien i Christiania i samme hus som familien Sars, som hadde tilknytning til Welhaven-kretsen. Lysten til å tegne og male våknet tidlig hos D. Han tilbrakte det meste av sin barndom i det gamle Bakkehuset (revet 1893), og har tegnet og malt det gang på gang, ut- og innvendig. Andre blad er fra Sandefjord, Gjerpen, Telemark, fra Danmarks-turen 1872 og fra hans tjenestereiser som offiser Christiania-Trondheim 1874–77. Hans klassekamerat Erik Werenskiold på Aars og Voss skole har vel også stimulert hans kunstneriske interesser. Da han var arkitektstudent i Karlsruhe vinteren 1874–75 kom han i kontakt med jevnaldrende norske og tyske malere som Chr. Krohg, Frits Thaulow og Max Klinger, og han fulgte Krohg og Klinger til Berlin høsten 1875, foreløpig som elev ved Bauacademie. Da han høsten 1877 igjen drog sørover, var det imidlertid via Berlin til Weimar for å bli maler. Som kunstner prøvde han seg i flere genrer. Det finnes blant hans ungdomsarbeider tyske byprospekter og landskaper i olje og akvarell, mange av dem dyktig gjort. I Berlin-tiden tegnet han flere av sine kunstnervenner (Chr. Krohg, Wilhelm Holter, Max Klinger), og bevarte utkast til norske eventyrillustrasjoner tyder på at han prøvde å komme med i arbeidet med å illustrere Asbjørnsens eventyrutgave av 1879. Som maler debuterte han med Weimar-motiver i Christiania Kunstforening 1879 og på München-utstillingen samme år, dette siste sted med et nå forsvunnet bilde som i sitt motiv peker fremover mot et senere yndlingsmotiv, et dampskip i uvær og høy sjø.
Høsten 1879 slo han seg ned i Christiania og ble nå i en lang årrekke en trofast skildrer av sin fødeby og dens nærmeste omegn. Fra en forsiktig detaljrealisme (Fra Slaveriet, Akershus, 1879, Nasjonalgalleriet, Oslo), arbeidet han seg langsomt fram mot en noe friere behandling, men stadig med sterk vekt på detaljene og med sans for det maleriske motiv. Det er bilder som Majorstuen (1881) og Fra Skovveien (1886, begge Oslo Bymuseum), Fra Vestre Aker (Rasmus Meyers Samlinger, Bergen), Fra Oscarshal (1889). Disse bildene vitner om arkitektens sans for byens gamle bebyggelse, som det er gjort omhyggelig rede for, og i bilder som Josefinegaten (1881) og Fra Piperviken (1886) er der også en livfull og karakteristisk figurstaffasje. Ved siden av Thaulow er D. i 1880-årene vår mest solide hovedstadsskildrer, men han malte også utenfor byen. Drøbak oppdaget han alt omkring 1880 og malte der et av sine beste arbeider, Skrivergården i Drøbak (1882). Likeså kom han ofte til Åsgårdstrand og Fredriksvern, han malte i strøket rundt Arendal, på Jæren (Ogne), og i 1886 nådde han helt til Finnmark og Murmansk. Få norske kunstnere har kjent Norge så godt som D., han hevdet selv at han hadde besøkt alle norske byer.
På sin første Parisreise 1882–83 hadde han stiftet bekjentskap med impresjonismen, særlig hadde Monets store utstilling i mars 1883 gjort sterkt inntrykk på ham. Han malte et stort gatebilde, La Rue de Rome (bildet selv er forsvunnet, men en penneskisse viser motivet), med en livlig fremstilling av ferdselen helt i Monets ånd, og med det slapp han inn på Salonen i 1883. Andre bilder viser påvirkning fra Alfred Sisley. Et minne fra dette Paris-oppholdet er bildet av Hansteen og Thaulow som maler ved Seinen (1883, før feilaktig datert 1893). Etter hjemkomsten i august 1883 ble det impresjonistiske element i hans kunst noen år fremover igjen mindre merkbart, selv om et bilde som Vårsol (1888, Nasjonalgalleriet) viser en større sans for lys og farge enn tidligere. Utover i 1890-årene utviklet han imidlertid det brede, løse penselstrøk og den særegne fargeskala som innleder hans senere franske periode. Han giftet seg i 1892, slo seg ned i Drøbak og innredet sitt eget hus der. Motiver fra Oslofjorden ble nå dominerende i hans maleri. Men utlandet lokket mer og mer, han brøt opp i 1894 og drog, etter et opphold i Bergen, januar 1895 ut på en lengre reise som foruten Paris førte ham til Spania, Italia, Tyskland og Østerrike. I 1899 bosatte han seg for godt i Paris etter oppfordring av den franske publisist Julien Leclercq. Alt samme år hadde han sin første utstilling der, og forbausende snart hadde han skapt seg en posisjon i det franske kunstliv. Også en utstilling i Antwerpen 1901 vakte atskillig oppmerksomhet. En artikkel om ham i La Grande France skrevet av Marius Leblond hadde som tittel "Le peintre du vent" (oktober 1902). Denne betegnelsen (vindens maler) kom til å følge D. resten av livet. I mai 1903 fikk hans franske venner, O. Mirbeau, Paul Fort, E. Verhaeren o.a., i stand en atelierutstilling som ble D.s endelige gjennombrudd i Paris. Han fulgte opp sin suksess med stor energi, den ene separatutstilling avløste den annen i Frankrike, Tyskland, Danmark og Norge, og han stilte regelmessig ut på de parisiske Saloner: Salon des Indépendants, Salon des Beaux-Arts, Salon d'Automne. D.s hjem ble et møtested også for mange fremmede kunstnere, bl.a. Picasso og Modigliani. Hans posisjon ble ikke minst befestet gjennom innkjøp av den franske stat (Maisons au Fjord 1905, Nuages 1906, Marine 1908, Barques dansantes 1909). Vanskeligere hadde han for å slå gjennom her hjemme. Først med Desemberdag ved Drøbak (1890) slapp han 1893 inn i Nasjonalgalleriet, og hans auksjonsutstilling hos Wang desember 1898 gav et magert resultat. Men hans utstilling hos Blomqvists Kunsthandel høsten 1909 ble en seier. Galleriet kjøpte både Dvergbjørk i Storm, en frisk opplevelse fra hans Nordlands-reise i 1907, Selvportrett og Vuggende båter (begge 1909), og fremfor alt det svære lerretet Isle de France (1908). Et mindre, noe lignende landskap finnes i Trøndelag Kunstgalleri. På en utstilling i Paris samme år talte denne serien hele 23 nummer. D. stod ved denne tiden på høyden som maler. Impresjonismen hadde lært ham å se helt og stort, hans franske landskaper har dybde og rom, med den høye skyflukt over det vide sletteland. Han sier selv at "hovedvekten er lagt på atmosfæriske forhold og slettelandskapets lange svinnende horisonter". I landskapene fra Bretagne, ofte med en værslitt furu i silhuett mot sjøen, er det en lignede dramatikk. Gunnar Reiss-Andersen har i sitt katalogforord 1930 gitt en fin karakteristikk av denne side ved D.s kunst, som nok var det vesentlige grunnlag for hans suksess i Frankrike: "Der foregår stadig noe i hans billeder, merkelige hendelser i skyene, voldsomme scener mellem havet og vindene. - - Der er henrivende dialoger mellem luft og land, store masseoptrinn av skyer i skinnet av havets røde kvelder, av mektige poplers lange tog over sletten, hvor skygger og lys klær landskapet av og på". I en annen billedserie han kalte Skyer og hav, som den franske stat kjøpte en versjon av, skildret han like dramatisk og med bred pensel den glitrende havflate under opptårnende skyer, bare med et seil eller to som blikkfanger. Endelig hentet han gjerne sine motiver fra franske byer, særlig da Paris. Av hans tallrike franske bymotiver eier Nasjonalgalleriet Rue Casette, Paris, (1901), Februarmorgen (1907), Septemberdag ved Fontainebleau, Fra Marlotte og I solveggen (alle 1908), det siste nok det fineste med en koloritt som kan minne om Edouard Vuillard.
I krigsårene var D. for det meste i Paris, men malte 1917 i Cancale i Normandie og 1918 i Collioure, nær den spanske middelhavskyst. I 1921 var han for første gang på ni år igjen i Norge og slo seg 1922 for godt ned i Drøbak. Hans siste lengre opphold hjemme før krigen (januar 1909 - november 1910) hadde aktualisert hans interesse for norske motiver, og han samlet seg mer og mer om skildringen av vårt nordiske vintervær med snødrev og ulende vind, dampskipsrøyk som fyker i stormkastene og båter som bakser i sjøen. Men friskheten gikk etter hvert tapt, og hans etterkrigsbilder er gjennomgående svake. Han gjentok seg selv, og med sin raske malemåte ble han lokket til overproduksjon. Av D.s fåtallige portretter kan foruten selvportrettet fra 1909 nevnes de av filosofen Mecistas Golberg (1908), skolestyrer Olaf Storm (1911, Stavanger Kunstforenings Faste Galleri) og Nils Collett Vogt (1920, to utgaver, en av dem i Aschehougs forlag).