Er iddo gael ei eni yn Lloegr, symudodd y teulu i Glasfryn, Pwllheli pan oedd o'n bedair oed. Aeth i Goleg y Drindod yng Nghaergrawnt, ond ni chafodd fawr ddim hyfforddiant ffurfiol fel pensaer. Dewisodd ddibynnu yn hytrach ar ei ddawn a'i ddealltwriaeth artistig gynhenid.

Yn ystod y Rhyfel Byd Cyntaf ymunodd â'r Gwarchodlu Cymreig ac ennill y Groes Filitariadd am ei ddewrder. Ym 1915 priododd Amabel Strachey, merch St Loe Strachey, golygydd a pherchennog cylchgrawn The Spectator.

Roedd Clough Williams-Ellis yn frwd dros bensaernïaeth amgylcheddol gyfeillgar ac fe hybodd y syniad o neilltuo ardaloedd gwyrdd o mewn dinasoedd ac ar y ffin ag ardaloedd gwledig.

Ond roedd ganddo freuddwyd fawr bensaernïol. Roedd o'n credu "y gallai rhywun ddatblygu hyd yn oed lleoliad arbennig o hardd heb ei ddinistrio gan roi digon o ofal cariad i wella ar yr hyn a greodd Duw." Aeth ati i chwilio am leoliad i'w freuddwyd ar draws y byd ond, yn y diwedd, dewisodd un yn ei filltir sgwar ei hun yn Eifionydd.

Adeiladwyd pentref hardd ac unigryw Portmeirion rhwng 1926-1939 ac yna rhwng 1954-1972. Mae'r adeiladau lliwgar yn ymdebygu i bentref Eidalaidd ar lan y môr.

Roedd yn un o sylfaenwyr Cyngor Diogelu Lloegr Wledig ac yn 1928, fe'i gwnaed yn aelod o'r Ymgyrch i Ddiogelu Cymru Wledig, ymgyrch y bu'n llywydd arni am dros 20 mlynedd.

Cafodd ei wneud yn farchog am ei wasanaeth i bensaernïaeth a'r amgylchfyd ym 1971.