За само две године, од 1428. до 1430, сазидан је двор, који данас зовемо Мали град. Велики град ће се зидати још десет година, али је деспот Ђурађ Бранковић са породицом коначно имао где да дође – у свој град по ком ће га народ памтити и назвати Ђурађ Смедеревац.
Бургундски путописац Бертрандон де ла Брокијер, после сусрета у привременом двору у Некудиму, описао је деспота овако:
„Тај господар деспот има око 58 до 60 година и веома је леп владар и крупан човек и има троје мушке деце и две кћери, од којих је једна удата за Турчина, а друга за грофа Цељског. И деца су му врло лепа, а најстарији може имати двадесет година, а од остале двојице један шеснаест, а други четрнаест; за кћери не знам какве су.“
Знамо ми, цела деспотова породица насликана је на Есфигменској повељи деспота Ђурђа уз ког је, као данас, као и увек до краја живота, његова супруга деспотица Јерина. О ову госпу народ се силно огрешио назвавши је проклетом. Како за кулук није могао да окриви господара, нити свога да прокуне, клетву је бацио на хладну Гркињу, горду странкињу из славне византијске породице Кантакузина.
Принцезу Мару, најстарије преживело Ђурђево дете, отац је, да би сачувао мир са Турцима, дао султану Мурату Другом за жену. Такво је време било. Ступањем у брак Мара није променила веру, султан је на то пристао јер ју је изузетно поштовао. У браку није имала порода али је као свога прихватила Муратовог сина Мехмеда Другог званог Мехмед Освајач, коме је била и мајка, и учитељ, касније и мудра саветница и дворски дипломата чиме је заслужила велико поштовање.
Гргур, најстарији син насликан на Есфигменској повељи, наследник Ђурђевог престола, како се мислило, био је храбар витез. Са народом је бранио Смедерево током прве турске опсаде, али се, због свеопште глади, а да би сачувао народ ако већ не може град, Гргур предао. Због Ђурђевог шуровања са Угрима, Мехмед га је држао као таоца, а на крају и ослепео. Успела је Мара да умоли свог посинка Мехмеда да јој не ослепљује браћу, али је наредба о помиловању до џелата касно стигла. На српски престо Гргур је накратко дошао после смрти брата Лазара, али се убрзо замонашио и као монах Герман живот окончао на Хиландару. За собом је оставио ванбрачног сина Вука ког је народ, због јунашта, назвао Змај Огњени Вук.
Принц Стефан имао је исту судбину као и брат му Гргур. Ослепљен је, а на деспотском престолу је био само годину дана. Стефан је родоначелник лозе светих Бранковића. Сам Стефан је проглашен свецем и Црква га слави 9. октобра као Светог Стефана Српског Слепог. Његова жена Ангелина, ћерка кнеза Скендербега, канонизована је као Преподобна мати Англеина, а помен на њу чини се два пута – 30. јула и 10. децембра. И обојица њихових синова, Ђорђе и Јован, записани су као свети Смедеревци. Посвећеног Јована Црква слави у исти дан са његовом мајком Ангелином, 10. децембра. Ђорђа, архиепископа Влахозаплањског монашког имена Максим, Црква слави 18. јануара.
Ово треба памтити јер кад год смо у нашој Тврђави, ходамо истом оном земљом којом су ходали свеци.
Кантакузина је млађа Ђурђева и Јеринина кћер. Удала се за угарског грофа Улриха Другог Цељског са којим није имала потомака, али је Срби из Хрватске и данас помињу као добротворку која је много доброг за свој народ учинила.
Лазар, најмлађи Ђурђев син, био је Ђурђев сувладар до очеве смрти, а после деспот још две године до своје изненадне смрти. Потомака није имао.