La relación de sus padres, que marcó a Byron de forma importante, podría definirse como tempestuosa. Si bien Byron jamás pudo considerar a su padre como un auténtico amante de su madre, ésta, a pesar de su rencor por lo ilícito de la vida de su marido, se volvió triste e inconsolable tras su pérdida. Byron describiría la relación que vivió con su madre Catalina como una aventura de golpes y besos. Catalina llamaba con frecuencia al pequeño Byron cojo bribón o pequeño diablo, mientras él la llamaba vieja o la viuda. Pese a esta relación de amor-odio, Byron diría posteriormente que su madre fue la única que lo había entendido.
Cuando cumplía la edad de nueve años, su madre lo puso en manos de una joven institutriz y enfermera escocesa, devota calvinista, apodada Mary Gray, quien lo inició en la lectura de la Biblia y en el sexo, ya que en aquel entonces, y pese a lo breve de su edad, tuvo sus primeras relaciones sexuales con ella. Junto a ella pasó el verano en el valle del Dee, en una casa de campo cercana a Abergeldie, y contempló las aficiones alcohólicas y orgiásticas de Mary Gray. De aquella época, además del mundo que se le descubrió a través de la sexualidad con la joven Mary Gray, a quien guardaría para siempre a fuego en su memoria, Byron recordó también la belleza de las montañas septentrionales escocesas, la cual admiró durante su estancia, indagando en sus recovecos a diario en sus continuas escapadas y a muy pesar de su latente cojera.
Byron no guardó recuerdo amargo de aquellas primeras relaciones sexuales y lecturas religiosas, ni contó al respecto que le hubieran perjudicado de modo alguno. Contrariamente, afirmó que la experiencia en el valle del Dee le ayudó a madurar y comprender de forma precoz el sentimiento de la melancolía.
Ocurrió esto mientras vivía en la ciudad escocesa de Aberdeen, donde se inició en latín e historia con la ayuda de un preceptor presbiteriano hasta su entrada en la Aberdeen Grammar School. Fue mientras cursaba el cuarto grado en la histórica escuela cuando su presencia fue requerida en Inglaterra debido al fallecimiento de su tío abuelo William Byron, quinto Lord Byron.
Una vez allí, con la muerte de su tío abuelo, se le reconoció su aristocracia, y aunque nunca le tuvo excesivo aprecio al título que le correspondía, la experiencia le hizo ampliar sus horizontes, y creyó crecer de golpe al imaginarse en un futuro en la Cámara de los Lores. Vivieron madre, hijo e institutriz en el lugar, en la recién heredada Newstead Abbey ('abadía'), la cual, para su sorpresa, frente a sus aspiraciones de nueva riqueza, estaba cargada de deudas y en muy mal estado. Su madre contrató, para gestión y administración de bienes, al abogado londinense Hanson, quien se haría cargo de los asuntos familiares hasta que el pequeño George contase con la edad suficiente. Byron recordaría gratamente que ésta fue la mejor residencia que tuvo. Allí conoció y se enamoró de su prima Mary Duff, quien lo rechazó por ser un chico muy joven para ella. Esta situación, que lo dejó desolado, lo animó a empezar a realizar sus primeras composiciones.
Cabe decir que el tío abuelo de George había pasado los últimos años de su vida viviendo casi como un ermitaño, actitud que no iba de acorde con los años que vivió anteriormente a su reclusión. De esos años se recuerda que lo llamaban El Villano, y que también los vivió de un modo bastante licencioso. Algunas de sus proezas fueron el intento de asesinato de su esposa lanzándola a un lago tras una discusión doméstica, o la muerte en duelo de William Charworth, de Annesley Hall, tras una discusión al respecto de los métodos para la caza. De este hombre heredó George su título familiar, sus deudas y la misma espada con la que atravesó a su rival.
El pequeño Byron fue enviado al colegio del doctor Glennie, en Dulwich. Allí sus estudios se vieron interrumpidos constantemente por las manías de su afectada madre, quien continuamente interrumpía su estancia para llevarlo consigo durante largos periodos de tiempo. Durante esta época es cuando Byron lee una de sus obras predilectas, Las mil y una noches. Ya era un ávido lector desde hacía años.
Pero en 1801, gracias en parte a una pensión de trescientas libras que había recibido la madre del joven por parte del rey, Byron fue admitido en Harrow, donde completaría sus estudios primarios.
En 1802 tuvo su primera tragedia amorosa, al morirse su prima Margaret Parker, de la que también estaba enamorado.