凯利自己承认他很敏感，他是一个安静的只会画画的男孩，很小的时候他就表现出对艺术的兴趣。童年时期，他很容易生病，青少年时期，他又有点口吃，这使得他在与人交流方面会有所保留。在他五岁那年，凯利生病的时候，他的母亲和祖母让他在户外观察鸟类作为消遣，帮组他恢复健康。小凯利很快就喜欢上这项活动，并且将观察鸟类作为他一生的习惯。这样一个自发的行为也就暗示了他早期具备专注和延伸观察的能力，还有在自然世界中善于发现的热情。在他家房子后面，沿着奥拉德尔水库有一片树林，凯利试着从它们的形状和颜色来辨别当地的鸟类。远足时，凯利也是时刻擦亮眼睛去观察大自然中的种种。凯利承认，观察鸟类和在大自然中花费的时间对他成为艺术家有一定的影响：“我记得很清楚，当我第一次看见一个小小的黑色的带有一点明亮红色标志的红尾鸲时我的心情。我意识到，早年对大自然的兴趣教我学会了如何去‘看’。”
凯利七八岁的时候，就会自己跑到奥拉德尔当地的图书馆学习更多鸟类知识。在图书馆里，他无意中发现了约翰·詹姆斯·奥杜邦的作品，看到了这个鸟类学者的旅行笔记，还有他19世纪纯熟的鸟类雕刻作品。这样的发现让小凯利产生了共鸣，几年的时间里，凯利都沉浸在奥杜邦辛勤制作的鸟类作品当中。当全面观察了每一个物种后，奥杜邦会将他的样本在栖息地争斗或站在树枝上的样子描画出来，以便于人们从呆板的动物标本和鸟类的日常习惯来明确辨别鸟的种类。奥杜邦的方法有效地将形状相似、颜色相近的鸟类区分开来。他经常放大鸟类的尺寸，以至于真实的鸟类的个头远远小于画布上的鸟。奥杜邦放大轮廓的抽象思维与后来出现在凯利画中的绘画手法类似，就比如在其法国时期的绘画作品《植物一号》、《植物二号》，这点尤其展现在他在纽约期间创作的《南方渡口》、《第42》、《蓝绿》、《绿蓝红》。随后，在抽象拼贴画的学习创作中，凯利也着迷于对奥杜邦的学习，在准备雕刻的时候，他也运用这一技术表现大轮廓。
>《蓝红》，1966 年，205.7×152.4×205.7cm ，2节连接面板，布面丙烯酸
>《查塔姆10号：黑红》，1971年，274.3×243.2cm ，2节连接面板，布面丙烯
凯利童年对鸟类的热爱培养了他对大自然的兴趣。他用大量的时间仰望天空上振翅飞翔、遨游天际的鸟，低头看着行走的地面，观察爬行的甲壳虫和野草、芦苇等其他植物是如何从地面长出来的。作为一个成年人，无论走到哪，他都带着这份对大自然的爱，包括在法国海滩上的旅行和在长岛的布里奇汉普顿的暑期郊游，他绝不落下对大自然的细微观察。最有意义的要属他46岁在纽约北部的时光，那时，他住在一片绵延的小山中，远离曼哈顿拥堵的城市生活。在户外与大自然的接触让他的艺术生涯一直充斥着对植物的绘画创作，从早期的在巴黎的创作到形象的线性绘画，比如《橙子》。
凯利曾经说过：“我的画都是有关记忆的事。”这并不令人惊奇，除了他对观察鸟类的回忆之外，他还愿意讲述有很多其他的童年故事，全都暗示着他早期的审美倾向是如何形成的。凯利三岁的时候，踩在了一大片黄油上，他每只脚上都有一片被压扁了的黄油，这却被他戏称为“我的第一个艺术姿态——压扁”。在他十一二岁时候，他模糊地记得自己喜欢被颠倒放置却意识不到什么的迷糊感觉。他给出的描述是：“当我发现我的头冲下时，我环顾房间，有那么短暂的瞬间我觉得我不能理解周围的一切了，直到我意识到自己是颠倒的时候，我放正了自己。但那一刻，我不知道自己在哪，这种感觉很奇妙，因为我不知道在哪，我觉得那一刻的世界很美好。所以我一直记得那个场景。”
>《大西洋》，1956 年，203.2×289.6cm ，2节连接面板，布面油画
很快，这个世界上的某些东西对他而言是没法理解的了。这个世界变得不可知，也就是抽象。凯利九岁的时候在课堂上完成艺术创作时与老师产生了纠纷。他和他的同学被分配到一组，一起在图画纸上制作“春天的画”。凯利试图画一个带有绿叶的紫色鸢尾花，但是画纸却与他的画笔不搭，让他很不满意。当他想要画轻一点时，画出来的颜色却显得很暗淡。然而，他要是下笔重一些，就会得到一个纯粹的生动的色彩。但是一个小男孩，仍处于如何协调手和眼的阶段，无法做到恰到好处。中途，他就决定要自己进行色彩的剪切、拼接。凯利说：这是他创造的第一个用单纯色块拼接而成的作品，然而其他同学的作品就是那么的黯淡苍白。老师训诫他说：“凯利，我们不是要弄一堆乱七八糟的东西，去站到墙角去。”即使作为一个孩子，凯利制造混乱东西的想法着实与我们对拥有锐利的绘画形式和纯粹的单色的凯利的认识和钦佩完全相悖。但这确实是小凯利探索的东西，他不是在制造混乱，也许只是没有按照老师的指令行事而已。最后，他不得不脱离他的小组站到角落中，在全班同学面前，他面朝墙壁，感觉到无尽的挫败和不解，他不明白为什么老师不能理解他想要用抽象拼贴画取代绘画的想法。
> 《太阳城》（Cite），1951年，143.5×179.7×4.4cm ，20节连接面板，木板油画
凯利童年的故事预知了他的未来和艺术形式的形成，还有被艺术世界接受又受到抵制的简单分类的艺术种类。凯利在学校的社会经历与他同辈的同行相似，而作为艺术家他坚持专注于自己的抽象艺术。50年代早期，结束了在巴黎的展览后，带着他的作品诸如《闸板》、《多麦颂》、《一大面墙的颜色》，很快就跟着荷兰风格派大师皮特·蒙德里安学习，但事实证明，这是一个错误的决定。几年后，他在纽约的第一个个展于1956年在贝蒂·帕森斯画廊举办，他在此展示了他在法国期间的作品和50年代中叶的新作品，包括《黑色曲线》、《白板：桥拱和反射》、《条》和《黑色里佩》，他的抽象主义风格更贴近欧洲，没有浓厚的美国味道，换句话说就是“没有表现力的”，与此同时，抽象表现主义者的影响是外露的，但很快就消逝的。正如他不被老师所理解，凯利也没有在他的艺术生涯被分配到一个合适的种类中，尤其是在50到60年代期间，他出现在很多与他的风格一致的大型群展或活动中，但他始终觉得这些与自己不搭，比如几何抽象主义、极简派艺术、色域绘画和欧普艺术，他觉得自己不完全属于这些艺术类别中的一个。
> 《地中海》，1 9 5 2 年，150×195×7cm ，9节连接面板，木板油画
