纵然有些人喜欢独处，凯利仍然要与他的艺术家朋友和群体保持社交。然而，他经常感觉自己的艺术目标与当时流行的思想并不匹配也无联系。就像当全班同学都在继续画画时，一个九岁的男孩独自站在教室的角落那样，成年的凯利处在公共舞台上，与其他艺术家结伴而行，并且一起举办展览，即使如此，凯利依然站在自己的角落中。1970年，他甚至离开纽约，为了从不断壮大的纽约艺术圈的社交压力中解脱自己，他认为那样的社交会妨碍他的创作过程。但其实，50年代中叶到60年代，虽然在评论家的认可上，他与同时代的艺术家相比落后了几步，但初到这个圈子的凯利还是享受到了好处的。
光与影交织的军旅生涯
凯利在普瑞特艺术学院的学习很快就因为二战和爱国主义使命的召唤而告停了。当他和家人一起从收音机里听说珍珠港袭击事件后，他就决定要像同时代的其他年轻人那样做一名志愿军，义不容辞地保卫他们的国家。凯利回忆说：“我很难形容自己当时的心态，就是当我哥哥和我一起大喊着‘我们要参军’时，我知道自己要参军了，如果我没有参军的资格，那我将会痛不欲生。至于军旅生活是否会让我激动，我完全没考虑过，只知道那时的自己一定要成为一名军人。”
>《麦斯切斯》，1951 年，149 . 9×149 . 9 cm ，布面油画2 >《她路过》/《再见》，1958年
1942年，在普瑞特艺术学院时，他在报纸上发表了一篇文章，描写了603伪装工程营迷人的军旅生活，这支部队的四分之一军力后来组成了1944年成立的第23特种部队，也就是人们熟知的“幽灵部队”。23军是一支具备特殊战术的部队，这支军队的1100名士兵的任务通常就是利用充气坦克、吉普车、假的无线电广播和声轨在前线扮演真正的美国军队来蒙骗德军。普通军队要隐藏起来躲避敌人，这支部队与他们有极大的区别，这些“非战斗人员”，也可以叫做“隐蔽的士兵”的目的就是要被发现，从而向德国的情报员透露虚假情报，将敌人的注意力从美军的真正位置上转移，使敌人认为美军拥有比实际更强大的军力。战争中，甚至大多数的美国士兵都不知道有这样一支特殊部队的存在，“幽灵部队”的任务就是维持神秘的状态，直到1996年，这个部队的档案才公之于众。
在米德堡，这些神秘的士兵借助第一次世界大战的经验，学习作为伪装军的纪律和技巧，凯利和他的战友们学习如何设置坦克、卡车的圈套，用粗布麻袋、胶合板和铁丝网来制作枪支，并且把它们都刷成绿色或土地的颜色，模仿树和叶子等自然景观的样子。而凯利在米德堡的主要任务就是生产制作伪装技术宣传海报，分发到普通军营中指导大家学习隐蔽技巧。正如凯利所言：“众人之中，他们挑选我来制作海报是因为我知道这就是一个将大自然抽象化的任务。”1943年的凯利要制作教学性海报，讲解“质地、影子和调配”之间的作用。这些海报主要都是柔和的大地色，使用丝网印刷技术制作而成。凯利很快就学习了丝网印刷技术和模板印刷技术，但他最重要的任务还是设计海报。由于凯利是最低级的士兵，所以他唯一的责任就是服从命令。这样的海报，让凯利很难兼顾宣传和审美的双重标准，凯利的工作受伪装部队上校，同时也是著名雕塑家奥古斯都·圣戈当之子的荷马·圣戈当的指挥。
>《蓝色曲线》，1994 年，218.4×182.9cm ，布面油画
1944年的5月，凯利的部队被派遣到了英格兰，6月就参与到了诺曼底联合登陆中，也就是在第二次世界大战中盟军在法国北部诺曼底海滩对德发起进攻日的十天后。他们建立起伪装车辆和装甲设备以混淆夜间对其进行监控的德军的注意力，同时，伪造声音的陆军通信兵负责输送移动的坦克的声音。如凯利所描述：“当敌军袭击我们的时候，都以为我们就是一支真正的部队，很快，德军就傻眼了。然后我们的小分队就可以成功夹击，这样我们在法国、卢森堡和德国都取得了主动性。”
1944年9月，凯利的部队在距离巴黎十米远的，荒芜的圣日耳曼昂莱区驻扎两周。这是年轻的凯利第一次来到这个城市，他后来无数次地来到这里，观察和描绘建筑、教堂、公园，因为战争期间博物馆都关闭了，所以1948年秋天，凯利结束在波士顿的学习后想起这座城市迷人的风貌，就决定回到这里。但他在巴黎却没有看到什么艺术，他只能在此自学艺术史。有趣的是，1944年，美国军方应士兵们的需求出版一本名为《艺术杰作珍品》的书，当然，这满足了凯利的需要，他可以从中看到从乔托到毕加索的作品，尤其是罗吉尔·凡·德尔·韦登著名的《小姐自画像》令他印象深刻。凯利对小姐头上颠倒的v形几何头巾很是钦慕，透明白色头巾恰恰好好地占满画布，与小姐身上的黑色衣服形成鲜明对比。
>《淡橙色与绿》，1991年，237.5×215.3×6.7cm ，2节连接面板，布面油画
1944年开始，凯利开始在线圈笔记本上进行小小的铅笔素描创作，用阴影线和暗黑色展现田野的样貌，看上去像是非常普通的素描画，但是凯利会用特殊的笔迹展现他面前的田野，体现出不同的风貌，在他的笔记本上遍布都是对于颜色标记的地方，比如“淡橘黄色”、“淡黄色”、“青紫色”等等。虽然他是一名士兵，但他一直可以协调自己去发展自己的艺术天分。这时，他开始简单地过滤自己所看到的颜色，并进行整合。
貌似我们在凯利作为伪装技术人员的军旅生涯中看不出与他的艺术创作的关联，但不可思议的是，在他不寻常的部队生活中，也许他经手的那些军用设备没能塑造他的艺术手法和风格，但是至少让他懂得了如何在这个经验主义世界中去观察和实践。在伪装部队里，凯利拥有一双敏锐的双眼得益于他多年观察鸟类吸收的经验和自然规律，当然，等待新物种到来的难得机会，让他逐渐拥有强大的耐心，这与要在战场上观察敌人动向的任务类似，凯利自然驾轻就熟。凯利不断学习如何研究和辨别形与影的区别，学习如何让一个东西与另一个变得相像或者直接隐藏在这个世界中，虽然有时候不太可能将这件事做到完美。但正如凯利自己所言：“在伪装部队就意味着要学会观察和感知，而我是一个对洞察事物极具兴趣的人，作为一个观察员，我的大部分工作就是要理解我所看到的东西，研究我所看到的东西，伪装部队的工作使我在这方面的能力有了很大的提升。”
>《泽西岛》，1958年，152.4×184.2cm ，布面油画
因此，这就促成了凯利在光与影上的兴趣发展。似乎就是这种使用隐蔽设备，利用士兵分裂人影的技能让年轻的凯利能更好地理解影子的形成。接下来的年岁中，他就一直专注于光与暗的对比研究中。凯利2001年曾说：“我喜爱黑和白、日与夜、太阳与影子。”实际上，他在巴黎和纽约创作的大量作品都是通过对光与影的观察进行的，比如：《蓝色缓解》、《拉·孔布一号》、《塞纳河》、《白板：桥拱和反射》以及《大西洋》。
>《随机光谱色》，1951-53年，152.4×152.4cm ，布面油画
