当然，由于“军火”和“纳粹艺术”等关键词，也为他带来了不少的麻烦。即使在他离世多年以后。
2015年，历史学家兼记者Thomas Buomberger和美术史学家Guido Magnaguagno共同出书，矛头指向军火商布尔勒的艺术收藏。书名《布尔勒的黑册子》(Le livre noir Bührle)就带着明显的火药味。书中内容不仅涉及对埃米尔·布尔勒购买艺术品的介绍，还包括布尔勒其人的详尽生平。而书中更直接指明布尔勒的某些藏品是非法掠夺而来。
当该书出版以后，布尔勒基金会发布声明痛斥，并指出“书中所指的19幅非法作品中的15幅都有确凿可查的出处。尽管该书作者坚决不愿认可，但事实是：70年前的作品易手记录出现漏洞，这并不自动说明这些画儿就是非法掠夺而来的。而在过去的两年里，两位作者没有来布尔勒基金或我们美术馆档案部咨询过一次。”
如今，并无更多的资料去显示或指责布尔勒藏品中的道义关系。但在历史学家、罗桑大学名誉教授Hans Ulrich Jost眼中，布尔勒是一个充满矛盾的人。
他在文章《布尔勒的矛盾》这样分析了布尔勒的心理：“作为在一战前研习过艺术、文学和哲学的人，布尔勒一定从未和左派有过密切往来；但就像很多瑞士法语区人士支持贝当一样，他却是个反共产主义者。虽然战时，他同德国的武器生意蓬勃兴隆，这同当时联邦委员会的政策支持分不开。因为，当时为了免受冲击，瑞士联邦委员会决定向纳粹政府提供经济及财政服务。当纳粹的失败成为不争的事实后，瑞士政府放弃了布尔勒，令他成为名符其实的替罪羊。”
1965年，布尔勒离世。1960年，其家人在他所留下的藏品中挑选了200件绘画与雕塑作品，在布尔勒建于1886年的私人豪宅中成立了布尔勒收藏美术馆， 并在当年6月向公众开放。
布尔勒美术馆的对外开放虽然让布尔勒所藏的那些名作公开于世，但这并没有为其带来如红潮般的好评；以至于美术馆虽然收藏着大量精品，其名气也不是那么为人所知。而让其，响名于世的却是来自2008年美术馆画作抢劫案。
2008年2月，3名蒙面抢匪在闭馆时间前突然闯入了位于苏黎世的瑞士布尔勒收藏展览馆，威胁所有馆内工作人员趴在地板上不要乱动，并趁机抢走了4幅价值不菲的世界名画。这些的名画包括塞尚的《穿红背心的男孩》、德加的《卢多维克 勒皮克和他的女儿》、梵高的《正在开花的栗树枝》和莫奈的《在维特尼的罂粟花田》。单单是塞尚的《穿红背心的男孩》当时价值就高达1亿美金。博物馆负责人称，由于这些艺术品的高知名度，它们在市场上无法出手。
