Как бы ни старались Витгенштейны не привлекать к себе внимания, их богатство бросалось в глаза, а покровительство искусствам далеко не всем было по вкусу. Die Fackel язвительно высмеивал знатные венские семейства, кичившиеся своими щедрыми пожертвованиями. Эстафету обвинений против богатых подхватывает Томас Берн-хард, лучший современный австрийский прозаик и драматург, чьи тексты свидетельствуют об одержимости Людвигом. В вымышленных мемуарах «Племянник Витгенштейна», впервые опубликованных в 1982 году, он жестоко и грубо высказывается о покровительстве Витгенштейнов Климту. Предметом нападок Бернхарда становятся
«омерзительные картинки периода Климта, в том числе одна — кисти самого Климта, которому фабриканты оружия Витгенштейны заказывали свои портреты, как, впрочем, и другим знаменитым мастерам того времени, ибо такова была мода среди так называемых нуворишей начала века — заказывать свои портреты под видом меценатства. У Витгенштейнов, как и у прочих им подобных, не было времени на искусство, а зваться меценатами им хотелось».
Дальше Бернхард клеймит Витгенштейнов как «врагов искусства и разума, задыхающихся в своем богатстве, в своих миллионах».
До Первой мировой войны Людвиг, судя по всему, в полной мере наслаждался отцовским состоянием. Его кембриджский друг Дэвид Пинсент, сам происходивший из весьма состоятельной семьи, поверяет дневнику свое удивление — Витгенштейн предложил поехать на каникулы в Исландию за счет своего отца. «Я спросил, во сколько, по его расчетам, обойдется поездка, на что он сказал: «Ах, это не имеет значения: ни у меня, ни у вас денег нет — да хоть бы у вас и были, это неважно. Зато у моего отца их полным-полно». И он заявил, что его отец оплатит наше путешествие». Когда они отправились в путь и встал вопрос о том, где Пинсенту остановиться в Лондоне, Витгенштейн повел его в «Гранд-Отель» на Трафальгарской площади: «Я пытался предлагать менее претенциозные гостиницы — тем более что сам Витгенштейн поселился у Рассела, — но он не желал ничего слышать. В этой поездке об экономии не могло быть и речи». Со временем Витгенштейн прославится спартанской обстановкой своей кембриджской обители, однако до войны дело обстояло иначе. Пинсент записал в дневнике, как в октябре 1912 года помогал Витгенштейну перетаскивать мебель в его комнаты в Тринити-колледже. Мебель прибыла из Лондона; все, что мог предложить Кембридж, Витгенштейн отверг, назвав «отвратительным». «Вся его мебель делалась по заказу, по его собственным чертежам, и была довольно странной, но отнюдь не плохой». А по возвращении из Исландии Пинсент запишет: «Мы поужинали — и ужин был под стать шампанскому».
Когда в 1913 году отец Витгенштейна умер от рака, Людвига называли богатейшим человеком в Австрии и одним из самых богатых в Европе. Послевоенная инфляция поглотила все сбережения отца Поппера; отец Витгенштейна сберег средства семьи, вовремя переведя их на зарубежные счета.
Однако Людвиг недолго пробыл баснословно богатым. Война преобразила его духовно. По воспоминаниям его сестры Термины, солдаты называли его «тот, с Евангелием», потому что он всегда носил с собой толстовское изложение Благой Вести. Вернувшись из плена, Людвиг сразу же отказался от наследства в пользу семьи: единственного оставшегося в живых брата Поля и сестер Термины и Хелены. (Маргарет к тому моменту вышла замуж за весьма состоятельного американца Джером Стонборо и в деньгах не нуждалась.) Термина вспоминала, как долго и мучительно разговаривал Людвиг с отчаявшимся нотариусом, осознавая, что бесповоротно расстается с огромным состоянием. Но она вспоминала и другое: этот переворот в мировоззрении стал возможен не в последнюю очередь потому, что «он был готов, совершенно искренне и спокойно, позволить брату и сестрам помочь ему, что бы ни случилось».
С этого времени Витгенштейн начал вести суровую жизнь аскета, одержимого чистотой и порядком. Пауль Энгельман, его друг, а впоследствии коллега-архитектор, объясняет эти качества
«всепоглощающим стремлением избавиться от обузы, которая невыносимым бременем ложилась на его отношение к внешнему миру: не только от галстука, но и от состояния. Кстати, о галстуках: в юности (помню, он рассказывал) он выбирал их очень придирчиво и наверняка с безупречным вкусом. Но он отказался от всего ‘ этого не для того, чтобы наложить на себя епитимью… [Он] решил отделаться от всего, большого ли, малого ли, что казалось ему вздорным и нелепым».
Схожее объяснение давал сам Витгенштейн своему племяннику Джону Стонборо: «»Если бы ты собрался в долгий горный поход, — говорил он, — ты бы оставил тяжелый рюкзак у подножия горы». Таково было дядино отношение к деньгам. Он хотел избавиться от этой тяжкой ноши». В некрологе The Times упоминалось о том, что «Витгенштейн выказывал все признаки созерцательной жизни религиозного отшельника», о его склонности к уединению и высшей степени самоотречения.
И все же Витгенштейн не полностью отказался от привилегий выходца из богатой семьи. В 1920-е и 1930-е годы, когда он вел дискуссии с Морицем Шликом, основателем Венского кружка, и одним из членов кружка Фридрихом Вайсманом, в его распоряжении было сразу несколько домов, где можно было спокойно, без помех, встречаться и беседовать. Это был, во-первых, Нойвальдег, резиденция в предместье Вены, куда семья Витгенштейнов уезжала на весну и осень. Во-вторых — дом на Аугустиниерштрассе, принадлежавший брату и сестре Людвига, — там, в свободном кабинете, он и устраивал встречи. И, наконец, в запасе всегда оставался Хохрайт — летнее семейное прибежище в горах, всего в часе езды от Вены. Привязанность Людвига к Вене и сестрам никогда не ослабевала. С 1929 года, когда он вернулся в Кембридж, до 1937-го и с 1949-го до 1951-го — года его смерти — он неизменно проводил в Австрии летние и рождественские каникулы.