Занурювальне охолодження проти. Пряме-до-охолодження стружки: що це означає для ваших характеристик трубопроводів

Вступ: рішення, яке приймається надто пізно

Більшість інженерів центрів обробки даних обирають технологію охолодження - зануренням або прямим-на-чіпі - на основі цільової щільності стійки та капітального бюджету. Специфікація трубопроводу з’являється пізніше, часто розглядається як деталь виконання, а не драйвер проекту. Така послідовність є помилкою.

Система рідини, яку ви будуєте навколо вибраної вами архітектури охолодження, не є взаємозамінною. Специфікація трубопроводів, написана для прямого{1}}охолодження-чіпа (D2C)-пластинами, буде несправною - буквально та функціонально - якщо модернізовано до однофазного-занурення, і навпаки. З огляду на те, що щільність графічних процесорів зазвичай перевищує 50 кВт, а робоче навантаження штучного інтелекту досягає 100 кВт на стійку, точні характеристики труби на етапі проектування схеми більше не є обов’язковим. Один витік у системі D2C може за лічені секунди вивести з ладу цілий стелаж GPU вартістю 400 000 доларів.

Цей посібник написано для інженерів-механіків і сантехніків, які вже прийняли (або приймають) рішення щодо архітектури охолодження та мають перетворити цей вибір на обґрунтовану, -сумісну з ASHRAE специфікацію трубопроводів.

 

 

Стійка CDU з рідинним охолодженням центру обробки даних безпосередньо до чіпа

 

1. Дві архітектури, дві абсолютно різні логіки рідинного циклу

Перш ніж торкатися схеми труб, зрозумійте, що охолодження зануренням і D2C працюють на принципово різних гідравлічних принципах.

Прямо-до-чіпа (D2C)циркулює рідина - зазвичай деіонізована вода або водно-суміш гліколю - через холодні пластини, встановлені безпосередньо на ЦП, ГП та ASIC. Тепло поглинається поверхнею чіпа та передається до блоку розподілу охолоджуючої рідини (CDU), який обмінюється ним із системою водопостачання підприємства. Результатом є щільна мережа під тиском труб малого-діаметра, колекторів, швидкороз’ємних-фітингів і холодних пластин, усі вони мають працювати в гідравлічному балансі одночасно.

Однофазне-охолодження зануреннямзанурює цілі серверні плати в діелектричну рідину -, як правило, синтетичний вуглеводень або спеціальну рідину - всередині бака. Тепло передається від усіх компонентів рідині, яка потім прокачується через зовнішній теплообмінник. Зовнішня трубопровідна мережа мінімальна: по суті два з’єднання на резервуар (подача та повернення), що йдуть до CDU або контуру охолодження приміщення.

Архітектурна різниця є разючою: D2C розподіляє гідравлічне завдання між десятками точок підключення на стійку; занурення об’єднує його в простий зовнішній контур-низького тиску. Усе, що відбувається нижче за течією у вашій специфікації трубопроводу, витікає з цієї відмінності.

 

2. Вибір матеріалу труби: де ASHRAE встановлює межу

ASHRAE TC 9.9 і TC 9.6 чітко описують сумісність матеріалів. Для контурів охолодження на водяній-станції D2C інструкції забороняють цинк, алюміній і латунь, що містять понад 15% цинку -, усі вони прискорюють гальванічну корозію в присутності очищеної води. На практиці це виключає стандартні фітинги з жовтої латуні та оцинковані сталеві труби, які залишаються поширеними в гідронічних системах HVAC.

Для циклу технологічної системи охолодження (TCS) - вторинний контур, який подає холодні пластини безпосередньо -304 або 316 нержавіюча стальє стандартною специфікацією. Контур TCS зазвичай використовує деіонізовану або добре очищену воду, яка насправді є більш агресивною щодо корозії, ніж міська вода, оскільки вона майже не має буферної здатності. Запірний клапан на кожній стійці, розрахований на робочий тиск системи та виготовлений із нержавіючої сталі 316, потрібен як для планового технічного обслуговування, так і для аварійної ізоляції витоку.

Для занурювального охолодження питання щодо матеріалу повністю змінюється. Діелектрична рідина є хімічно інертною щодо більшості металів, але вона агресивно атакує еластомери - стандартні прокладки EPDM і Buna-N, які використовуються в системах опалення, вентиляції та кондиціонування повітря, набухають і руйнуються протягом кількох місяців контакту з діелектричними рідинами на основі вуглеводнів-. Сам матеріал трубопроводу (нержавіюча, вуглецева сталь) загалом сумісний, але кожна прокладка, ущільнювальне кільце та гнучке з’єднання у зовнішньому контурі мають містити PTFE або фторполімерний матеріал, призначений для конкретної рідини, що використовується.

 

3. Розмір труби, швидкість потоку та перепад тиску

ASHRAE TC 9.6 встановлює максимальну швидкість рідини2,1 м/с для труб діаметром більше 3 дюймівдля запобігання ерозії на фітингах і вигинах. Нижче 3 дюймів практична межа наближається до 1,5–1,8 м/с, перш ніж шум і ризик ерозії неприйнятно зростуть. Ці обмеження застосовуються до обох архітектур охолодження, але створюють дуже різні результати розміру.

У системах D2C швидкість потоку визначається тепловим навантаженням кожної холодної пластини. Зі збільшенням TDP (теплова потужність) чіпа - сучасні графічні процесори H100 працюють із TDP 700 Вт, а прискорювачі наступного-покоління прогнозуються на 1000 Вт+ -, потреба в потокі на холодну пластину зростає пропорційно. Для стійки потужністю 50 кВт з охолодженням D2C може знадобитися 8–12 літрів охолоджуючої рідини на хвилину в колекторі стійки, розподіленого між 8–16 окремими холодними пластинами. Це обумовлює потребу в ретельному гідравлічному балансуванні: паралельні холодні пластини мають рівномірно розподіляти потік, інакше найгарячіша стружка -, як правило, на кінці гілки колектора -, не матиме охолоджуючої потужності.

У занурювальних системах зовнішній контур труби несе повне теплове навантаження резервуара, але зі значно нижчою швидкістю та тиском, оскільки рушійним механізмом усередині резервуара є конвекція та низька-швидкісність насоса, а не примусовий потік під високим-тиском. Занурювальний резервуар потужністю 250 кВт зазвичай потребує лише 20–30 літрів на хвилину через контур зовнішнього теплообмінника при тиску в системі, який рідко перевищує 2–3 бари.

Рішення щодо прокладки під підлогою та над головою також впливає на розмір. Керівництво ASHRAE зазначає, що труби під підлогою повинні враховувати товщину ізоляції та проміжок між трубами - додавання 50 мм до діаметра труби з урахуванням ізоляційної оболонки є типовою помилкою при плануванні, яка створює конфлікти координації з розкладкою-підлогової плитки.

 

4. Запірні клапани, сітчасті фільтри та контроль витоків: деталі специфікації, які захищають безвідмовну роботу

Саме тут специфікації трубопроводів безпосередньо визначають експлуатаційну стійкість, і де підписується більшість специфікаційних документів.

Для систем D2C, кожна стійка повинна мати ізоляційний клапан як на подачі, так і на зворотній стороні, що дає змогу ізолювати одну стійку та осушувати її для технічного обслуговування, не вимикаючи сусідні стійки. Кращим типом клапана для цього застосування є aКульовий кран з різьбою з 3 частинз нержавіючої сталі 304 або 316. Конструкція корпусу з трьох- частин має тут вирішальне значення: на відміну від одно- або двох- клапанів, її можна розібрати на місці - без розрізання труби або видалення корпусу клапана з лінії - для заміни ущільнень або очищення сідла. У середовищі живого центру обробки даних, де мінімізація часу простою стелажа має першочергове значення, така-можливість обслуговування в мережі є важливою операційною перевагою, а не розкішшю специфікації.

Для захисту мікро-каналів холодної пластини від забруднення частинками перед кожним колектором стійки потрібен Y-фільтр із нержавіючої сталі. Геометрії холодної пластини для високо-продуктивних графічних процесорів використовують вузькі канали ширини 0,5–1,0 мм; частинка розміром 200 мікрон може частково блокувати канал і створювати локалізовану гарячу точку, яку термічний моніторинг може не вловити, доки не почнеться дроселювання мікросхеми. Укажіть фільтри з розміром осередку 50 мікрон або дрібніше на контурі TCS відповідно до вказівок щодо якості води ASHRAE TC 9.9.

На зворотній стороні зворотний клапан із нержавіючої сталі запобігає зворотному потоку через теплообмінник CDU, коли стійка ізольована або насос спрацьовує - подія зворотного потоку, яка може ввести теплу рідину в колектор подачі та підвищити температуру охолоджуючої рідини в усьому ряду до того, як спрацюють елементи керування.

Для з’єднань-з-колектором укажіть сухі-швидкоз’ємні-роз’ємні фітинги з максимально допустимим витоком 1 кубічний сантиметр за цикл від’єднання відповідно до стандартів з’єднання OCP (Open Compute Project). Сегменти гнучких шлангів у цих з’єднаннях необхідно закріпити додатковими затискачами з інтервалом 150 мм, щоб запобігти падінню тиску, викликаному провисанням, і навантаженню на різьбу фітинга.

Для занурювальних систем, специфікація ізоляції простіша, але не тривіальна. Кожен резервуар потребує запірних клапанів подачі та повернення, розмір яких відповідає повному потоку резервуару, а також порт для проби для контролю якості рідини. Укажіть з’єднання зовнішньої петлі з матеріалу, сумісного з конкретною діелектричною рідиною - підтвердьте сумісність із постачальником рідини в письмовій формі перед завершенням специфікації, оскільки власні формули рідини відрізняються.

Кабель для виявлення витоку слід прокласти по всій довжині всіх ділянок трубопроводу D2C, розташувавши в найнижчій доступній точці кожного лотка для труб або кабельного лотка. Для занурювальних систем достатньо детекторів витоку з точковим-датчиком на базі кожної ємності та в CDU, враховуючи, що з’єднань із зовнішніми трубами мало й-видимість висока.

 

 

Трикомпонентний кульовий різьбовий кран Leadtek

 

5. Контрольний список практичних специфікацій перед видачею на будівництво

Перш ніж ваша специфікація трубопроводу залишить команду інженерів, перевірте наступне на відповідність обраній вами архітектурі охолодження:

Відповідність матеріалу: підтверджено, що всі змочені метали не містять сплавів цинку та алюмінію (D2C); всі еластомери підтверджено сумісними з хімією діелектричної рідини (занурення)

Перевірка швидкості: Максимум 2,1 м/с для труб, діаметр яких більше або дорівнює 3 дюймам, відповідно до ASHRAE TC 9.6

Запірна арматура: Один трикомпонентний кульовий кран з різьбою на стійку, подача та повернення, з можливістю-обслуговування на лінії (D2C)

Рейтинг фільтра: Менше або дорівнює 50 мікрон на подачі TCS, перед кожним колектором стійки (D2C)

Розташування зворотного клапана: зворотна гілка CDU, кожна зворотна гілка стійки (D2C)

Специфікація швидкого-від’єднання: Суха-перерва, менше або дорівнює 1 куб.см розливу, OCP-сумісність (D2C)

Виявлення течі: безперервний кабель на всіх лініях живлення (D2C); точкові датчики на базі бака та CDU (занурення)

Зазор під підлогою: Наружний діаметр труби плюс ізоляція плюс 50 мм перехресний зазор підтверджено для моделі з пустотами в підлозі

План очищення води: -спеціальна хімічна програма, задіяна перед заповненням системи, із указаним протоколом поточного моніторингу

 

Висновок: визначте систему труб відповідно до архітектури охолодження, а не навпаки

Рішення про технологію охолодження та специфікацію трубопроводу не є послідовними кроками - це єдине комплексне інженерне рішення. Вибір між зануренням і охолодженням D2C визначає гідравлічну логіку, обмеження щодо матеріалів, стратегію ізоляції та профіль ризику витоку всієї рідинної системи. Спроба адаптувати загальну специфікацію гідравлічної труби HVAC до будь-якої архітектури призведе до того, що система буде погано працювати та створюватиме непотрібне обслуговування.

Використовуйте свої специфікації трубопроводів у схемному проектуванні разом із вибором архітектури охолодження. Використовуйте ASHRAE TC 9.6 і TC 9.9 як базову структуру відповідності та перевіряйте кожен вибір матеріалу на фактичний хімічний склад рідини у вашій системі - не загальне припущення про «воду». 30 хвилин, витрачених на визначення типу запірного клапана та розміру сітчастого фільтра безпосередньо на етапі специфікації, заощадять значно більше, ніж 30 хвилин у майбутньому простої.

 

FAQ

З: Чи можна використовувати стандартну трубу з вуглецевої сталі HVAC для прямого-контура охолодження-чіпа?

Вуглецева сталь використовується в контурах охолодженої води -з боку підприємства (FWS), але вона не підходить для контуру технологічної системи охолодження (TCS), який безпосередньо обслуговує холодні плити. Контур TCS подає високоочищену воду з низьким вмістом іонів, яка є більш корозійною для вуглецевої сталі, ніж оброблена вода HVAC. Укажіть нержавіючу сталь 304 або 316 для всіх контурних трубопроводів і фітингів TCS.

З: Чому мій виробник CDU вказує інший розмір трубного з’єднання, ніж мій постачальник холодної плити?

CDU та холодні пластини часто постачаються від різних виробників і розроблені відповідно до різних припущень щодо внутрішнього опору потоку. Невідповідність розміру з’єднання є проблемою гідравлічного балансування: якщо CDU очікує 10 л/хв при 2 барах, а холодні пластини разом вимагають 14 л/хв, щоб підтримувати температуру з’єднання мікросхем, специфікації жодного постачальника не є неправильними - дизайн системи їх не погодив. Гідравлічна модель повного контуру TCS, від виходу CDU до кожної холодної пластини та назад, повинна бути завершена перед остаточним визначенням будь-якого розміру з’єднання.

Питання: Як часто слід очищати Y-сітки на контурі охолодження D2C?

Протягом перших 90 днів роботи щомісяця перевіряйте сітчасті кошики - нові системи трубопроводів викидають тверді частинки, коли покриття труб твердіє та фітинги осідають. Після-періоду перерви щоквартальної перевірки зазвичай достатньо для замкнутих{4}}систем з постійним моніторингом якості води. Якщо ваш CDU містить датчик перепаду тиску на сітчастому фільтрі, встановіть аварійний сигнал на 0,3 бар дельта-P як базову лінію чистого-кошика.

Питання: Чи простіше визначити трубопровід занурювального охолодження, ніж D2C?

Зовнішня мережа труб для занурювального охолодження значно простіша - менше точок з’єднання, нижчий тиск і відсутність розподілу колекторів на рівні стійки-. Однак специфікація матеріалу є складнішою, оскільки сумісність діелектричної рідини повинна бути перевірена для кожного еластомеру, прокладки та гнучкого з’єднувача в системі. Спосіб несправності неправильної сумісності матеріалу в занурювальній системі повільний і його важко виявити: погіршення якості ущільнення протягом 12–18 місяців з подальшою поступовою втратою рідини та забрудненням, а не миттєвим і видимим витоком, який викликають системи D2C.

Питання: Яка мінімальна висота пустот у підлозі необхідна для труби охолодження D2C під фальшпідлогою?

Керівництво ASHRAE не встановлює універсальний мінімум, оскільки він залежить від діаметра труби, специфікації ізоляції та того, чи труби перетинаються одна з одною. Практичне правило планування полягає в тому, щоб забезпечити найбільший зовнішній діаметр труби, плюс 75 мм ізоляції з усіх боків, плюс 50 мм вільного простору вгорі для перехресних труб, плюс 25 мм знизу для опор. Для магістралі живлення діаметром 4-дюйми з ізоляцією 25 мм це дає мінімальну порожнечу в підлозі приблизно на 300 мм - більше, ніж 250-міліметрова порожнеча, поширена в застарілих центрах обробки даних із фальшпідлогою, що є обмеженням для модернізації, яке варто визначити на початку.