35 petatavun koko flash-tasapainotuslaki

Viime viikolla esittelimme Perlmutter-supertietokoneen, NERSC:n seuraavan sukupolven järjestelmän, joka todennäköisesti varmistaa viidennen sijan maailman tehokkaimpien koneiden Top 500 -listalla. Tuossa kappaleessa jatkoimme keskustelua laskennasta ja ominaisuuksista, mutta esityksen todellinen tähti on säilytyssiivillä.

Järjestelmä on 35 petatavullaan suurin tähän mennessä nähty flash-tallennusjärjestelmä, mutta mittakaava on vain yksi osa tarinaa. Sen sijaan, että käyttäisimme yhtä NVMe-first-tiedostojärjestelmistä (esimerkiksi WekaIO tai Vast Data), NERSC-tiimi yhdessä järjestelmäkumppanien Cray/HPE:n kanssa jatkaa Lusterin parantamista vastatakseen vaatimuksiin, jotka sisältävät enemmän sekalaisia ​​työkuormia kuin aiemmat järjestelmät. AI/ML on yhä enemmän sekoituksessa. Tämä tarkoittaa, että Lusterin suorituskyky ylittää sen kaistanleveyden suorituskykykeskeiset juuret ja riittävät IOP:t ja metatietojen käsittely.

Toistaiseksi, kun tiedostojärjestelmä on lattialla, Glenn Lockwood, NERSC-tallennus- ja HPC-arkkitehti, sanoo, että Luster hyräilee mukana ja hyödyntää kaikkia salamia "riittävän hyvällä" IOPS- ja metatietojen suorituskyvyllä, mutta erinomaisella kaistanleveys toimii niin usein HPC:n ytimessä. Hän selittää, että vaikka he käyttivätkin aikaa flash-suuntautuneiden tiedostojärjestelmien arvioimiseen, jokainen testi osoitti Lusterin tehokkuuden ja HPE/Crayn ja uuden Lusterin tutkimuskeskuksen avulla he pystyivät täyttämään kaikki aukot.

Valinta tehdessään Lockwood sanoo auttoi, että HPE/Cray tarjosi sitä tuettuna tiedostojärjestelmävaihtoehtona, mutta "vuonna 2018 se oli oikeutettu kysymys: miksi laittaa Luster tälle kiiltävälle uudelle NVMe:lle? Teimme kumppanuuden osana Perlmutterin sopimusta huippuosaamisen keskuksesta Lusterin ympärillä saadaksemme täyden hyödyn NVMe:stä, ja se on kannattanut, se on tänään lattialla ja se on nopea. Todella nopeasti."

Flash-first-tiedostojärjestelmän toimittajia ei ollut testattu läheskään Perlmutterin mittakaavassa, sillä useimmilla oli tuolloin vain muutama petatavu, maksimissaan. "Hyvin harvoja all-flash, yhden nimiavaruuden rinnakkaisia ​​tiedostojärjestelmiä on otettu käyttöön 30 petatavulla. Se ja suuren riskin ottaminen tekniikalla, joka on noussut vain muutamiin, oli osa syyä, miksi valitsimme Lusterin, sekä mahdollisuus integroitua monimutkaiseen ympäristöön.

Tämä ei ole NERSC:n ensimmäinen retki suurten supertietokoneiden flash-maailmaan, mutta niiden aloituspiste oli kokeellinen. Eräs edellisen sukupolven Cori-supertietokone, NERSC, yhdessä Los Alamos National Labin kanssa olivat räjähdysmäisiä puskurin purskeen. Jokaisella oli yli petatavu flash-purskepuskuria, jonka avulla he testasivat konseptia ja salaman vaatimuksia mittakaavassa. Huolimatta kaikesta puheesta siitä, mitä purskepuskurit voisivat tehdä tallennussuorituskyvylle ja -tehokkuudelle viime vuosien aikana, se oli kuitenkin toimiva, mutta se vaati käyttäjiltä ylimääräistä vaivaa saadakseen todellista hyötyä.

"Seuraavien vuosien aikana [tätä purskepuskurin asennusta] pystyimme näkemään purskepuskurin käytön, ja vaikka se osoittautui nopeaksi ja voi mahdollistaa uuden tieteen tietyille käyttäjille, se tosiasia, että se oli lyhytaikainen, merkitsi sitä, että käyttäjien oli hallita tietoja sisään ja ulos. Tämä on riittävä este, varsinkin kun kyseisen koneen Luster-tiedostojärjestelmä oli kokonaan levypohjainen eikä vaatinut tietojen siirtämistä jokaisen työn yhteydessä." Lockwood lisää, että tuolloin heillä ei ollut varaa Corille, mutta Perlmutterin suunnittelun alkaessa yhtälö muuttui nopeasti.

Lockwood ja tiimi seurasivat tiukasti salaman kustannusten kehitystä vuonna 2018 suunnitellessaan Perlmutter-konetta Cray/HPE:llä.

"Käytimme alan parhaita saatavuustietoja hyödykkeiden hinnoittelusta flashille ja seurasimme sitä neljännesvuosittain 2D:stä 3D NANDiin siirtymisen aikana ja saimme hyvän käsityksen arvioiduista kustannuksista. Sitten pelasimme vähän uhkapeliä. Jaoimme riskin HPE:n kanssa ja sovimme, että asetamme flashille hinnan sen perusteella, mitä uskomme vuoden 2020 tuovan, ja jos se olisi pois päältä, palaamme asiaan." Kuten kävi ilmi, he olivat oikeassa rahassa, ja tuon täysflash-järjestelmän kustannukset ovat nyt vain 10–15 % järjestelmän kokonaishankinnasta – aivan linjassa muiden NERSC:n suurten koneiden, kuten Corin ja Edisonin, historiallisten kustannuserittelyjen kanssa. .

"Kompromissi on, että kapasiteetti on nyt yhtä suuri, ainakin suhteellisen, Corilla, jossa oli 30 PB levyä, kun taas Perlmutter on 3-4X tehokkaampi, mutta sillä on vain 35 petatavua flash-muistia, mutta otimme olomme mukavaksi. Katsoimme työkuormitamme ja huomasimme, että 30 petatavua riittää."

Tällä hetkellä kompromissit tiedostojärjestelmästä (NVMe:tä ajatellen suunniteltu verrattuna tavallisempaan rinnakkaisjärjestelmään) kapasiteettiin ja suorituskykyyn vaikuttavat hyviltä. Lockwood sanoo olevansa edelleen vaikuttunut Lustren suorituskyvystä all-flash-järjestelmässä – ja yllättynyt siitä, että jopa portin ulkopuolella suoritettiin optimoimaton koeajo Lusterin kanssa flashissa. Mutta vielä on paljon työtä tehtävänä saadakseen kaikki irti NERSC:n suuresta flash-sijoituksesta.

"Ohjelmistot ovat jatkossakin haaste. Luster on optimoitu kaistanleveydelle, ja nousevat työmäärät ovat IOPS- ja metatietointensiivisiä. Ohjelmistoissa on kompromisseja, joita flash-first-tiedostojärjestelmän valmistajat tekivät, mutta myös Lusterissa maksimaalisen kaistanleveyden saavuttamiseksi. Näitä kolmea suorituskyvyn näkökohtaa – kaistanleveyttä, IOPS:ää ja metadataa – ei voida saavuttaa ilman paljon ohjelmistotyötä taustalla olevan flashin uudelleenmäärittämiseksi.