DeepSeekKinijos įmonė, besispecializuojanti dirbtinio intelekto srityje, žengė dar vieną žingsnį kurdama technologinius įrankius, optimizuojančius didelių kiekių duomenų apdorojimą. Jo naujas pasiūlymas yra Fire-Flyer failų sistema (3FS), lygiagreti failų sistema, skirta dirbtinio intelekto modelio mokymo ir išvadų užduočių efektyvumui pagerinti.
Duomenų saugojimas ir prieiga yra itin svarbūs dirbtinio intelekto aplinkos aspektai, ypač kai tvarkomi dideli duomenų rinkiniai ir reikalingas greitas informacijos perdavimas. Tradicinės sistemos ne visada atitinka dabartinius poreikius ir, atsižvelgiant į tai, „DeepSeek“ sukūrė 3FS kaip keičiamo dydžio ir didelio našumo sprendimą.
Pagrindinės „Fire-Flyer“ failų sistemos savybės
3FS yra Linux pagrindu sukurta paskirstyta failų sistema, optimizuota naudoti didelio našumo skaičiavimo (HPC) ir dirbtinio intelekto aplinkose. Jo konstrukcija leidžia efektyviai valdyti saugyklą, sumažinti delsą ir pagerinti prieigą prie duomenų.
- Optimizavimas šiuolaikinei aparatūrai: 3FS išnaudoja visas SSD ir RDMA tinklų našumo galimybes, įgalindamas iki 6.6 TiB/s skaitymo greitį 180 mazgų grupių konfigūracijose.
- Lygiagreti architektūra: Jo paskirstyta konstrukcija palengvina sistemos išplėtimą nepakenkiant stabilumui ar prieigos greičiui.
- Remiantis FUSE: Tai leidžia sistemai veikti vartotojo erdvėje nekeičiant Linux branduolio, palengvinant jo įgyvendinimą ir suderinamumą su įvairiais platinimais.
- Sutelkite dėmesį į skaitymo greitį: pirmenybė teikiama atsitiktiniam skaitymui, o ne kaupimui talpykloje, o tai labai svarbu dirbtinio intelekto modeliuose, kuriems reikia nedelsiant pasiekti didelius duomenų kiekius.
Sistema išbandyta realioje aplinkoje
„DeepSeek“ savo serveriuose naudoja 3FS nuo 2019 m., todėl gali pagerinti savo našumą realiose situacijose. Pastaraisiais bandymais sistema pasiekė 3.66 TiB/min duomenų rūšiavimo etalonuose ir daugiau nei 40 GiB/s vienam mazgui KVCache paieškos užduotims atlikti.
Be to, ši sistema buvo naudojama bendrovės „Fire-Flyer 2“ klasteryje, kur ji pasiekė našumą, panašų į aukščiausios klasės serverių, tokių kaip NVIDIA DGX-A100, našumą, tačiau už žymiai mažesnę kainą. Remiantis bendrovės pateiktais duomenimis, jie pasiekė 80% DGX-A100 našumo, 50% jo kainos ir 60% energijos sąnaudų.
Atvirojo kodo ekosistemos postūmis
Vienas ryškiausių šio leidimo aspektų yra tai, kad DeepSeek nusprendė išleisti 3FS kodą pagal MIT licencija, leidžianti kūrėjų bendruomenei pasiekti, modifikuoti ir pritaikyti sistemą savo poreikiams. Ši atvirumo strategija yra bendrovės Atvirojo kodo savaitės iniciatyvos dalis, kurios metu jie išleido kitus su AI susijusius projektus.
Fire-Flyer failų sistemos kodas yra prieinama „GitHub“, todėl mokslininkams ir įmonėms būtų lengviau juos pritaikyti, siekiant optimizuoti savo darbo eigą dirbtinio intelekto ir didelio našumo skaičiavimo srityse.
3FS atsiradimas paskirstytoje failų sistemoje yra alternatyva esamiems sprendimams, tokiems kaip „Ceph“, kurie etaloniniuose testuose pasiekė tik 1.1 TiB/s skaitymo pralaidumą esant mažesnėms konfigūracijoms.
Šiuo paleidimu „DeepSeek“ parodo savo įsipareigojimą technologinėms naujovėms, taikomoms dirbtiniam intelektui. Siūlydama efektyvią ir įperkamą saugojimo sistemą, bendrovė stiprina savo pozicijas sektoriuje ir suteikia pagrindinius įrankius naujų mašininio mokymosi ir pažangių skaičiavimo modelių kūrimui.