Zapomeňte na Mesos a OpenStack, Hashi Stack je nová další platforma

Zatímco velké množství softwaru pro vytváření a správu škálování pochází ze superpočítačových center, hyperscalerů a největších tvůrců veřejných cloudů, stále existuje spousta inovací, které provádějí lidé, kteří potřebují řešit škálování mimo tyto organizace na vyšší úrovni. Dva z nich jsou Mitchell Hashimoto a Armon Dadgar, spoluzakladatelé HashiCorp, a strávili více než deset let budováním toho, co se ukázalo jako pravděpodobná komerční alternativa ke stacku Kubernetes – který také podporuje Kubernetes, pokud opravdu chcete. udělej to taky.

Stejně jako mnoho open source projektů, které udělaly skok ke komerčnímu úspěchu – a neříkáme, že jich není mnoho – první projekt v Hashi Stack, nazvaný Vagrant, byl osobním projektem Hashimota, který vytvořil konzistentní konfigurační obal kolem aplikačního softwaru, který usnadnil balení a aktualizaci. Nakonec Engine Yard – pamatujete si na cloudovou alternativu k původnímu OpenShift od Red Hatu a Cloud Foundry od VMware? – sponzorovaný Vagrant, který původně běžel na hypervisoru Oracle VirtualBox, ale který byl rozšířen o ESXi od VMware, KVM od Red Hatu a hypervizory Hyper-V od Microsoftu a také o vlastní hypervizor Xen používaný webovými službami Amazon.

Hashimoto a Dadgar získali bakalářský titul v oboru počítačových věd na Washingtonské univerzitě a také společně pracovali ve společnosti Kiip, což je poskytovatel mobilních reklamních technologií a datových platforem se sídlem v San Franciscu a který má Coca-Cola, Kellogg's, Proctor & Co. Gamble, McDonald's a Johnson & Johnson jako její markýzové zákazníky. Reklamní engine Kiip byl postaven v Pythonu, Ruby, Bash a Puppet, a když byl poprvé zapnut v roce 2010 (kdy byl Vagrant vedlejším projektem pro Hashimoto), dokázal zpracovat mizerný 1 dotaz za sekundu průměrnou rychlostí 200 milisekund. latence, která je přímo na hranici netrpělivosti rozsahu lidské pozornosti. A když o dva roky později založili HashiCorp, systém Kiip, který nechali v rukou svého bývalého zaměstnavatele, byl zrychlen až na 2 000 dotazů za sekundu při průměrné době odezvy 20 milisekund. To je 2000násobné zlepšení propustnosti a 10násobné zlepšení latence, což není příliš ošuntělé.

Proto nebyly ambice dvou spoluzakladatelů HashiCorp absurdní, když se výslovně rozhodli vybudovat modulární softwarový nástroj, který by mohl být jádrem skutečné softwarové platformy inspirované Unixem, nikoli Linuxem. (K tomu se dostaneme za chvíli.) No, možná trochu absurdní. Ale stejně tak i spoluzaložení nové IT publikace v roce 2015, která převezme vyšší úroveň počítačové architektury. . . .

Hashi Stack má nyní deset základních komponent a zde jsou v pořadí vydání:

To je docela stálý rytmus přidávání nástrojů a poměrně kompletní zásobník. A HashiCorp se nesnaží dělat všechno, jak Dadgar vysvětluje The Next Platform, ale spíše dělat základní věci dobře, které ostatní nemají, a pak se integrovat s dalšími dobrými nástroji, které jsou potřeba k vytvoření skutečné a úplné softwarové platformy.

Timothy Prickett Morgan: Hned na začátku jsme neodvedli dobrou práci při pokrytí vzestupu HashiCorp, a zejména nástroje pro zřizování Terraform, takže vám dlužíme omluvu. Ale za to, co to stojí, jsme věnovali pozornost. Zásobník, který jste postavili, je jedinečný a je tak úplný jako cokoliv jiného, ​​co kdokoli dal dohromady. Nyní je to zjevně platforma sama o sobě.

Můj pavoučí smysl se vypíná a dříve nebo později někdo velký bude chtít převzít kontrolu nad Terraformem. Divím se, že se to ještě nestalo, abych byl upřímný. Nechce někdo vyvážit Red Hat OpenShift a vybudovat velký byznys?

Armon Dadgar: Myslím, že chceme vybudovat velký podnik. [Smích]

TPM: Cisco Systems se může hodit a mají s vámi partnerství. Hewlett Packard a Dell nechtějí podnikat v oblasti softwaru, což ukazuje, že na určité úrovni modernímu IT podnikání nerozumí. Microsoft by se mohl hodit. Ale my chceme reprízu zúčtování OpenStack-Mesos-Kubernetes. Takže možná zásobník VMware versus zásobník IBM Red Hat OpenShift versus zásobník Cisco Hashi.

Je Terraform dnes de facto standardem pro poskytování infrastruktury v datových centrech?

Armon Dadgar: Myslím, že v tomto bodě je to „Ano“, ale je to víc než to.

Když jsme začínali, chtěli jsme vytvořit kompletní portfolio, které pokryje všechny tyto části. Myslím, že jsme měli záměr rozmístit všechny komponenty. V prvních několika letech našeho života, a skutečně od roku 2013 do roku 2016, jsme se neustále rozšiřovali, dokud jsme se nedostali na zásobník, jak je znám dnes. Poté jsme opravdu zařadili rychlost a soustředili jsme se na to, abychom z této věci udělali de facto standard a pak jsme nad tím vybudovali komerční byznys. Až do roku 2016 jsme se žádným smysluplným způsobem nezaměřovali na komercializaci.

Od té doby jsme měli tříbodovou strategii, která nás dostala tam, kde jsme dnes. Jedním z nich byla neúnavná open source evangelizace. Máme obrovský tým pro vztahy s vývojáři. Mitchell a já sami stále děláme spoustu vývojářských evangelizací a je důležité budovat lásku k vývojářům. Myslím, že druhý díl zapojil všechny naše technologické partnery a ekosystém kolem budování integrací Terraformu. Nyní máme více než sto technologických partnerů a Terraform má přes tisíc integrací. A třetí bod byl, když jsme se v roce 2016 začali zaměřovat komerčně, zaměřili jsme se na Global 2000 a začali jsme získávat majákové účty, jako když jsme srazili velkou banku.

TPM: Nemůžete říct „překlepat velkou banku“. To znamená, že jste to okradli!

Armon Dadgar: Dobře, ochotně nám dali peníze.

TPM: Ať už vám dali cokoli, mohou to pokrýt zvýšením našich bankovních poplatků.

Armon Dadgar: JP Morgan Chase je skvělým příkladem. Minulý rok nám udělili ocenění za inovaci, protože standardizovali, jak poskytují Terraform. A pak řeknou všem svým dodavatelům, jako jsou dodavatelé jako Cisco a NetApp a VMware, aby vytvořili integrace Terraform.

Byli jsme hnáni vzestupem komunity zdola nahoru, následovalo naklonění ekosystému k vytvoření síťového efektu a pak jsme srazili spoustu těchto zákazníků z Global 2000.

TPM: Kde jste dnes? Dejte nám nějaké metriky o tom, kde jste hokejkou? Jste na tom divném místě, kde pokaždé, když se otočíte, ve firmě pracuje 2x více lidí?

Armon Dadgar: Docela hodně. V loňském roce jsme měli kolem 800 zaměstnanců a to nyní tlačí až na 1400 zaměstnanců. Sám ztrácím přehled. Myslím, že skončíme rok na téměř 2 000 lidech v závislosti na tom, jak rychle budeme moci najímat. Jsme hodně severně od 1 000 platících podnikových zákazníků a máme téměř 250 z globálního žebříčku 2000. Máme tedy za sebou počáteční fázi, jakou jsme byli v roce 2016.

TPM: Zde se pro mě jakákoliv činnost stává zajímavou. Mám rád věci, když začínají a je v nich koncept a ambice. Je zábavné psát o projektech, jak se objevují a pak se mění ve společnosti, ale pak se to změní ve vánici bodových vydání a necháme chvíli uplynout, než se znovu podíváme na to, co se děje a jak trh přijímá jakoukoli technologii, kterou mají. vytvořené.

Armon Dadgar: V té střední fázi nevíte, jestli se potopí nebo plavou. Rád bych si myslel, že jsme za umyvadlem nebo plaváním.

TPM: Když jsme spustili The Next Platform, strávili jsme hodně času s CoreOS, protože jsme si mysleli, že to vypadá důležité, a to samé pro Mesos a OpenStack a několik dalších vyvíjejících se stacků Kubernetes.

Myslím, že lze s jistotou říci, že HashiCorp plave. Chci říct, že ještě nechodíte po vodě, ale víte, VMware už toho dlouho nebude schopen. VMware může přetrvávat po dlouhou dobu díky obrovské zákaznické základně 300 000 zákazníků a dlouhé historii používání vSphere. Z dlouhodobého hlediska však musí ceny VMware klesnout, aby mohly konkurovat stále lepším a lepším kontejnerovým platformám.

Armon Dadgar: Myslím na CA, což dokazuje, že můžete být nablízku ještě dlouho poté, co jste irelevantní. Pokles může být velmi pomalý, pozvolný.

TPM: A divné. Jak to sakra Computer Associates nakonec získal Broadcom?

Armon Dadgar: Sloučení dvou Titanic [Smích]

TPM: Nechoďme tam. [Smích]

Co tedy teď děláte? Pokračujte v tom, co už děláte? Roste jako blázen, vybral jste pořádnou sumu peněz. . . .

Armon Dadgar: Naše nedávné financování bylo financování série E v březnu 2020 za 175 milionů dolarů. Celkem jsme vybrali 349,2 milionů dolarů.

TPM: Když začnu vidět série F a série G, zastavím se s výjimkou zvláštních okolností. Série E je normální. Snažíte se vyjít na veřejnost? Víte, pravděpodobně existuje SPAC nebo dva, které jsou pro vás zoufalé. . . .

Armon Dadgar: [Smích] Náš finanční tým musí hodně mačkat delete, když prochází těmito věcmi. Ale vážně, Dave McJannet, náš generální ředitel, mluvil o vstupu na veřejnost. Vždy jsme měli na mysli, že naše příležitost je tak velká, že chceme vybudovat samostatný, nezávislý podnik.

Určitě je tu něco, co lze ovládat, a totální vlastnictví vašeho osudu – to jsou velmi cenné věci.

TPM: No, kluci z VC pravděpodobně chtějí vydělat hodně.

Armon Dadgar: To se vždy stane protiváhou. V určitém okamžiku chtějí svou likviditu. Jde tedy vždy o pečlivou rovnováhu. Zveřejňování pomáhá udržet zaměstnance i v průběhu času.

TPM: To znamená, že pokud se vám někdo nepokusí udělat nabídku, kterou nemůžete odmítnout, jako kdysi EMC s VMware. Google? Asi ne. Microsoft? Možná. Jsou nabyvatelé.

Armon Dadgar: Myslím, že v tomto ohledu stojí za to mluvit o cloudových vztazích. Hodnota, kterou HashiCorp přináší, je, že jsme tím neutrálním Švýcarskem. Nemáme připojení ke cloudu. Neprodáváme vám cloud. Náš vztah s mraky vždy popisuji takto: oni prodávají elektřinu, my prodáváme elektrické vedení. A myslím, že z pohledu zákazníka je to cenné, protože vědí, že budou mít vztah se všemi z nich a nechtějí být hluboce oddáni CloudFormation nebo cokoli, protože pak nemají žádnou skutečnou páku s veřejnými cloudy.

Takže si myslím, že vlastnictví HashiCorp hyperscaler by to porušilo. Najednou bychom opravdu nebyli neutrální. Je to téměř to, co se stalo s Red Hatem po akvizici IBM. . . .

TPM: A co se málem stalo s VMware, když ho Dell dostal do rukou.

Armon Dadgar: Ano, přesně tak. Ale s tímto trhem byli lidé tak daleko na cestě VMware, že nezáleželo na tom, že je Dell vlastní.

TPM: Jste v tuto chvíli tím pravým a jediným Švýcarskem, pokud jde o platformy? Doufal jsem v Mesos a OpenStack a čekal jsem, až se objeví Kubernetes stack. Myslel jsem si, že by se to mohlo nějak zajímavě slepit, ale Borgovi to tak říkajíc neslušelo.

Armon Dadgar: [Smích] Myslím, že Red Hat mohl mít nejlepší šanci před IBM, protože stále nebyl spojen s cloudem a měl CoreOS a jeho implementaci Kubernetes. Ale protože jsou součástí IBM, mají efekt Blue Wash a myslím si, že zákazníci pohlížejí na Red Hat, jako by nebyli ve skutečnosti neutrální.

TPM: S vydáním Terraform 1.0 jste připraveni nasadit, dokončit a vyleštit? Je tato věc připravena na hlavní vysílací čas, připravena na podnikání? To obvykle znamená 1.0.

Armon Dadgar: HashiCorp byl historicky nejkonzervativnějším dodavatelem toho, co nazýváme 1.0. A myslím, že si z toho děláme legraci, protože jako většina společností IPO dříve, než zvážíme produkt 1.0. Podívejte se na rozsah Terraformu. To ani nedává smysl – máme hodně přes 100 milionů stažení, tisíc integrací poskytovatelů a hodně přes tisíc podnikových zákazníků a teprve teď tomu říkáme produkt 1.0? Laťka, kterou jsme nastavili, je velmi, velmi vysoká.

TPM: Nikdy jsem o tom neslyšel. V tuto chvíli je to téměř starší software. Je to jako vaše vydání 4.0.

Armon Dadgar: V komunitě žertujeme, že jsme byli mimo desetinné místo a toto je skutečně vydání 10.0. [Smích]

Podívejte se na všechny naše produkty. Nikdo z nich to neudělal za méně než pět let. Náš názor je tento: Dokud nebudou produkty široce nasazeny s časem zpevnění výroby, nemělo by jít o vydání 1.0. Některé z těchto projektů, které vidíme, vycházejí z Linux Foundation, je to jako první odevzdání kódu a poslední odevzdání kódu před pěti minutami a projekt je verze 6.0. Jak to může být na 6.0? V produkci to žádný uživatel nespouští a vy tomu říkáte 6.0? Dej mi pokoj.

TPM: Jak složitý je tento zásobník? Je to tak složité jako OpenStack, tak velké jako OpenStack. Jak víte, OpenStack tam měl všechno kromě mixéru a kuchyňského dřezu. . . .

Armon Dadgar: [Smích] Prosím, nespojujte nás s OpenStackem. . . .

TPM: Dobře, dobře, snažím se získat srovnání. Použijme tedy operační systém Linux nebo Windows, který má desítky milionů řádků kódu v závislosti na tom, jak to počítáte a řežete.

Armon Dadgar: Zásobník Hashi je určitě miliony řádků kódu.

Důležitější je to, co nazýváme Tao HashiCorp, náš étos designu. A myslím, že klíčová část tohoto étosu designu byla jako filozofie Unixu: Chceme, aby každý nástroj byl jednoduchý, zaměřený na jedinou věc, ale pak je uděláme složitelnými. Mohli bychom vybudovat platformu Hashi, která by mohla být monolitickou hrou OpenStack, ale chceme být velmi vědomí a dělat přesný opak.

Každý z těchto nástrojů bude dělat jednu věc a bude ji dělat opravdu dobře – a poté bude komponovat s ostatními. Když se tedy podívám na Terraform. stále se velmi, velmi zaměřuje pouze na poskytování. Dejte mi infrastrukturu jako kódovou definici toho, jak chcete, aby to vypadalo, Terraform zjistí, jak se tam dostat – a udělá provizní a životní cyklus, ale tam to skončí. Nebude provádět správu obrázků. Neprovádí záplatování. Neprovádí nasazení aplikace. Pokud chcete nástroj pro správu obrázků, máme Packer. Chcete zjišťování služeb a automatizaci sítě, máme Consul. Máte nasazenou aplikaci? Použijte Kubernetes nebo Nomad. Nechtěli jsme efekt OpenStack, že jde o monolitickou kódovou základnu velkého třesku – vše dovnitř nebo úplně ven. Tito jsou velmi úzce zaměřeni, dělají jednu věc a dělají to elegantně, než aby se snažili vařit oceán.

Existují čtyři vrstvy, na kterých nám záleží: poskytování, zabezpečení, sítě a nasazení aplikací. A existují vrstvy, o kterých si myslíme, že jiní lidé dělají opravdu dobře, jako je pozorovatelnost a telemetrie. Jdi použít DataDog nebo Splunk nebo cokoli jiného. A také nejsme ve světě předprodukce. Takže je skvělé, pojďme sestavit velmi těsně s GitHub a GitLab a Artifactory a prodejci CI/CD.

TPM: V hypervizoru se nepletete. Nepletete se do správy firmwaru pro servery. Nepletete se do konfigurace přepínačů ani do něčeho podobného.

Armon Dadgar: Nebo dokonce správa konfigurace. Úzce se integrujeme s Ansible, Chef a Puppet. Pro zřizování použijte Terraform a poté se s nimi těsně integrujte. Hluboce se integrujeme s Kubernetes napříč zásobníkem, ale máme naši alternativu Nomad, což je náš kontejner a plánovač aplikací.

TPM: Je Nomad lepší než Kubernetes?

Armon Dadgar: Řekl bych: „Ano“, ale zjevně jsem zaujatý.

TPM: Předpokládám, že tomu věříte, jinak byste se tím neobtěžovali. Co tedy děláte s Nomad, který je lepší než Kubernetes?

Armon Dadgar: Pro mě jde o tři opravdu jednoduché věci. Jedním z nich je jen elegance zážitku. Kubernetes je OpenStack 2.0. Je to stejně složité. Je to stejně řízené prodejcem. Je to stejně jako nadace vedená.

TPM: Je sedm z devíti. . . . Nebo Šest z jednoho a půl tuctu jiného.

Armon Dadgar: Je to kůň navržený výborem.

Také mi připadá tak nečestné, jak mluví o Kubernetes. Je to nástupce Borga a Google si z něj vzal vše, co se naučili. Pokud je to pravda, proč tedy všechno stále běží na Borgu v Googlu?

TPM: Google si musel některé dobré věci ponechat.

Armon Dadgar: Pomiňme použitelnost Kubernetes, což je nepořádek. Promluvme si o jeho skutečné provozní škálovatelnosti. Je to také vtip. Borg běží na 10 milionech uzlů, Kubernetes padá, pokud jich máte pár stovek. A v jakém smyslu se tedy Google naučil od Borga, když Kubernetes měří pouze na 1/1000 toho, co dělá Borg?

Pouze před několika týdny jsme zveřejnili srovnání dvou milionů kontejnerů, které jsme provedli ve spolupráci s Amazon Web Services. Měli jsme 100 000 jader CPU a 10 000 uzlů a nasadili jsme na to dva miliony kontejnerů. V roce 2017 jsme toho udělali milion kontejnerových verzí.

Nomad skutečně funguje ve velikosti a měřítku, ve skutečnosti je založen na dokumentech Borg a Omega od společnosti Google. Naše je ve skutečnosti skutečná implementace Borgů na rozdíl od implementace Borgů. A uživatelská zkušenost je mnohem jednodušší a elegantnější.

TPM: Jaký je blbeček ekvivalentní spadnutí mikrofonu? Test notebooku pádem? Ať je to cokoliv, byl to jeden z nich.