BigQuery. Cesta k moderní analýze dat
Ocado: velké výsledky díky velkým datům
Největší světový, výhradně síťový prodejce produktů Ocado zlepšuje provozní efektivitu a péči o zákazníky pomocí strojového učení vylepšeného cloudovou platformou Google.
Výsledky Google Cloud a ML
- Až 4x rychlejší odezva na naléhavé e-mailové zprávy klienta
- Zvýšení efektivity kontaktních center o 7 %, což umožňuje zastupitelským kancelářím využít více času pro úkoly s vysokou prioritou
- Poskytujte přehledy 80krát rychleji a až o 33 % levněji než při použití starého datového skladu Ocado
- Snižte náklady na IT díky škálovatelnosti a flexibilitě.
Podle společnosti pro výzkum trhu Mintel ve Velké Británii se očekává, že popularita on-line prodeje potravin vzroste z 6% moderního trhu na 9% v roce 2021. Jedním z průkopníků výhradně on-line prodeje potravin je Společnost Ocado se sídlem v Hatfieldu, Hertfordshire, Spojené království. Od zahájení komerčních dodávek v roce 2002 se společnost rozrostla na 600 000 aktivních kupujících, 260 000 týdenních objednávek a 1,39 miliardy liber ročních příjmů.
Ocado posílá supermarkety do důchodu a poskytuje zákazníkům příležitost nakupovat věci on-line pomocí svých obvyklých webových a mobilních aplikací. Věci jsou shromažďovány a baleny v automatizovaných skladech a odeslány přímo zákazníkovi do jedné hodiny od okamžiku výběru. Dodávka společnosti Ocado je z 95% přesná a její servisní otisk leží na více než 70% populace Spojeného království.
“Cloudová platforma společnosti Google nám dává flexibilitu a schopnost řešit velké a složité datové výzvy, které jsou pro naše podnikání jedinečné.”
Paul Clark, technologický ředitel, Ocado
Společnost dosáhla svého úspěchu vytvořením téměř všech technologií interně a prováděním automatizace, což posiluje celý cyklus e-commerce, provádění práce a logistické platformy. Společnost Ocado také vyvinula novou platformu – Ocado Smart Platform (OSP), která nabízí velkým maloobchodníkům po celém světě přístup ke špičkovým on-line řešením prodeje produktů.
Demokratizace strojového učení
Cestování za účelem online maloobchodních nákupů potravin se výrazně liší od ostatních druhů elektronického podnikání. Zákazníci často nakupují desítky produktů najednou a jednotlivé domácnosti mohou mít více nakupujících pomocí více zařízení a životnost regálu s potravinami může být několik dní.
“Často říkáme, že vybudováním platformy s plným cyklem, která může on-line prodej produktů učinit rozsáhlým a ziskovým, můžeme vytvořit další formy on-line maloobchodu; ale opak nemusí být nutně pravdou,” říká Paul Clark, technologický ředitel společnosti Ocado. “Cloudová platforma společnosti Google nám dává flexibilitu a schopnost řešit velké a složité datové výzvy, které jsou pro naše podnikání jedinečné.”
Obchodní model společnosti Ocado využívá posunu preferencí spotřebitelů a vytváří spojení mezi digitální technologií a nákupním zážitkem.
“Machine Learning Engine Google Cloud nám poskytuje flexibilitu, kterou potřebujeme. Naši vývojáři jsou schopni používat TensorFlow a vidět z první ruky výhody strojového učení v cloudu.”Paul Clark, technologický ředitel, Ocado
Společnost zabudovává strojové učení do svých systémů již více než pět let. Až donedávna vyžadovaly aplikace strojového učení společnosti Ocado specialisty na datovou vědu, často s Ph.D. ve strojovém učení, aby tato řešení vytvořili od nuly. Specialisté na konfiguraci systémů a nákladnou místní infrastrukturu byli také povinni trénovat a používat tyto systémy.
Spolupráce s Googlem jako soukromou platformou pro alfa testování Machine Learning Engine cloudu Google však urychlila jejich adaptaci na umělou inteligenci.
“Už nějakou dobu se díváme na to, jak by cloud mohl demokratizovat umělou inteligenci,” říká Paul. “Modul strojového učení Google Cloud nám poskytuje flexibilitu, kterou potřebujeme. Naši vývojáři jsou schopni používat TensorFlow a vidět z první ruky výhody strojového učení v cloudu.”
TensorFlow je otevřená knihovna strojového učení vyvinutá týmem Google Brain. Vývojáři, inženýři a specialisté na datové vědy ocado teď používají TensorFlow pro mnoho svých projektů strojového učení. Nasazují modely vytvořené pomocí modulu Machine Learning Engine společnosti Google, který jim umožňuje rychleji je trénovat na serverech, osobních počítačích a mobilních zařízeních prostřednictvím jediného rozhraní API (Application Programming Interface). Stroj strojového učení Google Cloud se navíc jednoduše integruje s dalšími produkty cloudové platformy Google, které jsou v Ocado široce používány.
Co kupující opravdu chtějí?
První z modelů strojového učení založených na TensorFlow vytvořených v Ocado byl systém strojového učení, který tokenizoval a katalogizoval e-mailové zprávy a upřednostňoval odpovědi na ně. Kontaktní centrum dostává každý den tisíce e-mailových zpráv a Ocado chtěl automatizovat proces určování, které z nich potřebují okamžitou odpověď a které mohou počkat. Například první kupující, který vyjádří svou touhu používat Ocado, nepotřebuje odpověď tak naléhavě jako kupující, který ztratí produkt z objednávky nebo který nebude v době dodání doma.
“Použití agentů odpovědí namísto třídění méně naléhavých e-mailových zpráv zlepšuje exkluzivitu a vlastní službu Ocado.”
James Donkin, generální ředitel společnosti Ocado
“Dostáváme spoustu e-mailů od zákazníků, kteří říkají: ‘Vaše služba je skvělá’, nebo ‘Kurýr byl velmi zdvořilý’,” říká James Donkin, generální ředitel společnosti Ocado. Pokud však věci, jako je počasí nebo doprava, mohou potenciálně ovlivnit lodní dopravu, často dostáváme špičku v naléhavých záležitostech. Použití agentů odpovědí namísto třídění méně naléhavých e-mailových zpráv zlepšuje exkluzivitu a vlastní službu Ocado. “
Pomocí modulů Strojového učení společnosti Google, Tensorflow a velkých datových sad shromážděných v průběhu let ruční kategorizace e-mailových zpráv klientů experimentoval Ocado s druhy architektur neuronových sítí, které by nejlépe upřednostňovaly e-mailové zprávy. Po otestování svých modelů Ocado implementoval nejproduktivnější z nich a byl schopen reagovat na naléhavé zprávy čtyřikrát rychleji. Společnost také zjistila, že 7% jejích e-mailových zpráv nemusí být vůbec zodpovězeno, což poskytuje zástupcům kontaktních center příležitost věnovat více času zprávám s vysokou prioritou
“Bez Machine Learning Engine od Googlu by bylo mnohem těžší uspět v projektu, jako je klasifikace e-mailů,” říká Roland Plazowski, který donedávna řídil několik velkých datových projektů a iniciativ ve společnosti Ocado. “I kdybychom do infrastruktury investovali hodně, bylo by stále obtížné ji zvládnout kvůli výpočetní náročnosti. Je obtížné a nákladné spouštět projekty strojového učení, aniž byste měli infrastrukturu, kterou byste mohli snadno škálovat.”
Ocado také využívá strojové učení k předvídání chování uživatelů a zlepšování prostředí. Analýzou údajů o objednávkách umožňuje Ocado nakupování co nejpohodlnější. Objednávkové systémy mohou například předem naplnit nákupní košíky nakupujících produkty, které si s největší pravděpodobností koupí; připomínat zákazníkům věci, na které by mohli zapomenout, a informovat je o složitých nabídkách během nákupního procesu, například nákup jednoho produktu, druhý je zdarma. Na základě strojového učení z dat z předchozích nákupů může systém Ocado také navrhnout nové produkty, které s největší pravděpodobností osloví kupujícího.
“Pravidelně uvidíte produkty, které jsou pro vás nejvhodnější, namísto věcí, které jsou nabízeny obecnějším způsobem,” říká James. “Jsem vegetarián, a proto mám nabídky slev na vegetariánské produkty, které obvykle kupuji, a na nové, které jsem nikdy předtím nekoupil. A poslední věc, kterou chci udělat, je vidět věci, které mě nezajímají.”
Stroje a strojové učení
V oblasti internetu věcí (IoT) hledá společnost Ocado příležitost ke zlepšení svých skladových robotů pomocí strojového učení. Nedílnou součástí OSP jsou tisíce robotů nepřetržitě přenášejících data do úložiště cloudu Google a Google BigQuery.
Ocado využívá strojové učení k vytvoření jakési inteligence hejna, která by umožnila skladovým robotům spolupracovat na dosažení společného cíle. Projekty zahrnují modely pro vyhledávání telemetrických dat robotů, například zda akumulátor pracuje ve standardních tolerancích nebo zda byl firmware úspěšně načten, a pro optimalizaci plánů nebo detekci vzorů opotřebení.
“Další otázka, na kterou se díváme, je, jak zabudovat strojové učení přímo do robotů, aby se stali chytřejšími, pokud jde o sebetestování, zpracování výjimek a zotavení po havárii,” říká Paul. “Jedná se o komplexní kombinaci IoT, analýzy dat a strojového učení, pro kterou doufáme, že Google BigQuery a Google cloud machine learning jsou nejvhodnější.”
“Staré databáze nebyly dostatečně rychlé. Potřebujeme řešení, které se dá škálovat s množstvím dat, která generujeme, a pochopit, jak je můžeme použít. Cloudové úložiště Google a BigQuery společnosti Google jsou nyní páteří, pokud jde o data, pro platformu Ocado Smart Platform.”
Paul Clark, technologický ředitel, Ocado
Škálování pro nové firmy
Škálovatelnost je také hlavním důvodem mezi některými iniciativami společnosti Ocado, včetně migrace všech místních dat do cloudu. Ocado chtěl zlepšit uživatelskou zkušenost, posílit obchodní týmy s lepším porozuměním a snížit náklady na IT, a proto se konsolidoval v cloudové platformě Google.
“Staré databáze nebyly dostatečně rychlé,” říká Paul, “Potřebujeme řešení, které se dá škálovat s množstvím dat, která generujeme, a pochopit, jak je můžeme použít. Cloudové úložiště Google a BigQuery společnosti Google jsou nyní páteří, pokud jde o data, pro platformu Ocado Smart Platform.”
Ocado odhaduje své obchodní, produktové a transakční údaje na přibližně dva petabajty. Kombinace dat z nákupních a dodavatelských řetězců pomáhá jak operacím společnosti Ocado, tak ambicím společnosti při komercializaci OSP.
“Ve srovnání s jinými příležitostmi pro mezinárodní expanzi nám prodej OSP jako řízené služby umožňuje získat společnosti, které by mohly být konkurenty,” říká Paul. “Chceme vytvořit OSP a poté jej nabídnout kupujícím v různých obchodních segmentech.”
Pokaždé, když Ocado přidá do OSP nového hostingového klienta, spustí novou přizpůsobitelnou instanci, která splní potřeby zákazníka. Možnosti a produktivita každé nové instance OSP by měly být rychle škálovatelné jako back-endová platforma pro zavedené maloobchodníky s velkou sadou produktů, kupujících a transakcí.
První kupující společnosti Ocado, Morrisons, již z tohoto rozhodnutí těžil. Morrison je jedním ze čtyř největších supermarketů ve Velké Británii a využívá OSP k posílení svého online maloobchodního podnikání. Pomocí cloudové platformy Google ocado ukládal, zpracovával a analyzoval terabajty dat Morrison pomocí vyhrazených datových polí a Google BigQuery.
Kromě využití cloudové platformy Google pro OSP společnost Ocado také přizpůsobila své operace on-line maloobchodu s potravinami. Ocado byl průkopníkem opensourcových architektur Apache Spark a Apache Hadoop na Google Compute Engine pro svou datovou platformu. Přechod na Google BigQuery osvobozuje obchodní analytiky ocado od složitých úprav dotazů a pracovních postupů spojených se Sparkem a Hadoopem. Navíc umožňuje společnosti Ocado distribuovat analytiky napříč daty mezi dodavatele a partnery.
Google BigQuery se velmi dobře integruje s TensorFlow na Google Cloud Machine Learning Engine a Google Cloud Dataproc, Apache Spark a Apache Hadoop, což umožňuje ocado používat open source nástroje pro: dávkové zpracování, dotazování, zpracování streamů a strojové učení. Google Cloud Dataflow a Google Cloud Dataproc poskytují správu clusterů a poskytují snadno použitelný rámec, takže vývojáři mohou trávit méně času a peněz na správu a více času na poskytování důležitých obchodních věcí.
Přechod z Hadoopu na Google BigQuery ukázal řadu vylepšení ceny a výkonu. Například Ocado už nemusí rozhodovat o počtu instancí pro připojení ke clusteru a čekat na jejich spuštění. Google ovládá vše.
“Právě jsme spustili naše požadavky a zaplatili za zdroje, které jsme použili,” dodal Roland. “Jednou z velkých výher s Google BigQuery je nedostatek potřeby přizpůsobení. Nejlepší věc, kterou jsme viděli, je, že Google BigQuery překonává náš cluster Hadoop o faktor 80 na největší datové sadě za pouhé dvě třetiny nákladů. ”