简丽荣 - 云端数据仓库HashData的设计与实现

2020-02-27 53浏览

  • 1.HashDataጱᦡᦇӨਫሿ ᓌԇឍ҅HashData
  • 2.౯ժฎ᧡ • ኧApache HAWQҁᶾ‫ض‬ጱSQL-on-Hadoopᥴ٬ොໜ҂‫ڠ‬ত ࢫᴚԭ2016ଙ‫ڡ‬౮ᒈ̶ • ӫဳԭSQL-on-Cloudԯᒒහഝՙପ๐‫҅ۓ‬໐ஞࢫᴚኧ๶ᛔ Pivotal҅Teradata҅IBM҅Yahoo!ᒵ‫ݪل‬ᩒႮጱ‫૲ړ‬ୗහഝ ପ̵ԯᦇᓒ޾Hadoopӫਹᕟ౮̶ • 10+ާૡ҅य़᮱‫ړ‬᮷ฎᎸ‫ݎ‬ૡᑕ૵ҁ౯ժྋࣁ೗Ոࡂӗ҂̶
  • 3.౯ժጱԾߝ • HashDataහഝՙପ • ਠ‫ق‬ಓᓕጱPBᕆහഝՙପ๐‫ۓ‬ • හഝ‫ړ‬ຉള‫ݗ‬100%ّ਻PostgreSQL޾Greenplum Database • ԯܻኞ • ᦇᓒ޾ਂ‫ړؙ‬ᐶ • ੒᨝ਂ‫ؙ֢‬ԅහഝ೮ԋ੶ • ‫ز‬හഝ๐‫ۓ‬ғࣁᕚ‫܋‬ᕆ޾ಘ਻ • Ӟᛘ௔hashጱහഝ‫૲ړ‬ᒽኼғᑁᕆಘ਻
  • 4.ܲ‫ࢧݥ‬ᶶ PostgreSQL Cloud Data Warehouse य़ᥢཛྷଚᤈ॒ቘ ֗୊᬴ ᬪԒ෫ᴴጱଚ‫޾ݎ‬ಘ઀ ᓕቘ̵ᦇᓒ޾හഝӣᘏ ‫ړ‬ᐶ҅ᩒრӸ໒ᵍᐶ Greenplum Database ᫾ ᦇ ṛ ᓒ ጱ ଚ ‫ݎ‬ ̵ ਂ ޾ ‫ؙ‬ ಘ ‫ړ‬ ઀ ᐶ Apache HAWQ
  • 5.ԯᦇᓒ • ෛጱᦇᓒଘ‫ݣ‬ • ෛጱ඙֢ᔮᕹ • ग़ᖌଶ୨௔ • ‫پ‬Ԓ෫ᴴጱ‫ݢ‬ಘ઀௔ • SaaSጱԻ՞ཛྷୗ • ෛጱහഝଘ‫ݣ‬
  • 6.ԯ޾හഝՙପ • ‫ݢ‬ᤈ‫ހ‬Ҙ • ୮ᆐѺ౯ժ಩Greenplum Database᮱ᗟ‫ک‬ᴨ᯾ԯӤᶎ̶ • ਙᚆஉঅࣈૡ֢‫ހ‬Ҙ • ۖா֐ᖽҘ • ṛ‫ݢ‬አҘ • ฃአ௔Ҙ • ‫ݢ‬ಘ઀௔Ҙ
  • 7.ԯ޾හഝՙପ SQL Ԇᜓᅩ ՗Ԇᜓᅩ ᦇᓒᜓᅩ1 ᦇᓒᜓᅩ2 ᦇᓒᜓᅩ3 ᦇᓒᜓᅩN
  • 8.ᔲᘠ‫ݳ‬ጱܻᗜ • ਠ‫ق‬෫‫و‬ՁMPPຝ຅ਖ਼ᦇᓒ޾ਂ‫ؙ‬ᔲᘠ‫̶ݳ‬ • ग़ᖌଶ୨௔Ҙ • ी‫ᜓڢ‬ᅩጱ෸‫ײ‬ᵱᥝ੒හഝᬰᤈ᯿‫૲ړ‬ • ᔮᕹ‫ݢ‬አ௔ӧṛ҅ಘ઀௔ӧঅ • ᩒრၵᩇ҅ᬲᙧpay-as-you-goጱܻ‫ڞ‬ • உᵙᬰᤈྋᏟጱᩒრᯈᗝ • ᵞᗭٖᩒრᓕቘᶋଉ॔๥ • ‫ݶ‬຅ጱᩒრ vs. ୑຅ጱૡ֢ᨮ᫹ • ETL҅᪒ಢኞ౮ಸᤒ҅റᔱ௔‫ܨ‬ଅັᧃ
  • 9.හഝՙପ๐‫ۓ‬ • ग़ᖌଶ୨௔ • ṛଚ‫ݎ‬ • ‫پ‬Ԓ෫ᴴጱᦇᓒ޾ਂ‫ؙ‬ᚆ‫ێ‬ • ᑁᕆጱी‫ᜓڢ‬ᅩ • ᕹӞጱහഝਂ‫॒޾ؙ‬ቘଘ‫ݣ‬ • ᕮ຅۸̵܎ᕮ຅۸޾ᶋᕮ຅۸හഝ • ᭿‫ع‬හഝ਋છ • ፥ྋጱ๐‫ۓ‬ • አಁ‫ݝ‬ᵱ‫ى‬ஞ‫ے‬᫹හഝ̵‫ړ‬ຉහഝ • चᏐᦡෞᓕቘ̵௔ᚆ᧣ս̵ṛ‫ݢ‬አᒵԻᕳහഝՙପ๜᫝
  • 10.HashDataຝ຅ JDBC/ODBC/libpq හഝՙପ๐‫ۓ‬ ᬳളᦊᦤ&ദ๦ ᔮᕹᤒ๐‫ۓ‬ ᥴຉ࢏ चᏐᦡෞᓕቘ ᩒრᓕቘ ‫૲ړ‬ୗԪ‫ۓ‬ ս۸࢏ ਞ‫ق‬ DW-1 ᖨਂ DW-2 ᖨਂ DW-3 ᖨਂ AWS DW-4 ᖨਂ DW-5 ᖨਂ Azure DW-6 ᖨਂ DW-7 ᖨਂ DW-8 ᖨਂ Ali
  • 11.හഝਂ‫੶ؙ‬ • ਂ‫ؙ‬ᤒහഝ޾ັᧃᕮຎ • ੒᨝ਂ‫ؙ‬ • AWS S3҅ᶆԯQingStor҅ᴨ᯾ԯOSSᒵᒵ • ൉‫׀‬Restfulᦢᳯള‫ݗ‬ • ṛ‫ݢ‬አ௔҅ṛ೮ԋ௔ • ೲᵱ՞ᩇ • ௔ᚆጱᨮᶎ୽ߥ • ፗളᦢᳯ2ӗ3‫׭‬ጱ௔ᚆӥᴳҁ᭗ᬦ๜ࣈᖨਂ๶ᴳ֗௔ᚆధᗖ҂ • Ӟ෮ٟ‫ف‬ӧ‫ݢ‬ๅදҁᔜওᦡᦇහഝପी‫ڢ‬දັ඙֢҂ • හഝਂ‫ؙ‬໒ୗ޾ᦢᳯොୗᵱᥝԅବӥጱ੒᨝ਂ‫ؙ‬๐‫ۓ‬ս۸
  • 12.‫ز‬හഝ๐‫ۓ‬ • ֵአK-Vහഝପ֢ԅ‫ز‬හഝਂ‫੶ؙ‬ • ෈կ‫ک‬ᤒጱฉ੘‫ى‬ᔮ • ᤒጱᕹᦇ‫௳מ‬ҁᕳս۸࢏ֵአ҂̵ᲁᤒ̵ WAL෭பᒵ • ԯ๐‫ۓ‬ • ᦢᳯഴ‫ᧃັ̵ګ‬ս۸࢏̵‫૲ړ‬ୗԪ‫̵ۓ‬ᲁᓕ ቘ • ຽ‫ᦢٵ‬ᳯള‫୵ࢶ҅ݗ‬۸ᓕቘኴᶎ޾޸եᤈᓕ ቘૡٍ
  • 13.ᦇᓒᩒრ • ԯଘ‫ݣ‬൉‫׀‬ጱᡦ೙๢ • ᕍᔙጱᦇᓒᩒრ • ೲᵱ‫ڠ‬ୌ̵‫ڢ‬ᴻ޾ᕒ‫֐ݻ‬ᖽ • ग़‫ݣ‬ᡦ೙๢ᕟ౮Ӟӻහഝՙପᵞᗭ • ਠ‫ق‬ጱ௔ᚆᵍᐶ • አಁӧ᪒ັᧃጱ෸‫ݢײ‬զਖ਼ಅํጱᡦ೙๢‫ى‬ധ • ྯ‫ݣ‬ᡦ೙๢ํ๜ࣈጱᖨਂᬰᑕ • ‫ݶ‬Ӟӻහഝՙପᵞᗭಅํᜓᅩጱ๜ࣈᖨਂᬰᑕᕟ౮‫૲ړ‬ୗጱᖨਂᵞᗭ
  • 14.ग़ᵞᗭ൉‫׀‬ṛଚ‫ݎ‬ හഝՙପ๐‫ۓ‬ ᬳളᦊᦤ&ദ๦ ᔮᕹᤒ๐‫ۓ‬ ᥴຉ࢏ चᏐᦡෞᓕቘ ᩒრᓕቘ ‫૲ړ‬ୗԪ‫ۓ‬ ս۸࢏ ਞ‫ق‬ ᨮ᫹࣐ᤍ VDW-1 VDW-2 VDW-3 ᖨਂ ᖨਂ ᖨਂ
  • 15.ग़ᵞᗭଫ੒୑຅ᨮ᫹ හഝՙପ๐‫ۓ‬ ᬳളᦊᦤ&ദ๦ ᔮᕹᤒ๐‫ۓ‬ ᥴຉ࢏ चᏐᦡෞᓕቘ ᩒრᓕቘ ‫૲ړ‬ୗԪ‫ۓ‬ ս۸࢏ ਞ‫ق‬ DW-1ҁ᪒ಢಸᤒ҂ ᖨਂ DW-2ҁറᔱັᧃ҂ ᖨਂ DW-3ҁETL҂ ᖨਂ
  • 16.හഝ‫૲ړ‬ᒽኼ҆҆ߢ૶‫ݐ‬ཛྷ
  • 17.හഝ‫૲ړ‬ᒽኼ҆҆Ӟᛘ௔ߢ૶ ҁ1҂ ҁ3҂ ҁ2҂ ҁ4҂
  • 18.ᑁᕆಘ਻ හഝՙପᵞᗭ ᜓᅩ1 ᜓᅩ2 ᜓᅩ3 DR1 DR2 DR3 DR4 DR5 DR6 ᖨਂ
  • 19.ٌਙ‫ۑ‬ᚆᇙ௔ • DBA? NO!! • ೲᵱ‫ۖސ‬හഝՙପᵞᗭ҅ӧᥝDBAጱՕ‫ف‬ • ࣁᕚ‫܋‬ᕆ޾ಘᖽ਻ • ᇿᒈጱ‫ز‬හഝ๐‫ۓ‬ • ෸ᳵ෢ᤈ • ੒᨝ਂ‫ؙ‬๐‫ۓ‬൉‫پ׀‬Ԓ෫ᴴጱਂ‫਻ؙ‬ᰁ • හഝग़ᇇ๜ഴ‫ګ‬ • ಲ୒փᕹጱᩒრᴚ‫ڜ‬ • ໑ഝӧ‫ݶ‬ጱૡ֢ᨮ᫹‫ۖސ‬ӧ‫ݶ‬ᯈᗝጱᵞᗭ • ᕹӞጱහഝଘ‫ݣ‬ • ୏‫̵ݎ‬ၥᦶ޾ኞԾሾहᚆड़ਠ‫ق‬Ӟᛘ
  • 20.௛ᕮ • හഝՙପ૪ྒҘ • හഝՙପᵱᥝጱӧฎᭅ‫ݥܲڊ‬ᛩ‫҅ݣ‬ᘒฎ໑๜௔ጱද‫̶ݒ‬ • ‫ز‬හഝ̵ᦇᓒ޾ਂ‫ؙ‬ӣᘏ‫ړ‬ᐶฎ‫ى‬Ძ • ग़ᖌଶ୨௔ • ᭿‫ع‬හഝ਋છ • pay-as-you-goጱࠟӱཛྷୗ • ੒᨝ਂ‫ؙ‬ਖ਼๊դHDFS • ṛ‫ݢ‬አ • ṛଚ‫ݎ‬ • ಘ઀௔
  • 21.www.hashdata.cn We’re Hiring!