AS深圳2017《美团点评数据平台融合实战》－谢语宸

2020-03-01 190浏览

  • 1.k b @ArchSummit 2017-07
  • 2.
  • 3.
  • 4.d • • Hadoop • • SQL
  • 5.Eat better, Live better
  • 6.l 15 10 / • , : APP ,1+1>2 • • - • - , / / / , , : • • • , , UGC,
  • 7.K i : App : - • , • — • — • — sql/udf • , , , , — • — • : :“ , …”
  • 8.H
  • 9.H
  • 10.
  • 11.r 0 • • 9 • 10 , , • • • 22 “ , : , , : ... ” —1 , —4
  • 12.: • , • , , 50% , 50% ( ) 500+ 11P 120T ( ) 3000+ 75P 800T
  • 13.k : • , • , , , • , ( ) 7000+ 28 100+ 400+ ( ) 14000+ 50+ 240+ 900+
  • 14.• , • • • , , , • • • • • ,
  • 15.• , • • • , , , • • • • • ,
  • 16.: ,
  • 17.B • Hadoop DistCP, • • • • • • • • • “ ” , :
  • 18.,2 ,2 • KDC • Client, Server • • Client, Server
  • 19.,2 ,2 , • • client • KDC, ticket , • client Service ticket KDC ticket KDC, Service Service ticket
  • 20.,2 ,2 • KDC principal, krbtgt/A@B, krbtgt/B@A , • • krb5.conf • realm KDC A realm principal • hadoop client (kinit), , kvno hadoop • * service principal RPC Server • B realm server principal dfs.namenode.kerberos.principal.pattern yarn.resourcemanager.principal.pattern • domain_realm hadoop.security.auth_to_local -Dsun.security.krb5.debug log, hadoop realm
  • 21.• , • • • , , , • • • • • ,
  • 22.H
  • 23.k o RD • , • , , , • • 7000+ • • 1-4 , 10 , , , 1-2 , • • , , 3-5
  • 24., • • , • , , , , , , , ,
  • 25.• — Hadoop • — • — • — Block / • • • , 2 / , :
  • 26.& JDK 1.7.0_76 1.6.0_43 Hadoop 2.7.1 2.4.1 HDFS Arch. HA using QJM, Federation Hive 0.13, 1.2 0.11 Kerberos keytab keytab, token, password Agent, Kafka, camus …… Patch …… , BlackHole ……. Review Patch
  • 27.
  • 28.a
  • 29.— Block — : Hadoop • Hadoop • • 2
  • 30.& • Hadoop , “ • • 120T, • , • • : 30 10G << 1ms, ,split 30ms NN 30 + ”
  • 31.& : DN • • NN , , , pipeline “zone” , NN , pipeline client • Application • YARN “zone” , , NM , • • • • : Balancer , DN Block
  • 32.
  • 33.& • • , , / , • • Rpc NN • • • • • EditLog FSImage + StandbyNN 4
  • 34.cv • NameNode Federation clusterID, • mount table • Hive • mysqldb , & • • • • KDC Master , KDC NN, DN, RM, NM , ,
  • 35.• , • • • , , , • • • • • ,
  • 36.- , , Hive - ,
  • 37.: insert into bi.table_a select x, y, z from bi.table_b join bi.table_c on *** where *** group by *** insert into mart_xxx.table_a select x, y, z from mart_yyy.table_b join mart_zzz.table_c on *** where *** group by ***
  • 38.• 8000 , …
  • 39.• 8000 , , , , ,
  • 40.
  • 41.
  • 42.Hive ,
  • 43.&- , e , • • Hive , • , • Hive , HDFS • HDFS&Hive , “ 7000 90% ” ” ”
  • 44.s
  • 45.p , • Hadoop • - , - • - • / • • yarn • • NameNode block , • , • • : Cache ,
  • 46.: • RPC • , • “ •“ ”: ( , ( ) ”, “ “ • • • • • • • / ” • • • ) ” , “ ” : “ , , ”
  • 47., • “ • ”, , (“ • • -> -> -> • • : • : / -> -> / -> -> ”)
  • 48.
  • 49.
  • 50.