该答题目录下的试题请考生四选二作答 在Click-throu...

Question

该答题目录下的试题请考生四选二作答

在Click-through rate（CTR）场景中，需要对召回引擎检索出的特征样本进行打分排序，且打分延迟对业务至关重要，假定一个打分计算过程如下：

打分过程伪代码：

 

1） 合并批量样本并打包：

For each SAMPLE in BATCH SAMPLES

   for each FEATURE in one SAMPLE

       Pack FEATURE // such as, do GRPC serialization

 

2）  网络传输 + 通过打分计算集群（Scoring cluster)打分:

SCORE = SEND_AND_SCORE(OBJECT) // blocking to wait for return SCORES from scoring cluster

 

简化起见，三个阶段理论耗时跟BATCH SAMPLES中的实际样本数成正比。

上述伪代码指示一次打分过程的总延迟耗时T：  40ms(样本序列化、打包) + 20ms(传输延迟) + 40 ms(打分计算耗时)。

 

要求：

1） 请尝试设计程序优化总延迟，方法不限，可以尝试多种优化方法；

2）请尝试设计程序隐藏第二阶段的网络传输耗时。