请选择 进入手机版 | 继续访问电脑版

ITIL,DevOps,ITSS,ITSM,IT运维管理-ITIL先锋论坛

 找回密码
 微信、QQ、手机号一键注册

扫描二维码登录本站

QQ登录

只需一步,快速开始

查看: 276|回复: 0

在SRE的位置上如何看待推荐和搜索

[复制链接]
发表于 2020-12-10 12:10:33 | 显示全部楼层 |阅读模式
本帖最后由 monicazhang 于 2020-12-10 12:10 编辑 6 J$ y3 ~3 G  h2 j
: @+ n' H: x6 S" U2 N
背景   
' ^( \8 L( p  p+ W* F7 \9 p
今天来讨论一下搜索和推荐系统直接的关系。 搜索的第一反应是啥:百度。搜索要解决的事情是快速找到用户想要的东西,重点是快速,准确。往往每一次的搜索都是一个短暂的过程。人们需要搜索,但是不会迷恋搜索。这也就是百度最近几年在大力推广手机百度app已经feed流的原因,搜索逐步走向推荐。

. ^: \8 D+ {4 n9 w( l$ u' W5 s
    推荐的第一反应是啥:抖音,快手。主动给用户返回一些感兴趣的东西,搜索功能逐步弱化。
8 \8 s* _% m+ p/ R3 R- R9 Z
    搜索是以百度、谷歌为代表的PC时代的霸主,而推荐是当下以抖音,快手短视频为代表的巨头。二者之前的关联在哪里,为什么人们会逐渐从搜一搜转向了刷一刷。更加重点的是从SRE角度来看应该如何来保障,并区分侧重点。- a+ w$ c/ ]! p2 F
! C) Q7 Z1 |# G2 U$ d) C
1.png
   
    人们会朝着自己简易的东西去选择,越简单越好,所以最近今年以推荐为主的公司会发展的非常快,而以搜索为主的公司会面临一些瓶颈。
% M1 x0 O# H# s7 C6 [$ q; v* N
1 J0 J. n5 d* M
    无论是搜索和推荐,都离不开广告。搜索和推荐都是为人找信息,而广告是为信息找人。

4 v1 \: i0 v# a$ g6 [
    为什么会从搜索逐步转向推荐,其实重点是两点,第一是及时反馈,第二是简单快捷;搜索是有目的的查找东西,而推荐是漫无目的的发现喜好的东西。   5 W) [! [7 x0 `0 k

( M/ _0 k6 N' K
! ?( X9 c" w; [% i* o& [0 ^
整体联系
* O5 T7 b+ \1 }5 P3 u
搜索引擎架构:
2.png
! T- y8 `# w) C9 e: `- e) @
https://blog.csdn.net/sunxianghuang/article/details/86009982
https://www.mamioo.com/seojishu/section-2
9 |/ T( w3 p/ l4 p8 p
这里可以看到自然语言的处理和倒排索引是搜索依赖的两大核心,建库,传库,最终提供线上服务。' F. z6 u+ N" a% u, f8 {

; M, ~" F! g6 W" \3 S% m5 e
推荐系统架构:
3.png
推荐系统中召回和排序是推荐系统中算法的核心部分。
: u& b; s. h0 y  [, V3 J3 l; R3 H

# e# U, K3 }) U- c9 h
整体位置
/ E, M5 A" N) n( i  W) |1 s
4.png
9 W! g; H, n: l9 @
图片来自极客时间
8 p) C; K# E3 e0 q4 n" J/ F2 L
    相同点在于:需要提前做好用户日志的处理提取,都会经历,物料处理,召回,排序,给用户吐出结果。

( D0 E' G+ t) |! w5 \1 G" L
    不同点在于:搜索会更加注重自然语言的处理,切词,分词;而推荐则会更加重视视频的内容的分析;推荐以人为主,物为辅;搜索更加在于人为辅;物为辅助;不同人推荐出来的内容会更加个性化,而搜索出来的词需要更加精确化。

' y( \$ D  ?2 L! y* {
运维保障侧重点

( V+ p) i# G3 M; Q& G
作为SRE来说不用一味追求理解其中深入的算法,但是需要理解其背后的联系,整体的架构,已经如何合理的运维和保障。
' N: ?( g! o9 U6 m9 k) b
1 流量的变化
/ I% U, W# d$ F

6 e# T2 f, S5 j% T2 t, H9 G
    对于搜索来说当系统有问题的时候,流量会出现一个下降的趋势,因为用户搜不到结果,或者结果是一个错误结果用户可能就会离开。

* @& f; b# i8 L2 A1 O
    对于推荐系统来说,比如快手和抖音其实是一个相反的态势,如果推荐不准确,用户的体验是看到的视频不是我想看的,但是不是出现看不到视频的情况,就会往下刷。流量会呈现一个上升态势。
3 ^( e0 F9 F" w! r) T3 e# K
2 时效性要求
3 Z( X% B& p$ X9 f5 g3 z1 N2 Q
    对于搜索来说一个热点的事件或者链接的更新,需要要求搜索系统能快速的更新,防止出现死链的情况出生。要求的往往都是最新的。另外cdn里面搜索会缓存一些热点图片和视频,但是搜索的大部分还是文字,这些是需要快速更新的所以也不适合做缓存。

8 v: e4 ]( A6 P/ W$ p
    但是对于推荐系统来说,虽然对时效性要求也很高,但不是一个强制的,比如视频很热往往会联系出现好多天,如果还有人重新发布的话,这个又会变热。所以搜索对时效性的要求要比推荐高很多,但是肯定是时效性越高效果会越准确。比如很热的视频都是在cdn缓存,因为这些视频一旦推出去就不会有更新的操作。
& z; E: m- ?+ O6 s8 @/ ~2 [% I! |

6 C" }7 @4 L  W! q& ~
3 降级的侧重点
$ ~; h& l3 u  u1 B% w
    对于搜索来说降级预案是什么?减少返回结果,但是准确性是需要保障的。搜索降级思路减少结果,保障准确,屏蔽广告,返回快照等等。
& ^% j7 v8 y3 {7 {, x
    对于推荐系统比如抖音来说,降低作品质量,但是数量是要保证,一旦用户滑倒视频断了就会爆发一个非常大的舆情事件。推荐降级思路,去掉实时推荐,使用个性化缓存,去掉个性化推荐,使用默认列表,去掉广告。
4 ?) M! Z2 L- e/ B
    搜索降级是要保障准确性,而推荐的降级是要保证不断流。

% l+ o/ V, j& W
) }+ X1 _9 R) O9 o




上一篇:小米SRE每天都在干啥了?
下一篇:浙江移动SRE转型实例给我们哪些启发

本版积分规则

本站关键字: ITIL| ITSM| ISO20000| ITIL培训| ITIL认证| ITIL考试| ITSS| ITSS培训| ITSS认证| IT运维管理| DevOps| DevOps培训| DevOps认证| itop| itil4| sre| 开源ITSM软件

QQ|小黑屋|手机版|Archiver|艾拓先锋网 ( 粤ICP备11099876号-1 )|网站地图

Baidu

GMT+8, 2021-1-20 07:32 , Processed in 0.161822 second(s), 31 queries .

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表