ºìÁªLinuxÃÅ»§
Linux°ïÖú

SREµÄ×Ô¶¯»¯Ñݽø

·¢²¼Ê±¼ä:2017-09-08 10:06:35À´Ô´:ºìÁª×÷Õß:Ronny
SRE ÊÇ Site Reliability Engineering µÄ¼ò³Æ£¬ËüÊÇÔ´ÆðÓڹȸèÄÚ²¿²úÆ·¼¼Êõ±£ÕϹý³ÌÖÐÑݽø¶øÀ´µÄÔËάÐÂÄ£ÐÍ£¬²¢ÇÒ¶¨ÒåÁËиÚλµÄÖ°Ôð·¶Î§¡£Çø±ðÓÚ´«Í³ÔËάģʽ£¬SRE Ç¿µ÷×Ô¶¯»¯ÏµÍ³£¬Ö÷ÕÅͨ¹ýÈí¼þ¹¤³Ì·½Ê½¿ª·¢³öһЩ³¡¾°»¯µÄ×Ô¶¯»¯ÔËά¹¤¾ßÀ´Ìæ´úÖظ´ºÍÊÖ¹¤²Ù×÷¡£±¾³¡ChatÖÐÎÒÃǽ«Í¨¹ýһЩ¹úÍâ SRE ʵ¼ùµÄ°¸ÀýÀ´½éÉÜһϠSRE ×Ô¶¯»¯µÄÑݽø¡£
ÄÚÈÝ°üÀ¨£º
×Ô¶¯»¯ÏµÍ³¶Ô SRE µÄ¼ÛÖµ£»
×Ô¶¯»¯ÏµÍ³ÑݽøµÄÀú³Ì£»
¹úÍ⻥ÁªÍøÆóÒµ SRE ×Ô¶¯»¯Ó¦Óð¸Àý£»
¹úÄÚÔËάÁìÓò×Ô¶¯»¯Êµ¼ù¡£

Ò»¡¢Ê²Ã´ÊÇ SRE £¿
SREÊÇSite Reliability EngineeringµÄ¼ò³Æ£¬ËüÊÇÔ´ÆðÓÚ¹úÍ⻥ÁªÍøÆóÒµµÄÒ»¸ö´ÊÓï»òÕßж¨ÒåµÄÒ»¸ö¸Úλ¡£ÔÚ´«Í³µÄϵͳ¹ÜÀíԱģʽʱ´úÕâ¸ö½ÇÉ«ÎÒÃǽÐÔËά£¬¹úÍâ³Æ×öOperation¡£

Google SREµÄVP½ÐBen Treynor£¬2003ÄêµÄʱºòËû¼ÓÈ빫˾µÚÒ»¸öÈÎÎñ¾ÍÊÇ×齨һ¸ö7È˵ġ°Éú²úÔËάС×顱¡£µ«ºÜ¿ìËû·¢ÏÖ¸ù¾ÝGoogle»úÆ÷Ôö¼ÓµÄËٶȣ¬°´ÕÕ´«Í³µÄÔËάģʽÊÇÎÞ·¨¿ìËÙÂú×ãÔËά¿É¿¿ÐèÇóµÄ¡£ÓÉÓÚËû×Ô¼º±¾Éí¾ÍÊÇÒ»¸ö×ÊÉîµÄÈí¼þ¿ª·¢ÈËÔ±£¬Ëû¾Í°´ÕÕ×齨һ¸öÑз¢ÍŶÓÒ»ÑùÀ´×齨Õâ¸öÔËάÍŶӡ£ÕÐÊÕÁËÐí¶àÑз¢¹¤³Ìʦ£¬ÕâЩ¹¤³Ìʦ¾ßÓпª·¢ÄÜÁ¦£¬ÓÖÁ˽âһЩϵͳ¹ÜÀíµÄ֪ʶ£¬×îÖ÷ÒªµÄÊÇËûÃDZÉÊÓÖظ´ÀͶ¯¡£ËûÃÇ°ÑһЩ×î¼Ñʵ¼ù¡¢·½Ê½¡¢Á÷³Ì¡¢·½·¨¶¼¹Ì»¯³É´úÂ룬ÓÃÕâÖÖ·½Ê½È¥Ó¦¶Ô¹æÄ£ÐÔµÄÀ©ÕÅ£¬È¥Ó¦¶Ô¸´ÔӶȵÄÉÏÉý¡£

¶þ¡¢×Ô¶¯»¯ÏµÍ³¶ÔSREµÄ¼ÛÖµ
µäÐ͵ÄSRE»î¶¯·ÖΪ£ºÈí¼þ¹¤³Ì¡¢ÏµÍ³¹¤³Ì¡¢ËöÊ¡¢Á÷³Ì¸ºµ£Ëĸö²¿·Ö¡£ÆäÖÐÎÒÃÇ¿ÉÒÔ¿´µ½ÓÐÒ»À๤×÷ËüÓëÈÕ³£ÔËά·þÎñÖ±½ÓÏà¹Ø£¬µ«ÊÇÔÚSREÀïÃæ±»¶¨ÒåΪµÍЧ¹¤×÷£¬ÔÚGoogle»¹ÊÇÓÃÒ»¸öרÃŵĴÊÓï-ËöÊ£¨Toil£©À´½øÐÐÃèÊö¡£

ËöÊÂÊÇÔËά·þÎñÖÐÊÖ¶¯µÄ£¬Öظ´µÄ£¬Õ½ÊõÐԵŤ×÷¡£ËüµÄÔö³¤Óë·þÎñµÄÔö³¤³ÊÏßÐÔ¹Øϵ¡£ÕâÒ»²¿·ÖµÄ¹¤×÷ÊÇ¿ÉÒÔ±»×Ô¶¯»¯µÄ¡£Google¹«¿ªÌá³öSREÒª±£Ö¤ÖÁÉÙ50%µÄʱ¼äÔÚÈí¼þ¹¤³ÌÏîÄ¿ÉÏ£¬ÒòΪÈç¹û²»¼ÓÒÔ¿ØÖÆ£¬ËöÊ»á±äµÃÔ½À´Ô½¶à£¬²¢Ñ¸ËÙÕ¼¾ÝSREÈËÔ±µÄ´ó²¿·Öʱ¼ä¡£¼õÉÙËöʺÍÀ©´ó·þÎñ¹æÄ£µÄ¹¤×÷¾ÍÊÇSREÖеÄE(Engineering)¡£

´ÓÕâÕÅƬ×ÓÎÒÃÇ¿ÉÒÔ¿´³ö×Ô¶¯»¯¶ÔÓÚSRE¶øÑԵļÛÖµÖ÷ÒªÀ´×ÔÓÚÐÔÄܺÍЧÂÊÁ½·½Ãæ¡£Ìáµ½×Ô¶¯»¯ºÜ¶àÈ˿϶¨Ê×ÏÈÏëµ½µÄÊÇЧÂʵÄÌáÉý£¬ÆäʵÏà¶Ôµ¥´¿ÌáÉýЧÂʶøÑÔSREÈËÔ±¸üÇ¿µ÷ϵͳÐÔÄܺͿìËÙÁé»îÖ®¼äµÄƽºâ¡£ ×Ô¶¯»¯Í¨¹ýÌÞ³ý²Ù×÷ÖÐÓÉÓÚʹÓÃÈ˹¤ÊÖ¶¯Ö´ÐдøÀ´µÄ²»Ò»ÖÂÐÔ£¬È·±£¡°Ò»ÖÂÐÔµØÖ´Ðз¶Î§Ã÷È·¡¢²½ÖèÒÑÖªµÄ³ÌÐò¡±´Ó¶ø±£ÕÏϵͳÐÔÄÜ£¬Õâ²ÅÊÇ×Ô¶¯»¯µÄÊ×Òª¼ÛÖµ¡£

×Ô¶¯»¯ÏµÍ³¿ÉÒÔÌṩһ¸ö¿ÉÒÔÀ©Õ¹µÄ¡¢¹ã·ºÊÊÓõÄƽ̨¡£Æ½Ì¨¿ÉÒÔ½«ÎÊÌ⼯Öл¯£¬¹æÄ£»¯µØ´¦ÀíϵͳµÄ´íÎó£¬Ò²ÄܱÈÈËÄܸü³ÖÐø¸üƵ·±µØÔËÐÐÈÎÎñ¡£¶øÇÒÓÉÓÚƽ̨¿ÉÒÔ±©Â¶×ÔÉíµÄÐÔÄÜÖ¸±ê£¬Ò²¿ÉÒÔ°ïÖúÎÒÃÇ·¢ÏÖÒÔÇ°Á÷³ÌÖв»Òײì¾õµÄϸ½Ú¡£µ±È»Æ½Ì¨»¯µÄ»ù´¡ÔÚÓÚÕýÈ·µØÉè¼ÆºÍʵÏÖ¡£ ¶ø×Ô¶¯»¯¶ÔÓÚЧÂÊ´øÀ´µÄÌáÉýÎÒÃǾ͸ü¼ÓÈÝÒ×Àí½â¡£ËäÈ»ÎÒÃǾ­³£»á¶Ô±È·ÖÎö±àдһ¸ö×Ô¶¯»¯³ÌÐòËù»¨·ÑµÄ¾«Á¦ºÍʱ¼äºÍÈ¡ÏûÊÖ¶¯½ÚÊ¡µÄ²¿·Ö£¬µ«ÊÇÓ¦¸Ã¿´µ½Ò»µ©×Ô¶¯»¯µÃÒÔʵÏÖ£¬½«»á°Ñij¸ö²Ù×÷Óë¾ßÌåµÄ²Ù×÷Õß½âñËùÒÔÔÚÎÒÃǽøÐкâÁ¿µÄʱºò£¬×Ô¶¯»¯Ëù½ÚÊ¡µÄʱ¼äºÍ¾«Á¦Ó¦¸ÃÀ´×ÔÓÚËùÓеÄʹÓÃÕß¡£

һλ¸ºÔðGoogleÊý¾ÝÖÐÐļ¯ÈºÉÏÏßÁ÷³ÌµÄSRE£¬Joseph Bironas,Ôø¾­Ëµ¹ý£º¡°Èç¹ûÎÒÃdzÖÐø²úÉú²»¿É×Ô¶¯»¯µÄÁ÷³ÌºÍ½â¾ö·½°¸£¬ÎÒÃǾͼÌÐøÐèÒªÈËÀ´½øÐÐϵͳά»¤¡£Èç¹ûÎÒÃÇÒª¹ÍÓ¶ÈËÀ´×öÕâÏ×÷£¬¾ÍÏñÊÇÔÚÓÃÈËÀàµÄÏÊѪ¡¢º¹Ë®ºÍÑÛÀáÀ´Ñø»î»úÆ÷¡£Õâ¾ÍÏñÊÇÒ»¸öûÓÐÌØЧµ«ÊdzäÂúÁË·ßÅ­µÄϵͳ¹ÜÀíÔ±µÄMatrixÊÀ½ç¡£¡±

Èý¡¢×Ô¶¯»¯ÑݽøµÄÀú³Ì
Google SREµÄ×Ô¶¯»¯Àú³Ì¾­ÀúÁËÒÔÉϼ¸¸ö½×¶Î¡£µÚÒ»½×¶ÎÊÇÍêÈ«ÒÀÀµÊÖ¶¯²Ù×÷µÄÎÞ×Ô¶¯»¯½×¶Î£¬È»ºóʹÓÃÍⲿά»¤µÄÌض¨ÏµÍ³µÄ×Ô¶¯»¯½Å±¾À´½øÐвÙ×÷£¬Ìض¨µÄϵͳ×Ô¶¯»¯Öð²½ÑݽøΪͨÓõÄϵͳ×Ô¶¯»¯£¬È»ºóÓÃÄÚ²¿Î¬»¤µÄ×Ô¶¯»¯ÏµÍ³Ìæ´úÍⲿά»¤µÄ×Ô¶¯»¯ÏµÍ³£¬×îÖÕÑÝ»¯ÎªÄÉÈëÔËάƽ̨ÎÞÐèÈ˹¤´¥·¢µÄ×Ô¶¯»¯ÏµÍ³¡£

ËÄ¡¢ ¹úÍ⻥ÁªÍøÆóÒµ SRE ×Ô¶¯»¯Ó¦Óð¸Àý
¹È¸èµÄ×ÊÔ´¹ÜÀíϵͳBorg¾ÍÊÇÒ»Ì×µäÐ͵ĹȸèSRE³¤ÆÚʹÓõÄ×Ô¶¯»¯Ó¦Ó÷¢²¼ÏµÍ³¡£ÎªÊ²Ã´×ÊÔ´¹ÜÀíÕâôÖØÒª£¬ÒòΪ¹æģ̫´ó£¬ÔËÓª³É±¾³ÉΪÑݽøµÄΨһÕÏ°­¡£´Ó¼¼ÊõÉÏÀ´½²£¬Í³Ò»µÄ×ÊÔ´¹ÜÀíϵͳ·Ç³£ÄÑʵÏÖ£¬»ù´¡ÉèÊ©µÄºÃ»µ¾ö¶¨ÁË´ËϵͳµÄÄÜÁ¦¡£ÓÈÆäÔÚ·Ö²¼Ê½»·¾³Ï£¬²»Í¬ÒµÎñ³¡¾°Ï¶ÔÎïÀí·þÎñÆ÷µÄÒªÇóÒ²²»ÍêÈ«Ò»Ñù¡£¹È¸èµÄBorgÄÜ×öµ½Í³Ò»µÄ×ÊÔ´¹ÜÀíµÄÇ°Ìᣬ¾ÍÊÇÓÐGoogleFS¡¢BigTable¡¢Chubby¡¢GSLBµÈºËÐļ¼ÊõµÄÖ§³Å£¬SREÊÇ´ËϵͳµÄʹÓÃÕߣ¬ÎªÁËϵͳ¿É¿¿ÐÔ²»¶ÏµÄ·´À¡ºÍ¸Ä½ø¶ÔBorgϵͳµÄʹÓÃÒªÇ󣬵ÃÒÔÖÁ½ñBorgÈÔÈ»ÊǹȸèÄÚ²¿Ê¹ÓõÄÓ¦Ó÷¢²¼ÏµÍ³¡£

Ê×ÏÈ£¬BorgϵͳÊÇÍêÈ«·Ö²ãµÄϵͳ¼Ü¹¹¡£´Ó×î»ù´¡µÄÎļþϵͳµ½×îÉÏÃæµÄ¸ºÔØ·ÖÁ÷£¬Ã¿²ãµÄ¼¼ÊõÕ»ÔڹȸèÄÚ²¿¶¼ÊÇΨһµÄ£¬ÕâÑù×öµÄºÃ´¦ÊÇ¿ÉÒÔ»ýÀÛ¾­Ñ鸴Ó᣹úÄÚÆóÒµµÄϵͳ¼Ü¹¹£¬ÔÚ·¢Õ¹¹ý³ÌÖÐÒ²»á¾­Àú·Ö²ã×éÖ¯µÄ¼Ü¹¹£¬Å׿ªÈ˵ÄÒòËØ£¬ºÜ¶à·Ö²ãÊǶàÌ×ϵͳ×éºÏÔÚÒ»Æð´î½¨¶ø³É¡£´Ó±íÃæÉÏÀ´¿´£¬ÎÒÃǽµµÍÁ˳ɱ¾£¬µ«ÊÇÆäʵÔö¼ÓÁËÈËÁ¦µÄά»¤³É±¾¡£ÔÚÕâ¸öÎÊÌâµãÉÏ£¬¹úÍâϵͳµÄÏȽøÐÔ¿ÉÒÔ·ÅÒ»·Å£¬ÎÒÃÇÔÚÑ¡Ôñ¼¼ÊõµÄʱºòÓ¦¸ÃÔõô°ì£¿´Ó¾­ÑéÉÏÀ´½²£¬Í¬ÐзÖÏíµÄÆ´½Ó¶àÌ׿ªÔ´ÏµÍ³×é³ÉµÄÒ»²ãÌåϵÊÇÒ»ÖÖ×߽ݾ¶µÄ°ì·¨£¬¶ÌÆÚЧӦÃ÷ÏÔ¡£Ò»µ©ÆóÒµÒµÎñ¸ßËÙ·¢Õ¹£¬Ã¿´ÎÖع¹¶¼ÊÇ»ÙÃðÐÔµÄÍƵ¹ÖØÀ´¹¤¾ß¡£´ÓÎÒ¾­ÀúµÄ´ó´óСС¶àÖÖÆóҵϵͳÖУ¬ÎÒÉî¿ÌÌå»á³öÕâÖÖ±ä¸ï¶¯Á¦¡£ÔÚSREÀïÃ棬¹¤¾ßµÄ±ä¸ï˼·²»ÊÇÓÃеĿªÔ´¹¤¾ßÌæ»»¾ÉµÄ¿ªÔ´¹¤¾ß£¬¶øÊÇÎÒÃǵĿɿ¿ÐÔËßÇóÓ¦¸Ã¼ò»¯¹¤¾ßÑ¡Ð͵ÄÊýÁ¿£¬²¢ÔÚ´Ë»ù´¡ÉÏÕæÕýµÄ¿¼ÂÇ×Ô¼ºµÄÐèÇó£¬×îÖÕ»¹ÊÇÒª×ßÏò×ÔÑеÄ×Ô¶¯»¯ÏµÍ³µÄµÀ·¡£

µÚ¶þ£¬BorgϵͳµÄµÄ»ù´¡¼Ü¹¹¼¼Êõ×ã¹»ÏȽø£¬ÊDz»ÊÇSREÓеã¶àÓࣿÏÔÈ»£¬¼¼ÊõµÄÏȽø²¢²»ÄÜ´úÌæSREµÄ·½·¨ÂÛ¡£µ±Ç°Òµ½ç×îÁ÷ÐеÄDevOpsÀíÄîÖв¢Ã»ÓжÔÓڳɱ¾¡¢¿É¿¿ÐԵĸü¶àÃèÊö£¬Öصã¹ØÐĵÄÊÇ×Ô¶¯»¯¡¢Ìá¸ßÉú²úÁ¦µÈÖÖÖÖʵ¼ù¡£ÕâЩʵ¼ù½â¾ö²»ÁËÒµÎñ³¡¾°³ÖÐø·¢Õ¹µÄ×îºËÐÄÎÊÌ⣬¾ÍÊÇÒµÎñ¿É¿¿ÐÔÓë³É±¾¿ØÖÆÖ®¼äµÄÖƺ⡣SREµÄ·½·¨¾ÍÊÇΪÁËÓÃ×îµÍµÄ³É±¾»ñÈ¡×î´óµÄÒµÎñÊÕÒæ¡£ËùÒÔ£¬SRE¸ÚλÕÐļµÄÊÇÒ»¸ö»áд´úÂëµÄϵͳÔËά¹¤³Ìʦ£¬Èç¹ûÖ»ÊÇ×öÔËά£¬µ¥´¿µÄ¿ª·¢ÈËÔ±¿Ï¶¨Áô²»×¡¡£ËùÒ԰θßÈÏ֪γ¶È£¬´ÓÈí¼þ¹¤³ÌµÄ¸ß¶È£¬À´½â¾öµ±Ç°ÆóÒµÄÚ²¿µÄÒµÎñÌåϵ¡£´Ó±ÊÕßÇÐÉíµÄÌå»á£¬ÎÒÃÇÒ»¼ÒÑз¢²úÆ·µÄ¼¼Êõ¹«Ë¾£¬ÄÚ²¿°üº¬²âÊÔϵͳ¡¢ÏîÄ¿¹ÜÀíϵͳ¡¢Á÷³Ì¿ØÖÆϵͳ¡¢·¢²¼ÏµÍ³µÈµÈ¡£²»¹Ü¹«Ë¾´óС£¬¶¼»áÐèÒª¡£ÔÚûÓÐSREµÄÇý¶¯Ï£¬ÎÒÃÇ»áÑ¡ÔñÒ»¸ö¹¤¾ßÀ´Ìî²¹¿Õ°×¡£µ«ÊÇϵͳºÍϵͳ֮¼ä²¢²»ÊǹØÁªµÄ£¬ÄÚ²¿ÓÖûÓÐÈËÄÜÕæÕýÇý¶¯Õâ¸öÊÂÇéµÄµü´ú¡£×îºó£¬ÎÒÃÇÈÃÔËά»òÕß¿ª·¢À´¼òµ¥µÄ½â¾öÕâ¸öÎÊÌ⣬ʵ¼ÊÇé¿öÊÇû·¨³¹µ×µÄ½â¾öÕâ¸öÎÊÌâ¡£

µÚÈý£¬SREÔÚ¹úÍ⻥ÁªÍø¹«Ë¾Ëæ´¦¿É¼û£¬¹úÄÚÈ´ºÜÉÙÓÐÕâÑù¸Úλ»òÕß˼ÏëµÄ´«²¥£¬ÊDz»ÊÇÎÄ»¯²îÒìµ¼Öµģ¿±ÊÕßÈÏΪ¹úÄÚÔËάÌåϵÔÚ²»¶ÏÑݽøµÄ¹ý³ÌÖУ¬·¢Õ¹Ëٶȿ϶¨ÊÇÂýÓÚ¹úÍ⵱ǰµÄÈÏ֪ˮƽµ¼ÖµÄÏÖ×´¡£µ«ÊÇËæ×ÅÌÔ±¦ÍøµÄáÈÆ𣬰¢ÀïµÄ¼¼Êõ±£Õϲ¿Æäʵ¾ÍÊǹúÄÚSREµÄ×î¼ÑÑéÖ¤¡£SREµÄÊÕÒæÊǷdz£Ã÷ÏԵģ¬µ«ÊÇÔÚÖÐСÆóÒµÖÐÍƹãÆóÒµ»á·Ç³£À§ÄÑ¡£ºËÐÄÎÊÌâµãÔÚÓÚ¹úÍâµÄ¼¼Êõ·þÎñÉÌÌåϵ·Ç³£½¡È«£¬µ±ÖÐСÆóÒµÏë×öһЩSREµÄת±äµÄ¹ý³ÌÖУ¬¿ÉÒÔ»ñÈ¡Ò»´óÅú¼¼Êõ·þÎñÌṩÉ̵ķ½°¸¡£²¢ÇÒÆóÒµÔ¸Ò⻨·ÑÒ»²¿·Ö·ÑÓÃÔÚ´ËÀ༼ÊõµÄÔ¤Ñйý³ÌÖС£¹úÄÚÆóÒµÆÚÍû¹ºÂòµÄ¼¼ÊõÓ¦¸ÃÊdzÉÊì¼¼Êõ£¬²»Ô¸ÒâͶÈ뾫Á¦»¨·ÑÔÚ»ù´¡ÉèÊ©Ö®ÉÏ¡£¶ÔÓڳɱ¾µÄ¿ØÖÆ£¬Ò²ÊÇ»ùÓÚÈËÁ¦³É±¾µÄ¿¼ÂÇÖ®ÉÏ£¬ºÜÄÑÓм¼ÊõÌṩÉÌÄÜÓÐÔËÓª¿Õ¼ä¡£ÄÇôÔÚÕâÑùµÄÀ§¾³Ö®Ï£¬ÔƼÆËãÒµÎñµÄ·¢Õ¹¿ÉÒÔÆðµ½È󻬼ÁµÄ×÷Óá£Ò²¾ÍÊÇ˵£¬¹²Ïí¼¼Êõ¾­¼Ã¿ÉÄÜÊÇÒ»ÖÖSREÂäµØ¹úÄڵķ½Ê½¡£±ÈÈç±ÊÕßËùÔÚµÄÊýÈËÔÆ£¬Ò»Ì×ÂäµØSREÀíÄîµÄÇáÁ¿¼¶Ó¦ÓùÜÀíƽ̨£¬Í¨¹ýºÍÆóÒµµÄºÏ×÷£¬Íê³ÉÆóÒµÐèÒªµÄƽ̨½¨Éè¡£ÔÚÕâ¸öºÏ×÷¹ý³ÌÖУ¬ÑÝ»¯³öÀ´µÄϵͳ×÷Ϊ¸½¼ÓÖµ£¬ÓÉÊýÈËÔÆƽ̨ÔÚÆäËûÆóÒµÖÐÍƹã»ñµÃË«Ó®¡£´Ó½á¹ûÉÏÀ´¿´£¬ÆóÒµ»ñµÃÁËSREµÄ³É¹¦Êµ¼ù³É¹û£¬¼¼Êõ·þÎñÉÌ»ñµÃÁËSREʵ¼ùµÄ»ú»á¡£

µÚËÄ£¬SRE¶¼ÊÇÉÆÓù¤¾ßµÄ¡£ÎÒÃǽâ¾öÎÊÌâµÄ·½Ê½µÄ±ä»¯£¬´Ó½â¾öÎÊÌâµ½Éî¶È·ÖÎöÎÊÌ⣬²¢ÇÒ¸øÒ»¸ö½â¾öÕâ¸öÎÊÌâµÄÄ£Ðͺͼì²éÇåµ¥¡£±ÈÈçNetflix¹«Ë¾µÄSREÔÚ½â¾öLinuxϵͳÐÔÄܵÄʱºòÌṩ¸øSREµÄÇåµ¥£º

Îå¡¢¹úÄÚÔËάÁìÓò×Ô¶¯»¯Êµ¼ù
ÏÞÓÚ¹úÄÚÔËάÁìÓòµÄ·¢Õ¹ÕýÔÚ¿ìËÙµü´ú£¬±ÊÕß´Ó×îΪ¹Ø×¢µÄÈý¸öÁìÓòÎÊÌâ×÷ΪͻÆÆ¿ÚΪ´ó¼Ò·Ö½âµ±Ç°×Ô¶¯»¯Êµ¼ùµÄÏÖ×´¡£
1. ¼à¿Ø±¨¾¯

¹úÄÚ¼à¿Ø±¨¾¯¹¤¾ßÆ·ÖÖ·±¶à£¬µ«ÊÇÕæÕýÄÜÂäµØµÄÁ÷Ðз½°¸ÉÙÖ®ÓÖÉÙ¡£´«Í³ÆóÒµ×î³£ÓõÄÊÇÓ¦¸ÃÊÇZabbix£¬ÁíÍâ¹úÄÚСÃ׿ªÔ´µÄ»¥ÁªÍøÆóÒµ¼¶¼à¿Ø¹¤¾ßOpen-FalconÒ²ÊÇÒ»¸öÑ¡Ôñ¡£µ«ÊÇÕâÁ½ÖÖ³¡¾°Ï£¬¶¼Ã»·¨»Ø±ÜÒ»¸ö·Ç³£Ö±½ÓµÄÎÊÌ⣬ÄÇô¾ÍÊÇÈçºÎÓÃ×î¶ÌµÄ·¾¶·ÖÎö³öÄãµÄÎÊÌâ²¢ÇÒ½â¾öÒµÎñ³¡¾°ÏµÄʵ¼ÊÎÊÌâ¡£´Ó¼à¿ØµÄ½Ç¶È£¬ÓÐϵͳ¼¶±ðµÄ£¬ÒµÎñ¼¶±ðµÄ£¬·þÎñ¼¶±ðµÄ¶àÖØά¶È¡£´ÓSREµÄ½Ç¶È´¦ÀíÎÊÌ⣬¶¼ÊÇÏÈÈÝÁ¿¹æ»®£¬¶ø²»ÊÇ°´ÕÕÏÈÑé¾­Ñé°´ÕÕ¸÷ÖÖϵͳÖͺóÔڹ滮¡£ËùÒÔ´ÓÒ»¿ªÊ¼£¬¹¤¾ß²»ÊÇ×ÊÖµÄÎÊÌâ¡£¾ÍÄÃZabbix×÷ΪÀý×Ó£¬¿ÉÒÔ¼à¿ØµÄγ¶È¾ÍÊÇϵͳµÄ½¡¿µ£¬Êý¾Ý¿âµÄQPS£¬RedisµÄÄÚ´æ¡£µ«ÊÇÈç¹ûÓöµ½ÍøÕ¾±äÂý£¬´Ó¼à¿ØµÄ½Ç¶ÈÎÒÊÇÎÞÄÜΪÁ¦µÄ¡£±ØÐëÒªÓÐÈ«Á´Â·µÄ·ÖÎö²Å¿ÉÒÔÅжϳöÀ´ÎÊÌ⣬²¢½â¾öÕâ¸öÎÊÌâ¡£Èç¹û°´ÕÕDevOpsµÄ¾­Ñ飬ÎÒÃDz»Ì«¿ÉÄÜÌá³öÕâÖÖÎÊÌ⣬ֻÊǵ±Óöµ½ÎÊÌâµÄʱºò£¬Ôõô×Ô¶¯Çл»·þÎñÆ÷£¬»òÕß×Ô¶¯À©Èݵķ½°¸À´½â¾öÎÊÌâ¡£³É±¾µÄ¿ØÖÆÔÚDevOpsµÄ³¡¾°Ö®ÏÂÊDz»ÊÜ¿ØÖƵģ¬¹ÜÀíÕßÖ»ÄÜÇ¿ÖÆÔ¤Ëã³É±¾£¬ÉÏÏÂÓζ¼ÎÞ·¨³ä·ÖÁ˽âÒµÎñÔËÓªµ½µ×ÐèÒª¶àÉٳɱ¾¡£
2. ÈÕÖ¾¼à¿Ø

¹úÄÚÈÕÖ¾¼à¿Ø´óÁ¿Ê¹ÓÃELK£¨Elasticsearch, Logstash, ºÍ Kibana£©¼¼ÊõÕ»¡£ÕâÌ×¼¼ÊõÕ»·Ç³£Á÷ÐУ¬Ò²½â¾öÁË´óÁ¿ÆóÒµÄÚ²¿ÈÕÖ¾µÄÎÊÌâ¡£µ«ÊÇÔÚʵ¼Ê³¡¾°ÖУ¬ÒµÎñÈÕÖ¾µÄ¹ÜÀíÈÔÈ»ÊǷdz£Í´¿àµÄ¡£Ò»¸öÊÇʵʱÈÕÖ¾µÄ²éѯ£¬¶þ¸öÊÇÀúÊ·ÈÕÖ¾µÄ»ã¾Û¡£ÔõôÓÐЧÌṩÈÕÖ¾²éѯµÄʹÓã¬È¥ÄĶùÔËάÍŶӹ²Ïí¹ýÒ»¸ö·½·¨£¬Í¨¹ýÔÚApache MesosÖ®ÉÏ£¬ÎªÄÚ²¿²¿ÃÅÌṩËæÐè¶øÆô¶¯µÄELK·þÎñ£¬Èÿª·¢ÕßËæʱ²éѯ×Ô¼ºµÄÒµÎñÈÕÖ¾ºÍ·ÖÎö×Ô¼ºµÄÈÕÖ¾¡£²éѯÍêÖ®ºó£¬¾Í×Ô¶¯Ïú»ÙÕâ¸öELK·þÎñʵÀý¡£±ÊÕßÈÏΪÕâÖÖ´´Ð·½Ê½Æäʵ¾ÍÊÇSRE˼ÏëµÄʵ¼ù¡£
3. ³ÖÐø¼¯³ÉºÍ·¢²¼ÏµÍ³

¹úÄÚÔËάʹÓÃ×î¶àµÄ¹¤¾ß¾ÍÊÇÓÃJenkinsÀ´Íê³É³ÖÐø¼¯³ÉºÍ·¢²¼¡£µ«ÊÇÎÒÃÇÍùÍùÊÇÖ»ÒªÄÜÓÃÉÏJenkins¾ÍÍ£Ö¹ÁËÉî¶ÈµÄʵ¼ù¡£´ÓSREµÄ½Ç¶ÈÀ´½²£¬ÎÒÃÇÊ×ÏÈ·ÖÎö³ö³ÖÐø¼¯³ÉµÄÒµÎñÍ´µãÊÇʲô£¬ÒòΪÔÚ³ÖÐø¼¯³ÉµÄ¹ý³ÌÖУ¬»á½ÓÈë²âÊÔϵͳ¡£ËùÒÔ±ÊÕßÈÏΪ³ÖÐø¼¯³ÉµÄÄ¿µÄÊÇΪÁËÈòúÆ·ÖÊÁ¿µÃµ½³ÖÐøµÄ¸Ä½ø¡£ÓÐÁ˺ËÐĵÄÄ¿±êÖ®ºó£¬ÎÒÃǹܿصľͲ»½ö½öÊÇJenkinsµÄJobÊÇÈçºÎ¹ÜÀíµÄ£¬¶øÊDzâÊÔµÄЧÂÊÊÇ·ñÄÜÌá¸ß£¬¼¯³ÉµÄʱ¼äÊÇ·ñÄÜËõ¶Ì¡£½¨Á¢Ò»¸öÄ¿±êÇåµ¥£¬È»ºóÔÚÄÉÈëµ½SREµÄ¸Ä½ø¹ý³ÌÖУ¬¾ÍÒ»¶¨»á²úÉú³ö²»Ò»ÑùµÄ½á¹û¡£³ÖÐø·¢²¼ÊÇÁíÍâÒ»¸ö»°Ì⣬ÆäʵÄÑÌâÔÚÓÚÓû§¶ÔÓÚ·¢²¼µÄÀí½â²¢²»³¹µ×¡£·¢²¼°üÀ¨»Ò¶È·¢²¼¡¢²âÊÔ·¢²¼¡¢¹ö¶¯·¢²¼¡¢»Ø¹ö·¢²¼µÈ¶àÖÖ³¡¾°¡£²¢ÇÒÿÖÖ³¡¾°¶¼Ó¦¸ÃÊÇ¿ÉÒÔ»ØÍ˵ġ£Ôõô½â¾öÕâ¸öÎÊÌ⣬µ¥¿¿JenkinsÊÇÎÞ·¨½â¾öÕâ¸öÎÊÌâµÄ£¬ÄãÐèÒªÀ©Õ¹¹¤¾ßÀ´Âú×㣬±ÈÈçÒ»Ì×ÇáÁ¿¼¶Ó¦ÓùÜÀíƽ̨µÄ¸¨Öú¡£

Áù¡¢Ð¡½á
´ÓÒµ½çµÄ·¢Õ¹Àú³ÌÀ´¿´£¬¼¼ÊõµÄ±ê×¼»¯ÊÇÒ»¸ö±ØÈ»µÄÑݽø¹ý³Ì£¬ÔËά×Ô¶¯»¯Æäʵ¾ÍÊDZê×¼»¯µÄÒ»ÖÖÌåÏÖ¡£´ÓÈëÊÖSREµÄµÚÒ»²½¿ªÊ¼£¬Ó¦¸ÃÕûÀíºÍÊáÀí¹¤×÷Ö°Ô𣬰ÑÐèÒª½â¾öµÄÎÊÌⶼÎĵµ³É¼ì²éÇåµ¥¡£·½±ãÒµÎñÉϵĿìËÙʵʩ¡£½ô½ÓמÍÊÇ¿ÉÊÓ»¯ÕâЩҵÎñÖ¸±êºÍ³¡¾°£¬°ïÖú¹«Ë¾½µµÍÔËÓª³É±¾£¬Á¿»¯·þÎñÌåϵµÄÄ¿±ê¡£¶ÔÓÚÓÐÄÜÁ¦µÄÆóÒµ£¬ÔÚ·¢Õ¹¹ý³ÌÖлá°Ñ¸÷ÖÖ×ÊÔ´µÄ½Ó¿Úͳһ£¬Õâ¸öÀú³Ì»á·Ç³£³¤£¬´Ó±ÊÕߵľ­ÑéÀ´¿´£¬Ó¦¸ÃС²½µü´ú£¬°´ÕÕʵ¼ÊЧ¹û½÷É÷Ö´ÐС£ÒòΪ²»¼Æ³É±¾µÄƽ̨»¯£¬Ö»ÊǹâÏʵÄÕþ¼¨£¬²¢Ã»ÓÐÓÐЧµÄ½â¾ö³É±¾ÎÊÌâ¡£×Ô¶¯»¯µÄ×î¸ßÐÎʽ¿Ï¶¨ÊÇÖÇÄÜ»¯ÏµÍ³£¬µ«ÊÇ´Ó±ÊÕߵĽǶÈÀ´¿´£¬¿ÉÄÜ´ó¼ÒµÄ¿Æ»ÃƬ¿´¶àÁË£¬·´¶øµ­»¯ÁËÈí¼þ¹¤³ÌµÄÄ¿µÄ£¬¾ÍÊÇÓÿÆѧµÄ·½·¨À´×î´ó»¯Èí¼þÊÕÒæ¡£µ«ÊǾø¶Ô²»ÊǸ߶ÈÖÇÄܵÄ×ÔÓúÌåϵ¡£ÕâÖÖÈ˹¤ÖÇÄÜÌåϵÔÚ±ÊÕß¿´À´ÊÇÈí¼þ¹¤³ÌµÄÁíÒ»¸öγ¶ÈµÄÌåÏÖ£¬¾ÍÓÐÈçŵ»ùÑÇÊÖ»úºÍÆ»¹ûÊÖ»úÖ®¼äµÄ¶Ô±È£¬SREµÄÄ£Ðͽâ¾öµÄÊÇÈçºÎÓúõ±Ç°µÄ¹¤¾ßÁ´·¢»Óŵ»ùÑÇÊÖ»úµÄ×î´ó¼ÛÖµ£¬¶ø²»ÊDZ»È˹¤ÖÇÄÜÌåϵËùÌæ»»¡£Ò²Ðí£¬ÔÚδÀ´µÄijһÌ죬SRE»áÖ±½ÓÍËÐÝ£¬ÈûúÆ÷ÈËÀ´´úÌæÕû¸öÔËάÌåϵ£¬µ«ÊÇSREÖÕ½«»áÔڿƼ¼ÀúÊ·ÉϼǼÏÂÉîÉîµÄÀÓÓ¡¡£
±¾ÎÄתÔØ×Ô£ºhttp://www.linuxprobe.com/sre-automation.html
Ãâ·ÑÌṩ×îÐÂLinux¼¼Êõ½Ì³ÌÊé¼®£¬Îª¿ªÔ´¼¼Êõ°®ºÃÕßŬÁ¦×öµÃ¸ü¶à¸üºÃ£¬¿ªÔ´Õ¾µã£ºhttp://www.linuxprobe.com/
ÎÄÕÂÆÀÂÛ

¹²ÓÐ 1 ÌõÆÀÂÛ

  1. Ronny ÓÚ 2017-09-08 10:07:34·¢±í:

    ´ÓÒµ½çµÄ·¢Õ¹Àú³ÌÀ´¿´£¬¼¼ÊõµÄ±ê×¼»¯ÊÇÒ»¸ö±ØÈ»µÄÑݽø¹ý³Ì£¬ÔËά×Ô¶¯»¯Æäʵ¾ÍÊDZê×¼»¯µÄÒ»ÖÖÌåÏÖ¡£