PholcusÅÀ³æÈí¼þ·¢²¼1.2°æ±¾£¬CPUʹÓÃÂÊÓëÄÚ´æÕ¼ÓþùÓдó·ù½µµÍ£¬ÔËÐиü¼ÓÎȶ¨Á÷³©¡£Í¬Ê±ÐÂÔökafkaÊä³ö·½Ê½£¬¼Ó¿ìÈÎÎñÖÕÖ¹ËÙ¶È£¨Ãë¼¶ÑÓʱ£©¡£
Pholcus v1.2 ¾ßÌå¸üÐÂϸ½ÚÈçÏ£º
Ò»¡¢Êä³ö¹¦ÄÜÉý¼¶
Ìí¼ÓkafkaÊý¾Ý¿âÊä³ö
»ù±¾ÖØÐÂÁËmysqlÊä³öÄ£¿é£¬ÌáÉýÊä³öÎȶ¨ÐÔÓëÊä³öЧÂÊ
Ôö¼ÓÊä³öÎļþĿ¼µÄÅäÖÃÏî
´óÁ¿ÓÅ»¯½á¹ûÊÕ¼¯Ä£¿é£¬ÌáÉýI/OÐÔÄÜÓë״̬¿ØÖÆÐÔ
ÒÆ³ýÎļþÊä³öĿ¼µÄÈÕÆÚºó׺
µ÷ÕûÎļþÃû¹þÏ£Áٽ糤¶ÈΪ>8
ÒÆ³ýÊý¾ÝÊä³öͨµÀÈÝÁ¿µÄÅäÖÃÏîDATA_CHAN_CAP£¬ÓÉ·ÖÅúÊä³öÓû§ÉèÖÃÏîÖ±½Ó¾ö¶¨
¶þ¡¢ÏÂÔØ¹¦ÄÜÉý¼¶
ÔöÇ¿×Ô¶¯×ªÂ빦ÄÜ
µ±ÏìӦͷδָ¶¨±àÂëÀàÐÍʱ£¬´ÓÇëÇóÍ·¶ÁÈ¡
¶¼Î´Ö¸¶¨±àÂëÀàÐÍ»ò±àÂëÀàÐÍΪutf8ʱ£¬²»×öתÂ룬½ÚÔ¼ÄÚ´æ
Ôö¼ÓÖ§³Ö×Ô¶¯½âѹËõdeflateºÍzlib±àÂëµÄÏìÓ¦Á÷
Éý¼¶surferÏÂÔØÆ÷£¬ÐÞ¸´POSTÌύʱÏÂÔØÄÚºËÖÐContent-Type±»¸²¸ÇµÄbug£¬ÐÞ¸´Request.GetHeader()==nilʱpanicµÄbug
ÐÞ¸´Êä³öͼƬµÈÎļþʱ£¬ÏÂÔØ²¹È«µÄbug
Context.text×Ö¶ÎÀàÐÍÓÉstring¸ÄΪ[]byte
½«HTTP״̬Âë´óÓÚµÈÓÚ400µÄÇëÇó×Ô¶¯±ê¼ÇΪÏÂÔØÊ§°Ü
Èý¡¢²É¼¯¹æÔòÄ£¿éÉý¼¶
¸üÐÂ*Request.GetTemp(key string, defaultValue interface{}) interface{}£¬defaultValue²»ÔÙ×÷Ϊ½á¹û½ÓÊÕÈÝÆ÷£¬µ±¼üÖµ¶Ô²»´æÔÚʱ£¬·µ»ØÖµÎª²ÎÊýdefaultValue¡£
Spider.Register()·½·¨¸ÄΪ½ÓÊÜSpiderÀàÐÍ£¨Ö®Ç°Îª*Spider£©£¬ÍƼöʹÓà "func init(){Spider{}.Register()}" µÄ·½Ê½½øÐÐÉùÃ÷
ÓÅ»¯ÈÎÎñÍ£Ö¹Ìõ¼þ£¬Spider.RootÍ˳ö֮ǰ£¬ÈÎÎñ²»¿ÉÖÕÖ¹
ÐÞ¸´¶¯Ì¬¹æÔò½âÎöbug
ͬÃû²É¼¯¹æÔòµÄÃû³Æ×Ô¶¯Ìí¼Ó¼Ó"(2)"ÐÎʽµÄÐòºÅºó׺
ÓÅ»¯crawler²É¼¯ÒýÇæµÄËæ»úÍ£¶ÙÂß¼
Ìí¼Ó Context.Log() ÈÕÖ¾´òÓ¡½Ó¿Ú
ËÄ¡¢ÆäËûÓÅ»¯
ÐÞ¸´Ä³Ð©Çé¿öÏÂÔÚ·ÇwinϵͳÖÐlogÈÕÖ¾Òý·¢µÄpanic
ÐÞ¸´web°æÆô¶¯Ê±Å¼È»ÐÔ´ò²»¿ªÒ³ÃæµÄbug
web°æÊµÊ±ÈÕÖ¾ÔÚ³¬¹ý2000Ìõʱ×Ô¶¨Çå³ýǰ1000Ìõ
ÓÅ»¯schedulerµ÷¶ÈÆ÷
µ÷Õû·Ö²¼Ê½Ä£¿é×ÖÃæÁ¿ÃüÃû
ÐÞ¸´CUPÕ¼ÓøߵÄÎÊÌ⣬²É¼¯¹ý³ÌµÄ×îµÍʹÓÃÂÊ´Ó 20% ½µµÍµ½ 1%
¼Ó¿ìÈÎÎñµÄÖ÷¶¯ÖÕÖ¹£¬»ù±¾Òѽ«ÑÓʱ¿ØÖÆÔÚÃë¼¶
ͨ¹ýÊý¾ÝÊä³öËÙÂÊÀ´ÒÖÖÆ²É¼¯ÏÂÔØËÙÂÊ£¬´Ó¶ø½µµÍ²»±ØÒªµÄÄÚ´æÕ¼ÓÃ
ÏÂÔØµØÖ·£ºhttps://github.com/henrylee2cn/pholcus/archive/v1.2.0.zip
À´×Ô:¿ªÔ´ÖйúÉçÇø

