ºìÁªLinuxÃÅ»§
Linux°ïÖú

Pholcus 1.2·¢²¼£¬¸ß²¢·¢¡¢·Ö²¼Ê½ÅÀ³æÈí¼þ

·¢²¼Ê±¼ä:2016-09-26 09:20:37À´Ô´:ºìÁª×÷Õß:numdon
PholcusÅÀ³æÈí¼þ·¢²¼1.2°æ±¾£¬CPUʹÓÃÂÊÓëÄÚ´æÕ¼ÓþùÓдó·ù½µµÍ£¬ÔËÐиü¼ÓÎȶ¨Á÷³©¡£Í¬Ê±ÐÂÔökafkaÊä³ö·½Ê½£¬¼Ó¿ìÈÎÎñÖÕÖ¹ËÙ¶È£¨Ãë¼¶ÑÓʱ£©¡£

Pholcus v1.2 ¾ßÌå¸üÐÂϸ½ÚÈçÏ£º

Ò»¡¢Êä³ö¹¦ÄÜÉý¼¶

Ìí¼ÓkafkaÊý¾Ý¿âÊä³ö

»ù±¾ÖØÐÂÁËmysqlÊä³öÄ£¿é£¬ÌáÉýÊä³öÎȶ¨ÐÔÓëÊä³öЧÂÊ

Ôö¼ÓÊä³öÎļþĿ¼µÄÅäÖÃÏî

´óÁ¿ÓÅ»¯½á¹ûÊÕ¼¯Ä£¿é£¬ÌáÉýI/OÐÔÄÜÓë״̬¿ØÖÆÐÔ

ÒÆ³ýÎļþÊä³öĿ¼µÄÈÕÆÚºó׺

µ÷ÕûÎļþÃû¹þÏ£Áٽ糤¶ÈΪ>8

ÒÆ³ýÊý¾ÝÊä³öͨµÀÈÝÁ¿µÄÅäÖÃÏîDATA_CHAN_CAP£¬ÓÉ·ÖÅúÊä³öÓû§ÉèÖÃÏîÖ±½Ó¾ö¶¨

¶þ¡¢ÏÂÔØ¹¦ÄÜÉý¼¶

ÔöÇ¿×Ô¶¯×ªÂ빦ÄÜ

µ±ÏìӦͷδָ¶¨±àÂëÀàÐÍʱ£¬´ÓÇëÇóÍ·¶ÁÈ¡

¶¼Î´Ö¸¶¨±àÂëÀàÐÍ»ò±àÂëÀàÐÍΪutf8ʱ£¬²»×öתÂ룬½ÚÔ¼ÄÚ´æ

Ôö¼ÓÖ§³Ö×Ô¶¯½âѹËõdeflateºÍzlib±àÂëµÄÏìÓ¦Á÷

Éý¼¶surferÏÂÔØÆ÷£¬ÐÞ¸´POSTÌύʱÏÂÔØÄÚºËÖÐContent-Type±»¸²¸ÇµÄbug£¬ÐÞ¸´Request.GetHeader()==nilʱpanicµÄbug

ÐÞ¸´Êä³öͼƬµÈÎļþʱ£¬ÏÂÔØ²¹È«µÄbug

Context.text×Ö¶ÎÀàÐÍÓÉstring¸ÄΪ[]byte

½«HTTP״̬Âë´óÓÚµÈÓÚ400µÄÇëÇó×Ô¶¯±ê¼ÇΪÏÂÔØÊ§°Ü

Èý¡¢²É¼¯¹æÔòÄ£¿éÉý¼¶

¸üÐÂ*Request.GetTemp(key string, defaultValue interface{}) interface{}£¬defaultValue²»ÔÙ×÷Ϊ½á¹û½ÓÊÕÈÝÆ÷£¬µ±¼üÖµ¶Ô²»´æÔÚʱ£¬·µ»ØÖµÎª²ÎÊýdefaultValue¡£

Spider.Register()·½·¨¸ÄΪ½ÓÊÜSpiderÀàÐÍ£¨Ö®Ç°Îª*Spider£©£¬ÍƼöʹÓà "func init(){Spider{}.Register()}" µÄ·½Ê½½øÐÐÉùÃ÷

ÓÅ»¯ÈÎÎñÍ£Ö¹Ìõ¼þ£¬Spider.RootÍ˳ö֮ǰ£¬ÈÎÎñ²»¿ÉÖÕÖ¹

ÐÞ¸´¶¯Ì¬¹æÔò½âÎöbug

ͬÃû²É¼¯¹æÔòµÄÃû³Æ×Ô¶¯Ìí¼Ó¼Ó"(2)"ÐÎʽµÄÐòºÅºó׺

ÓÅ»¯crawler²É¼¯ÒýÇæµÄËæ»úÍ£¶ÙÂß¼­

Ìí¼Ó Context.Log() ÈÕÖ¾´òÓ¡½Ó¿Ú

ËÄ¡¢ÆäËûÓÅ»¯

ÐÞ¸´Ä³Ð©Çé¿öÏÂÔÚ·ÇwinϵͳÖÐlogÈÕÖ¾Òý·¢µÄpanic

ÐÞ¸´web°æÆô¶¯Ê±Å¼È»ÐÔ´ò²»¿ªÒ³ÃæµÄbug

web°æÊµÊ±ÈÕÖ¾ÔÚ³¬¹ý2000Ìõʱ×Ô¶¨Çå³ýǰ1000Ìõ

ÓÅ»¯schedulerµ÷¶ÈÆ÷

µ÷Õû·Ö²¼Ê½Ä£¿é×ÖÃæÁ¿ÃüÃû

ÐÞ¸´CUPÕ¼ÓøߵÄÎÊÌ⣬²É¼¯¹ý³ÌµÄ×îµÍʹÓÃÂÊ´Ó 20% ½µµÍµ½ 1%

¼Ó¿ìÈÎÎñµÄÖ÷¶¯ÖÕÖ¹£¬»ù±¾Òѽ«ÑÓʱ¿ØÖÆÔÚÃë¼¶

ͨ¹ýÊý¾ÝÊä³öËÙÂÊÀ´ÒÖÖÆ²É¼¯ÏÂÔØËÙÂÊ£¬´Ó¶ø½µµÍ²»±ØÒªµÄÄÚ´æÕ¼ÓÃ

ÏÂÔØµØÖ·£ºhttps://github.com/henrylee2cn/pholcus/archive/v1.2.0.zip

À´×Ô:¿ªÔ´ÖйúÉçÇø
ÎÄÕÂÆÀÂÛ

¹²ÓÐ 0 ÌõÆÀÂÛ