ben
/
earwigbot
zrcadlo https://github.com/earwig/earwigbot
1
1
Rozštěpit 0
Zdrojový kód Vydání 3 Aktivita
993 Revize
2 Větve
41 MiB
Strom: 4e8be871b7
Větve Značky
${ item.name }
Vytvořit větev ${ searchTerm }
z „4e8be871b7“
${ noResults }
Graf revizí

61 Revize (4e8be871b7d57e5512854240baefd1d3bf4268be)

Autor SHA1 Zpráva Datum
  Ben Kurtovic c56838e742 Only spawn one worker for comparisons in local mode. před 9 roky
  Ben Kurtovic 7c0e98596c Some bugfixes. před 9 roky
  Ben Kurtovic 361f7709f8 Starting work on global workers. před 9 roky
  Ben Kurtovic bdcbfa5327 Catch errors around response.read(). před 9 roky
  Ben Kurtovic 24dd497fd9 Catch more general socket.error. před 9 roky
  Ben Kurtovic 5e72e74759 Employ new piecewise article-delta confidence function. před 9 roky
  Ben Kurtovic 203c65280c Float delta. před 9 roky
  Ben Kurtovic 6b0f8ad311 Fix reference. před 9 roky
  Ben Kurtovic e2d7c7aef6 Update with new confidence function; fix unicode. před 9 roky
  Ben Kurtovic 05010933c7 Reorder some URL opening code; zip protection. před 9 roky
  Ben Kurtovic 2bddf79a3d Fix deadlock when calling queue.put() while holding the mutex. před 9 roky
  Ben Kurtovic 7a4fcd7807 Fix queue clear call. před 9 roky
  Ben Kurtovic efae85a1fe Move thread spawning code to worker class. před 9 roky
  Ben Kurtovic 7137dda920 Update copyvio checker to not make concurrent requests to a single domain. před 9 roky
  Ben Kurtovic 5874467ec3 Bugfix, cleanup. před 9 roky
  Ben Kurtovic cc7ac52a05 Fix query counting. před 9 roky
  Ben Kurtovic d672e670fa Fix param name. před 9 roky
  Ben Kurtovic 0e28f89466 Update logging. před 9 roky
  Ben Kurtovic ae0c390ceb Redesign copyvio internals to parallelize URL loading/parsing. před 9 roky
  Ben Kurtovic 1501341000 Allow even more time for a URL to time out. před 9 roky
  Ben Kurtovic ccb3c022ca Some servers don't leave a space before the content type parameter list. před 9 roky
  Ben Kurtovic 5e9d4cfa78 copyvios: use a different timeout for direct URL comparisons. před 9 roky
  Ben Kurtovic ea14f39e73 Split content type correctly. před 9 roky
  Ben Kurtovic e0cd174310 Refactor out empty chain definitions. před 10 roky
  Ben Kurtovic 0eadf65a09 Only accept HTML and plain text for copyvio checks. před 10 roky
  Ben Kurtovic c3ddc3d35a Return the correct empty chain. před 10 roky
  Ben Kurtovic 39d5c7c149 Update copyright notices for 2014. před 10 roky
  Ben Kurtovic ed95c99f0e Update email address. před 10 roky
  Ben Kurtovic 5931f375de Put response.read() in the try:, since that's what throws the timeout. před 11 roky
  Ben Kurtovic 0b7a13eca5 Update copyright notices for 2013. před 11 roky
  Ben Kurtovic 4ff7612a27 Fix when we've cached None as a url. před 11 roky
  Ben Kurtovic 25d75c5d11 Forgot to give process_time param to CopyvioCheckResult. před 11 roky
  Ben Kurtovic bcf9b70107 Keep track of how long generating results takes; support 'max_time'. před 11 roky
  Ben Kurtovic de23112f43 Bugfix when we can't read HTML. před 11 roky
  Ben Kurtovic a4dda89a61 Various fixes for copyvios. před 11 roky
  Ben Kurtovic 655624c2cf Lazy-importing of py-bcrypt and pycrypto; restructured deps in setup. před 11 roky
  Ben Kurtovic 0ca84ab9bc Implement lazy-importing of oauth2, nltk, and bs4. před 11 roky
  Ben Kurtovic 4baab6f57c Implement lazy importing of root-level modules and packages. před 11 roky
  Ben Kurtovic 8d8703358c More fixes and tweaks; cleanup; etc. před 11 roky
  Ben Kurtovic f993b847ab Encode URLs as UTF-8 before opening them. před 12 roky
  Ben Kurtovic 570168ed0e Institute a timeout so we don't try to open these suspicious URLs forever. před 12 roky
  Ben Kurtovic 439b855254 Fully implement logging; fix non-unicode log messages. před 12 roky
  Ben Kurtovic a074da853b More work on copyvios, including an exclusions database (#5) před 12 roky
  Ben Kurtovic c260648bdb Finish chunking algorithm, improve !link, other fixes. před 12 roky
  Ben Kurtovic 569c815d99 Implement NLTK for chunking article content (#5). před 12 roky
  Ben Kurtovic 1af4217b63 Update copyright notices and some other improvements. před 12 roky
  Ben Kurtovic d45e342bac DOCUMENT EVERYTHING (#5) před 12 roky
  Ben Kurtovic d87c226417 __repr__ and __str__ for everything per #5 and #22. před 12 roky
  Ben Kurtovic 7dbbe9683c Update imports and exceptions. před 12 roky
  Ben Kurtovic 5ca1d91f3e Use __all__ within e.w.copyvios and shorter imports před 12 roky