ben
/
earwigbot
Mirror von https://github.com/earwig/earwigbot
1
1
Fork 0
Code Releases 3 Aktivität
1144 Commits
2 Branches
2.9 MiB
Struktur: 01dcbd4394
Branches Tags
${ item.name }
Erstelle Branch ${ searchTerm }
von „01dcbd4394“
${ noResults }
Commit graph

50 Commits (01dcbd4394b7a4ccd64d41d389647d191c20d6b6)

Autor SHA1 Nachricht Datum
  Ben Kurtovic 01dcbd4394 copyvios: Support on-error condition for URL proxying vor 3 Jahren
  Ben Kurtovic 9d66ebc6b2 copyvios: Config-directed URL proxying vor 3 Jahren
  Ben Kurtovic fe2e7879e4 Fix issues in previous commit vor 3 Jahren
  Ben Kurtovic 2324a73624 copyvios: Refactor some parsing logic and add dynamic Blogger support vor 3 Jahren
  Ben Kurtovic abb9403e5d More bug fixes vor 3 Jahren
  Ben Kurtovic a49a82e263 Fix a few bugs vor 3 Jahren
  Ben Kurtovic 2b5914b6ae Support parser-directed URL redirecting (for Wayback Machine PDFs) vor 3 Jahren
  Ben Kurtovic 466d3a42f1 copyvios: Minor refactor for cleaner stack frames. vor 5 Jahren
  Ben Kurtovic b4b079ffd0 Update copyright year for 2016. vor 8 Jahren
  Ben Kurtovic 4828cbad69 Catch possible ValueError when doing opener.open(). vor 8 Jahren
  Ben Kurtovic f52fb06c19 Add a debug message when catching ParserExclusionError. vor 8 Jahren
  Ben Kurtovic 91846ce4fb Refactor out mirror hinting logic in source parsers. vor 8 Jahren
  Ben Kurtovic 147b46f572 A couple more fixes and cleanup. vor 8 Jahren
  Ben Kurtovic 03910b6cb5 Add mirror detection logic to parsers; fixes. vor 8 Jahren
  Ben Kurtovic 81a090c923 Allow content parsers to signal that a source should be excluded. vor 8 Jahren
  Ben Kurtovic bb819c9306 Explicitly include excluded URLs in the result set; mark as excluded. vor 8 Jahren
  Ben Kurtovic 4e8be871b7 Update copyright year for 2015. vor 9 Jahren
  Ben Kurtovic 9ffc3f1bf5 Raise file crawl size limit for PDFs. vor 9 Jahren
  Ben Kurtovic 3f2dd1094f Catch HTTPException in opener.open. vor 9 Jahren
  Ben Kurtovic 08d02917f2 Strange typo. vor 9 Jahren
  Ben Kurtovic c2a5946874 Fix generating -0.0 as a confidence value. vor 9 Jahren
  Ben Kurtovic 106e58b164 Update confidence function comments. vor 9 Jahren
  Ben Kurtovic 5194525a32 Note when sources might have been missed. vor 9 Jahren
  Ben Kurtovic 065d9ea498 Fix; should always return a float. vor 9 Jahren
  Ben Kurtovic 290f81abed Prevent -0.0 from being a confidence value. vor 9 Jahren
  Ben Kurtovic 932b93572a Simplify function. vor 9 Jahren
  Ben Kurtovic 30f72df470 Refactor parsers; fix empty document behavior. vor 9 Jahren
  Ben Kurtovic 5349179088 Fix parsing of plain text documents (earwig/copyvios#3) vor 9 Jahren
  Ben Kurtovic f10908e34e Handle struct.error from GzipFile.read() (Python bug?) vor 9 Jahren
  Ben Kurtovic 303c39c8c7 Add an option to disable short-circuiting. vor 9 Jahren
  Ben Kurtovic f8f4669460 Remove unnecessary key attribute of sources. vor 9 Jahren
  Ben Kurtovic 9fd145da5c Add some docs; better sorting function. vor 9 Jahren
  Ben Kurtovic 7afb484cea Refactor a bunch of copyvio internals. Store all sources with a result object. vor 9 Jahren
  Ben Kurtovic 54ddff049f Make CopyvioSource public; tweaks. vor 9 Jahren
  Ben Kurtovic 0438766ee4 Handle empty URLs better. vor 9 Jahren
  Ben Kurtovic 2147207388 Remove unnecessary variable assign. vor 9 Jahren
  Ben Kurtovic f37621e5ec Use a deque for a FIFO instead of the python list LIFO. vor 9 Jahren
  Ben Kurtovic 8e439e1eea source.join() now blocks when in the middle of processing. vor 9 Jahren
  Ben Kurtovic dbb1ae5483 Handle empty queues correctly. Remove some log messages. vor 9 Jahren
  Ben Kurtovic 2fa8aeba5b Fix a blocking issue. vor 9 Jahren
  Ben Kurtovic 939d8be08f Fix variable. vor 9 Jahren
  Ben Kurtovic 3ed8837a3e Fix stopping queues in local mode. vor 9 Jahren
  Ben Kurtovic de7576728f Fix dequeueing logic a bit. vor 9 Jahren
  Ben Kurtovic b939262b11 Bugfix. vor 9 Jahren
  Ben Kurtovic 32ef0fbf1f Add a bunch of temporary debugging code. vor 9 Jahren
  Ben Kurtovic c7b3b7bc7f CopyvioSource.workspace should be public. vor 9 Jahren
  Ben Kurtovic e73e626994 Some locks needed to be tightened. vor 9 Jahren
  Ben Kurtovic 486c4692ed Remove _workers attr of workspaces. vor 9 Jahren
  Ben Kurtovic 7c0e98596c Some bugfixes. vor 9 Jahren
  Ben Kurtovic 361f7709f8 Starting work on global workers. vor 9 Jahren