Ben Kurtovic
a73f618e0a
Initial conversion to Python 3
3 yıl önce
Ben Kurtovic
9d66ebc6b2
copyvios: Config-directed URL proxying
3 yıl önce
Ben Kurtovic
a463c6d052
Fix lazy loading bug where lxml.etree wasn't accessible to bs4.
7 yıl önce
Ben Kurtovic
fbb9ea7b03
Catch empty Google results properly.
8 yıl önce
Ben Kurtovic
aba91c0f1c
Missing comma.
8 yıl önce
Ben Kurtovic
a95356676b
Add GoogleSearchEngine.
8 yıl önce
Ben Kurtovic
98d0977c19
Refactor search; cleanup; fixup.
8 yıl önce
Ben Kurtovic
76b068c4df
Add Yandex proxy support.
8 yıl önce
Ben Kurtovic
a0d7eb62a2
Add Yandex search support.
8 yıl önce
Ben Kurtovic
04ed5257c7
Refactor search engines.
8 yıl önce
Ben Kurtovic
80890fb191
WebFileType doesn't work
8 yıl önce
Ben Kurtovic
977b587e5e
Add support for Bing Search
8 yıl önce
Ben Kurtovic
4e8be871b7
Update copyright year for 2015.
9 yıl önce
Ben Kurtovic
b8d55973c9
Tell Yahoo! it's okay to return PDFs.
9 yıl önce
Ben Kurtovic
693cdc302f
Catch errors while searching.
9 yıl önce
Ben Kurtovic
4f5a22a2e5
Apparently oauth2 converts the query to unicode.
9 yıl önce
Ben Kurtovic
5003c21ff6
Quoting the entire query works now.
9 yıl önce
Ben Kurtovic
5677664476
Properly encode URL for the search engine.
9 yıl önce
Ben Kurtovic
5890ee6e6a
Don't quote_plus() the query.
9 yıl önce
Ben Kurtovic
5874467ec3
Bugfix, cleanup.
9 yıl önce
Ben Kurtovic
3e4dac967d
Remove auto-quotes from queries; add min_query; halve max_query.
9 yıl önce
Ben Kurtovic
39d5c7c149
Update copyright notices for 2014.
10 yıl önce
Ben Kurtovic
ed95c99f0e
Update email address.
10 yıl önce
Ben Kurtovic
0b7a13eca5
Update copyright notices for 2013.
11 yıl önce
Ben Kurtovic
a4dda89a61
Various fixes for copyvios.
- Fix a bug in ExclusionsDB; improve URL regexes.
- NLTK's LookupError is actually an IOError.
- Fix bug in __repr__ for CopyvioCheckResult.
- Rewrite YahooBOSSSearchEngine to actually work with oauth2.
- Search engines now take a URL opener in addition to credentials.
11 yıl önce
Ben Kurtovic
0ca84ab9bc
Implement lazy-importing of oauth2, nltk, and bs4.
11 yıl önce
Ben Kurtovic
4baab6f57c
Implement lazy importing of root-level modules and packages.
- Simplify all imports
- Update dependency version in setup.py
- Change waitTime default from three seconds to two
11 yıl önce
Ben Kurtovic
439b855254
Fully implement logging; fix non-unicode log messages.
12 yıl önce
Ben Kurtovic
569c815d99
Implement NLTK for chunking article content ( #5 ).
12 yıl önce
Ben Kurtovic
1af4217b63
Update copyright notices and some other improvements.
12 yıl önce
Ben Kurtovic
d45e342bac
DOCUMENT EVERYTHING ( #5 )
Also implementing MWParserFromHell, plus some cleanup.
12 yıl önce
Ben Kurtovic
d87c226417
__repr__ and __str__ for everything per #5 and #22 .
12 yıl önce
Ben Kurtovic
7dbbe9683c
Update imports and exceptions.
12 yıl önce
Ben Kurtovic
5ca1d91f3e
Use __all__ within e.w.copyvios and shorter imports
12 yıl önce
Ben Kurtovic
d4e947b98b
earwigbot.wiki.copyvios.search module split
12 yıl önce