Ben Kurtovic
|
d609c233a1
|
Attempt to fix /tmp race condition.
|
10 роки тому |
Ben Kurtovic
|
11b460eaa0
|
Fix repo names.
|
10 роки тому |
Ben Kurtovic
|
66ac2165f4
|
Fix.
|
10 роки тому |
Ben Kurtovic
|
fb341d5abd
|
empty_database procedure.
|
10 роки тому |
Ben Kurtovic
|
f3bf38c00b
|
Fix substring error.
|
10 роки тому |
Benjamin Attal
|
2d643b1069
|
Stop ruby parser from failing. Add other parser fixes. Should be good
to go now.
|
10 роки тому |
Ben Kurtovic
|
9d3f9444f7
|
Not necessary: codelet.symbols is {} by default.
|
10 роки тому |
Benjamin Attal
|
16775a6490
|
Remove negative line numbers for parsers.
|
10 роки тому |
Ben Kurtovic
|
ddcb5b221f
|
Use logs to calculate ranks (closes #61).
|
10 роки тому |
Ben Kurtovic
|
10e7491a40
|
Fix indexer breaking http:// URLs.
|
10 роки тому |
Ben Kurtovic
|
71ba6c31d8
|
Minor cleanup.
|
10 роки тому |
Benjamin Attal
|
525e049be0
|
Bug fixes.
|
10 роки тому |
Benjamin Attal
|
e9f0ddfe71
|
Ensure ruby parser returns all dictionary keys, regardless of whether or not there are elements in them.
|
10 роки тому |
Ben Kurtovic
|
1015298109
|
Make it easy to stop crawler/parsers. Cleanup.
|
10 роки тому |
Ben Kurtovic
|
6eeea5bf7e
|
Fix parsing via servers.
|
10 роки тому |
Ben Kurtovic
|
5d16fdcae0
|
Fix reduction.
|
10 роки тому |
Ben Kurtovic
|
28d07de930
|
Fix origin stuff.
|
10 роки тому |
Ben Kurtovic
|
f74740d3dd
|
Get rid of origin images (closes #51).
|
10 роки тому |
Ben Kurtovic
|
00058d3879
|
Only return the right codelet symbols from the database (closes #46).
|
10 роки тому |
Ben Kurtovic
|
f4efe8e99b
|
Codelet.serialize() update (for #46).
|
10 роки тому |
Benjamin Attal
|
4202552a1e
|
Remove unecessary import
|
10 роки тому |
Ben Kurtovic
|
7bac5c0b9a
|
Update schema to v7; correctly order entries in cache.
|
10 роки тому |
Ben Kurtovic
|
e0194ab346
|
Forgot to update query numbers.
|
10 роки тому |
Ben Kurtovic
|
69b011ac12
|
Fix.
|
10 роки тому |
Ben Kurtovic
|
8acddb6834
|
Fix cache retrieval behavior.
|
10 роки тому |
Benjamin Attal
|
7337638b72
|
Change form get_lexer to guess_lexer -- guess_lexer is more accurate.
|
10 роки тому |
Ben Kurtovic
|
7b9e98bc5b
|
Thanks @riamse
|
10 роки тому |
Benjamin Attal
|
ca4bb8ff42
|
Change format of symbols to fit databse model.
|
10 роки тому |
Ben Kurtovic
|
b2d9ad5c97
|
Missed a line.
|
10 роки тому |
Ben Kurtovic
|
b6fabc54ec
|
Can't use executemany() here.
|
10 роки тому |
Benjamin Attal
|
21cf52ea65
|
Call start_parse_servers from crawl.py
|
10 роки тому |
Benjamin Attal
|
c9520fd4e3
|
Add function to start parse servers in parser/__init__.py
|
10 роки тому |
Ben Kurtovic
|
e64c81f66f
|
Consistency fix: Use Codelet.url instead of Codelet.code_url.
|
10 роки тому |
Benjamin Attal
|
65a2688be9
|
Adjust test for new language dict.
|
10 роки тому |
Ben Kurtovic
|
f02dc4497c
|
Fixes.
|
10 роки тому |
Ben Kurtovic
|
5d8ac664fe
|
HAHA WHAT ARE ITERATORS
|
10 роки тому |
Benjamin Attal
|
5e6e3fcbf5
|
Adjust test for new language dict.
|
10 роки тому |
Severyn Kozak
|
94953624c8
|
Fix #34.
Add:
bitshift/crawler/indexer.py
-Add a `try-except` block to catch the `UnsupportedFileError` exception.
|
10 роки тому |
Ben Kurtovic
|
5a83720617
|
Strip encoding lines.
|
10 роки тому |
Severyn Kozak
|
fc8d478060
|
Untested fix #33.
Add:
bitshift/crawler/indexer.py
-Add conditional to remove the full path of a repository if the owner's
directory contains only one sub-directory.
|
10 роки тому |
Ben Kurtovic
|
a3eacc287e
|
Try to make exception reporting more useful.
|
10 роки тому |
Ben Kurtovic
|
5d9ef2774d
|
Some fixes, mainly involving language detection.
|
10 роки тому |
Ben Kurtovic
|
9f935bbb74
|
This is ugly, but it improves the current setup.
|
10 роки тому |
Severyn Kozak
|
b698a16c98
|
Add parse() and insert() calls to crawler.
Add:
bitshift/crawler/indexer.py
-Add `parse()` and `insert()` calls to `_insert_repository_codelets()`.
|
10 роки тому |
Severyn Kozak
|
f8436fa484
|
Part of #26. Move __init__.py to crawl.py.
Add:
bitshift/crawler/(__init__, crawl).py
-Move `__init__.py` to `crawl.py`, and add a `main` block to allow
running the crawler via `python -m`.
|
10 роки тому |
Ben Kurtovic
|
4dc83e913a
|
Implement /search.json route (#27)
|
10 роки тому |
Ben Kurtovic
|
52c7e9cf5e
|
Finish JSON stringification (closes #29)
|
10 роки тому |
Ben Kurtovic
|
326be3050f
|
Start work on serializing; clean up languages.
|
10 роки тому |
Ben Kurtovic
|
878088f9ab
|
Split symbols into implicit OR groups (closes #28)
|
10 роки тому |
Ben Kurtovic
|
860260d0ad
|
Finish Database.search() (closes #19)
|
10 роки тому |