搭建crossin先生的proxypool遇到的PhantomJS安装问题以及数据库...

虎虎虎三

在克隆您的项目到本地后是否需要先创建相关的表？没有对django自带数据库的操作经验。PhantomJS使用pip或者pip3都无法安装

crossin先生

django项目需要先执行 python manage.py migrate 创建数据库

或者你可以先不考虑django那部分

phantomjs不是用pip安装的，网上搜下有安装教程

虎虎虎三

crossin先生 发表于 2018-11-15 21:41
django项目需要先执行 python manage.py migrate 创建数据库

或者你可以先不考虑django那部分

按照您说的创建了数据库 也能成功执行Python manage.py createsuperuser来创建超级用户了，但是之前我搜PhantomJS时好像说selenium不再支持它了(可能是高版本selenium不支持了)，是不是需要换别的？ 然后在运行run_spider.py时也报了一个缺少数据表的错，那个数据表是要自己创建还是脚本会创建

crossin先生

虎虎虎三 发表于 2018-11-17 13:50
按照您说的创建了数据库 也能成功执行Python manage.py createsuperuser来创建超级用户了，但是之前我搜P ...

暂时你这个可以运行不必换。但以后你还要继续做爬虫的话，可以改成用 chrome driver

那个表按理应该是会随 migrate 命令创建，不需自己手动创建。可能你创建时候没成功或者漏做了

虎虎虎三

crossin先生 发表于 2018-11-17 14:05
暂时你这个可以运行不必换。但以后你还要继续做爬虫的话，可以改成用 chrome driver

那个表按理应该是会 ...

我重新执行python manage.py migrate想重新创表，但是回显就说只有那四个表，而myproxy_proxy表仍然不存在
然后我apt-get install phantomjs 装了phantomjs，想查个版本看看是不是安装成功就运行失败了(crashed), 不知道是不是非桌面环境运行这个就会失败

crossin先生

虎虎虎三 发表于 2018-11-19 09:32
我重新执行python manage.py migrate想重新创表，但是回显就说只有那四个表，而myproxy_proxy表仍然不存 ...

你先跑一下 python manage.py makemigration myproxy ，创建出数据库脚本

后面一个网上搜到个回答：

QXcbConnection: Could not connect to display
PhantomJS has crashed. Please read the bug reporting guide at
http://phantomjs.org/bug-reporting.html and file a bug report.
Aborted
解决方案
步骤一：sudo apt-get install xvfb
步骤二：sudo xvfb-run wkhtmltopdf
xvfb 是通过提供一个类似 X server 守护进程 和 设置程序运行的环境变量 DISPLAY 来提供程序运行的环境，wkhtmltopdf，把HTML页面内存转换成PDF
如按照上述步骤还未解决，请重启终端！

虎虎虎三

crossin先生 发表于 2018-11-19 10:26
你先跑一下 python manage.py makemigration myproxy ，创建出数据库脚本

后面一个网上搜到个回答：

可以成功创建myproxy, 但是还是没有数据表myproxy_proxy，还是报一样的错误

crossin先生

虎虎虎三 发表于 2018-11-19 17:31
可以成功创建myproxy, 但是还是没有数据表myproxy_proxy，还是报一样的错误

manage.py makemigrations myproxy
创建脚本

manage.py migrate
应用脚本到数据库

虎虎虎三

crossin先生 发表于 2018-11-20 22:04
manage.py makemigrations myproxy
创建脚本

谢谢crossin先生，django已经可以正常跑起来了，我执行了一次 python run_spider.py(然后将其加入定时任务了), 其中报了字符编码的错误，不过应该问题不大，然后对快代理的抓取出了问题，不知道是不是他们页面改版的问题，主要的问题就是之抓到了三百多个ip，然后访问接口或者直接查看都不能返回ip，不知道是什么原因

crossin先生

虎虎虎三 发表于 2018-11-22 19:42
谢谢crossin先生，django已经可以正常跑起来了，我执行了一次 python run_spider.py(然后将其加入定时任 ...

这个直接看不出来，去对应的访问接口里加调试信息，看看具体是哪一步出问题吧

看下对应的数据库queryset请求语句的条件，然后和库里已有数据对比着看