Crossin的编程教室

标题: 搭建crossin先生的proxypool遇到的PhantomJS安装问题以及数据库... [打印本页]

作者: 虎虎虎三 时间: 2018-11-15 21:20
标题: 搭建crossin先生的proxypool遇到的PhantomJS安装问题以及数据库...
在克隆您的项目到本地后是否需要先创建相关的表？没有对django自带数据库的操作经验。PhantomJS使用pip或者pip3都无法安装

QQ图片20181115211446.png (12.58 KB, 下载次数: 488)

QQ图片20181115211446.png

QQ图片20181115211537.png (12.31 KB, 下载次数: 492)

QQ图片20181115211537.png

QQ图片20181115211555.png (5.56 KB, 下载次数: 495)

QQ图片20181115211555.png

QQ图片20181115211645.png (17.14 KB, 下载次数: 480)

QQ图片20181115211645.png

作者: crossin先生 时间: 2018-11-15 21:41
django项目需要先执行 python manage.py migrate 创建数据库

或者你可以先不考虑django那部分

phantomjs不是用pip安装的，网上搜下有安装教程

作者: 虎虎虎三 时间: 2018-11-17 13:50

crossin先生发表于 2018-11-15 21:41
django项目需要先执行 python manage.py migrate 创建数据库

或者你可以先不考虑django那部分

按照您说的创建了数据库也能成功执行Python manage.py createsuperuser来创建超级用户了，但是之前我搜PhantomJS时好像说selenium不再支持它了(可能是高版本selenium不支持了)，是不是需要换别的？然后在运行run_spider.py时也报了一个缺少数据表的错，那个数据表是要自己创建还是脚本会创建

QQ图片20181117134159.png (34.08 KB, 下载次数: 484)

QQ图片20181117134159.png

QQ图片20181117134711.png (21.08 KB, 下载次数: 483)

QQ图片20181117134711.png

作者: crossin先生 时间: 2018-11-17 14:05

虎虎虎三发表于 2018-11-17 13:50
按照您说的创建了数据库也能成功执行Python manage.py createsuperuser来创建超级用户了，但是之前我搜P ...

暂时你这个可以运行不必换。但以后你还要继续做爬虫的话，可以改成用 chrome driver

那个表按理应该是会随 migrate 命令创建，不需自己手动创建。可能你创建时候没成功或者漏做了

作者: 虎虎虎三 时间: 2018-11-19 09:32

crossin先生发表于 2018-11-17 14:05
暂时你这个可以运行不必换。但以后你还要继续做爬虫的话，可以改成用 chrome driver

那个表按理应该是会 ...

我重新执行python manage.py migrate想重新创表，但是回显就说只有那四个表，而myproxy_proxy表仍然不存在
然后我apt-get install phantomjs 装了phantomjs，想查个版本看看是不是安装成功就运行失败了(crashed), 不知道是不是非桌面环境运行这个就会失败

QQ图片20181119092329.png (24.53 KB, 下载次数: 482)

QQ图片20181119092329.png

QQ图片20181119092357.png (18.91 KB, 下载次数: 490)

QQ图片20181119092357.png

作者: crossin先生 时间: 2018-11-19 10:26

虎虎虎三发表于 2018-11-19 09:32
我重新执行python manage.py migrate想重新创表，但是回显就说只有那四个表，而myproxy_proxy表仍然不存 ...

你先跑一下 python manage.py makemigration myproxy ，创建出数据库脚本

后面一个网上搜到个回答：

QXcbConnection: Could not connect to display
PhantomJS has crashed. Please read the bug reporting guide at
http://phantomjs.org/bug-reporting.html and file a bug report.
Aborted
解决方案
步骤一：sudo apt-get install xvfb
步骤二：sudo xvfb-run wkhtmltopdf
xvfb 是通过提供一个类似 X server 守护进程和设置程序运行的环境变量 DISPLAY 来提供程序运行的环境，wkhtmltopdf，把HTML页面内存转换成PDF
如按照上述步骤还未解决，请重启终端！

作者: 虎虎虎三 时间: 2018-11-19 17:31

crossin先生发表于 2018-11-19 10:26
你先跑一下 python manage.py makemigration myproxy ，创建出数据库脚本

后面一个网上搜到个回答：

可以成功创建myproxy, 但是还是没有数据表myproxy_proxy，还是报一样的错误

QQ图片20181119172747.png (8.27 KB, 下载次数: 491)

QQ图片20181119172747.png

QQ图片20181119172817.png (84.85 KB, 下载次数: 474)

QQ图片20181119172817.png

作者: crossin先生 时间: 2018-11-20 22:04

虎虎虎三发表于 2018-11-19 17:31
可以成功创建myproxy, 但是还是没有数据表myproxy_proxy，还是报一样的错误

manage.py makemigrations myproxy
创建脚本

manage.py migrate
应用脚本到数据库

作者: 虎虎虎三 时间: 2018-11-22 19:42

crossin先生发表于 2018-11-20 22:04
manage.py makemigrations myproxy
创建脚本

谢谢crossin先生，django已经可以正常跑起来了，我执行了一次 python run_spider.py(然后将其加入定时任务了), 其中报了字符编码的错误，不过应该问题不大，然后对快代理的抓取出了问题，不知道是不是他们页面改版的问题，主要的问题就是之抓到了三百多个ip，然后访问接口或者直接查看都不能返回ip，不知道是什么原因

QQ图片20181122194036.png (106.68 KB, 下载次数: 476)

QQ图片20181122194036.png

QQ图片20181121091834.png (42.44 KB, 下载次数: 475)

QQ图片20181121091834.png

QQ图片20181121094449.png (35.92 KB, 下载次数: 478)

QQ图片20181121094449.png

QQ图片20181121091815.png (103.41 KB, 下载次数: 492)

QQ图片20181121091815.png

作者: crossin先生 时间: 2018-11-23 11:12

虎虎虎三发表于 2018-11-22 19:42
谢谢crossin先生，django已经可以正常跑起来了，我执行了一次 python run_spider.py(然后将其加入定时任 ...

这个直接看不出来，去对应的访问接口里加调试信息，看看具体是哪一步出问题吧

看下对应的数据库queryset请求语句的条件，然后和库里已有数据对比着看

欢迎光临 Crossin的编程教室 (https://bbs.crossincode.com/)