请选择 进入手机版 | 继续访问电脑版
设为首页收藏本站

Crossin的编程教室

 找回密码
 立即加入
查看: 4456|回复: 9

搭建crossin先生的proxypool遇到的PhantomJS安装问题以及数据库...

[复制链接]

7

主题

0

好友

87

积分

注册会员

Rank: 2

发表于 2018-11-15 21:20:51 |显示全部楼层
在克隆您的项目到本地后是否需要先创建相关的表?没有对django自带数据库的操作经验。PhantomJS使用pip或者pip3都无法安装

QQ图片20181115211446.png
QQ图片20181115211537.png
QQ图片20181115211555.png
QQ图片20181115211645.png
回复

使用道具 举报

174

主题

45

好友

10万

积分

管理员

Rank: 9Rank: 9Rank: 9

发表于 2018-11-15 21:41:19 |显示全部楼层
django项目需要先执行 python manage.py migrate 创建数据库

或者你可以先不考虑django那部分

phantomjs不是用pip安装的,网上搜下有安装教程
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

7

主题

0

好友

87

积分

注册会员

Rank: 2

发表于 2018-11-17 13:50:16 |显示全部楼层
crossin先生 发表于 2018-11-15 21:41
django项目需要先执行 python manage.py migrate 创建数据库

或者你可以先不考虑django那部分

按照您说的创建了数据库 也能成功执行Python manage.py createsuperuser来创建超级用户了,但是之前我搜PhantomJS时好像说selenium不再支持它了(可能是高版本selenium不支持了),是不是需要换别的? 然后在运行run_spider.py时也报了一个缺少数据表的错,那个数据表是要自己创建还是脚本会创建
QQ图片20181117134159.png
QQ图片20181117134711.png
回复

使用道具 举报

174

主题

45

好友

10万

积分

管理员

Rank: 9Rank: 9Rank: 9

发表于 2018-11-17 14:05:33 |显示全部楼层
虎虎虎三 发表于 2018-11-17 13:50
按照您说的创建了数据库 也能成功执行Python manage.py createsuperuser来创建超级用户了,但是之前我搜P ...

暂时你这个可以运行不必换。但以后你还要继续做爬虫的话,可以改成用 chrome driver

那个表按理应该是会随 migrate 命令创建,不需自己手动创建。可能你创建时候没成功或者漏做了
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

7

主题

0

好友

87

积分

注册会员

Rank: 2

发表于 2018-11-19 09:32:03 |显示全部楼层
crossin先生 发表于 2018-11-17 14:05
暂时你这个可以运行不必换。但以后你还要继续做爬虫的话,可以改成用 chrome driver

那个表按理应该是会 ...

我重新执行python manage.py migrate想重新创表,但是回显就说只有那四个表,而myproxy_proxy表仍然不存在
然后我apt-get install phantomjs 装了phantomjs,想查个版本看看是不是安装成功就运行失败了(crashed), 不知道是不是非桌面环境运行这个就会失败


QQ图片20181119092329.png
QQ图片20181119092357.png
回复

使用道具 举报

174

主题

45

好友

10万

积分

管理员

Rank: 9Rank: 9Rank: 9

发表于 2018-11-19 10:26:36 |显示全部楼层
虎虎虎三 发表于 2018-11-19 09:32
我重新执行python manage.py migrate想重新创表,但是回显就说只有那四个表,而myproxy_proxy表仍然不存 ...

你先跑一下 python manage.py makemigration myproxy ,创建出数据库脚本

后面一个网上搜到个回答:
QXcbConnection: Could not connect to display
PhantomJS has crashed. Please read the bug reporting guide at
http://phantomjs.org/bug-reporting.html and file a bug report.
Aborted
解决方案
步骤一:sudo apt-get install xvfb
步骤二:sudo xvfb-run wkhtmltopdf
xvfb 是通过提供一个类似 X server 守护进程 和 设置程序运行的环境变量 DISPLAY 来提供程序运行的环境,wkhtmltopdf,把HTML页面内存转换成PDF
如按照上述步骤还未解决,请重启终端!
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

7

主题

0

好友

87

积分

注册会员

Rank: 2

发表于 2018-11-19 17:31:04 |显示全部楼层
crossin先生 发表于 2018-11-19 10:26
你先跑一下 python manage.py makemigration myproxy ,创建出数据库脚本

后面一个网上搜到个回答:

可以成功创建myproxy, 但是还是没有数据表myproxy_proxy,还是报一样的错误

QQ图片20181119172747.png
QQ图片20181119172817.png
回复

使用道具 举报

174

主题

45

好友

10万

积分

管理员

Rank: 9Rank: 9Rank: 9

发表于 2018-11-20 22:04:19 |显示全部楼层
虎虎虎三 发表于 2018-11-19 17:31
可以成功创建myproxy, 但是还是没有数据表myproxy_proxy,还是报一样的错误

manage.py makemigrations myproxy
创建脚本

manage.py migrate
应用脚本到数据库
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

7

主题

0

好友

87

积分

注册会员

Rank: 2

发表于 2018-11-22 19:42:13 |显示全部楼层
crossin先生 发表于 2018-11-20 22:04
manage.py makemigrations myproxy
创建脚本

谢谢crossin先生,django已经可以正常跑起来了,我执行了一次 python run_spider.py(然后将其加入定时任务了), 其中报了字符编码的错误,不过应该问题不大,然后对快代理的抓取出了问题,不知道是不是他们页面改版的问题,主要的问题就是之抓到了三百多个ip,然后访问接口或者直接查看都不能返回ip,不知道是什么原因

QQ图片20181122194036.png
QQ图片20181121091834.png
QQ图片20181121094449.png
QQ图片20181121091815.png
回复

使用道具 举报

174

主题

45

好友

10万

积分

管理员

Rank: 9Rank: 9Rank: 9

发表于 2018-11-23 11:12:53 |显示全部楼层
虎虎虎三 发表于 2018-11-22 19:42
谢谢crossin先生,django已经可以正常跑起来了,我执行了一次 python run_spider.py(然后将其加入定时任 ...

这个直接看不出来,去对应的访问接口里加调试信息,看看具体是哪一步出问题吧

看下对应的数据库queryset请求语句的条件,然后和库里已有数据对比着看
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即加入

QQ|手机版|Archiver|Crossin的编程教室 ( 苏ICP备15063769号  

GMT+8, 2024-3-29 20:15 , Processed in 0.020402 second(s), 25 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部