程序问答   发布时间:2022-06-01  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了Tweepy Search API 停止且没有错误,同时仅搜索前 1 天大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

如何解决Tweepy Search API 停止且没有错误,同时仅搜索前 1 天?

开发过程中遇到Tweepy Search API 停止且没有错误,同时仅搜索前 1 天的问题如何解决?下面主要结合日常开发的经验,给出你关于Tweepy Search API 停止且没有错误,同时仅搜索前 1 天的解决方法建议,希望对你解决Tweepy Search API 停止且没有错误,同时仅搜索前 1 天有所启发或帮助;

我是 Tweepy 的新手,并通过它的 python 模块运行它。在搜索 hasgTags 几个小时后,我似乎超时了,但没有错误消息 - 它只是继续将推文放入我的数据框中。我知道 Twitter 对免费开发者帐户的 7 天限制,以及通过启用 wait_on_rate_limit=True 来遵守 twitters 数据挖掘限制。我的目标是每天在像“elonmusk”这样的更大的标签上运行这个,并在过去 24 小时内获得推文,但 Tweepy 似乎在推文达到一定数量后超时(最后一次拉取 65k 推文并在“现在”-4 小时后切断值得的推文)。

import tweepy
import pandas as pd

consumer_key = 'XXX'
consumer_secret = 'XXX'
access_token = 'XXX'
access_token_secret = 'XXX'

auth = tweepy.oAuthHandler(consumer_key,consumer_secret)
auth.set_access_token(access_token,access_token_secret)
API = tweepy.API(auth,wait_on_rate_limit=True,wait_on_rate_limit_notify=TruE)

d = []
start_date = pd.to_datetiR_66_11845@e('2021/2/14')
for tweet in tweepy.cursor(API.search,q=HashValue,count=20,lang="en",since=StartDate,tweet_mode='extended',show_user=TruE).items():
    full_noURL_tweet = [remove_url(tweet.full_text)]
    print('WriTing tweets to the moooon...')
    d.append((tweet.created_at,full_noURL_tweet))
print('tweets loaded...')

df = pd.DataFrame(d,columns=('date','full_tweet'))

我不想使用 Tweepy 的流媒体工具,因为我没有服务器/数据库功能来运行这个 24/7。是否有异常测试可以添加到此循环中以找出我被踢出的原因?

编辑

同时运行任务管理器时,我注意到我使用的是 7.6GB(68.8MB 压缩)和 32GB 总内存,频率为 3000Mhz。这会是我超时的原因吗?

解决方法

我通过将 count=20 增加到 api 允许的最大值来“解决”这个超时问题:count=100: See tweepy.search

这使我能够将挖掘/请求的推文数量增加 5 倍,并且我在更短的时间内下载了我的日期范围内的整个数据集,因此如果您想要大数字,请确保最大化您的计数!

对于这个确切的问题是什么,我没有可靠的答案,但似乎我的代码可以做一些例外,而 Tweepy API 的 this 部分可能是开始的地方>

大佬总结

以上是大佬教程为你收集整理的Tweepy Search API 停止且没有错误,同时仅搜索前 1 天全部内容,希望文章能够帮你解决Tweepy Search API 停止且没有错误,同时仅搜索前 1 天所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。
标签:1Search