用python 只搞爬虫有没有职业前途

1. 用python 只搞爬虫有没有职业前途

只搞爬虫如果意思是你的技术只停留在当前水平,不再学习新知识,不再进步的话,那么是没有前途的,总有一天会被时代淘汰.
但是
只搞爬虫,只要专研得够深,你的爬虫功能很强大,性能很高,扩展性很好等等,那么还是很有前途的
爬虫可以不至于爬数据,可以往大数据分析,数据展示,机器学习等方面发展,前途不可限量

2. python 爬虫有没有前途 知乎

学习

基本的爬虫工作原理
基本的http抓取工具，scrapy
Bloom Filter: Bloom Filters by Example
如果需要大规模网页抓取，你需要学习分布式爬虫的概念。其实没那么玄乎，你只要学会怎样维护一个所有集群机器能够有效分享的分布式队列就好。最简单的实现是python-rq: 
rq和Scrapy的结合：darkrho/scrapy-redis · GitHub
后续处理，网页析取(grangier/python-goose · GitHub)，存储(Mongodb)

3. 炒股看K线到底有没有用

看股票K线是股民炒股时常用的一种方法。利用K线找“规律”也是炒股常用的方法，毕竟股市变化多端，才能分析清楚进而更好投资，获得收益。来给朋友们讲解一下K线，教大家怎么去了解它。分享之前，先免费送给大家几个炒股神器，能帮你收集分析数据、估值、了解最新资讯等等，都是我常用的实用工具，建议收藏：炒股的九大神器免费领取（附分享码）一、 股票K线是什么意思？常说的蜡烛图、日本线、阴阳线等，其实指的就是K线图，我们常将它称呼为K线，它最早是用来计算米价每天的涨跌，之后股票、期货、期权等证券市场都能运用到它。形似柱状，可拆分为影线和实体，这个我们称为k线。影线在实体上方的部分叫上影线,下方的部分叫下影线，实体分阳线和阴线。Ps：影线代表的是当天交易的最高和最低价，实体表示的是当天的开盘价和收盘价。其中红色、白色柱体还有黑框空心都是常见的用来表示阳线的方法，然而阴线通常用实体柱做代表，颜色一般为绿色、黑色或者蓝色，除此之外，“十字线”被我们看到时，就可以认为一条线是实体部分改变后的形态其实十字线是很容易理解的，十字线可以反映出当天的收盘价=开盘价。将K线研究透，我们可以敏锐地找出买卖点（对于股市方面，虽然说是没有办法知道具体的事情，但是K线有一定指导的意义的），对于新手来说，操作起来不会那么难。在这里，我要给大家提个醒，K线解析起来是有一些复杂的，对于炒股小白来说，建议用一些辅助工具来帮你判断一只股票是否值得买。比如说下面的诊股链接，输入你中意的股票代码，就能自动帮你估值、分析大盘形势等等，我刚开始炒股的时候就用这种方法来过渡，非常方便：【免费】测一测你的股票当前估值位置？下面我就跟大家说说关于几个K线分析的小窍门儿，让你尽快入门。二、怎么用股票K线进行技术分析？1、实体线为阴线股票成交量是怎样的，这个时候是我们要重视的，万一成交量不大，这就表示着股价可能会短期下降；如果出现成交量很大的情况，股价肯定要长期下跌了。2、实体线为阳线实体线为阳线就意味着股价上涨动力更足，可具体是否是长期上涨，想要判断还得结合其他指标才行。比如说大盘形式、行业前景、估值等等因素/指标，但是由于篇幅问题，不能展开细讲，大家可以点击下方链接了解：新手小白必备的股市基础知识大全应答时间：2021-09-06，最新业务变化以文中链接内展示的数据为准，请点击查看

4. 如何用Python和机器学习炒股赚钱

相信很多人都想过让人工智能来帮你赚钱，但到底该如何做呢？瑞士日内瓦的一位金融数据顾问 Gaëtan Rickter 近日发表文章介绍了他利用 Python 和机器学习来帮助炒股的经验，其最终成果的收益率跑赢了长期处于牛市的标准普尔 500 指数。虽然这篇文章并没有将他的方法完全彻底公开，但已公开的内容或许能给我们带来如何用人工智能炒股的启迪。
我终于跑赢了标准普尔 500 指数 10 个百分点！听起来可能不是很多，但是当我们处理的是大量流动性很高的资本时，对冲基金的利润就相当可观。更激进的做法还能得到更高的回报。
这一切都始于我阅读了 Gur Huberman 的一篇题为《Contagious Speculation and a Cure for Cancer: A Non-Event that Made Stock Prices Soar》的论文。该研究描述了一件发生在 1998 年的涉及到一家上市公司 EntreMed（当时股票代码是 ENMD）的事件：
「星期天《纽约时报》上发表的一篇关于癌症治疗新药开发潜力的文章导致 EntreMed 的股价从周五收盘时的 12.063 飙升至 85，在周一收盘时接近 52。在接下来的三周，它的收盘价都在 30 以上。这股投资热情也让其它生物科技股得到了溢价。但是，这个癌症研究方面的可能突破在至少五个月前就已经被 Nature 期刊和各种流行的报纸报道过了，其中甚至包括《泰晤士报》！因此，仅仅是热情的公众关注就能引发股价的持续上涨，即便实际上并没有出现真正的新信息。」
在研究者给出的许多有见地的观察中，其中有一个总结很突出：
「（股价）运动可能会集中于有一些共同之处的股票上，但这些共同之处不一定要是经济基础。」
我就想，能不能基于通常所用的指标之外的其它指标来划分股票。我开始在数据库里面挖掘，几周之后我发现了一个，其包含了一个分数，描述了股票和元素周期表中的元素之间的「已知和隐藏关系」的强度。
我有计算基因组学的背景，这让我想起了基因和它们的细胞信号网络之间的关系是如何地不为人所知。但是，当我们分析数据时，我们又会开始看到我们之前可能无法预测的新关系和相关性。

选择出的涉及细胞可塑性、生长和分化的信号通路的基因的表达模式
和基因一样，股票也会受到一个巨型网络的影响，其中各个因素之间都有或强或弱的隐藏关系。其中一些影响和关系是可以预测的。
我的一个目标是创建长的和短的股票聚类，我称之为「篮子聚类（basket clusters）」，我可以将其用于对冲或单纯地从中获利。这需要使用一个无监督机器学习方法来创建股票的聚类，从而使这些聚类之间有或强或弱的关系。这些聚类将会翻倍作为我的公司可以交易的股票的「篮子（basket）」。
首先我下载了一个数据集：Public Company Hidden Relationship Discovery，这个数据集基于元素周期表中的元素和上市公司之间的关系。
然后我使用了 Python 和一些常用的机器学习工具——scikit-learn、numpy、pandas、matplotlib 和 seaborn，我开始了解我正在处理的数据集的分布形状。为此我参考了一个题为《Principal Component Analysis with KMeans visuals》的 Kaggle Kernel：Principal Component Analysis with KMeans visuals
import numpy as npimport pandas as pdfrom sklearn.decomposition import PCAfrom sklearn.cluster import KMeansimport matplotlib.pyplot as pltimport seaborn as sbnp.seterr(divide='ignore', invalid='ignore')# Quick way to test just a few column features# stocks = pd.read_csv('supercolumns-elements-nasdaq-nyse-otcbb-general-UPDATE-2017-03-01.csv', usecols=range(1,16))stocks = pd.read_csv('supercolumns-elements-nasdaq-nyse-otcbb-general-UPDATE-2017-03-01.csv')print(stocks.head())str_list = []for colname, colvalue in stocks.iteritems():    if type(colvalue[1]) == str:str_list.append(colname)# Get to the numeric columns by inversionnum_list = stocks.columns.difference(str_list)stocks_num = stocks[num_list]print(stocks_num.head())
输出：简单看看前面 5 行：
zack@twosigma-Dell-Precision-M3800:/home/zack/hedge_pool/baskets/hcluster$ ./hidden_relationships.pySymbol_update-2017-04-01  Hydrogen   Helium  Lithium  Beryllium  Boron  \0                        A       0.0  0.00000      0.0        0.0    0.0   1                       AA       0.0  0.00000      0.0        0.0    0.0   2                     AAAP       0.0  0.00461      0.0        0.0    0.0   3                      AAC       0.0  0.00081      0.0        0.0    0.0   4                    AACAY       0.0  0.00000      0.0        0.0    0.0   Carbon  Nitrogen    Oxygen  Fluorine     ...       Fermium  Mendelevium  \0  0.006632       0.0  0.007576       0.0     ...      0.000000     0.079188   1  0.000000       0.0  0.000000       0.0     ...      0.000000     0.000000   2  0.000000       0.0  0.000000       0.0     ...      0.135962     0.098090   3  0.000000       0.0  0.018409       0.0     ...      0.000000     0.000000   4  0.000000       0.0  0.000000       0.0     ...      0.000000     0.000000   Nobelium  Lawrencium  Rutherfordium  Dubnium  Seaborgium  Bohrium  Hassium  \0  0.197030      0.1990         0.1990      0.0         0.0      0.0      0.0   1  0.000000      0.0000         0.0000      0.0         0.0      0.0      0.0   2  0.244059      0.2465         0.2465      0.0         0.0      0.0      0.0   3  0.000000      0.0000         0.0000      0.0         0.0      0.0      0.0   4  0.000000      0.0000         0.0000      0.0         0.0      0.0      0.0   Meitnerium  0         0.0  1         0.0  2         0.0  3         0.0  4         0.0  [5 rows x 110 columns]Actinium  Aluminum  Americium  Antimony     Argon   Arsenic  Astatine  \0  0.000000       0.0        0.0  0.002379  0.047402  0.018913       0.0   1  0.000000       0.0        0.0  0.000000  0.000000  0.000000       0.0   2  0.004242       0.0        0.0  0.001299  0.000000  0.000000       0.0   3  0.000986       0.0        0.0  0.003378  0.000000  0.000000       0.0   4  0.000000       0.0        0.0  0.000000  0.000000  0.000000       0.0   Barium  Berkelium  Beryllium    ...      Tin  Titanium  Tungsten   Uranium  \0     0.0   0.000000        0.0    ...      0.0  0.002676       0.0  0.000000   1     0.0   0.000000        0.0    ...      0.0  0.000000       0.0  0.000000   2     0.0   0.141018        0.0    ...      0.0  0.000000       0.0  0.004226   3     0.0   0.000000        0.0    ...      0.0  0.000000       0.0  0.004086   4     0.0   0.000000        0.0    ...      0.0  0.000000       0.0  0.000000   Vanadium  Xenon  Ytterbium   Yttrium      Zinc  Zirconium  0  0.000000    0.0        0.0  0.000000  0.000000        0.0  1  0.000000    0.0        0.0  0.000000  0.000000        0.0  2  0.002448    0.0        0.0  0.018806  0.008758        0.0  3  0.001019    0.0        0.0  0.000000  0.007933        0.0  4  0.000000    0.0        0.0  0.000000  0.000000        0.0  [5 rows x 109 columns]zack@twosigma-Dell-Precision-M3800:/home/zack/hedge_pool/baskets/hcluster$
概念特征的皮尔逊相关性（Pearson Correlation）。在这里案例中，是指来自元素周期表的矿物和元素：
stocks_num = stocks_num.fillna(value=0, axis=1)X = stocks_num.valuesfrom sklearn.preprocessing import StandardScalerX_std = StandardScaler().fit_transform(X)f, ax = plt.subplots(figsize=(12, 10))plt.title('Pearson Correlation of Concept Features (Elements & Minerals)')# Draw the heatmap using seabornsb.heatmap(stocks_num.astype(float).corr(),linewidths=0.25,vmax=1.0, square=True, cmap="YlGnBu", linecolor='black', annot=True)sb.plt.show()
输出：（这个可视化例子是在前 16 个样本上运行得到的）。看到元素周期表中的元素和上市公司关联起来真的很有意思。在某种程度时，我想使用这些数据基于公司与相关元素或材料的相关性来预测其可能做出的突破。

测量「已解释方差（Explained Variance）」和主成分分析（PCA）
已解释方差=总方差-残差方差（explained variance = total variance - residual variance)。应该值得关注的 PCA 投射组件的数量可以通过已解释方差度量（Explained Variance Measure）来引导。Sebastian Raschka 的关于 PCA 的文章对此进行了很好的描述，参阅：Principal Component Analysis
# Calculating Eigenvectors and eigenvalues of Cov matirxmean_vec = np.mean(X_std, axis=0)cov_mat = np.cov(X_std.T)eig_vals, eig_vecs = np.linalg.eig(cov_mat)# Create a list of (eigenvalue, eigenvector) tupleseig_pairs = [ (np.abs(eig_vals[i]),eig_vecs[:,i]) for i in range(len(eig_vals))]# Sort from high to loweig_pairs.sort(key = lambda x: x[0], reverse= True)# Calculation of Explained Variance from the eigenvaluestot = sum(eig_vals)var_exp = [(i/tot)*100 for i in sorted(eig_vals, reverse=True)] cum_var_exp = np.cumsum(var_exp) # Cumulative explained variance# Variances plotmax_cols = len(stocks.columns) - 1plt.figure(figsize=(10, 5))plt.bar(range(max_cols), var_exp, alpha=0.3333, align='center', label='individual explained variance', color = 'g')plt.step(range(max_cols), cum_var_exp, where='mid',label='cumulative explained variance')plt.ylabel('Explained variance ratio')plt.xlabel('Principal components')plt.legend(loc='best')plt.show()
输出：

从这个图表中我们可以看到大量方差都来自于预测主成分的前 85%。这是个很高的数字，所以让我们从低端的开始，先只建模少数几个主成分。更多有关分析主成分合理数量的信息可参阅：Principal Component Analysis explained visually
使用 scikit-learn 的 PCA 模块，让我们设 n_components = 9。代码的第二行调用了 fit_transform 方法，其可以使用标准化的电影数据 X_std 来拟合 PCA 模型并在该数据集上应用降维（dimensionality reduction）。
pca = PCA(n_components=9)x_9d = pca.fit_transform(X_std)plt.figure(figsize = (9,7))plt.scatter(x_9d[:,0],x_9d[:,1], c='goldenrod',alpha=0.5)plt.ylim(-10,30)plt.show()
输出：

这里我们甚至没有真正观察到聚类的些微轮廓，所以我们很可能应该继续调节 n_component 的值直到我们得到我们想要的结果。这就是数据科学与艺术（data science and art）中的「艺术」部分。
现在，我们来试试 K-均值，看看我们能不能在下一章节可视化任何明显的聚类。
K-均值聚类（K-Means Clustering）
我们将使用 PCA 投射数据来实现一个简单的 K-均值。
使用 scikit-learn 的 KMeans() 调用和 fit_predict 方法，我们可以计算聚类中心并为第一和第三个 PCA 投射预测聚类索引（以便了解我们是否可以观察到任何合适的聚类）。然后我们可以定义我们自己的配色方案并绘制散点图，代码如下所示：
# Set a 3 KMeans clusteringkmeans = KMeans(n_clusters=3)# Compute cluster centers and predict cluster indicesX_clustered = kmeans.fit_predict(x_9d)# Define our own color mapLABEL_COLOR_MAP = {0 : 'r',1 : 'g',2 : 'b'}label_color = [LABEL_COLOR_MAP[l] for l in X_clustered]# Plot the scatter digramplt.figure(figsize = (7,7))plt.scatter(x_9d[:,0],x_9d[:,2], c= label_color, alpha=0.5)plt.show()
输出：

这个 K-均值散点图看起来更有希望，好像我们简单的聚类模型假设就是正确的一样。我们可以通过这种颜色可视化方案观察到 3 个可区分开的聚类。
使用 seaborn 方便的 pairplot 函数，我可以以成对的方式在数据框中自动绘制所有的特征。我们可以一个对一个地 pairplot 前面 3 个投射并可视化：
# Create a temp dataframe from our PCA projection data "x_9d"df = pd.DataFrame(x_9d)df = df[[0,1,2]]df['X_cluster'] = X_clustered# Call Seaborn's pairplot to visualize our KMeans clustering on the PCA projected datasb.pairplot(df, hue='X_cluster', palette='Dark2', diag_kind='kde', size=1.85)sb.plt.show()
输出：

构建篮子聚类（Basket Clusters）
你应该自己决定如何微调你的聚类。这方面没有什么万灵药，具体的方法取决于你操作的环境。在这个案例中是由隐藏关系所定义的股票和金融市场。
一旦你的聚类使你满意了，你就可以设置分数阈值来控制特定的股票是否有资格进入一个聚类，然后你可以为一个给定的聚类提取股票，将它们作为篮子进行交易或使用这些篮子作为信号。你可以使用这种方法做的事情很大程度就看你自己的创造力以及你在使用深度学习变体来进行优化的水平，从而基于聚类或数据点的概念优化每个聚类的回报，比如 short interest 或 short float（公开市场中的可用股份）。
你可以注意到了这些聚类被用作篮子交易的方式一些有趣特征。有时候标准普尔和一般市场会存在差异。这可以提供本质上基于「信息套利（information arbitrage）」的套利机会。一些聚类则和谷歌搜索趋势相关。

看到聚类和材料及它们的供应链相关确实很有意思，正如这篇文章说的一样：Zooming in on 10 materials and their supply chains - Fairphone
我仅仅使用该数据集操作了 Cobalt（钴）、Copper（铜）、Gallium（镓）和 Graphene（石墨烯）这几个列标签，只是为了看我是否可能发现从事这一领域或受到这一领域的风险的上市公司之间是否有任何隐藏的联系。这些篮子和标准普尔的回报进行了比较。
通过使用历史价格数据（可直接在 Quantopian、Numerai、Quandl 或 Yahoo Finance 使用），然后你可以汇总价格数据来生成预计收益，其可使用 HighCharts 进行可视化：

我从该聚类中获得的回报超过了标准普尔相当一部分，这意味着你每年的收益可以比标准普尔还多 10%（标准普尔近一年来的涨幅为 16%）。我还见过更加激进的方法可以净挣超过 70%。现在我必须承认我还做了一些其它的事情，但因为我工作的本质，我必须将那些事情保持黑箱。但从我目前观察到的情况来看，至少围绕这种方法探索和包装新的量化模型可以证明是非常值得的，而其唯一的缺点是它是一种不同类型的信号，你可以将其输入其它系统的流程中。
生成卖空篮子聚类（short basket clusters）可能比生成买空篮子聚类（long basket clusters）更有利可图。这种方法值得再写一篇文章，最好是在下一个黑天鹅事件之前。

如果你使用机器学习，就可能在具有已知和隐藏关系的上市公司的寄生、共生和共情关系之上抢占先机，这是很有趣而且可以盈利的。最后，一个人的盈利能力似乎完全关乎他在生成这些类别的数据时想出特征标签（即概念（concept））的强大组合的能力。
我在这类模型上的下一次迭代应该会包含一个用于自动生成特征组合或独特列表的单独算法。也许会基于近乎实时的事件，这可能会影响那些具有只有配备了无监督学习算法的人类才能预测的隐藏关系的股票组。

5. 如何用Python炒股

python可以用于爬虫，爬取指定股票的数据，更准确，更便捷，利于数据分析和买卖的把控

6. python爬虫可以赚钱吗

有需要就可以赚钱。。只不过现在需要这些数据的公司
人家本来就有专门搞爬虫、数据的这些职位。

7. 如何用 python 和机器学习炒股赚钱

很难实现。
因为所有的机器学习，都需要人为的指定学习的“特征”，也就是为构建的智能体，指定通过哪些条件来自主的做出选择。
而影响股票涨跌的条件，实在是太繁多太不稳定了，比如你可以让智能体每天自动爬取一些股票分析网站的文章，通过自然语言处理分析出该网站对某些支股票的倾向，作为一个特征。但是这个特征就太片面而且并不一定准确。

8. 股票中看K线到底有没有用？对炒股有多少参考价值？

股票中看K线还有用的，K线有一定的参考价值，如果K线完全没有用是假的。
首先来看看单根K线的信息：
如下图，K线总体分为阳K线和阴K线，而一根K线最直观的信号是当天的最高价，最低价，收盘价，开盘价；这根K线是阳K线还是阴K线，是实体K线还是带上影线还是下影线等等，这些一根最直观的信息。


股票K线有哪些作用呢？
股票每一种K线是有不同含义的，同时表现出来的信号也是不同的，下面用股票单根K线来分析有哪些用呢？
（1）小阳星
小阳星K线一般都是属于多空平衡，一般都是属于选择方向之时，也就是属于横盘状态，但是稍微多空强势一点点才会收出小阳K线。
（2）小阳线
小阳K线这种走势一般都是多头稍微强势一点，说明这只股票主动性买入的人比较多，而是筹码供小于求，多头比较强势才会收出小阳K线。
（3）中阳线
中阳K线的话已经完全是多头强势了，当天盘中走势比较强。当然除了有一种低开高走的那种情况，也能收出中阳，但是不管怎么样，中阳K线当天肯定是多头比较强势。
（4）大阳线
大阳K线已经完全不同解释了，这种情况就完全说明当天的市场是单边呈现上涨趋势，空头力度小，多头力量大，主动性买入的人多。


（1）小阴星
小阴K线跟小阳K线是相反的，说明当天的股票处于多空平衡，但是当天始终是空头比较强势一些，卖出的力量稍微大一点。
（2）小阴线
小阴K线说明空头力量比较强势，盘中卖出的人比较多，一般都是出现在趋势转弱，多方空的交界处。
（3）中阴线
中阴线足于说明当天的股票空头已经明显的强于多头了，主动性卖出的人比较多，很多人都是看空这只股票才会出现下跌，才会收出中阴K线。
（4）大阴线
大阴线就是指当天股票完全就是空头市场，高开低走或者是平开低走，全天呈现下跌趋势为主，收盘价低于开盘价很多，大量筹码卖出，才会导致大阴棒出现。


综合以上单根K线都有不同的意义：
小阳星发展到大阳线这个阶段就是多头越来越强，证明这只股票开始逐步走强，可以分批入场参考，有积极推高股价的动力。
小阴星发展到大阴线这个阶段就是空头越来越强，说明这种股票看空的人越来越多，做空的力量越来越大，这种股票只有远离，多看少动，规避风险。
股票K线的实战应用分析


如上图，这种只股票经过前期的大幅下跌态势，随着前期风险不断的释放，就在某天收出了一根探底回升的带长上影K线，这根K线被称为早晨之星的K线形态；当这种K线出现之后代表着下跌趋势的末端，也是行情开始的反转的信号；所以一旦K线出现这种早晨之星的K线股票是可以值得关注，耐心等待盘中入场机会。


再如上图，同样的股价经过了大幅杀跌之后，随着股价开始止跌企稳了，并没有出现早晨之星的信号，而是随着股价出现短暂性的超跌反弹；但是反弹到一定程度之后收出了一根带长上影的黄昏十字K线，这种信号就足以说明股价即将结束的信号，当出现这种信号之后证明股价末端了，同样可以关注后期的股价，一旦量价配合的情况之下可以重点关注机会。
综合以上分析，股票K线是有非常高的参考价值，但是我们作为散户一定要记住很多K线都是主力做出来骗散户的。但是我们散户就要知道这一点，既然K线是主力做出来给散户看的，那就把K线反思维来炒股，只有这样才能避免陷入主力圈套中。