数据分析编程：SQL,Python or SPL?

最新推荐文章于 2025-04-02 16:02:22 发布
转载 最新推荐文章于 2025-04-02 16:02:22 发布 · 520 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
原文链接：https://mp.weixin.qq.com/s?__biz=MzU5Mjg2OTQ1MA==&mid=2247516540&idx=1&sn=114acaa97442fa094dd5eb2fc0fb2e6c&chksm=ff0f256585cd3c9cd2c5843aaa02f84fb4083b057b9efbcc8bef2cc8f0c844d37d4f120329fd&scene=126&sessionid=0
GEO检测
Python3.8

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

7eba313414f39a2d2612533d6728c23a.png

01

计算用户会话次数

SQL, Python or SPL

  用户行为数据表

userid

action_type

action_time

U1059

login

2023-12-01 18:00:10

U1092

login

2023-12-01 18:00:17

U1069

login

2023-12-01 18:00:22

…

…

…

10分钟没有任何动作或退出后5分钟没有登录则认为会话结束，计算各用户的会话次数。

411e17af60080325cff6b9c018bf0b73.png

复制代码：https://c.raqsoft.com.cn/article/1729473790355#toc_h2_1

02

1分钟内连续得分3次的球员

SQL, Python or SPL 

  球赛得分表

team

player

play_time

score

A

A3

2023-12-31 09:00:09

2

B

B1

2023-12-31 09:00:24

3

A

A5

2023-12-31 09:00:57

2

…

…

…

…

097237d23b28cce5aa3aecdbf13523d9.png

复制代码：https://c.raqsoft.com.cn/article/1729473790355#toc_h2_5

03

每7天中连续三天活跃的用户数

SQL, Python or SPL

  用户登录表

id

userid

ts

1

466

2017-01-07 18:24:55

2

458

2017-01-07 18:25:18

3

458

2017-01-07 18:26:21

…

…

…

51c99991ca956d151d10e25144707048.png

复制代码：https://c.raqsoft.com.cn/article/1729473790355#toc_h2_9

04

每天新用户的次日留存率

SQL, Python or SPL

  用户登录表

id

userid

ts

1

466

2017-01-07 18:24:55

2

458

2017-01-07 18:25:18

3

458

2017-01-07 18:26:21

…

…

…

fc22bb17edc130316262530cb5241d86.png

复制代码：https://c.raqsoft.com.cn/article/1729473790355#toc_h2_13

05

股价高于前后5天时当天的涨幅

SQL, Python or SPL

  股价信息表

STOCKID

DATE

CLOSING

62

2015-01-05

8.91

62

2015-01-06

8.31

62

2015-01-07

7.6

…

…

…

d3289c3cac1194392d7694a956d613ce.png

复制代码：https://c.raqsoft.com.cn/article/1729473790355#toc_h2_17

SPL 现已开源，欢迎下载：https://github.com/SPLWare/esProc

eabeb388bf7bb3a5eeca275a8533b8f5.png

重磅！开源SPL交流群成立了

简单好用的SPL开源啦！

为了给感兴趣的技术人员提供一个相互交流的平台，

特地开通了交流群（群完全免费，不广告不卖课）

需要进群的朋友，可长按扫描下方二维码

1bb45acf69c1598c3db949df9065fd5b.jpeg

本文感兴趣的朋友，请到阅读原文去收藏 ^_^

您可能感兴趣的与本文相关的镜像

Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

数据准备脚本：Python Pandas OR esProc SPL？
wanghuichen的博客
09-15 3762
数据准备脚本：Python Pandas OR esProc SPL？
这可能是交互性最强的数据分析编程语言
smilejingwei的博客
12-17 1961
如果都是简单语句，SQL 可以每次生成中间表来查询结果，但这种任务 Excel 做起来更方便，期望用编程实现的运算经常会较复杂，写出的 SQL 常常嵌套多层，子查询还不能独立运行，想看中间结果就非常费劲了；而且，SPL 的分组可以保持分组子集，即分组的结果是由分组子集构成的集合，这也是许多程序语言不具备的能力。其实，这个任务用 Excel 反而不难。总结一下，SPL 就像是插上了编程语言翅膀的 Excel，完美结合了 Excel 和编程语言在数据分析方面的优点，交互性与编程能力强强联合，助力数据分析师。
Python Pandas PK esProc SPL，谁才是数据预处理王者？
热门推荐
独木不成林，单弦不成音。
08-29 1万+
做数据分析和人工智能运算前常常需要大量的数据准备工作，也就是把各种数据源以及各种规格的数据整理成统一的格式。因为情况非常复杂多样，很难有某种可视化工具来完成此项工作，常常需要编程才能实现。业界有很多免费的脚本语言都适合进行数据准备工作，其中Python Pandas具有多种数据源接口和丰富的计算函数，受到众多用户的喜爱；esProc SPL作为一门较新的数据计算语言，在语法灵活性和计算能力方面也很有特色，下面对两者进行多方面的比较。...
esProc SPL 相当于有了 Python 加持的 DuckDB
coconut_shrimp的博客
03-10 450
这篇文章介绍了如何在SQL和SPL中对分组内的记录进行计算，并将结果填充到每组的第一条记录中。SQL需要使用复杂的窗口函数、多次计算且代码冗长，而SPL可以直接引用分组数据，利用自然序号简洁实现。文章通过具体案例对比两者的代码实现，展示SPL在处理此类问题上的简洁性和高效性。
门外汉掌握数据分析处理技术的路线图
默默不代表沉默
09-22 2293
门外汉掌握数据分析处理技术的路线图
数据分析 python sql spl_【分析篇】：Pandas像sql操作python 进行数据分析
weixin_39823299的博客
02-12 250
前言：Python数据分析的基础在于对数据的提取，清洗，汇总，并思考整理发现数据规律的过程。以下模块是个人在数据分析常用模块，特此总结，便于查阅，构建数据分析体系。数据源import pandas as pdimport numpy as npdf = pd.DataFrame( {'ONE': [1.1,1.2,1.1,1.4,99],'TWO': [2.1,2.2,2.3,2.4,2.5],'...
这可能是最适合探索式数据分析的工具
smilejingwei的博客
12-24 1607
比如数据分析师常用的 SQL 和 Python，都具有较强的计算能力，可以一定程度应对复杂的数据运算，满足分析过程中的计算需求。实施探索分析时，计算能力和交互性不可偏废——既要强大的计算能力支持复杂运算，又要足够的交互性来实现随时调整、随时反馈的分析过程，而强计算还能简化复杂运算，即用更简单的办法实现计算目标。SPL 还提供了 XLL 插件，用户可以在熟悉的 Excel 环境中，利用 SPL 强计算能力，在 Excel 内直接写 SPL 公式，同时发挥 SPL 和 Excel 优势。
Excel 后，我们需要怎样的数据分析软件
smilejingwei的博客
12-31 2277
在现代商业环境中，数据分析已成为企业决策的重要工具。通过数据分析，企业可以更好地了解市场趋势、客户行为以及内部运营情况，从而制定出更科学的策略，提高竞争力。然而，数据分析并不是一项简单的任务，需要选择合适的工具和方法。很多人认为 BI 软件是数据分析的首选，因为 Business Intelligence 这个词听上去和数据分析的关系很密切，而且 BI 软件通常具有流畅的交互性和炫丽的界面，看上去很适合做这项工作。然而，BI 工具在技术上已经被狭义化成多维分析，主要用于基于预设的数据立方体的汇总和展示。
这可能是 Excel 数据分析师最友好的编程语言
smilejingwei的博客
12-04 1845
在数据江湖中，Excel 数据分析师们就像一群手握“倚天剑”的侠客，凭借着 Excel 的强大交互性和简便操作，在数据的世界里快意恩仇，行侠仗义。但 Excel 侠客们却发现，这些“武功”虽强，却往往不合手，难以真正契合他们的需求。对于习惯了表格和公式的 Excel 侠而言，Python 中的表格操作虽强，但需要通过 pandas 库，对象奇多，语法晦涩，代码不算长但让人晕。这位师兄的倚天剑虽锋利，但 Excel 的招式却缺乏批量处理的便捷，结果只能一份份地复制粘贴，时间一长难免气馁，直呼“心力交瘁”。
数据分析 python sql spl_Python 数据分析：让你像写 Sql 语句一样，使用 Pandas 做数据分析...
weixin_27885845的博客
01-14 166
一、加载数据#Copyimport pandas as pdimport numpy as npurl = ('https://raw.github.com/pandas-dev/pandas/master/pandas/tests/data/tips.csv')tips = pd.read_csv(url)output = tips.head()Output:Copytotal_bill t...
python过滤sql文件内容_在文件上使用 SQL 查询的示例
weixin_39719427的博客
12-21 225
在数据分析业务中经常要处理数据文件。我们知道，对于数据库中的数据，使用SQL来查询是非常方便快捷的，所以很容易想到把文件数据先导入到数据库再用SQL来查询。但是文件数据导入数据库本身也是很繁琐的工作，那么有没有直接对数据文件使用SQL查询的办法呢？本文将介绍这样的办法，列举出用 SQL 查询文件数据的各种情况，并提供用 esProc SPL 编写的代码示例。esProc 是专业的数据计算引擎，SP...
不用 SQL 的开源数据仓库
公众号：逛逛GitHub
10-20 1842
当前绝大部分数据仓库都会采用 SQL，SQL 发展了几十年已经成为数据库界的标准语言，用户量巨大，所以支持 SQL 对于数据仓库来讲也是很正常的。但是，在当代大数据背景下，业务复杂度节节攀升，在以计算为主要任务的数据仓库场景下，SQL 似乎越来越不够用了。典型表现是一些数据仓库开始集成 Python 的能力，将 Python 这样的非 SQL 语言融入到数据仓库中。且不论两种风格迥异的开发语言是否...
数据分析人员需要掌握SQL到什么程度？
数据森麟
08-24 1248
经常有朋友微信问我：“如何学习数据分析？如何转行数据分析？如何快速掌握数据分析技能？高薪的大数据分析师都必须会哪些技能......“等等类似的问题。由于无法通过一两句来回复这类问题，今天...
sql 查询总和_查询计算大文件的桌面程序工具
weixin_39613188的博客
12-09 241
什么是大文件？大文件是指大到计算机内存不足以一次性读入的文件。这种情况，直接使用桌面数据工具(比如 Excel)都无能为力了，常常需要编写程序来处理。而即使是写程序，也必须是分批读入进行计算处理，最后再按照不同的计算类型对分批处理结果进行恰当的汇总处理，比小文件数据的处理要很杂很多。大文件的种类也有多种，例如文本文件、Excel文件、XML文件、JSON文件、HTTP文件……等等，其中以文本 (t...
探索esProc：一款强大的数据处理与分析工具
gitblog_00076的博客
03-21 722
是一个开源的数据处理和分析引擎，它专为解决复杂的数据运算问题而设计。对于开发者、分析师以及任何需要处理大量数据的人来说，这是一个非常实用的工具。本文将深入介绍esProc的功能、技术特性及应用场景，帮助你更好地理解为何应选择并使用它。 ## 项目简介 esProc 提供了一种名为SPL的编程语言，它的语法简洁，易读性强，尤其适合数据处理任务。这个项目的重点在于简化大数据处理流程，让用户无需深入...
不可或缺的相邻引用
smilejingwei的博客
04-02 795
Python 支持有序集合，实现相邻成员引用的优势要大得多，但仍有语法不一致问题，根据情况选择不同的函数，有时还要反转集合。比如这里，数据若按月份有序，只要用当前成员减去上一个成员，差值就是月增长额。rolling 创建了大小为 2 的窗口，apply 函数操作会作用于 sales 序列中相邻的两个成员，可以利用 lambda 求这两个成员的差。~ 表示当前成员，# 是当前成员的序号，~[i] 表示和当前成员距离为 i 的成员，这里的 ~[-1] 表示前一个成员，也就是上月销售额。
CentOs7网卡配置文件修改无效
最新发布
06-28
代码转载自：https://pan.quark.cn/s/8ce4326d996e 对于在 CentOS 7 系统中修改网卡配置文件后无法使设置生效的情况，经过实践验证，可以通过使用 nmcli 命令来进行调整。完成修改之后，需要重新启动虚拟机以使更改生效，这样操作流程即告完成。如果设置仍然无法生效，则表明虚拟机在启动过程中所获取的 IP 地址配置并非针对 eth0，此时可以对其它网卡的配置文件进行修改或将其移除。在 CentOS 7 系统中，网络配置的管理机制与早期版本存在差异，主要体现为采用了 Network Manager 服务来负责网络接口的管理。在某些情形下，尽管修改了 `/etc/sysconfig/network-scripts` 目录下的 `ifcfg-eth0` 文件，但网络配置却未能即时生效。此类问题的发生通常源于 CentOS 7 采用了不同于以往的配置读取方法。接下来将具体阐述如何借助 nmcli 命令来处理这一挑战。 以 root 用户身份登录系统并打开终端界面。nmcli 是 Network Manager 提供的命令行界面工具，它支持在命令行环境下执行网络连接的建立、编辑、查询及管理任务。针对修改 eth0 网卡配置的需求，可以遵循以下步骤进行操作： 1. 导航至 `/etc/sysconfig/network-scripts` 目录： ``` cd /etc/sysconfig/network-scripts ``` 2. 检查该目录内是否存在 `ifcfg-eth0.bak` 文件，该备份文件可能是先前调整配置时遗留下来的，若存在可能造成冲突。若发现该文件，可以选择将其删除： ``` [root@localhost netw...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值