Python C Api检查PyObject是否指向特定的PyCFunction - 腾讯云开发者社区

文章/答案/技术大牛

发布

Python 的多线程与 GIL

; Py_tracefunc c_tracefunc; PyObject *c_profileobj; PyObject *c_traceobj; /* The exception...A] 检查是否存在GIL if (gil_created()) return; // [B] 创建并初始化GIL create_gil(); // [C]...ceval指向 _ceval_runtime_state对象，表示Python字节码执行器的运行状态对象，定义在 Include/internal/ceval.h： struct _ceval_runtime_state...initialized变量，如果说GIL指示着Python的多线程环境是否已经建立，那么这个 initialized变量就指示着为了使用底层平台所提供的原生thread，必须的初始化动作是否完成。...获取GIL之后对进程状态对象( interp)累加线程数，并调用 PyObject_Call执行子线程的函数。在子线程的全部计算完成之后，Python将销毁子线程。

1.2K1 0

Python: C扩展初体验

哪怕工作中比较少机会自己写C扩展, 了解这块的知识，也有利于我们更加深入了解 Python 的运行本质。...可以简单理解成就是 Python 和 C 的对接函数，举个栗子： static PyObject *test(PyObject *self, PyObject *args){ int arg1,...C 用法用点不同了，特别是在函数形参那边的PyObject self, PyObject args 第一个参数是 PyObject *self，这个参数是Python内部使用的，可以不用管；第二个参数是...它是一个参数列表，把所有的参数都整合到一个 string, 因此，如果我们需要解析这些参数需要用特定的姿势！我们需要用到 PyArg_ParseTuple 来解开这个扣人心弦的入口！...同样的，如果我们想要找一个模块的 Python 函数对应什么的 C模块方法，也能通过这地方比较粗暴得知，例如 Python 的 list # 取自 Python2.7 object/listobject.c

1.4K2 1

您找到你想要的搜索结果了吗？

是的

没有找到

一个Tensor的生命历程(Pytorch版)

文中涉及到大量的Pytorch的C++源码，版本为1.4.0a，适合有一定Pytorch源码基础的童鞋观看，同时也涉及到一些python中的C/C++拓展的一些基础知识，其中每一段代码的第一行表明了该代码的文件位置...python中的模块： void initTorchFunctions(PyObject* module) { if (PyType_Ready(&THPVariableFunctions) python端调用的时候会在生成的torch_C....我们可以看到table就是ATenOpTable类的一个实例，而callUnboxed是它的一个方法，这个方法根据传递的模板参数返回了特定的函数： // build/aten/src/ATen/TypeDefault.cpp...args)...)); } 这个Tensor是一个通用的对象，包含一个指向TensorImpl对象的指针，实际开辟的空间位置指针还在TensorImpl中的storage_中。

9792 0

python源码阅读笔记之线程机制

六，python的线程机制 GIL锁的机制，来源于python的内存管理和为了实现多线程，对共享内存资源的互斥实现。...当然，python对进程的支持很好，这在linux下，很有比线程更好的使用，因为在linux里没有线程的概念，有着的是轻量级的进程以及pipeline等进程间通信。...至于第二个问题：由底层的操作系统决定，因为python的线程实际上是将obj这些直接调用的Event指令。...线程的创建： static PyObject * thread_PyThread_start_new_thread(PyObject *self, PyObject *fargs) { PyObject...通过之前的owned判别是否获得GIL

8693 1

python源码阅读笔记之函数的运行机制

函数这个对象的实现由如下： typedef struct { PyObject_HEAD PyObject *func_code; /* A code object */...= (*pp_stack) - n - 1; PyObject *func = *pfunc; PyObject *x, *w; /* Always dispatch PyCFunction...meth = PyCFunction_GET_FUNCTION(func); PyObject *self = PyCFunction_GET_SELF(func);...，实际上和平常运行的表达式没什么两样从无参函数的fast_function可以看出： static PyObject * fast_function(PyObject *func, PyObject...，在C语言中函数是否被调用，取决于函数出现的位置，但是在python中则是名字空间在这里有四种函数参数： 1.位置参数 2.键参数 3.扩展位置参数，传入的是列表 4.扩展键参数，传入的是字典

6771 0

Python中的with语句解析和实践

Python中的with with语句在我们的日常Python代码编写中时常会用到，我们通常知道可以用with语句来代替try…except…finally这样的写法，但是为什么它能够替代，如果在with...__enter__(self) 进入和这个对象相关的运行时上下文，with语句会将这个方法的返回值绑定到用as语句指定的特定目标（如果有的话）。 object....源代码中的Objects/fileobject.c）， {"__enter__", (PyCFunction)file_self, METH_NOARGS, enter_doc}, __enter...__()指向的是file_self。...再看看__exit__() {"__exit__", (PyCFunction)file_exit, METH_VARARGS, exit_doc} 然后其指向的方法 static PyObject

1.2K2 0

Python与C：无缝集成，高效性能之道

其次，我们需要安装Python的开发包，以便在C代码中调用Python的API和数据结构。最后，我们需要一个用于编写C代码的编辑器，比如Visual Studio Code。...以下是一个简单的示例： #include Python.h> // 定义Python扩展模块的函数 static PyObject *module_function(PyObject *self,...(PyCFunction)module_function, METH_VARARGS, "function_doc"}, {NULL, NULL, 0, NULL} }; // 初始化扩展模块...包装器在C语言中调用Python的API和数据结构时，需要使用Python提供的C头文件。...以下是一个简单的示例： #include Python.h> // 定义Python扩展模块的函数 static PyObject* module_function(PyObject* self,

9232 0

Pytorch 如何实现后向传播 (1)---- 调用引擎

PyMethodDef 的定义如下： typedef PyObject *(*PyCFunction)(PyObject *, PyObject *); struct PyMethodDef {...这两个变量在C++中的类型是PyObject，并且size为1。...从输入获取输入张量和梯度张量，主要是检查tensors和grad_tensors的变量类型以及tuple size是否一致。...Python 的 grad_tensors 被转换为 C++ 的 grads。 Python 的 inputs 被转换为 C++ 的 output_edges。...0xFF 参考使用C写Python的模块

1.9K7 1

Python: 函数与方法的区别以及 Bound Method 和 Unbound Method

函数与方法的区别随着我们越来越频繁使用Python, 我们难免会接触到类, 接触到类属性和方法.但是很多新手包括我, 不知道方法和函数的区别,这次简单来讨论下, 如果有哪里认识不正确, 希望大神提点指教...: //取自: python2.7/objects/ceval.c TARGET(LOAD_ATTR) { w = GETITEM(names,...来调用这个函数对象, 继续来看看具体过程: //取自: python2.7/objects/ceval.c TARGET(CALL_FUNCTION) { PyObject...PyCFunction, 所以将会落入上面源码的判断分支中, 而它将要做的,就是分别通过 PyMethod_GET_SELF, PyMethod_GET_FUNCTION 获得self对象和func函数...(_py_tmp); \ } while (0) 可以看出, Py_SETREF是用这个self对象替换了pfunc指向的对象了, 而pfunc在上面已经提及到了

2K1 0

再探CC++扩展Python

上篇博文是初用c/c++扩展Python，只是简单的举个例子，有兴趣的可以去上篇博文里看看那个例子的代码，代码如下： #includePython.h> static PyObject *pr_isprime...C程序因此接收被传递的实际对象。对象的引用计数不增加。存储的指针不为NULL。（object）→[PyObject *] “O!"：将Python对象存储在C对象指针。...这类似于“O”，但有两个C参数：第一个是Python类型对象的地址，第二个是存储对象指针的C变量（类型PyObject *）的地址。如果Python对象没有必需的类型，则会引发TypeError。...)NULL, \ PYTHON_API_VERSION) 是宏定义，接受两个参数，第一个参数为字符串，表示模块的名称；第二个参数是一个PyMethodDef的结构体数组，表示该模块都具有哪些方法...* 第一个是一个字符串，表示在Python中对应的方法的名称； * 第二个是对应的C代码的函数； * 第三个是一个标致位，表示该Python方法是否需要参数，METH_NOARGS表示不需要参数，METH_VARARGS

1.1K3 0

HPy - 为 Python 扩展提供更优秀的 C API

官方的 Python/C API 是针对 CPython 的实现的：公开了许多内部细节，使得 API 实现难度较大；而且，如果要为 PyPy、GraalPython、Jython、IronPython...HPy 介绍 HPy 提供了一个新的 API，以用 C 扩展 Python，有零开销、更快速、方便调试、通用的二进制文件（不用任何修改，可在 CPython、PyPy、GraalPython 等解释器上直接加载...更好的 API：标准的 Python/C API 具有其产生时代的特性限制，而 HPy 的设计可以克服一些限制。让扩展 API 更加一致，更易写易读，并且可使 bug 更易于暴露。...HPy 示例概念和优点，都是官方的说法，我们实际代码操练一下，看看试用体验，以及 HPy 是否具有优势。示例很简单，即实现一个 add 运算的扩展。...首先，我们用标准 Python/C 扩展方式实现命名文件为 hello_old.c： #include Python.h> static PyObject* add(PyObject* self,

9931 0

Python & C++ - pybind11 实现解析

由于Python的虚拟机以及相关的C API较复杂, 我们选择的方式是将 pybind11 - 一个Python社区知名度比较高, 实现质量也比较高的 Python 导出库与我们引擎的 C++ 反射适配的整合方式...通过这种层级式的类型设计, pybind11 就能特定层处理特定事务的方式, 为解决好 C++ 类型在 Python 虚拟机中的表达提供一个基础支持了...., 最终我们将类型已经是 PyCFunction 的 dispatcher() 注册到 Python 虚拟机中, 完成整个注册过程. dispatcher() 就是一个标准的 PyCFunction,...Python 的各种 PyObject 类型, 在一些特定的地方, 我们可能会直接对使用到相关类型的函数或者变量进行导出, 这就会存在这种 wrapper 类型本身跟 Python 进行交互的转换的需要...特性来实现特定功能的方式不是特别可取, 一般我们会选择实现 is_udt 类似的宏来准确判断一个类型是否是我们预期的UDT, 但 pybind11 作为一个从 c++11 特性开始迭代的库, 使用这种设计

3.7K8 0

教程 | PyTorch内部机制解析：如何通过PyTorch实现Tensor

Python 运行时将所有 Python 对象都视为 PyObject * 类型的变量，PyObject * 是所有 Python 对象的「基本类型」。...每个 Python 类型包含对象的引用计数，以及指向对象的「类型对象」的指针。类型对象确定类型的属性。例如，该对象可能包含一系列与类型相关联的方法，以及调用哪些 C 函数来实现这些方法。...是引入实现对象的引用计数的代码的宏，以及指向相应类型对象的指针。...我们可以通过定义 https://docs.python.org/3.7/c-api/typeobj.html#c.PyMappingMethods 里描述的三种映射方法来使用[]符号。...例如，csrc/generic/Tensor.h 具有如下声明： THP_API PyObject * THPTensor_(New)(THTensor *ptr); 我们使用相同的策略在头文件的源文件中生成代码

3.2K5 0

C++调用Python

释放Python解释器 2、Python C API基础 Python C API介绍 Python C API基本方法如下所示（第一列对应C API的使用，第二列对应Python中的使用）： C API...函数作为输入和输出，而在Python C API中使用PyArg_Parse*形式的函数来将Python 对象转换成对应的C类型。...当然，你也可以使用Py_BuildValue来构造Python对象，例如创建一个指向浮点数的Python对象： PyObject pyfloat; float pi = 3.141592654; pyfloat...获得函数对象引用之后使用PyCallable_Check验证函数是否是可执行的 2. 完成函数调用之后使用PyErr_Occurred检查是否有异常发生 3....检查返回的结果类型是否符合要求，PyFloat_Check等参考 https://www6.software.ibm.com/developerworks/education/l-pythonscript

10.2K7 6

CPython源码阅读笔记(2)

https://docs.python.org/2/c-api/typeobj.html。...为 Python 中的 immutable object （不可变对象），即 Python 中每次对变量赋新的整数值时，会申请新的 PyIntObject 对象并将变量指向这个新的对象（或者从 freelist...5 个 API 中的一个来完成，其中最常用的为 PyInt_FromLong， CPython 内部创建新的 PyIntObject 也会通过该 API 。...ob_ival 字段，相加得到结果后检查是否溢出。...*)v, (PyObject *)w); } PyIntObject 的其他方法根据文档 tp_str 会在调用 Python str 函数时调用，PyInt_Type 中 tp_str 指向 int_to_decimal_string

1.9K3 0

探索eventlet通信机制

该补丁类完全兼容原生socket类的API，它还可以识别关键字参数set_nonblocking = True。...可以看出该补丁模块继承了原生socket，将原生socket的api都重写了，但是基本都是直接调用原生api。...注：如果未设置默认超时并且侦听套接字具有（非零）超时，请强制新套接字处于阻塞模式，以覆盖特定于平台的套接字标志继承。我们根据堆栈一步步进入最终报错的地方：self....通过python代用C代码的机制可以找到如下代码： #define _SSL__SSLSOCKET_READ_METHODDEF \ {"read", (PyCFunction)_ssl_..._ssl.c static PyObject * PySSL_SetError(PySSLSocket *sslsock, int ret, const char *filename, int lineno

7963 0

python 中集合的实现与解析

事实上，集合实现的形式为带有空值的字典，即只有键才是实际的集合元素。此外，集合还利用这种没有值的映射做了其它的优化。由于这一点，可以快速的向集合中添加元素、删除元素、检查元素是否存在。...所有访问都应通过文档的API完成，而不是通过操纵结构中的值来完成。...新建查找BUILD_SET的虚拟机执行函数如下 Python/ceval.c TARGET(BUILD_SET) { PyObject *set = PySet_New(NULL);...PySet_New函数的执行流程，该函数位于Objects/setobject.c PyObject * PySet_New(PyObject *iterable) { return make_new_set...flaggo.github.io/python3-source-code-analysis/objects/set-object/ https://docs.python.org/3/c-api/set.html

8871 0

Python locals() 的陷阱

在工作中, 有时候会遇到一种情况: 动态地进行变量赋值, 不管是局部变量还是全局变量, 在我们绞尽脑汁的时候, Python已经为我们解决了这个问题....Python的命名空间通过一种字典的形式来体现, 而具体到函数也就是locals() 和 globals(), 分别对应着局部命名空间和全局命名空间....那么触发NameError异常, 是否证明通过 locals()[i] = 1 存储的值, 和真正的局部命名空间是不同的两个位置?...] = { ... // 找到 locals 函数对应的内置函数是 builtin_locals {"locals", (PyCFunction)builtin_locals...f_f->f_locals 是否为空, 若是, 则新建一个字典对象.

9052 0

Python源码分析（二） - List对象

PyListObject对象的创建与维护创建　　在列表对象的实现文件listObject.c文件中，我们可以看到，Python对于创建一个列表，提供了唯一的一条途径，就是PyList_New（），对应的代码如下...在创建PyListObject对象时，首先检查缓冲池中free_list是否有可用的对象，如果有，则直接使用，若没有可用对象，则通过PyObject_GC_New在系统堆中申请内存，在Python2.7.12...，然后进行索引的有效性检查，当类型检查和索引检查均通过的时候，就可以将待加入的Pyobject*指针放在指定的位置了。...PyListObject对象缓冲池　　在这之前，我们学习到，在创建PyListObject对象时，会首先检查缓冲区中的free_lists中是否有可用的对象。　　...在删除PylsitObject对象自身时，Python会先检查我们开始提到的那个缓冲池free_list，查看其中缓存的PyListObject的数量是否已经满了，如果没有，就将待删除的PyListObject

9252 0

Python 动态赋值的陷阱

花下猫语：在上一篇文章《Python与家国天下》的第三节中，我借 Python 猫之口介绍了关于局部作用域的变量解析问题，还引入了抽象语法树的隐藏内容，最后触及了 CPython 的底层实现原理的边界...Python的命名空间通过一种字典的形式来体现, 而具体到函数也就是locals() 和 globals(), 分别对应着局部命名空间和全局命名空间....那么触发NameError异常, 是否证明通过 locals()[i] = 1 存储的值, 和真正的局部命名空间是不同的两个位置?...{ ... // 找到 locals 函数对应的内置函数是 builtin_locals {"locals", (PyCFunction)builtin_locals...f_f->f_locals是否为空, 若是, 则新建一个字典对象.

1.8K3 0

点击加载更多

Python 的多线程与 GIL

Python: C扩展初体验

一个Tensor的生命历程(Pytorch版)

python源码阅读笔记之线程机制

python源码阅读笔记之函数的运行机制

Python中的with语句解析和实践

Python与C：无缝集成，高效性能之道

Pytorch 如何实现后向传播 (1)---- 调用引擎

Python: 函数与方法的区别以及 Bound Method 和 Unbound Method

再探CC++扩展Python

HPy - 为 Python 扩展提供更优秀的 C API

Python & C++ - pybind11 实现解析

教程 | PyTorch内部机制解析：如何通过PyTorch实现Tensor

C++调用Python

CPython源码阅读笔记(2)

探索eventlet通信机制

python 中集合的实现与解析

Python locals() 的陷阱

Python源码分析（二） - List对象

Python 动态赋值的陷阱

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐